我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill

There's something there.

我们今天很开心，请到 Pokee AI 的创始人 Bill。Bill，我们也是校友啊。

对对对。我之前 7 年半一直都在 Meta，后面几年是在 Applied Reinforcement Learning，也就是强化学习团队做负责人。主要负责把强化学习这一套框架以及研究落地到广告推荐系统和基础设施等各个方面。同时，过去 6 年多我在 Stanford 读强化学习博士，跟 Benjamin Roy 一起做理论方向的研究。最近刚刚出来创办 Pokee 这个 startup，核心目的是以强化学习加 LLM 为核心，做出一个在推理能力、个性化等方面更强的 AI。

所以你之前其实主要是技术背景？

对，基本上是纯技术背景。但是我在 Meta 的前 3 年，其实做 ML 落地比较多，负责 Meta Ads 的 B 端业务 ML 推荐系统的落地，以及第一批强化学习模型的落地。当时我们做了 RL 在广告折扣上的应用，也是 Meta 第一批 RL 应用之一。

对。之所以这次请 Bill 来聊，是因为现在海外其实有好几个东西很热，其中一个就是强化学习，一个是 Agent，而你现在正好是用强化学习来做 Agent，对吧？这两个方向你都占上了，所以我觉得今天可以多聊一些美国那边的 Agent、强化学习，以及相关的东西。

还是想先从 Meta 这段经历开始。你之前在 Meta 7 年半，时间挺久的，而且核心做的都是深度学习、强化学习相关的东西。首先我好奇的是，强化学习其实是最近 1 年又开始热起来的，对吧？之前很多人对强化学习都有自己的怀疑。2016 年 AlphaGo 以及各种游戏上的突破以后，后来很长一段时间大家都觉得没有进展了。

当中有很多问题。核心痛点在于，这些环境都是游戏环境，你可以不停地跟游戏环境交互、得到结果，但是在真实环境下，很难得到这样的反馈。

与此同时，大概 2020 年左右，GPT、NLP 那一波开始慢慢变火了。当时大家就觉得，很多规划问题，或者这种多步决策问题，是不是 LLM 可以做了。与此同时，也出现了很多 Decision Transformer 类似的论文，说我们可以完全用 Transformer 作为 inference 的方式去解决问题，完全不需要再用强化学习了。

最近又热起来的核心原因是，大家发现在更复杂的规划或者推理问题上，只是通过过往经验以及一定程度的模仿学习，已经不足以完成这些问题了。所以即便 OpenAI 也开始转型，说可能要做一些规划型的 Agent。比如 o1，大家猜测它最后在 inference 的时候做了 MCTS，类似于这种规划型能力。

它的核心目的，是找到现有数据集，或者在预训练、post-training 以后没有得到过的能力，看看能不能通过搜索得到，去探索未知的、平行宇宙式的路径。这是 RL 比较擅长的，所以大家会觉得 RL 可能要焕发新生。

最近做 OpenAI o3 和 o1 的一位 researcher 在 Twitter 上还说，因为发现 RL 非常 powerful，所以他们最近思考问题的方式全部都被 RL 化了。

我跟很多人分享过一个看法：RL 跟现在这一系列大模型并不是平行的操作模式，它可能是垂直型的。你可以把大模型跟传统神经网络做对比，但是 RL 是一种学习方式，所以它仍然可以和现在 Transformer 这一套并行存在，也可以利用 LLM 的能力让规划能力更强。我觉得，强化学习在 LLM 井喷的今天，可能会有更长足的发展。

所以你觉得它并不是一种技术方案上的倒退？

不是。可以联系到我自己为什么出来创业的一个核心点：我认为 LLM，以及今天算力增强以后大模型能力的提升，是 RL 接下来取得巨大成功的基础。

过往我认为 RL 直接成功的基础还没有那么大，现在反而基础更大。因为 RL 有几个比较重要的点，一个是它对于环境、action 等各个方面有非常强的理解能力，而这一系列 representation，一直是很多人在强化学习领域寻找解决方案的事情。

现在有了 LLM，很多东西都可以完全用语言、embedding 这一系列方式去完成重构，你不再需要专门设计一个架构给 RL 去解决这些问题。LLM 的出现，相当于给了强化学习一个非常基础的、对于世界的理解，让强化学习产生更强的、跟世界交互的能力。所以有了 LLM 以后，我认为 RL 的发展空间变得更大了。

所以最终不管是这两个谁为主，或者技术上谁好谁劣，它们结合起来到底要解决什么问题？比如我们的设想是，当一个用户或者任何一个终端给 AI Agent 一个需求，这个 AI Agent 会把需求解构。它要理解我的目标是什么，有哪些措施可以采取，我们所处的状态是什么样的，需要采取第 1、2、3 个步骤来完成最终目标。

解构完以后，我不知道第 1、2、3 个步骤具体是什么，RL 就可以说，我先采取第 1 个措施，然后第 3 个措施，再然后第 4 个措施，得到它可能成功的概率是多少，下一步再去尝试别的。通过这种方式，就可以找到哪条路径最容易达到结果。

找到最优路径以后，完成这条路径，得到解决方案、拿到结果，再返回给语言模型，由它重新组织成一个人可以读懂的结果。

在选择步骤的时候，比如你讲的第 1、2、3 个步骤，或者第 1、3、2 个步骤，它们是从一个 LLM 已经生成好的步骤库里面去挑，还是现场生成？

取决于这个 RL Agent，或者整个 AI Agent 所在的环境是什么样，也取决于 action 本身是不是被完整定义了。

举个例子，在供应链问题上，action 是完全定义的。你只能把一定量的货物从一个点派发到另外一个点。这样的 action，可能直接 call 就好了。

但如果我要解一道数学题，这个 action 就没有被完全定义。比如 OpenAI 现在要解决的那种偏数学性的问题，它就没有被完全定义。它的 chain-of-thought 推理方式是，我先生成一个结果，这个结果再生成下一个结果，然后每一步完成以后，都会由一个 LLM 自己 evaluate：我现在这个结果是不是一个好的结果。

如果到某一步卡住了，就倒推回来，在某一步重新往前推。在这种情况下，就需要 LLM 去辅助，让我找到哪些是真正的 action。

但如果之前没有 RL，会遇到什么问题？就是我要怎么知道什么样的路径是最好的？它有可能永远卡在同一个路径上。

对，这个就是之前大家讲的，就是有可能它在一个小闭环里面无限重复。

对。但为什么 LLM 模型本身不能验证这件事情？逻辑也是一样的：我试了第 1、2、3 步，得到一个结果，然后用大模型本身去验证这个结果。如果不行，再换一个，然后再验证。从人类的逻辑来看，这好像不是一个很复杂的事情。

语言模型核心还是以一个数据集作为边界。在这种情况下，语言模型就像只有一根筋：我已经想不到别的方式了。而且它的探索方式几乎是完全随机的，效率很低。

我们从人的直观方式去想，人是怎么探索的？比如今天去吃饭，有 3 家店是我想去的。其中有一家店是我每个星期要去吃 5 次的，另外两家，一家我去吃过 1 次，非常差，另一家我从来没去过。

如果今天想知道自己最喜欢哪一家，不会随机在这 3 家里面选一家，而是一定会选第 3 家，因为对第 3 家的不确定性最高。如果去了第 3 家，觉得还不错，可能会再去一次。如果连续两次都很好，比第 1 家还好，就可能觉得第 3 家是最好的。

所以它所做的选择，更多是基于你对于世界的不确定性，而不是随机地不停选择。如果用语言模型去找到最佳路径，基本上就是完全随机的状态。

RL 为什么在这个地方有效？因为它可以找到不确定性在哪里，更好地探索这些不确定性，从而更快找到正确的路径。

我记得之前经常举的例子就是迷宫：让它从一个点进来找出口，里面可能有各种算法、各种方法，怎么样在最短时间内找到出口。

对，所以像你讲的，如果是大语言模型本身，它可能就是在中间有一个路径，它是最高概率，然后它一直在那转圈，对对对，不停地在那转圈，然后它再也不会往外走，因为它根本不知道对外界有多大的不确定性。嗯，所以 RL 在这个地方会有一个非常大的优势，还有一个点就是我们叫 counterfactual reasoning，也就是反事实推理。

其实 RL 的一个核心点，是假设这个世界本身是大世界还是小世界。如果你觉得这是一个小世界，一个模型可以学习到这个世界所有的变化，那就可以直接 reason。但现在我们发现，那么大的模型仍然不能够直接 reason 得到所有结果，这就意味着大世界假说：这个世界的可能性是无穷的。

RL 需要知道的并不是世界上所有的变化，而是在每一个我所在的状态下，我成功的概率有多高，最终能得到的 reward 有多高。这样我就可以规划：采取这 3 个措施，最终成功的概率最高。但 LLM 不是这么思考的。

我一直在想这个概念的中文是什么。之前好像有个德剧，还是叫什么，讲的是如果二战是德国、日本胜利了，世界会变成什么样子。

对，就是这种。我经常说，很多时候强化学习要解决的问题是平行宇宙的问题：这件事情永远没有发生过，将来可能也不会发生，但你要思考，如果做了这一系列事情，会发生什么？

它是在思考，还是在后台真的自己试了一遍？

没有试。它是根据过往已经做过的所有事情去计算。比如你过往走过 5 条路径，这 5 条路径本身是用不同的决策方式完成的。根据这 5 个决策方式以及你现在所在的状态，如果把决策稍微偏一点，能够得到的结果是什么？它计算的是条件概率下的 value。

但你刚才讲的这个案例里，RL 是要收集到所有数据，然后计算出一个确定性的结果？

不是确定性的，是条件概率下的一个期望。

它也是有一定概率性的。

对，但它的条件是基于自己的决策方式，而 LLM 的决策方式不会变化。当你采取不一样的策略以后会发生什么，LLM 其实没有这个 reasoning 能力。它只知道，我现在这个角色是固定的，不会再变了。

听起来还是有点像一个理科生和一个文科生。

作为结论，我想问一下：现在你觉得，尤其是你在美国看了这么多、听了这么多讨论，是不是已经有一个结论，就是 RL 跟 LLM 结合是现在最好的方案？

其实有很多人想做 RL 的单一方案。比如 Rich Sutton 现在做的，就是怎么用 RL 和持续学习，去完成 LLM 本身无法完成的事情，把 Transformer 整个推翻。

我不知道他会不会真的推翻，但他的意思是，在持续学习的状态下，如果数据是流式的，不停进来、无限增长，而不是一个单一数据集，LLM 这种模型本身不具备永久训练的能力。

这个东西叫 plasticity。举个例子，你把一根弹簧拉到最紧，再拉就会崩掉。当你拉到最紧、模型已经饱和以后，就不能再得到更多信息了。这是一条比较偏理论的路线。

就落地而言，大多数人还是希望把 LLM 和某种意义上的规划型模型组合起来。比如 Google 以及 Meta 有一部分人提出了快思考和慢思考的概念。快思考就是不停地直接给你问答结果；慢思考可能需要做 chain-of-thought，得到结果以后才能反馈给你。

有些人会说，我不一定要做 chain-of-thought，也不一定依赖 LLM。就像我现在走的这条路，我有一个完全不一样的决策模型，用不一样的算法训练，训练完以后把结果反馈给 LLM，作为最终结果，变成一个组合型的 AI Agent。

我们现在的做法有点像人类大脑：每个区域的思维方式完全不一样。RL 的训练方式有点像多巴胺刺激，多巴胺越高，我做的事情可能就越好，所以我的决策跟着最后的结果好不好来。LLM 可能是一个知识区，把知识存储下来，再反馈给你。这两块对于我们来说，训练方式完全不一样。

最后问一个跟 RL 相关的问题。我们之前也看过一些资料，发现过去的 RL 大多有一个明确的标准答案，或者有一个绝对清晰的目标，比如我要赢一盘棋，或者我要走出一个迷宫。

但在现实生活当中，尤其是跟 LLM 结合的很多领域和场景里，可能没有这个东西。比如最典型的就是大家跟 AI 做陪伴聊天，没有所谓谁比谁更好。这个时候去做人类反馈，应该怎么样处理？

我举一些之前在 Meta 的例子。RL 一个比较厉害的地方就在于，它算的是一个期望值。

当我有一整套系统，需要优化整个公司的营收时，比如我们优化广告竞价，在某些竞价上我可能做得没有那么好，但在几个竞价上，我让某些用户提升了 20% 或 30%，总体的广告效率就会提升很多。这也是过去几年我们落地得最好的一些场景：你有大量可以尝试的空间，优化的不是单一场景下的结果，而是总体场景下的总结果。

还有一个比较重要的点，RL 落地要么需要一定的探索能力，要么就是你可以采取的 action 数量非常多，而且很多 action 都没有见过结果。

比如我们在 Facebook Reels 上有一个项目，用自动老虎机，也就是 multi-armed bandit，去快速推荐。我们用 RL 的 exploration 算法，发现对于那些不太知道兴趣点是什么的用户，通过探索型推荐算法，可以让他们的 engagement 提升几十个百分点。

如果只是用普通推荐算法，对于新用户来说，因为不知道他们喜欢什么、存在很大的不确定性，用户很快就流失了。这是我们的一个实验结果。

另一个是广告竞价的例子。一个 action 是基于另外一个 action 之上的。比如第 1 个时间点花了 10 美元，就意味着第 2 个时间点可能要少花一点；如果第 1 个时间点只花了 5 美元，第 2 个时间点就可以多花一点。

如果存在这种后一个 action 基于前一个 action 的性质，决策就具有多步的特点，RL 也会有更大的好处。如果所有的 action 都是单一的，我知道它的结果是什么，只是一个纯预测型问题，那 RL 不会有什么太大作用。

明白。然后我们讲讲 Agent。Agent 这件事其实去年就有了，从 AutoGPT 开始对吧？今年大家又讲了一年，包括最近 Devin 的发布也很热。明年又有很多人说是 Agent 的元年。Agent 这几年到底发生了什么，经历了什么变化？为什么一直在讲，但一直在等落地？

我觉得 Agent 这个概念有点被玩坏了。也有人跟我说，什么都是 Agent，对吧？确实，什么都可以是 Agent。比如你帮我买张机票，它就把机票买了。订机票这件事，目前靠工程就能完成，甚至连 LLM 都不用，直接写一些条件就可以做。

真正复杂的是，比如你来上海出差，要去 3 个地方，之后还要去一趟杭州，去完杭州以后，2 天之内要回北京。在这种非常复杂的情况下，正常靠工程的方式就不可能完成。

你说的这个真的是我的刚需。如果真的有人用 AI 做出来，我愿意付费。

真的吗？因为你自己搞会很复杂：要定好每个约会在哪里，怎么安排，怎么订票，时间怎么协调。

我创业开始时去 pitch 投资人，第 1 个 demo 做的就是这个东西。当时我们做的是 single-city，也就是单一城市下，多天、多酒店、多地点的规划问题。

但去年上半年有很多黑客松，每个里面基本都会有一个做 AI 旅游、AI 行程规划的项目。那个时候为什么做不出来？现在还是做不出来，遇到的问题到底是什么？

规划性问题在于，短途规划用 LLM 就可以完成，因为很简单。但多城规划就会出现我们刚刚说的平行宇宙问题。

我可能规划了 10 步，到第 11 步发现规划不下去了，这个城市被卡住了。那应该往前推到哪一步？也不知道。每多一步，复杂度都是指数级上升的。

所以你需要的不是穷举能力，而是搜索能力。你需要真正理解采取每一步措施对未来产生的影响是什么样，然后在考虑未来的情况下，再产生下一步措施，才能完成这种复杂的规划问题。

我觉得 LLM 没有这个能力。因为它是基于过去预测下一个可能出现的 token 是什么，所以它不可能先知道未来会发生什么，再推理下一步应该做什么决策。RL 在这里面就能起到作用，因为我计算的是，做了这件事情以后，对未来的期望是什么。

比如我有 3 件事情，如果其中一个措施做完以后，对未来的期望变成了 0，我就知道这个事情未来肯定无法完成任务，于是会选择别的措施。

但如果只用 RL、不用 LLM，会怎么样？

LLM 可能是 RL 的基础，就是 Transformer 这种架构能够理解人类语言或者图像，这种能力可以帮助 RL 跟人类的数据进行结合。

如果单有 RL，它只是一个跟数字打交道的抽象系统。你需要一个语言模型或者 vision model，把具体的需求变成抽象的 action，再让 RL 做决策。

我从一开始听你讲的时候就在想，如果按这个逻辑，其实 RL 反而是核心。LLM 变成了输入输出的翻译。

对。我们最新发布的产品里面，所有的决策全是 RL 做的，外部所有的 I/O 接口由 LLM 负责。大概就是这样的架构。

你觉得长期来看，RL 跟 LLM 就是这样的配合关系？

这是我的想法。

那我就继续问这个问题。公正、客观地来看，在美国至少是技术界，大家现在最主流的想法也是这样吗？

不一定。RL 加 LLM 这个大方向目前还没有统一的结论。比如李飞飞他们最新的一篇 AI Agent 论文，讲得更多的不是以 RL 为核心，而是以模仿学习为核心。

总体来说，这条路径还没有被统一。大家可能在期待第一个真正意义上能够进行多步决策，而且非常可靠的 AI Agent 出现。如果有这样的东西出现，大家可能就会一拥而上，变成一条路。

但听起来，不管路径是什么，大家现在是不是默认 LLM 本身比较难达到这个目标？

当然。还是这句话，你可以通过 LLM 这个架构，在它之上改变训练算法。比如 o1 和 o3，它们并没有改变 LLM 本身的架构，只是改变了最后的训练算法，模型架构是不变的。

所以从我的角度来说，o1 本身不能解决问题，核心还是在算法层面，而不是架构层面。

明白，还是算法加工程的组合。

那最后，你为什么会想做 Agent 这件事情？

我想做 Agent 其实想了挺久，之前一直卡在一个点上：在大公司里，有很多人帮你准备从具象到抽象的过程。

比如做广告竞价、推荐系统这些落地时，只需要把 RL 放在算法层面，让它学习决策方式就好了。但真的要放到完全开放的世界里，RL 模型其实不行，因为没有从具象到抽象的这个经典过程。

现在有 LLM 以后，原来人为完成的过程都变成了抽象过程，一个模型就可以帮你搞定。而且很多时候，它还可以帮你生成线下数据，让强化学习去学习。有了 LLM，它也可以从某种意义上帮助判断 RL Agent 做得好不好。

所以从我们的角度来说，它把我一直在思考的整个闭环给闭环了。我觉得机会出现了，就出来试一下。

那你可以再讲一下，你们现在做的 Agent 具体是什么？

我们的最终目标，是完成一个可以自主调用上千、上万个 API，进行多步决策，完成非常复杂的规划和推理任务的 Agent。

早期的话，今年我们已经 beta 发布了一个电商方向的 Agent。它架在 Shopify 的架构上面，但在不到 1 个月的训练时间内，我们只有 1500 万个参数的 RL Agent，加上一个不到 10B 参数的语言模型，放在一起就已经可以完整掌握几十个 Shopify API，以及基础的搜索、推荐和客服能力。

而且当你把这个 Agent 放到任何一个商店网站上时，不需要再做特殊的个性化训练。所以它等于是一个非常通用的 Agent。用了这么小的架构，加上这么短的训练时间，就达到了这个效果，我认为未来非常可期。

所以你的客户是电商商家？

对。

假设我是一个电商商家，你要跟我讲的话，你提供的最核心的产品服务和价值到底是什么？

你不再需要安装几十个完全没有办法控制的插件，也不再需要雇佣好几个工程师。同时，你对自己整个商店里的所有参数都有完整掌控。

而且你的各种插件之间，比如搜索、推荐、客服，各个方面都可以互相交互，形成一个完整的一体化系统。

你的 Agent 是在后端对接各种 API，前端则把后端所有的数据和 API 整合以后，重新定义或者重新建立一个它认为合适的前端。可以这么理解吗？

可以这么理解。除了展示产品页面之外，剩下的搜索、推荐、客服、结账这一系列 UI，都是由 Agent 基于模板生成出来的结果。

以前电商网站里可能也有插件。A 插件负责关联产品推荐，B 插件负责搜索，C 插件负责客服对话。现在相当于我只接入你，由你去判断要接哪个东西、怎么样组合、怎么样呈现，而且这几个东西还能联动起来，后台数据也是一致的。

用你就有点像招了一个网站负责人。

对，就是这个意思。

而且特别好的一点是，原来并不是搜索只需要一个插件。你需要找一个搜索插件，搜索的品类可能还需要再装一个插件；推荐也不是一个插件，加起来可能有几十个插件。

比如 Shopify 一共有多少个插件，你算过吗？

有几千个。

但如果我用你的话，就是由你来调用它们的一些插件？

这件事其实是我们现在认为互联网世界里面一个很大的工程性问题：它的层次特别多，这些东西其实都在调用 Shopify 底层插件，但中间又插了一层，然后向你收费。

其实你调最底层的插件就可以完成这些事情。可能有些 Shopify 不提供的功能，需要自己做后端存储。

所以你学习的是这些插件？

我学习的是 Shopify 底层的 API。

这个学习具体怎么学？底层 API 学的是什么？

我只能说，它把 API 从具象变成抽象的 action 以后，RL 会去学习做什么样的 action 能得到什么样的结果，以及用户是否满意，这个过程是 self-play。

具体怎么做我不能说。但简单来说，通过 self-play，RL Agent 会知道这些 API 能解决什么问题，什么时候应该调用什么 API，甚至这个 API 的参数应该用哪些，它都会自己知道。

所以这个训练其实是纯 RL 方面的训练，跟我们现在讲的大模型本身的训练不太一样？

没什么关系，唯一的关系就是 embedding layer。embedding layer 把具象的文字变成抽象的 embedding。

但在之前没有语言模型的时候，这件事做不到。有几个关键点：一个是我要理解，做了一件事情以后，最终结果好不好，这需要语言模型告诉你做得好不好；另外一个是需求的生成，也需要语言模型。

还有，一个非常好的 embedding 模型，也是最近有语言模型以后才出现的。所以这一系列都是整个路径里非常重要的事情，过去没有好的语言模型是不行的。

也有很多人在猜，o1、o3 是不是用了很多 I/O 相关的技术？

对，它们更多是在 inference 层面上做了很多类似 RL 的优化。大家猜测 o1 用了 MCTS，也就是 Monte Carlo Tree Search。这是一种探索型的规划算法：我走一条路，看一下行不行，再返回来走另外一条路，然后再返回来，周而复始。

它可以帮助你规避掉那些肯定不行的路径，但带来的结果是整个 inference 的价格非常高，时间也非常长，所以才需要长思考。所谓长思考，就是在 inference 的时候去思考这件事情。

其实 Yann LeCun，我跟他聊过 2 次。他其实也想做这种长思考型的、规划型的东西，只是从他的概念来看，可能没有 Agent 这个概念，更多是怎么通过世界模型进行长思考。

世界模型是在你采取一个措施以后，自行告诉你下一个状态是什么样，再告诉你下一个状态是什么样。为什么他觉得有了世界模型以后，所有规划都会变得非常容易？因为你会知道，做了什么以后下一步会发生什么。

这还是挺 RL 的思路。如果不是 RL，你刚才说的就变成穷举法了。

如果没有像 MCTS 这种探索方式，或者没有一个 world model 帮你知道做这件事情一定不会成功，就会变成穷举，也就是我刚才说的随机探索状态。

所以 Agent 现在大概处在什么阶段，大家核心面临的问题是什么？

首先，目前大多数所谓的 Agent，还是基于 LLM，可能加一些 RAG 做出来的。它们目前在 coding 方面可能有最多的落地。

Coding 从某种意义上来说，应该是所有 Agent 里面相对复杂的一个，但也可能是金字塔顶尖最值钱的那个。现在最大的问题是，如果做一个非常复杂的工程架构型问题，目前的 LLM 都解决不了。

如果退一步，不谈 coding，剩下的领域可能每个垂类都有一些公司在想办法做。更多的方式是接 Gemini、接 OpenAI，想办法做一些工程上的调整，去完成对真实世界产生影响的落地。

但通用性的、能够横跨很多领域的 Agent 还不存在，这也是我们最终想要达到的目的。

你想做的可能是一个世界级 Agent：它已经见过大多数要完成某件事情需要什么样的 API、用什么样的措施。当真正把它落地到某一个场景时，可能几乎不需要微调，它就知道给它这 20 个 API，哪个 API 可以解决什么问题。

你觉得未来的 Agent，其实就是每天跟各种 API 打交道？

对，也有可能跟人打交道。比如客服之类的场景，也可以把所有东西都用 interface 包起来，说这是一个 API。你可能只是给某个人发一封 email，然后等着对方回复，这也可以算一个 API。

从我的角度来说，在现实世界当中，真正需要写代码的地方已经越来越少。举个例子，在大厂里面，真正写一个完全不依靠其他 function 的完整 function，是非常少见的。

你基本上每次写代码，可能写 100 行，而这 100 行里大多数都是在尝试组合各种 API。从我的角度来说，如果一个 Agent 知道怎么整合这些 API，去完成多步决策，那它可能已经完成了大多数需要完成的事情。

真正复杂的，可能是那些处在金字塔顶尖的公司在做的事情：还有一个更加复杂的问题，世界上完全没有任何现成能力可以做到，需要 Agent 从零开始写这些代码，再把它们组合起来形成一个代码库。这可能是它们追求的终极 Agent，但我认为大多数场景基本上不需要这种能力。

就是跟各种 API 打交道，然后排列组合。

对。

之前好像是 Google、Anthropic 还是谁，出了一个协议，似乎就是要往这个方向走。因为未来如果是这样，很多东西可能就在后端、协议层完成了。

有类似这样的东西。你可能不需要一个代码型 Agent，而是用 command line，靠几个 function 得到 raw text，然后下一个 function 就可以完成整个操作，根本不需要进入代码层。

对于未来的用户来说，像 Devin 这种产品，好像能让你看到它每时每刻在做什么，体验很神奇。但最终是不是也不一定需要这些过程性内容？如果它完全在后端调用 API，最后只要输出结果就好。

我觉得这里还是有一个不一样的地方。Devin 和这些 coding 公司要解决的问题，跟我们是剥离开的。

我们是在业务层面：已经有这些业务，有一个客户要解决这样的问题，要通过现有业务解决它。他们则是说，我根本没有这个业务，我要建立这个业务。原来可能需要雇 20 个员工去完成，现在一个员工都不雇，雇 20 个开发者，能不能解决这个问题？

这是两个商业模式最基础的区别：你是基于现有业务排列组合，解决一个问题；还是完全没有基础，需要人从零开始把这一切搭起来。

你们今天正好刚上线了电商产品。它是开源、公测，还是其他形式？

是公测。现在我们邀请 50 个电商商家尝试安装、体验这个产品。本来是 14 天的免费试用期，现在延长到 30 天，让大家给一些反馈，帮助我们提升模型的各个方面。

还有很多功能正在做、还没有上线。比如商户跟用户之间通过 Agent 进行议价，自动帮你上线一些折扣，以及通过给 Agent 的 prompt，改变整个网站的推荐策略和搜索结果策略。这些都是正在做的事情。

我可以理解为，你的前端可以做各种排列组合和动作，但如果涉及折扣，就会动到后端，对吧？

可以。但后端本来就有 API 可以做到这一点，所以你只要告诉我想干什么，Agent 就会自己去 call，把这些东西改好。

比如 1 年以后，假设在电商场景里，你们的 Agent 已经做得很成熟了。你能不能举一个具体例子，说明大家大概会怎么用它，以及能达到什么效果？

比如你今天是一个商家，说现在圣诞节了，我要做一个圣诞促销。你可能需要做 3 件事情。

第 1 件，把店里跟圣诞节相关的产品打一个折扣。第 2 件，修改运费以及运输时间。第 3 件，把线上首页的推荐、搜索等全部换掉，变成以圣诞节为主题的页面。

现在你要做什么？你要找销售，把首页的内容换掉，每个产品还要写特定的介绍。搜索方面，可能需要找工程师想办法改排序；推荐方面，也需要找第三方推荐公司手动修改；折扣等方面，还需要找工程师手动往数据库里写。

等到明年年底，如果我们一切都成型了，你只要用文字告诉我：

“现在是圣诞节，我需要把首页变成以圣诞节为主题的推荐，搜索结果也往圣诞节方向偏。帮我上线这 3 个产品，以及把这个 promotion code 加到我的数据库里。”

这样就完成了，不再需要做任何别的操作。

这个需求现在就像你说的，很多工程师、产品人员在帮着完成。

对。比如我们认识的一些电商公司，每个季度要花上百万美元，就是为了做这些事情。原来还要打电话、发邮件，对方可能还放假了，不一定及时回复你。现在跟 Agent 聊两句，5 分钟之内就能搞定，最后结果可能还更好。我觉得其中的差异化还是很大的。

它也可以做到给所有老客户发一封促销邮件，对吧？

对，也可以做到。

对于未来的 Agent，你相信未来会有很多很多 Agent，分布在各个领域、各个企业里吗？

我觉得会。

我现在能看到的是，首先在写代码这类 IT 公司里，代码生成已经成为一个非常简单的事情。对于非工程类公司来说，它们更大的头疼之处在于，需要跟外界的 API 接触，怎么整合那么多服务商，完成一整套流程，就像我们电商这个场景一样，Agent 是必不可少的。

除此以外，在供应链、制造业方面，Agent 也会变得非常有用。很多现在的重复性工作，比如看订单、派发等，都是 Agent 可以完成的事情，不需要人坐在那里看。

相反，我认为人可以去做那些 LLM 生成不了的、更有创造力的工作。可能会有更多公司把人才往那个方向引。

所以未来可能每个公司都有自己的 Agent。Agent 和 Agent 之间交接的时候，完全不需要人接触，很可能都在后台完成。

对，就在后台。

比如刚才说库存，你们不管库存，但库存那边上游也可能有一个 Agent。你这边只要没有库存，就自动下单，通过你们的 API 下单，然后那边库存直接运过来。

对。我们为什么不管库存，就是这个原因：我们不知道对面有没有一个可以自动化的流程。很多事情现在还是靠打电话。

当然，你也可以调用一个 API，比如客服机器人，自动打电话过去。如果有这样的服务，我们也会通过 Agent 调用这种 API 来完成。但这个效率相对比较低，因为没有通用化。你可能打个电话过去，对方完全不理你，那怎么办？你就没有办法完成闭环。

我们希望至少在亲自下场做的场景里完成闭环。我们的通用模型还是会在那里，任何人都可以把这个模型放到自己的场景里。如果需要 fine-tune，我们也会提供 fine-tune 的 API。

你走 RL 的技术路线，训练成本会低很多吗？

非常低。到现在一个月训练下来不到 1 万美元。

那在帮客户实施时，算力成本、token 成本也很低？

非常低。我们的 RL 模型可以在 CPU 上运行。

但你现在也聊了蛮多投资人。有没有人 challenge 你们，说这是不是一个“伪大模型”的概念？讲的是大模型，但训练和实施用的都不是大模型，大模型只是用来做意图识别和翻译？

问题是，为什么大家都要追捧特别大的大模型？能解决问题就好，不一定非要把一个榔头造得超大，最后变成核武器。这个问题明明用机枪就可以完成，我觉得没有太大意义。

所以我们从来不说自己是大模型公司，我们说自己是 Agent 公司，是强推理、强规划型的工具使用 Agent 公司。

所以最后机构的反馈是认可这件事的？

大多数公司都会认可。因为我们当时做了一个 demo，还是比较出乎意料的一个小 demo，就是你刚才说的规划。

当时这个模型是一个 1000 万参数的 RL 模型，加上 Llama 8B，能够比当时的 GPT-4 更好，在单一城市规划上已经可以超过它。

明白。所以未来 1 年，你们大概的规划是什么？

电商方向肯定会继续推进，然后我们会把里面很多 API 开放给非 Shopify 用户。

如果他们需要我们帮忙管理产品、折扣等各种事情，可以把 API 开放给我们，我们就可以 call Agent，完成这些操作。

我突然想到一个问题：如果你们真的做成了，是不是刚才说的，手里有上千个 API，就都没有用了？

可能有 45% 到 60% 都没有用了。

为什么？应该是全都没有用了吧？都由你来调用。

对。纯工程类的东西基本上都可以被替代掉，但有一些非工程类的事情，我们就不去管。

后面我们会在明年争取发布一个规划类 AI Agent，可以横跨几千、上万个 API，在不需要特殊 prompting 的情况下，知道你的需求是什么，精准完成 API call。

你的客户面向的仍然是 B 端商家？

对，主要是 B 端商家。

还是以电商领域为主？

不一定。我们现在还有电商广告，以及刚才说的视频等方向。后面会横跨旅行、教育、健身，再往后推向法律、金融这一系列 API。特别是金融类 API 非常多，也是一个比较好的落地场景。

我觉得你的 slogan 可以叫“API 杀手”之类的。反正就是可以把所有领域排序：哪个领域的 API 越开放，我就先进去，让 Agent 学会怎么用，然后任何人都可以直接靠 API 完成很多任务。

比如我自己管理财务时，需要先建一个 Google Sheet，建完以后，每个东西还要调用不同的 Yahoo 或 Google API，才能组合出一个结果。如果有一个 Agent，我问两句话，它自己把这些 API 全部调用完，再把结果放进去，这件事就完成了，根本不用花几十个小时。它在后台也有点像自动 AI coding。

但它不是真的去 code。Coding 的核心在于需要 compile，还要保证代码能够运行，这个成本会高很多。

因为你的决策点不再是单一 API，而是每个 token 都需要保证精确，所以需要做的决策数量会高很多。我们的方式只需要调用一个 action，得到一个结果就可以了。

有点像蚂蚁搬家。

对。

最后几个问题。你怎么看整体明年的 AI 市场？你的视角跟国内不太一样，毕竟你更多是在美国，对美国科技公司有更多观察。

对于美国市场，我认为大多数投资人还是对 Agent 很有兴趣的。所以如果能够做垂类 Agent，他们投资的概率是很高的。

他们讲的垂类 Agent，定义和想象中的是什么？跟你说的这种比较类似吗？

比较类似，就是可以替代大多数内部工程工作。

现在大家遇到的最大问题是准确性、可依赖性，以及怎么盈利。我们的模型小，有特殊的训练算法，可以让它非常可靠，而且成本不高。

如果要完成同样的能力，真的依靠 GPT-4o，它的价格可能是我们的 1000 倍。你不可能按照我们这个价格收费。

所以明年可能会有一堆走你们技术路径的 Agent 出来？

我不知道。相信这条技术路径，而且对 RL 背景理解比较深的人，并不是很多。

可能会有一些公司做 planning 方向的 chain-of-thought，想办法通过工程方式，把 LLM 的思维路径或者模型大小压缩，然后放到一个单一垂类上。

但我们的护城河在于，即便你压缩得再多，我连基础 LLM 的成本都不需要，那你怎么跟我竞争？

明白。

除此以外，在相对比较小型的市场，投资人会更关注，也会投相对小额的项目。人比较多的市场，公司实在太多，他们可能会希望找到一些偏 science、偏 supply chain，而且做得比较少的场景，看看有没有突破性的公司出来。

钱是不缺的，这一点我非常确定。最近我看到 AI 投资像雨后春笋一样往外冒。虽然规模都不是特别大，通常是几千万、上亿美元的盘子，但冒得很快，数量很多，也非常活跃。

我觉得可能不是钱不够，而是标的比较难找，因为市场非常混乱。大公司太多，也导致底下那些小公司不知道怎么生存。

你自己也算小公司吧？

我现在算小公司，只融了几百万美元，不可能跟那些融了几千万美元的公司比。

明白。所以你觉得明年是 Agent 的元年吗？

我从来不觉得有什么元年的说法，因为很多年前就已经有 Agent 这个概念了。

我觉得明年可能会有很多公司真正把 Agent 落地。也就是由 Agent 来帮你采取措施、产生结果的一年。