E201｜下一个AI前沿方向：强化学习预训练与AGI的转点时刻（下）

哈喽，大家好，欢迎收听硅谷101，我是泓君。

这一集我们就来深度解析一下，强化学习登场之后，业界有哪些比较前沿的训练方向。当然，我们也试图把 AGI 拆开来看，把它分成 5 个层次，看看现在 AGI 离我们还有多远。

这一集跟我们在一起的嘉宾，还是 Pokee AI 的创始人朱哲清，他也是斯坦福强化学习方向的博士。我注意到，在这次 OpenAI 的发布会里面，他们其实也提到了正在使用强化学习的底层架构。强化学习的架构也是你的强项，你可不可以跟听众简单介绍一下，用强化学习的架构好在哪儿，它对应的是什么？

我觉得首先要简单解释一下，强化学习的架构有很多种。有完全以语言模型为核心、基于 token 的强化学习方向，也有像我们这种，整个动作本身就是让智能体去决策的点，可能不再是以语言 token 为决策元素的决策方式。这两种决策方式没有好坏之分，但是它们的用例也不太一样。

总体来说，为什么要用强化学习的框架去完成智能体训练？原因就是它有目标在。不管是深度研究，可能只需要从逐个 token 的生成方式去尽可能搜索相关信息，然后完成一整份报告；还是说在智能体系统里面，像 Pokee 一样，我的工具可能就是一个 token 化的东西，然后我可能通过很多个工具放在一起解决一个问题，它都是为了以目标为驱动。

跟过往的语言模型训练很大的一个不同在于，语言模型本身的训练可以通过大量的监督学习数据来完成，也就是自回归的训练方式。但是智能体系统这件事情很难。深度研究仍然可以用一些监督数据，但是到了工具调用这一部分，单一的工具调用可以通过数据来完成；当变成工具链的时候，就很难再完成自回归训练。

原因是，市面上不存在这样一组数据：比如说我有这么一个任务，这个任务对应的是 50 个工具调用，然后把这个数据给一个模型让它去训练。没有人真正遇到过这样完整的数据，也不可能通过互联网得到，因为互联网上没有人产生过这种数据。所以只能靠人为标注了。

如果非要用这样的数据，你觉得有哪些任务用监督学习微调的方式更容易，哪些任务一定要通过强化学习来做？这两者针对的任务可能也不太一样。

对。目前的共识是，针对于世界上已经存在的很多协作数据——文本、视频、图片这一系列有大量已标注数据的任务，一般来说通过监督学习就已经可以得到很高的水平，然后再通过 RLHF，也就是基于人类反馈的强化学习，进行后训练，让这个能力再上一个台阶，使它更符合大多数人的偏好。

为什么要这样做？因为大量的监督数据其实掺杂着好坏，并不是每一个数据点都符合人类喜好。模型训练完以后，会泛化到互联网上的所有数据。下一步就是：我能不能以人类喜好为目标，对模型进行精调，使它更偏向于人类喜欢的模式？这就是基于人类反馈的强化学习的目的。

再后面，为什么现在甚至要讲强化学习预训练？原因在于很多任务只有目标驱动。现在做强化学习预训练的主要还是研究团队，但我们其实已经开始做一些类似强化学习预训练的东西，只是里面还有一些先验知识，那些知识没法靠预训练得到。不过，它已经基本上把中间很多训练过程给扔掉了。这个方向我就不细讲了，先讲讲以强化学习为核心的训练机制是为了解决什么问题。

很多任务是目标驱动的，比如写代码、数学、物理、金融机构的一些事情，再比如城市规划、执行、研究、供应链。这些东西都有明确目标，世界机制也很完整：如果 A 发生了，就会出现 B。在这种情况下，预训练就变得不是那么有必要。

第一，这种专业型、目标驱动的场景，大多数都没有数据。数学和代码是唯一两个可能有相对较多数据点的场景，除此以外，我刚才说的剩下那些领域基本上都没什么数据，很难在互联网上得到大量数据来完成训练。

第二，它本质上要解决的问题是非常泛化的，而书面上已经出现的数据，大多数都聚焦在一些经常发生的编程问题、代码问题和数学问题。那些非常高深、难解的数学问题从来没有出现过。它必须通过反事实的形式，生成一些市面上从来没有出现过的代码、数学、物理、规划等输出，然后靠一个 ground truth，也就是真实标签验证器，告诉我做得对不对，再进行自我训练。

这种训练方式非常适合有真实标签、能够做出精确判断的用例，然后进行优化。这个时候强化学习最闪光。其实有很多研究都说过，现在最大的问题是验证。如果能够找到一个验证器，就可以认为问题解决了，因为可以通过强化学习完成针对验证的优化。

接下来我再讲一个我个人认为可能有一定非共识的事情。在验证器之上，我们下一步最需要完成的一件事，可能是提升验证模型或者验证机制的泛化性。也就是说，当智能体的输出偏离人们实际见过的东西时，如何让验证器适应新的输出，然后完成更好的验证。

如果有人能做出来，我们就可能真正踏上迈向超级人工智能的道路，因为它可能产出人类并不拥有的知识。泓君

这个如果能做出来，它可以解决幻觉的问题吗？

我觉得幻觉问题是另外一个问题。这个方向很容易产生幻觉，更像是我们当年看到 AlphaZero 打败人类一样：它能够走出一些人类正常想象不到的路径。通过这个机制，甚至可以发现新的物理定理，真正发现人类所不拥有的知识。这可能是下一步真正迈向超级人工智能的关键点，但目前还没有很好的突破。

你说到这个点，让我想起了 OpenAI 对通用人工智能 5 个层次的划分。其实也是因为 OpenAI 在这一轮跟微软争夺控制权的问题上，把他们之前跟微软签的一份协议曝光了。我觉得整个路径就是沿着你说的这个方向走。

它对 AGI 的第 1 个层级定义是聊天机器人，我们可以理解成 ChatGPT，对话型 AI，很好理解。第 2 个是推理型 AI，这也是大家在去年看到的一个方向。第 3 个方向就是 AI 智能体，也就是代理型 AI。这个 AI 不仅能思考，还能替代人类去执行多步骤的自主操作，完成一系列任务，比如我们刚才说的旅行、订航班、订酒店，看起来今年也在朝着这个方向迈进。

第 4 个等级的 AI 是创新型 AI，它把它叫作 innovators，也就是创新者。它说的是人工智能需要具备创造性思维，能够自主发明新的工具或者方案。比如在药物发现中，它可以发现一个新的分子。这个时候，AI 已经可以提出人类没有想过的办法，然后自己找到创新型的解决方案。

就是你刚才说的，如果有了这个方案，AI 是不是在创造性的问题上可以超越人的范畴，提出一些人没有想到的解决方式？现在看起来，今年大家看到的是 AI 智能体市场非常热烈地爆发。但是你刚才说的这一点，让我想到 OpenAI 定义的第 4 个等级。

它说的第 5 个等级是组织型，或者超人级的 AI，也就是说 AI 可以独立承担一个组织的全部职责，远超常人，有一点类似于我们说的超级人工智能。

我不得不说的一点是，他们对于 AI 能力的定义，其实偏向产品能力，而不是技术能力。从某种意义上来说，2 和 3 之间没有巨大的跨越，1 要看你怎么定义。聊天机器人可以是非常普通的聊天机器人，也可能是像现在我们看到的这些聊天机器人。4 和 5 之间，我个人认为也没有很大的差距，主要是 3 到 4 之间有一个巨大的差距。

这个差距的核心原因，就是我刚才说的验证能力无法跨越。我们从人的角度举例，人可能是通过一种跟强化学习很像的方式学习的。比如小时候学一个东西，你能够判断的内容通常都在你的知识范围之内。你学会了加法，只能判断 1+1 等于多少、2+2 等于多少，但没办法直接泛化到 3-2 等于多少。

这个推理过程并不是靠内在知识就可以完全提升的。像我们现在所说的可验证的，比如说强化微调，都是以一个内在验证体系来完成知识迭代。也就是说，我有一个验证器，它是永久固定的，你可以通过这个验证器不停提升；或者我预置给你一定的验证知识，根据这些知识不断提升。

但如果一个智能体可以做到 20 位数的加减法，却从来没有见过减法，它仍然没有办法验证一个减法是对还是错。我觉得人也是这样。假设我学的是数学，或者我从来没有学过生物，不知道生物的底层逻辑，那我的数学领域知识也很难泛化到生物上。

这里最难的有两个地方。第一，如何通过人类给定的简单描述，比如加法和减法的关系是什么，直接从 A 推理到 B 的验证方式是什么。如果可以做到这一点，智能体整个验证的泛化性就会直接上到下一个台阶。

第二，它能不能通过自我探索，基于现有知识的锚定，完成对未来知识验证的延伸？这个也很难。比如你已经知道大多数的碱和酸之间会生成比如说二氧化碳，那你能不能对二氧化碳的性质进行简单的自我了解，并且对未来可能出现的二氧化碳相关问题做出验证？这也非常难。

未来如果出现智能体本身产生的结果，我能够验证这个结果是对还是错，也非常非常难。

所以我理解，刚才我们说到通用人工智能的 5 个等级，从第 3 个代理型 AI 到创新型 AI，可能是从低于人类水平，一下子跨越到超过人类平均水平，甚至超过最好的人类的一个时间节点。

对。所以 3 到 4 之间，远远超过 1、2、3 和 4、5 之间的差距。我觉得 5 可能还有一个很微妙的东西：智能体和智能体之间会不会出现人类之间的政治？

另外，如果智能体和智能体之间是去中心化的，它们的目标可能互相不一致。在去中心化的多智能体系统里面，就有可能出现政治。

你指的是人与人之间，比如办公室政治斗争，类似这样？

对，但是智能体处在智能体环境下，会出现完全不一样的情况，因为它们的目标会互相冲突。一旦出现互相冲突，也可能卡死在那里，甚至有点像计算机系统里面的竞态条件，直接锁死在那里。

回形针问题。

对，可能会出现类似的情况。但是 1、2、3 和 4 之间是一个鸿沟。谁能解决这个问题，都会是非常非常大的突破。

你有没有看见大公司在沿着你说的方向，用强化学习做预训练，或者通过验证机制的泛化来解决这个问题？

验证机制的泛化，目前还没有谁取得非常大的突破。现在大家能想到的，就是通过人类知识蒸馏来提升验证能力。强化学习预训练确实有很多人在提，但它有一个致命弱点。

强化学习是一个完全反事实学习的过程，它会带来一个无法避免的问题：它会不会出现一种能够解决问题、但人类看不懂的解决方案？比如我们写一个代码验证器，能够验证输入是什么、输出是什么，然后智能体写了一段代码，它确实能用，但里面所有的操作人类都看不懂。

比如目的、变量的定义都是一些乱码，它的加减乘除都用非常复杂的方式，甚至用编译语言写出来，再硬生生嵌进原来的代码里面。人类看不懂发生了什么，但它就是能运行。这也是它的一个致命弱点。

所以奖励定义会非常重要，比如人类可读性要怎么样。但是人类可读性没有办法用一个规则解决，对吧？所以最终就变成了不可验证。

整个听下来，世界也很危险。我大概听到这里，能理解为什么 Geoffrey Hinton 会那么悔恨自己创造了 AI 的底层。比如当 AI 已经可以用人类不知道的语言，写出超越人类知识的东西时，确实还是蛮危险的。

Richard Sutton 可能会更复杂一点。Geoffrey Hinton 创造的神经网络，更多是能够表示人类知识；而要做到反事实知识发现，或者策略发现，还得靠强化学习。所以如果要说悔恨的话，Richard Sutton 可能会更悔恨。

最终，如果要谈监管的信息，我觉得对奖励设计可能需要一定的监管治理。训练的时候给智能体什么样的激励，可能会决定这个智能体最终训练成什么样子。

关于刚才比较强化学习和 SFT，也就是监督微调学习的时候，我听到过这样一种说法：假设强化学习的效果比 SFT 好 2 倍，但是它消耗的 token 数量可能多 10 倍。对于现在马上要商业化、马上要应用的场景来说，它的性价比算不过来。你怎么看？

这是很正常的。强化学习微调的做法是：我只有一个奖励函数，没有其他信息，要去完成那个目标。而监督微调是：我已经有标准答案，只需要想办法靠近标准答案就好。这个无法避免，强化学习微调的价格会更高。

但是长期来看，面对更复杂的任务，就没有办法做监督微调，因为它没有标准答案。所以它不再是一个选择性问题。现在之所以还有选择，是因为我们解决的问题还不够复杂。到了未来，问题会越来越复杂；当问题极度复杂的时候，就没有选择了。

你刚才提到，强化学习跟监督微调的方式有一个很大的不同。我的理解是，强化学习在没有标注数据的时候也可以用，但传统方法的数据必须是标注的，这可能已经慢慢成为业界共识了。

那基于这个，Meta 为什么还要收购 Scale AI？

数据的重要性在现在这个时代有所下降，但是有一个方向无法避免，就是数据标注，尤其是在多模态、视频和图片数据上，目前还完全绕不开。

因为它的验证能力会基于这样的前提：如果要做基于视频和图像的强化微调，图像输入的解析能力必须达到很高的程度，而且没有办法靠人类规则来完成。它必须靠模型的解析能力，把视频和图片的内容整体解析出来。在这个内容之上，人类才能写规则，说应该怎么验证。

这个解析能力非常难。我们现在都知道，图片里有很多细节，视频里也有很多细节，而现在的模型还没有办法很好地解析，特别是多模态模型，它其实还是更多偏向文本能力。

所以我的总体感觉是，他们可能想在多模态上发力，而多模态以及机器人领域，目前还绕不开标注。这个方向可能会是 Meta 接下来发力的一个点。

所以第一步，在多模态上还是得先有解析好的，或者已经标注好的数据，相当于先把所有数据做一个基础训练，然后再看强化学习能怎么处理。我现在看到的整个路径都是这样。

ChatGPT 最早是我有大量数据，训练出一个模型；在这个基础模型上再做一些监督微调，把它变成一个精炼的基础模型。在精炼的基础模型之上，最早是拿一些数据训练一个奖励模型，然后通过这个奖励模型再去训练语言模型，用强化学习训练语言模型，让它的泛化性更强，或者在未知领域达到更好的效果。

现在慢慢变成强化微调，也就是说我不要那个奖励模型，而是用现在大家的共识，或者说用 LLM as judge 去训练模型。这已经慢慢会变成一个共识。

多模态现在还处于第 1、第 2 步：我现在有大量数据，训练一个基础模型，训练完以后做一些强化微调。但怎么能够做出一个标准化的 judge、verifier，或者一个基于规则的 verifier，这是目前不存在、而且非常难做的东西。

因为图像本身没有标准答案。它可能会先通过数据训练一个奖励模型，使多模态能力达到最大，然后再说：我的多模态能力已经很强了，能不能通过输入输出能力，把它变成一个验证器，再通过这个验证器做强化微调？我觉得整个周期就是这样循环的。

对。

你觉得 Scale AI 在标注图片和视频数据上，更像是一项技术含量很高的工作，还是说它其实就是找很多工人给数据打标，只要找的人多、打的标签多，就可以成为一个拥有大量数据库的地方？还是说其中有很多需要考验技术的环节？

我觉得第一点，最难的地方是文字的人为标注还稍微简单一点，图片的人为标注就变得更难。比如要生成一张产品图，这张产品图是好还是坏，100 个人估计有 100 种说法。那怎么把产品图的好坏标准化？这非常非常难。

所以这里面其实有对齐问题，而这个对齐问题是技术问题，短时间内可能很难解决。他们可能会先写一个非常复杂的评分标准，然后训练这些人，告诉他们哪些图比较好、哪些图比较不好。

机器人学习领域就变得更难了。在这种情况下，机器人做了这么一件事情，到底是好还是不好，人可能都看不懂这个机器人在干嘛。但机器人自己可能心里有一个计划，知道要先做这个、再做那个，最终完成目标；人却完全不理解它为什么要做这件事情。

所以多模态再加上动作执行这一整串下来，其实需要很多数据支持。我觉得数据是一个中期问题。如果说非常短期，资源和人才是问题；中期可能会在数据上遇到瓶颈；长期可能还是强化学习优化的问题。短、中、长期所需要的资源和能力都不太一样。

Meta 可能希望从某种意义上解决自己的中期数据问题，让自己的多模态能力有比较大的提升。

它挖的这批人算是在解决长期问题吗？

对。

短期是什么？算力？

对。我们最早不是遇到卡不够、各种各样的问题吗？那个问题已经解决了，现在到了中期问题。中期就是说，我们可能已经解决了一些文字和代码上的优化问题，但现在多模态上是不是也能够解决这些问题，在数据上还是有缺口。

之前的数据缺口，在 GPT-4o 之后的那一整批迭代里面，其实已经基本完成了代码和文字上的迭代。现在就到了多模态上面，等于是一模一样的增益图，只是把这个东西横移过来了而已。

但是也会有新的问题产生，比如刚才提到的审美、图片标注、视频标注。

对，但我觉得都是时间问题。

那你自己做 Pokee AI、搭建 AI agent 的底层开发哲学和逻辑是什么？

最核心的逻辑是，我们现在认为 AI agent 的使用不像当年 ChatGPT 刚出来的时候那么简单，但我们希望 AI agent 的使用能跟 ChatGPT 一样简单。不只是在用户层面，也就是 consumer 层面；对于任何企业、开发者和 professional 来说，他们调用一个 agent 就是对着一个简单的 API，一行 prompt 就完成整个 agent 的调用，得到最后的结果，而不用担心中间出现各种浏览器环境和各种各样的问题。

这是我们的开发逻辑。这也是为什么我们尽可能避免非常复杂的基础设施架构，而是通过很多集成，把更多能力都压在 agent 本身的模型里面，而不是通过一个语言模型，不停调用市面上更多的基础设施，绕开工具的能力。

我们会把工具的数量压缩。从某种意义上说，用浏览器就是用一个工具代替了几千个工具，但同时也意味着模型所需要的能力会更小一些。我们的方式是希望模型的能力变得最强，然后把工具直接铺开：你想用什么工具，就直接用什么工具。

这相当于一个 agent 可以操作整个互联网，和一个 agent 只能看一个网页之间的区别。

模型的能力用到最强，还是要接其他的基座大模型吗？还是你们自己也会开发自己的模型？

我们会开发自己的模型。现在很多模型调用和选择的能力，都是我们自己的模型在做。未来可能连语言模型的部分都会跟我们的模型直接结合在一起，变成一个单一模型。

那个时候，从用户输入、语义理解、工具选择、规划到最后的结果，全都由同一个 agent 完成。这个时候 agent 会变得非常好用，因为它不再像很多市面上的 agent 一样，需要在大量基础设施之间来回跳转。你只要把 prompt 输入一个 API，这个 API 就可以直接给你最终可交付的结果。

为什么要开发自己的模型？这是所有通用型 agent 都必须具备的技能，还是说它也可以只接大模型？

如果你用浏览器、虚拟机，比如说我用了虚拟机，想让另外一个编程 agent 去完成编程过程，再把结果给我，可以不用自己开发大模型。原因在于你把工具压缩了：依赖另外一个写代码的 agent，跳过这些工具的使用；或者选择一个浏览器 agent，跳过工具选择的过程。这个就是通过压缩工具数量，选择更通用的工具来完成目标，而不是直接选择工具。

我们训练模型的原因有几个。第一，成本很高。从一开始解析用户、理解、规划，到选择虚拟机，虚拟机本身价格很高；浏览器还有视觉部分。第二，速度很慢。第三，泛化性很差。

它训练时见过很多网页，但当你进入专业场景以后，它就很难处理。我举个例子，有朋友问我们能不能从 PostHog——一个分析网络流量的网站——这样一个很复杂的网页上，找到用户本身的行为和基于这些行为的指标，然后导入一个分析脚本，在脚本里面得到几个用户分群图表，再把图表放进一份报告，生成一个 PDF。就这么一个 agent 流程，不可能通过浏览器加虚拟机来完成。

你必须直接访问那个工具，得到最精确的数据，然后再做分析。这个流程就变成了我们的优势。类似这样的用户需求其实非常多，在广告分析、用户分析里面，互联网上有很多工具，但正常的浏览器肯定搞不定，因为它们在训练当中从来没有见过。

所以我们能够通过自己的 foundation model 把成本降下来、把泛化性提升，并且大幅拓展适用的 workflow 类型，而不只是限定于购物、写幻灯片、做研究这些最简单的任务。其实有很多专业型 workflow 是它们解决不了的。

所以我理解，你们搭的是一个垂直的、选择 agent 的模型，对不对？选择工具的模型？

我们不选 agent。它不只是选择单一工具，而是选择一个工具序列，是一个推理加工具选择的模型。

我看见大家谈到 AI 的时候，其实一般有两种派别。一种是把越来越多的问题交给 AI，做端到端训练，主打让人更少地干预，让 AI 去犯错误、去学习。

另外一种是，在真实应用中还是产品和用户体验优先。这种情况下就要减少幻觉，减少幻觉的方式就是拆分一些细节，让工作流中能够确认的地方更加确定，让产品和应用先用起来、落地。你觉得自己的产品哲学更偏向哪一种？

我作为一个 CEO，一半是产品人，一半是研究者。作为研究者，我同意第一个观点，因为越是通用的环境，越能训练出更强的模型。作为产品人，我会选择第二种，因为用户体验跟模型能力并不成正比。

我们的模型能力肯定很强，但最后的用户体验可以非常糟糕。举个简单的例子，我们之前自己遇到过：模型选择工具从头到尾都是对的，我们的工具也可以发帖到所有平台。以设备运营作为例子，之前有一段时间，内容发布完以后，链接没有给到用户，很多用户就非常困惑，来问我们内容发到哪儿去了。

他们也不知道自己应该跑到对应账户里面，看是不是出现了新的视频或者新图片。结果就是，能力其实已经端到端打通了，但用户不知道产品在做什么。

另外一个例子是生成 Google 幻灯片。以前我们只是给用户一个 Google 幻灯片链接，让用户自己去看；现在我们会直接把 Google 幻灯片嵌入网页，用户可以直接在 Pokee 里面修改。大家就会觉得，这个东西完全在我的掌控之下，而不是还要跑到另外一个网页里面修改，改完再回来看看生成了什么。

所以这里面有很多用户细节，跟模型能力毫不相关。在这种情况下，作为产品或者创业公司，就必须打磨产品细节。模型能力决定产品的下限，而产品的上限由产品细节决定。

我们刚才好多次提到了 Richard Sutton 教授。他是强化学习的奠基人之一，也是 2025 年的图灵奖得主。因为我知道你在斯坦福读博，自己学的也是强化学习，所以你跟 Richard Sutton 的渊源是什么？

Richard Sutton 跟我的导师是铁哥们。他们在提出强化学习这个概念、提出 temporal difference learning，也就是时序差分学习的时候就认识了。我的导师当年证明了 Q-learning 最基础的、基于时序差分的策略学习理论，能够通过 function approximation，也就是函数逼近来完成。那篇论文是我导师写的。

我在斯坦福读博的时候其实见过好几次 Richard Sutton，甚至有一次是在我导师家里。Richard Sutton 来开 party，大家一起吃烧烤，有很多这样的经历。

为什么我会提到 Richard Sutton？第一，他的经历跟很多人不太一样。他当年罹患癌症，有好几年没有任何工作，一度非常艰难，但他从来没有放弃强化学习研究方向。后来他去了阿尔伯塔大学，阿尔伯塔大学给了他很大的支持。但他整个人的身体状态一直都不是很好，即便很多人都说强化学习是玄学，他也没有放弃过。

第二，他这个人非常讲原则。我跟他交流过几次，他的这批学生是我们公司的视觉科学家，所以我们有更多的渊源。我们聊过很多创业想法，也聊过模型的想法。他其实有很多前瞻性的观点，不会拘泥于现在大语言模型的能力。

他一直认为，基础模型不会取代强化学习。正是因为他的坚持，现在才有了强化学习整个行业的基础，也才有了今天这么大的发展。虽然现在市面上有很多谣言，很多人其实并不是特别懂强化学习，但所有人都在说无论如何要做强化学习。真正能够把强化学习优化好的人，整个行业也就这么几十号，基本都集中在这些人发表的论文和做的产品里面。

我觉得未来还是有很大的潜力，也要感谢他能够对这个行业和自己的领域保持那么强的坚持，否则也不会有我们现在这么大的发展。

你提到跟 Richard Sutton 聊天时，他讲了很多非常前瞻性的想法。有哪些想法特别打动你，或者让你印象深刻？

他跟我提过很多次 model plasticity，也就是模型可塑性的问题。模型本身不能无限制地训练，训练到某个程度就会崩溃。

在强化学习领域，以前经常看到 catastrophic forgetting，也就是灾难性遗忘。模型训练很久以后，开始忘记过去学到的所有知识，整个模型像疯了一样，原来的 policy，也就是策略，全部消失了。

这种事情出现过吗？

出现过，很多文章里都提到过。为什么一开始模型要建得足够大？其实就像海绵一样，你不停往里面注水，注到一定程度它满了。再往里面注水会发生什么？水会流出来，但流出来的不一定是刚注入的水，很可能是原来已经有的水。

如果原来已经有的一部分水很重要，就像不停往大脑里面灌输知识，最后过载了，把加减乘除忘掉，那剩下的知识体系是不是也会直接崩溃？这个问题本身就叫模型可塑性，也就是说它的可塑性到某种程度就直接崩溃了。

要怎么解决这个问题？这叫 continual learning，也就是持续学习。现在可能有一天人类会生成 1 TB 数据，10 天就是 10 TB，未来生成的数据还会越来越多。那怎么能够用一个模型无限训练，同时让它仍然能够获取未来的知识？这是不可能的。

你觉得现在整个模型的训练，比如到 GPT-4，甚至 GPT-5，数据量已经到极限了吗？

还没有。模型的规模是线性增长的过程，但我们的数据量是指数增长的过程。到了某个阶段一定会碰壁，没有办法这样规模化下去。

其实我们在 Pokee 训练的时候就已经遇到过这个问题。因为我们训练的模型比较小，工具量又很大，数据量也挺大。我们用小模型训练到某个点，它的整体表现会突然掉得非常厉害，然后必须把模型变大一号，再去训练，才能避免灾难性遗忘。

这也取决于使用场景。有些使用场景里，小模型积累到一定数据量后，就已经出现这个问题了。

另外，他一直提到的就是奖励设计的问题。在未来，如果强化学习成为模型核心的优化机制，那么设计奖励模型的人应该遵循什么标准？这个奖励要怎么设计，才能保证它符合道德标准？这是一个非常麻烦的事情。

因为强化学习是一个序列决策问题，它的奖励是相加的。你可以定义一个单步奖励，觉得它是合理的；但当它被加起来，变成很多步以后，就会变成一个不可预测的东西。整体奖励会随着 agent 的规则或者决策机制发生改变，所以最终设计出来的结果，可能已经和你原来的想法背道而驰。

还有一个问题：如果有多个奖励怎么办？你要同时优化四五个不同的目标，在这种情况下，怎么平衡这些目标，并在这些目标之间找到一个每个目标都做得相对不错的状态？这也是一个问题。

他还提出过一个想法，叫 generalized value function，也就是广义价值函数。怎么学习一个能够同时优化多个目标的价值函数？价值函数就是在强化学习里面做决策，判断下一步要去哪个状态才能达到更优解。它可以在一个状态下得到多个目标对应的值，然后判断应该怎么平衡这些目标。

挺有意思的。你觉得你从他身上学到了什么？

我觉得就是，如果你自己认为第一性原理是对的，就不要放弃，要坚持自己的判断。很多东西在中期、短期和长期看到的结果都很不一样。

有些东西短期内可以看到很多结果，但可能会卡死在那里；有些时候你退一步，真正专注于自己认为正确的第一性原理，长期可能会得到更好的结果。

你说现在对强化学习研究得特别深的人，主要来自哪些高校或者研究中心？

最早是 OpenAI 早期的那批人、Pieter Abbeel 的学生，可能现在在 PI（Physical Intelligence 机器人公司）的这批人、Sergey Levine 的学生，以及 Richard Sutton 的学生。他们基本都在学界。除此以外，也有很多已经分支出来的优秀教授，整体上还是学界偏多。

但学界有一个问题，就是大家做强化学习做得太理论，写很多 regret bound，写一些新的理论。产业界则有 DeepMind 的那批人，以 David Silver 为核心；还有我导师也在 DeepMind，他可能是强化学习领域最了解、做得最好的人之一。

微软也有，比如 John Langford。John Langford 是做强化学习理论方向的，很早期、很有先驱性的人之一。但这个核心人群并不大，基本上不管他们怎么换地方，你都能看到是这几个核心人物的学生，或者跟他们一起工作的人衍生出来的。

你觉得伦敦会是强化学习的大本营吗？我想到当年 AlphaGo、AlphaZero 那段历史，那是强化学习非常火的一段时间，也是最早一批人研究强化学习的时期，算是一个小热潮。那个时候研究强化学习，跟现在大家研究强化学习，在方向上会有很大的不同吗？

2015 年到 2018 年是 AlphaGo、AlphaZero、MuZero，以及后面 StarCraft 游戏里的强化学习发展的巅峰。那之后它就开始沉寂，所有人都说大语言模型可以解决所有事情。到现在，强化学习又突然变火了。

我自己看下来，伦敦的 David Silver 他们这批人做的强化学习，有自己的风格：它有一个形式化验证的方式，一定能够知道对还是错，然后基于这个验证方式训练一个非常特定的 agent。这个 agent 只能解决一个问题。

但它没有真正通过一个非常通用的、采取决策的行动空间，去训练一个可以解决很多问题的、可验证的 agent。现在伦敦做强化学习的人也不只是 David Silver，还有很多人在做。

我觉得大本营感觉还是会在湾区，因为 OpenAI 和 DeepMind 的人都在那里，大概率还是以那边为核心。

OpenAI 是不是也是 2015 年到 2017 年左右，花了很多时间研究强化学习？我记得他们早期的研究里有各种游戏，比如推方块，对吧？

对，我觉得那些好像都是用强化学习解决问题的。

对。

最早的时候是 Gym environments。他们希望通过一些比较简单的游戏，证明强化学习目标导向的解决问题能力。

但因为这些游戏就止于游戏，2018 年强化学习开始沉寂的一个核心原因，就是大家认为强化学习只是游戏环境的产物，没有真正解决实际问题的能力。

但直到现在，我不得不承认一点：目前强化学习还是作为大语言模型之上的优化器，它并不是从零开始训练出一个能够解决通用问题的机制。

所以现在大家说强化学习预训练，这也是值得深入研究的一件事情。如果这件事能做成，就意味着可以从零开始训练出一个完全通用的强化学习解决方案，这会是一个非常大的成果。

在刚才整个聊天过程中，我自己的感受是，你的思维方式和眼界都非常超前。但是当你真正去做产品，或者跟投资人推销一个想法的时候，有时候越超前就越没有共识。你有没有遇到过类似的困难？

有。上礼拜在 ICML 聊 panel 的时候，其中有一个问题就是，怎么跟投资人聊特别技术的初创项目。

我个人认为，不要尝试去卖你的想法，除非你的想法已经是共识。但一旦你的想法是超共识的，也没有任何意义去投你的项目。

我一般的观点是，如果要跟投资人聊，就利用市场共识，但在这个共识之上加一个逻辑飞跃。比如市场共识是强化学习 agent 有未来，大家都觉得这个东西有未来。你唯一吸引人的地方，是你怎么实现它，同时实现的时候有什么优势。

你要告诉投资人，我训练这个强化学习 agent 的方式跟所有人都不一样，其实没有意义，因为所有人都不会理解你为什么跟别人不一样。但你要说的是，你要解决的问题在你的技术基础之上很有意义，同时你为什么拥有这个不公平优势，这就可以了。

刚才我们谈到你做 AI agent 的底层哲学时，我也把两种不同的思维方式抛给你。我们在评价几家不同的 AI agent 公司时，比如 Genspark、Manus、OpenAI 的 ChatGPT，还有 Fellou，大家采用的方法都不太一样。

你觉得未来 agent 公司能够在这个过程中脱颖而出的核心是什么？是技术路线、产品，还是其他什么样的决策？

我觉得这些公司最后都会走向不同的专注领域，有点像早期的 Mistral、OpenAI、Anthropic，大家后面都走了不一样的路。最后会有一个区分化、多样化的过程，大家会发现这些 agent 越发展越不一样。

原因就是创始人也不一样。人在这里面会自然发展出很多不一样的、多样化的决定。

第二，我觉得技术方向确实会是决定一家公司能否存活下去的核心原因，因为智能体系统的成本很高。虽然你融了很多钱，但是很多 AI 公司的核心痛点是：你融的钱越多，增长越快，死得越快，因为你是在入不敷出地做增长。

下一轮融资的时候，投资人一看，你的毛利润是负 50% 之类的，第一反应就是：这个东西就算我投了，你下一轮有什么办法把毛利润转正？如果你说没有，投资人也不会买账。

总体来说，这就变成了一个无限消耗的过程。技术提升会让你把毛利润转正，投资人才会说，只要你能增长，就值得投。所以技术路径是你能够活下来的核心。

但是最后的产品发展形态，以及最终的市场格局，会由创始人和团队的决定所导致，而且区分度会很大。

讲得特别好。确实，如果技术路径选错了，整个 AI 的成本可能就太高了。短时间还可以靠融资维持，但这不是一件能够长期维持的事情。

对。当然，很多公司估值都很高，接近 10 亿美元，被收购的可能性不太大。但是规模小一点、现在相对容易被出售的团队，被收购的概率其实都挺大的。

所以现在这个市场接下来 1 到 2 年，可能会是一个非常疯狂的大鱼吃小鱼的过程。我们可以拭目以待。我觉得接下来 1 到 2 年的商业市场，会是一个非常有意思的故事。

好的，好的，太精彩了，谢谢，感谢。好的，这就是我们今天的节目。如果大家有什么样的想法，可以给我们写评论、写留言。另外，如果大家对整个硅谷每天在发生什么感兴趣，我们也有一档关于硅谷热点的轻解读节目，叫做 101weekly，大家可以在小宇宙还有 Spotify 上搜索到我们的节目。同时也可以在各大视频网站看硅谷101的视频。最后，如果大家喜欢我们的播客，也可以在你所收听的音频渠道订阅我们。我是泓君，感谢大家的收听，谢谢。