# E201｜下一个AI前沿方向：强化学习预训练与AGI的转点时刻（下） 硅谷101 · 2025-07-25 · 80 min · https://www.youtube.com/watch?v=52MNTycuS1o ## 逐字稿 泓君 哈喽，大家好，欢迎收听硅谷101，我是泓君。 这一集我们就来深度解析一下，强化学习登场之后，业界有哪些比较前沿的训练方向。当然，我们也试图把 AGI 拆开来看，把它分成 5 个层次，看看现在 AGI 离我们还有多远。 这一集跟我们在一起的嘉宾，还是 Pokee AI 的创始人朱哲清，他也是斯坦福强化学习方向的博士。我注意到，在这次 OpenAI 的发布会里面，他们其实也提到了正在使用强化学习的底层架构。强化学习的架构也是你的强项，你可不可以跟听众简单介绍一下，用强化学习的架构好在哪儿，它对应的是什么？ 朱哲清 我觉得首先要简单解释一下，强化学习的架构有很多种。有完全以语言模型为核心、基于 token 的强化学习方向，也有像我们这种，整个动作本身就是让智能体去决策的点，可能不再是以语言 token 为决策元素的决策方式。这两种决策方式没有好坏之分，但是它们的用例也不太一样。 总体来说，为什么要用强化学习的框架去完成智能体训练？原因就是它有目标在。不管是深度研究，可能只需要从逐个 token 的生成方式去尽可能搜索相关信息，然后完成一整份报告；还是说在智能体系统里面，像 Pokee 一样，我的工具可能就是一个 token 化的东西，然后我可能通过很多个工具放在一起解决一个问题，它都是为了以目标为驱动。 跟过往的语言模型训练很大的一个不同在于，语言模型本身的训练可以通过大量的监督学习数据来完成，也就是自回归的训练方式。但是智能体系统这件事情很难。深度研究仍然可以用一些监督数据，但是到了工具调用这一部分，单一的工具调用可以通过数据来完成；当变成工具链的时候，就很难再完成自回归训练。 原因是，市面上不存在这样一组数据：比如说我有这么一个任务，这个任务对应的是 50 个工具调用，然后把这个数据给一个模型让它去训练。没有人真正遇到过这样完整的数据，也不可能通过互联网得到，因为互联网上没有人产生过这种数据。所以只能靠人为标注了。 泓君 如果非要用这样的数据，你觉得有哪些任务用监督学习微调的方式更容易，哪些任务一定要通过强化学习来做？这两者针对的任务可能也不太一样。 朱哲清 对。目前的共识是，针对于世界上已经存在的很多协作数据——文本、视频、图片这一系列有大量已标注数据的任务，一般来说通过监督学习就已经可以得到很高的水平，然后再通过 RLHF，也就是基于人类反馈的强化学习，进行后训练，让这个能力再上一个台阶，使它更符合大多数人的偏好。 为什么要这样做？因为大量的监督数据其实掺杂着好坏，并不是每一个数据点都符合人类喜好。模型训练完以后，会泛化到互联网上的所有数据。下一步就是：我能不能以人类喜好为目标，对模型进行精调，使它更偏向于人类喜欢的模式？这就是基于人类反馈的强化学习的目的。 再后面，为什么现在甚至要讲强化学习预训练？原因在于很多任务只有目标驱动。现在做强化学习预训练的主要还是研究团队，但我们其实已经开始做一些类似强化学习预训练的东西，只是里面还有一些先验知识，那些知识没法靠预训练得到。不过，它已经基本上把中间很多训练过程给扔掉了。这个方向我就不细讲了，先讲讲以强化学习为核心的训练机制是为了解决什么问题。 很多任务是目标驱动的，比如写代码、数学、物理、金融机构的一些事情，再比如城市规划、执行、研究、供应链。这些东西都有明确目标，世界机制也很完整：如果 A 发生了，就会出现 B。在这种情况下，预训练就变得不是那么有必要。 第一，这种专业型、目标驱动的场景，大多数都没有数据。数学和代码是唯一两个可能有相对较多数据点的场景，除此以外，我刚才说的剩下那些领域基本上都没什么数据，很难在互联网上得到大量数据来完成训练。 第二，它本质上要解决的问题是非常泛化的，而书面上已经出现的数据，大多数都聚焦在一些经常发生的编程问题、代码问题和数学问题。那些非常高深、难解的数学问题从来没有出现过。它必须通过反事实的形式，生成一些市面上从来没有出现过的代码、数学、物理、规划等输出，然后靠一个 ground truth，也就是真实标签验证器，告诉我做得对不对，再进行自我训练。 这种训练方式非常适合有真实标签、能够做出精确判断的用例，然后进行优化。这个时候强化学习最闪光。其实有很多研究都说过，现在最大的问题是验证。如果能够找到一个验证器，就可以认为问题解决了，因为可以通过强化学习完成针对验证的优化。 接下来我再讲一个我个人认为可能有一定非共识的事情。在验证器之上，我们下一步最需要完成的一件事，可能是提升验证模型或者验证机制的泛化性。也就是说，当智能体的输出偏离人们实际见过的东西时，如何让验证器适应新的输出，然后完成更好的验证。 如果有人能做出来，我们就可能真正踏上迈向超级人工智能的道路，因为它可能产出人类并不拥有的知识。泓君 这个如果能做出来，它可以解决幻觉的问题吗？ 朱哲清 我觉得幻觉问题是另外一个问题。这个方向很容易产生幻觉，更像是我们当年看到 AlphaZero 打败人类一样：它能够走出一些人类正常想象不到的路径。通过这个机制，甚至可以发现新的物理定理，真正发现人类所不拥有的知识。这可能是下一步真正迈向超级人工智能的关键点，但目前还没有很好的突破。 泓君 你说到这个点，让我想起了 OpenAI 对通用人工智能 5 个层次的划分。其实也是因为 OpenAI 在这一轮跟微软争夺控制权的问题上，把他们之前跟微软签的一份协议曝光了。我觉得整个路径就是沿着你说的这个方向走。 它对 AGI 的第 1 个层级定义是聊天机器人，我们可以理解成 ChatGPT，对话型 AI，很好理解。第 2 个是推理型 AI，这也是大家在去年看到的一个方向。第 3 个方向就是 AI 智能体，也就是代理型 AI。这个 AI 不仅能思考，还能替代人类去执行多步骤的自主操作，完成一系列任务，比如我们刚才说的旅行、订航班、订酒店，看起来今年也在朝着这个方向迈进。 第 4 个等级的 AI 是创新型 AI，它把它叫作 innovators，也就是创新者。它说的是人工智能需要具备创造性思维，能够自主发明新的工具或者方案。比如在药物发现中，它可以发现一个新的分子。这个时候，AI 已经可以提出人类没有想过的办法，然后自己找到创新型的解决方案。 就是你刚才说的，如果有了这个方案，AI 是不是在创造性的问题上可以超越人的范畴，提出一些人没有想到的解决方式？现在看起来，今年大家看到的是 AI 智能体市场非常热烈地爆发。但是你刚才说的这一点，让我想到 OpenAI 定义的第 4 个等级。 它说的第 5 个等级是组织型，或者超人级的 AI，也就是说 AI 可以独立承担一个组织的全部职责，远超常人，有一点类似于我们说的超级人工智能。 朱哲清 我不得不说的一点是，他们对于 AI 能力的定义，其实偏向产品能力，而不是技术能力。从某种意义上来说，2 和 3 之间没有巨大的跨越，1 要看你怎么定义。聊天机器人可以是非常普通的聊天机器人，也可能是像现在我们看到的这些聊天机器人。4 和 5 之间，我个人认为也没有很大的差距，主要是 3 到 4 之间有一个巨大的差距。 这个差距的核心原因，就是我刚才说的验证能力无法跨越。我们从人的角度举例，人可能是通过一种跟强化学习很像的方式学习的。比如小时候学一个东西，你能够判断的内容通常都在你的知识范围之内。你学会了加法，只能判断 1+1 等于多少、2+2 等于多少，但没办法直接泛化到 3-2 等于多少。 这个推理过程并不是靠内在知识就可以完全提升的。像我们现在所说的可验证的，比如说强化微调，都是以一个内在验证体系来完成知识迭代。也就是说，我有一个验证器，它是永久固定的，你可以通过这个验证器不停提升；或者我预置给你一定的验证知识，根据这些知识不断提升。 但如果一个智能体可以做到 20 位数的加减法，却从来没有见过减法，它仍然没有办法验证一个减法是对还是错。我觉得人也是这样。假设我学的是数学，或者我从来没有学过生物，不知道生物的底层逻辑，那我的数学领域知识也很难泛化到生物上。 这里最难的有两个地方。第一，如何通过人类给定的简单描述，比如加法和减法的关系是什么，直接从 A 推理到 B 的验证方式是什么。如果可以做到这一点，智能体整个验证的泛化性就会直接上到下一个台阶。 第二，它能不能通过自我探索，基于现有知识的锚定，完成对未来知识验证的延伸？这个也很难。比如你已经知道大多数的碱和酸之间会生成比如说二氧化碳，那你能不能对二氧化碳的性质进行简单的自我了解，并且对未来可能出现的二氧化碳相关问题做出验证？这也非常难。 未来如果出现智能体本身产生的结果，我能够验证这个结果是对还是错，也非常非常难。 泓君 所以我理解，刚才我们说到通用人工智能的 5 个等级，从第 3 个代理型 AI 到创新型 AI，可能是从低于人类水平，一下子跨越到超过人类平均水平，甚至超过最好的人类的一个时间节点。 朱哲清 对。所以 3 到 4 之间，远远超过 1、2、3 和 4、5 之间的差距。我觉得 5 可能还有一个很微妙的东西：智能体和智能体之间会不会出现人类之间的政治？ 另外，如果智能体和智能体之间是去中心化的，它们的目标可能互相不一致。在去中心化的多智能体系统里面，就有可能出现政治。 泓君 你指的是人与人之间，比如办公室政治斗争，类似这样？ 朱哲清 对，但是智能体处在智能体环境下，会出现完全不一样的情况，因为它们的目标会互相冲突。一旦出现互相冲突，也可能卡死在那里，甚至有点像计算机系统里面的竞态条件，直接锁死在那里。 泓君 回形针问题。 朱哲清 对，可能会出现类似的情况。但是 1、2、3 和 4 之间是一个鸿沟。谁能解决这个问题，都会是非常非常大的突破。 泓君 你有没有看见大公司在沿着你说的方向，用强化学习做预训练，或者通过验证机制的泛化来解决这个问题？ 朱哲清 验证机制的泛化，目前还没有谁取得非常大的突破。现在大家能想到的，就是通过人类知识蒸馏来提升验证能力。强化学习预训练确实有很多人在提，但它有一个致命弱点。 强化学习是一个完全反事实学习的过程，它会带来一个无法避免的问题：它会不会出现一种能够解决问题、但人类看不懂的解决方案？比如我们写一个代码验证器，能够验证输入是什么、输出是什么，然后智能体写了一段代码，它确实能用，但里面所有的操作人类都看不懂。 比如目的、变量的定义都是一些乱码，它的加减乘除都用非常复杂的方式，甚至用编译语言写出来，再硬生生嵌进原来的代码里面。人类看不懂发生了什么，但它就是能运行。这也是它的一个致命弱点。 所以奖励定义会非常重要，比如人类可读性要怎么样。但是人类可读性没有办法用一个规则解决，对吧？所以最终就变成了不可验证。 泓君 整个听下来，世界也很危险。我大概听到这里，能理解为什么 Geoffrey Hinton 会那么悔恨自己创造了 AI 的底层。比如当 AI 已经可以用人类不知道的语言，写出超越人类知识的东西时，确实还是蛮危险的。 朱哲清 Richard Sutton 可能会更复杂一点。Geoffrey Hinton 创造的神经网络，更多是能够表示人类知识；而要做到反事实知识发现，或者策略发现，还得靠强化学习。所以如果要说悔恨的话，Richard Sutton 可能会更悔恨。 最终，如果要谈监管的信息，我觉得对奖励设计可能需要一定的监管治理。训练的时候给智能体什么样的激励，可能会决定这个智能体最终训练成什么样子。 泓君 关于刚才比较强化学习和 SFT，也就是监督微调学习的时候，我听到过这样一种说法：假设强化学习的效果比 SFT 好 2 倍，但是它消耗的 token 数量可能多 10 倍。对于现在马上要商业化、马上要应用的场景来说，它的性价比算不过来。你怎么看？ 朱哲清 这是很正常的。强化学习微调的做法是：我只有一个奖励函数，没有其他信息，要去完成那个目标。而监督微调是：我已经有标准答案，只需要想办法靠近标准答案就好。这个无法避免，强化学习微调的价格会更高。 但是长期来看，面对更复杂的任务，就没有办法做监督微调，因为它没有标准答案。所以它不再是一个选择性问题。现在之所以还有选择，是因为我们解决的问题还不够复杂。到了未来，问题会越来越复杂；当问题极度复杂的时候，就没有选择了。 泓君 你刚才提到，强化学习跟监督微调的方式有一个很大的不同。我的理解是，强化学习在没有标注数据的时候也可以用，但传统方法的数据必须是标注的，这可能已经慢慢成为业界共识了。 那基于这个，Meta 为什么还要收购 Scale AI？ 朱哲清 数据的重要性在现在这个时代有所下降，但是有一个方向无法避免，就是数据标注，尤其是在多模态、视频和图片数据上，目前还完全绕不开。 因为它的验证能力会基于这样的前提：如果要做基于视频和图像的强化微调，图像输入的解析能力必须达到很高的程度，而且没有办法靠人类规则来完成。它必须靠模型的解析能力，把视频和图片的内容整体解析出来。在这个内容之上，人类才能写规则，说应该怎么验证。 这个解析能力非常难。我们现在都知道，图片里有很多细节，视频里也有很多细节，而现在的模型还没有办法很好地解析，特别是多模态模型，它其实还是更多偏向文本能力。 所以我的总体感觉是，他们可能想在多模态上发力，而多模态以及机器人领域，目前还绕不开标注。这个方向可能会是 Meta 接下来发力的一个点。 泓君 所以第一步，在多模态上还是得先有解析好的，或者已经标注好的数据，相当于先把所有数据做一个基础训练，然后再看强化学习能怎么处理。我现在看到的整个路径都是这样。 ChatGPT 最早是我有大量数据，训练出一个模型；在这个基础模型上再做一些监督微调，把它变成一个精炼的基础模型。在精炼的基础模型之上，最早是拿一些数据训练一个奖励模型，然后通过这个奖励模型再去训练语言模型，用强化学习训练语言模型，让它的泛化性更强，或者在未知领域达到更好的效果。 现在慢慢变成强化微调，也就是说我不要那个奖励模型，而是用现在大家的共识，或者说用 LLM as judge 去训练模型。这已经慢慢会变成一个共识。 多模态现在还处于第 1、第 2 步：我现在有大量数据，训练一个基础模型，训练完以后做一些强化微调。但怎么能够做出一个标准化的 judge、verifier，或者一个基于规则的 verifier，这是目前不存在、而且非常难做的东西。 因为图像本身没有标准答案。它可能会先通过数据训练一个奖励模型，使多模态能力达到最大，然后再说：我的多模态能力已经很强了，能不能通过输入输出能力，把它变成一个验证器，再通过这个验证器做强化微调？我觉得整个周期就是这样循环的。 朱哲清 对。 泓君 你觉得 Scale AI 在标注图片和视频数据上，更像是一项技术含量很高的工作，还是说它其实就是找很多工人给数据打标，只要找的人多、打的标签多，就可以成为一个拥有大量数据库的地方？还是说其中有很多需要考验技术的环节？ 朱哲清 我觉得第一点，最难的地方是文字的人为标注还稍微简单一点，图片的人为标注就变得更难。比如要生成一张产品图，这张产品图是好还是坏，100 个人估计有 100 种说法。那怎么把产品图的好坏标准化？这非常非常难。 所以这里面其实有对齐问题，而这个对齐问题是技术问题，短时间内可能很难解决。他们可能会先写一个非常复杂的评分标准，然后训练这些人，告诉他们哪些图比较好、哪些图比较不好。 机器人学习领域就变得更难了。在这种情况下，机器人做了这么一件事情，到底是好还是不好，人可能都看不懂这个机器人在干嘛。但机器人自己可能心里有一个计划，知道要先做这个、再做那个，最终完成目标；人却完全不理解它为什么要做这件事情。 所以多模态再加上动作执行这一整串下来，其实需要很多数据支持。我觉得数据是一个中期问题。如果说非常短期，资源和人才是问题；中期可能会在数据上遇到瓶颈；长期可能还是强化学习优化的问题。短、中、长期所需要的资源和能力都不太一样。 Meta 可能希望从某种意义上解决自己的中期数据问题，让自己的多模态能力有比较大的提升。 泓君 它挖的这批人算是在解决长期问题吗？ 朱哲清 对。 泓君 短期是什么？算力？ 朱哲清 对。我们最早不是遇到卡不够、各种各样的问题吗？那个问题已经解决了，现在到了中期问题。中期就是说，我们可能已经解决了一些文字和代码上的优化问题，但现在多模态上是不是也能够解决这些问题，在数据上还是有缺口。 之前的数据缺口，在 GPT-4o 之后的那一整批迭代里面，其实已经基本完成了代码和文字上的迭代。现在就到了多模态上面，等于是一模一样的增益图，只是把这个东西横移过来了而已。 泓君 但是也会有新的问题产生，比如刚才提到的审美、图片标注、视频标注。 朱哲清 对，但我觉得都是时间问题。 泓君 那你自己做 Pokee AI、搭建 AI agent 的底层开发哲学和逻辑是什么？ 朱哲清 最核心的逻辑是，我们现在认为 AI agent 的使用不像当年 ChatGPT 刚出来的时候那么简单，但我们希望 AI agent 的使用能跟 ChatGPT 一样简单。不只是在用户层面，也就是 consumer 层面；对于任何企业、开发者和 professional 来说，他们调用一个 agent 就是对着一个简单的 API，一行 prompt 就完成整个 agent 的调用，得到最后的结果，而不用担心中间出现各种浏览器环境和各种各样的问题。 这是我们的开发逻辑。这也是为什么我们尽可能避免非常复杂的基础设施架构，而是通过很多集成，把更多能力都压在 agent 本身的模型里面，而不是通过一个语言模型，不停调用市面上更多的基础设施，绕开工具的能力。 我们会把工具的数量压缩。从某种意义上说，用浏览器就是用一个工具代替了几千个工具，但同时也意味着模型所需要的能力会更小一些。我们的方式是希望模型的能力变得最强，然后把工具直接铺开：你想用什么工具，就直接用什么工具。 这相当于一个 agent 可以操作整个互联网，和一个 agent 只能看一个网页之间的区别。 泓君 模型的能力用到最强，还是要接其他的基座大模型吗？还是你们自己也会开发自己的模型？ 朱哲清 我们会开发自己的模型。现在很多模型调用和选择的能力，都是我们自己的模型在做。未来可能连语言模型的部分都会跟我们的模型直接结合在一起，变成一个单一模型。 那个时候，从用户输入、语义理解、工具选择、规划到最后的结果，全都由同一个 agent 完成。这个时候 agent 会变得非常好用，因为它不再像很多市面上的 agent 一样，需要在大量基础设施之间来回跳转。你只要把 prompt 输入一个 API，这个 API 就可以直接给你最终可交付的结果。 泓君 为什么要开发自己的模型？这是所有通用型 agent 都必须具备的技能，还是说它也可以只接大模型？ 朱哲清 如果你用浏览器、虚拟机，比如说我用了虚拟机，想让另外一个编程 agent 去完成编程过程，再把结果给我，可以不用自己开发大模型。原因在于你把工具压缩了：依赖另外一个写代码的 agent，跳过这些工具的使用；或者选择一个浏览器 agent，跳过工具选择的过程。这个就是通过压缩工具数量，选择更通用的工具来完成目标，而不是直接选择工具。 我们训练模型的原因有几个。第一，成本很高。从一开始解析用户、理解、规划，到选择虚拟机，虚拟机本身价格很高；浏览器还有视觉部分。第二，速度很慢。第三，泛化性很差。 它训练时见过很多网页，但当你进入专业场景以后，它就很难处理。我举个例子，有朋友问我们能不能从 PostHog——一个分析网络流量的网站——这样一个很复杂的网页上，找到用户本身的行为和基于这些行为的指标，然后导入一个分析脚本，在脚本里面得到几个用户分群图表，再把图表放进一份报告，生成一个 PDF。就这么一个 agent 流程，不可能通过浏览器加虚拟机来完成。 你必须直接访问那个工具，得到最精确的数据，然后再做分析。这个流程就变成了我们的优势。类似这样的用户需求其实非常多，在广告分析、用户分析里面，互联网上有很多工具，但正常的浏览器肯定搞不定，因为它们在训练当中从来没有见过。 所以我们能够通过自己的 foundation model 把成本降下来、把泛化性提升，并且大幅拓展适用的 workflow 类型，而不只是限定于购物、写幻灯片、做研究这些最简单的任务。其实有很多专业型 workflow 是它们解决不了的。 泓君 所以我理解，你们搭的是一个垂直的、选择 agent 的模型，对不对？选择工具的模型？ 朱哲清 我们不选 agent。它不只是选择单一工具，而是选择一个工具序列，是一个推理加工具选择的模型。 泓君 我看见大家谈到 AI 的时候，其实一般有两种派别。一种是把越来越多的问题交给 AI，做端到端训练，主打让人更少地干预，让 AI 去犯错误、去学习。 另外一种是，在真实应用中还是产品和用户体验优先。这种情况下就要减少幻觉，减少幻觉的方式就是拆分一些细节，让工作流中能够确认的地方更加确定，让产品和应用先用起来、落地。你觉得自己的产品哲学更偏向哪一种？ 朱哲清 我作为一个 CEO，一半是产品人，一半是研究者。作为研究者，我同意第一个观点，因为越是通用的环境，越能训练出更强的模型。作为产品人，我会选择第二种，因为用户体验跟模型能力并不成正比。 我们的模型能力肯定很强，但最后的用户体验可以非常糟糕。举个简单的例子，我们之前自己遇到过：模型选择工具从头到尾都是对的，我们的工具也可以发帖到所有平台。以设备运营作为例子，之前有一段时间，内容发布完以后，链接没有给到用户，很多用户就非常困惑，来问我们内容发到哪儿去了。 他们也不知道自己应该跑到对应账户里面，看是不是出现了新的视频或者新图片。结果就是，能力其实已经端到端打通了，但用户不知道产品在做什么。 另外一个例子是生成 Google 幻灯片。以前我们只是给用户一个 Google 幻灯片链接，让用户自己去看；现在我们会直接把 Google 幻灯片嵌入网页，用户可以直接在 Pokee 里面修改。大家就会觉得，这个东西完全在我的掌控之下，而不是还要跑到另外一个网页里面修改，改完再回来看看生成了什么。 所以这里面有很多用户细节，跟模型能力毫不相关。在这种情况下，作为产品或者创业公司，就必须打磨产品细节。模型能力决定产品的下限，而产品的上限由产品细节决定。 泓君 我们刚才好多次提到了 Richard Sutton 教授。他是强化学习的奠基人之一，也是 2025 年的图灵奖得主。因为我知道你在斯坦福读博，自己学的也是强化学习，所以你跟 Richard Sutton 的渊源是什么？ 朱哲清 Richard Sutton 跟我的导师是铁哥们。他们在提出强化学习这个概念、提出 temporal difference learning，也就是时序差分学习的时候就认识了。我的导师当年证明了 Q-learning 最基础的、基于时序差分的策略学习理论，能够通过 function approximation，也就是函数逼近来完成。那篇论文是我导师写的。 我在斯坦福读博的时候其实见过好几次 Richard Sutton，甚至有一次是在我导师家里。Richard Sutton 来开 party，大家一起吃烧烤，有很多这样的经历。 为什么我会提到 Richard Sutton？第一，他的经历跟很多人不太一样。他当年罹患癌症，有好几年没有任何工作，一度非常艰难，但他从来没有放弃强化学习研究方向。后来他去了阿尔伯塔大学，阿尔伯塔大学给了他很大的支持。但他整个人的身体状态一直都不是很好，即便很多人都说强化学习是玄学，他也没有放弃过。 第二，他这个人非常讲原则。我跟他交流过几次，他的这批学生是我们公司的视觉科学家，所以我们有更多的渊源。我们聊过很多创业想法，也聊过模型的想法。他其实有很多前瞻性的观点，不会拘泥于现在大语言模型的能力。 他一直认为，基础模型不会取代强化学习。正是因为他的坚持，现在才有了强化学习整个行业的基础，也才有了今天这么大的发展。虽然现在市面上有很多谣言，很多人其实并不是特别懂强化学习，但所有人都在说无论如何要做强化学习。真正能够把强化学习优化好的人，整个行业也就这么几十号，基本都集中在这些人发表的论文和做的产品里面。 我觉得未来还是有很大的潜力，也要感谢他能够对这个行业和自己的领域保持那么强的坚持，否则也不会有我们现在这么大的发展。 泓君 你提到跟 Richard Sutton 聊天时，他讲了很多非常前瞻性的想法。有哪些想法特别打动你，或者让你印象深刻？ 朱哲清 他跟我提过很多次 model plasticity，也就是模型可塑性的问题。模型本身不能无限制地训练，训练到某个程度就会崩溃。 在强化学习领域，以前经常看到 catastrophic forgetting，也就是灾难性遗忘。模型训练很久以后，开始忘记过去学到的所有知识，整个模型像疯了一样，原来的 policy，也就是策略，全部消失了。 泓君 这种事情出现过吗？ 朱哲清 出现过，很多文章里都提到过。为什么一开始模型要建得足够大？其实就像海绵一样，你不停往里面注水，注到一定程度它满了。再往里面注水会发生什么？水会流出来，但流出来的不一定是刚注入的水，很可能是原来已经有的水。 如果原来已经有的一部分水很重要，就像不停往大脑里面灌输知识，最后过载了，把加减乘除忘掉，那剩下的知识体系是不是也会直接崩溃？这个问题本身就叫模型可塑性，也就是说它的可塑性到某种程度就直接崩溃了。 要怎么解决这个问题？这叫 continual learning，也就是持续学习。现在可能有一天人类会生成 1 TB 数据，10 天就是 10 TB，未来生成的数据还会越来越多。那怎么能够用一个模型无限训练，同时让它仍然能够获取未来的知识？这是不可能的。 泓君 你觉得现在整个模型的训练，比如到 GPT-4，甚至 GPT-5，数据量已经到极限了吗？ 朱哲清 还没有。模型的规模是线性增长的过程，但我们的数据量是指数增长的过程。到了某个阶段一定会碰壁，没有办法这样规模化下去。 其实我们在 Pokee 训练的时候就已经遇到过这个问题。因为我们训练的模型比较小，工具量又很大，数据量也挺大。我们用小模型训练到某个点，它的整体表现会突然掉得非常厉害，然后必须把模型变大一号，再去训练，才能避免灾难性遗忘。 这也取决于使用场景。有些使用场景里，小模型积累到一定数据量后，就已经出现这个问题了。 另外，他一直提到的就是奖励设计的问题。在未来，如果强化学习成为模型核心的优化机制，那么设计奖励模型的人应该遵循什么标准？这个奖励要怎么设计，才能保证它符合道德标准？这是一个非常麻烦的事情。 因为强化学习是一个序列决策问题，它的奖励是相加的。你可以定义一个单步奖励，觉得它是合理的；但当它被加起来，变成很多步以后，就会变成一个不可预测的东西。整体奖励会随着 agent 的规则或者决策机制发生改变，所以最终设计出来的结果，可能已经和你原来的想法背道而驰。 还有一个问题：如果有多个奖励怎么办？你要同时优化四五个不同的目标，在这种情况下，怎么平衡这些目标，并在这些目标之间找到一个每个目标都做得相对不错的状态？这也是一个问题。 他还提出过一个想法，叫 generalized value function，也就是广义价值函数。怎么学习一个能够同时优化多个目标的价值函数？价值函数就是在强化学习里面做决策，判断下一步要去哪个状态才能达到更优解。它可以在一个状态下得到多个目标对应的值，然后判断应该怎么平衡这些目标。 泓君 挺有意思的。你觉得你从他身上学到了什么？ 朱哲清 我觉得就是，如果你自己认为第一性原理是对的，就不要放弃，要坚持自己的判断。很多东西在中期、短期和长期看到的结果都很不一样。 有些东西短期内可以看到很多结果，但可能会卡死在那里；有些时候你退一步，真正专注于自己认为正确的第一性原理，长期可能会得到更好的结果。 泓君 你说现在对强化学习研究得特别深的人，主要来自哪些高校或者研究中心？ 朱哲清 最早是 OpenAI 早期的那批人、Pieter Abbeel 的学生，可能现在在 PI（Physical Intelligence 机器人公司）的这批人、Sergey Levine 的学生，以及 Richard Sutton 的学生。他们基本都在学界。除此以外，也有很多已经分支出来的优秀教授，整体上还是学界偏多。 但学界有一个问题，就是大家做强化学习做得太理论，写很多 regret bound，写一些新的理论。产业界则有 DeepMind 的那批人，以 David Silver 为核心；还有我导师也在 DeepMind，他可能是强化学习领域最了解、做得最好的人之一。 微软也有，比如 John Langford。John Langford 是做强化学习理论方向的，很早期、很有先驱性的人之一。但这个核心人群并不大，基本上不管他们怎么换地方，你都能看到是这几个核心人物的学生，或者跟他们一起工作的人衍生出来的。 泓君 你觉得伦敦会是强化学习的大本营吗？我想到当年 AlphaGo、AlphaZero 那段历史，那是强化学习非常火的一段时间，也是最早一批人研究强化学习的时期，算是一个小热潮。那个时候研究强化学习，跟现在大家研究强化学习，在方向上会有很大的不同吗？ 朱哲清 2015 年到 2018 年是 AlphaGo、AlphaZero、MuZero，以及后面 StarCraft 游戏里的强化学习发展的巅峰。那之后它就开始沉寂，所有人都说大语言模型可以解决所有事情。到现在，强化学习又突然变火了。 我自己看下来，伦敦的 David Silver 他们这批人做的强化学习，有自己的风格：它有一个形式化验证的方式，一定能够知道对还是错，然后基于这个验证方式训练一个非常特定的 agent。这个 agent 只能解决一个问题。 但它没有真正通过一个非常通用的、采取决策的行动空间，去训练一个可以解决很多问题的、可验证的 agent。现在伦敦做强化学习的人也不只是 David Silver，还有很多人在做。 我觉得大本营感觉还是会在湾区，因为 OpenAI 和 DeepMind 的人都在那里，大概率还是以那边为核心。 泓君 OpenAI 是不是也是 2015 年到 2017 年左右，花了很多时间研究强化学习？我记得他们早期的研究里有各种游戏，比如推方块，对吧？ 朱哲清 对，我觉得那些好像都是用强化学习解决问题的。 泓君 对。 朱哲清 最早的时候是 Gym environments。他们希望通过一些比较简单的游戏，证明强化学习目标导向的解决问题能力。 但因为这些游戏就止于游戏，2018 年强化学习开始沉寂的一个核心原因，就是大家认为强化学习只是游戏环境的产物，没有真正解决实际问题的能力。 但直到现在，我不得不承认一点：目前强化学习还是作为大语言模型之上的优化器，它并不是从零开始训练出一个能够解决通用问题的机制。 所以现在大家说强化学习预训练，这也是值得深入研究的一件事情。如果这件事能做成，就意味着可以从零开始训练出一个完全通用的强化学习解决方案，这会是一个非常大的成果。 泓君 在刚才整个聊天过程中，我自己的感受是，你的思维方式和眼界都非常超前。但是当你真正去做产品，或者跟投资人推销一个想法的时候，有时候越超前就越没有共识。你有没有遇到过类似的困难？ 朱哲清 有。上礼拜在 ICML 聊 panel 的时候，其中有一个问题就是，怎么跟投资人聊特别技术的初创项目。 我个人认为，不要尝试去卖你的想法，除非你的想法已经是共识。但一旦你的想法是超共识的，也没有任何意义去投你的项目。 我一般的观点是，如果要跟投资人聊，就利用市场共识，但在这个共识之上加一个逻辑飞跃。比如市场共识是强化学习 agent 有未来，大家都觉得这个东西有未来。你唯一吸引人的地方，是你怎么实现它，同时实现的时候有什么优势。 你要告诉投资人，我训练这个强化学习 agent 的方式跟所有人都不一样，其实没有意义，因为所有人都不会理解你为什么跟别人不一样。但你要说的是，你要解决的问题在你的技术基础之上很有意义，同时你为什么拥有这个不公平优势，这就可以了。 泓君 刚才我们谈到你做 AI agent 的底层哲学时，我也把两种不同的思维方式抛给你。我们在评价几家不同的 AI agent 公司时，比如 Genspark、Manus、OpenAI 的 ChatGPT，还有 Fellou，大家采用的方法都不太一样。 你觉得未来 agent 公司能够在这个过程中脱颖而出的核心是什么？是技术路线、产品，还是其他什么样的决策？ 朱哲清 我觉得这些公司最后都会走向不同的专注领域，有点像早期的 Mistral、OpenAI、Anthropic，大家后面都走了不一样的路。最后会有一个区分化、多样化的过程，大家会发现这些 agent 越发展越不一样。 原因就是创始人也不一样。人在这里面会自然发展出很多不一样的、多样化的决定。 第二，我觉得技术方向确实会是决定一家公司能否存活下去的核心原因，因为智能体系统的成本很高。虽然你融了很多钱，但是很多 AI 公司的核心痛点是：你融的钱越多，增长越快，死得越快，因为你是在入不敷出地做增长。 下一轮融资的时候，投资人一看，你的毛利润是负 50% 之类的，第一反应就是：这个东西就算我投了，你下一轮有什么办法把毛利润转正？如果你说没有，投资人也不会买账。 总体来说，这就变成了一个无限消耗的过程。技术提升会让你把毛利润转正，投资人才会说，只要你能增长，就值得投。所以技术路径是你能够活下来的核心。 但是最后的产品发展形态，以及最终的市场格局，会由创始人和团队的决定所导致，而且区分度会很大。 泓君 讲得特别好。确实，如果技术路径选错了，整个 AI 的成本可能就太高了。短时间还可以靠融资维持，但这不是一件能够长期维持的事情。 朱哲清 对。当然，很多公司估值都很高，接近 10 亿美元，被收购的可能性不太大。但是规模小一点、现在相对容易被出售的团队，被收购的概率其实都挺大的。 所以现在这个市场接下来 1 到 2 年，可能会是一个非常疯狂的大鱼吃小鱼的过程。我们可以拭目以待。我觉得接下来 1 到 2 年的商业市场，会是一个非常有意思的故事。 泓君 好的，好的，太精彩了，谢谢，感谢。好的，这就是我们今天的节目。如果大家有什么样的想法，可以给我们写评论、写留言。另外，如果大家对整个硅谷每天在发生什么感兴趣，我们也有一档关于硅谷热点的轻解读节目，叫做 101weekly，大家可以在小宇宙还有 Spotify 上搜索到我们的节目。同时也可以在各大视频网站看硅谷101的视频。最后，如果大家喜欢我们的播客，也可以在你所收听的音频渠道订阅我们。我是泓君，感谢大家的收听，谢谢。