泓君
最近，Anthropic 承认了一件事：他们现在 80% 的代码已经不是人写的，而是 Claude 自己写的。这家全世界最谨慎的 AI 公司同时发出了一个警告：AI 可能很快就要自己设计、自己训练下一代 AI 了。他们管这个叫递归自我提升，英文是 RSI，也是硅谷今年对模型能力最热的讨论方向之一。
今天这期节目，我们请到了两位真正正在做这件事情的研究员。他们所在的公司叫 Apodex，背后是陈天桥出资创立并亲自主导的。这家公司给自己的定位也非常特别：他们不做图片生成，不做视频生成，只做一件事，自己称为 heavy-duty solver，也就是专门解决那些没有标准答案、连人类自己都不知道从哪里下手的难题。
他们想做的模型叫 discovery model。它不是从已知信息里面寻找答案，而是提出人类还没有想到过的假设，然后自己想办法验证，去解决这个世界上还没有被解决的科学难题。这也是为什么这家公司叫 Apodex，因为这个词的词源来自希腊语，意思是证明和论证。
如果 AI 真的可以教自己，人类科学家还剩下什么？让我睡不着觉的一个问题就是：我们怎么知道这个模型在自我进化的时候没有跑偏？同时，贝斌也在这集节目里面讲到了他自己被蒸馏的想法。这个在过去职业生涯里曾经每天和马斯克、陈天桥讨论技术问题的研究员，让我采访的时候有那么一瞬间觉得，他下一刻就要工作不保了。于是我问他：“我们假设真的把贝斌蒸馏了，你会担心自己失业吗？”
今天，我们就站在 AI 自进化的分界点上，与两位一线研究员聊一聊硅谷模型的核心发展趋势，以及未来模型能不能超越人类顶尖科学家的水平，真正提出问题、发现问题。
今天跟我在一起的两位嘉宾，一位是 Simon 杜少雷。Simon 是华盛顿大学计算机系的副教授，同时也是 Apodex 的首席科学家，负责训练与推理方向。还有一位嘉宾是 Apodex 的首席科学家，负责代码与自进化方向的李贝斌。欢迎两位。
我们刚刚提到了今年有一个词很火，就是 RSI。我发现，大模型的预训练、后训练，包括核心的训练方向，可能每年都会有一些新的方向出现。我记得前几年我们聊得最火的是 deep research，也就是深度研究；后来是 coding，做代码方向；今年则到了自进化，也就是 self-evolve 的方向。
首先想请贝斌和 Simon 一起来分析一下：这后面其实是几个不同的方向，还是说它有一个核心主线，在主导模型往哪个方向走？
Simon 杜少雷
1. RSI的核心是推理
我感觉从训练的角度来看，其实是同一个能力在提高，都是推理能力。模型会在环境中进行探索、执行一些动作，获得信号之后再进行下一步探索。不管是在 deep research 还是 coding 这些环境下，它的内核都是一样的，只是方向上有一些细微的区别。
我们说的自我进化这个概念，其实并不是一个新的概念了。我就不说更远的历史，只说 language model 的自我进化，往前推的话大概也可以推到 3 年前左右。那个时候 Google 有一篇论文叫《LM as Optimizer》，就是说把语言模型当作一个优化器，可以优化不同的东西。
当时我在 AutoGen 那边的同事也提出过一个类似的概念，叫 Agent Optimizer。就是说，智能助手可以自己进化、自己优化自己。只不过这两年大家发现，模型的能力越来越强，它可以自我优化的东西也越来越多了。
比如 Anthropic 提到，他们有 80% 的代码是模型自己写的。训练模型不管从哪个角度来说，从合成数据的生成、自然语言数据的清理，到自我训练、学习代码算法以及底层基础设施代码，其实都是以代码的形式存在的。一旦模型的写代码能力变强了，用它来进行自我提升、自己训练自己，其实是非常自然的一件事情。
所以我并不觉得是突然到了今年，大家才发现要自我学习、自我进化，让模型自己训练自己。其实早在两三年前，大家已经开始慢慢做这件事情了。
泓君
贝斌，你之前的背景一直是在关注模型自我进化这条线吗？要不要简单介绍一下自己的背景？
李备斌
我最开始是在微软研究院做多智能体协作。当然，那个时候我们还不叫自我进化，因为智能体是一个比较新的概念，大家对外一般都说是智能体。但实际上，我同事的一些工作已经开始进行自我进化了，当时我们叫 Agent Optimizer 和 Teachable Agent。
智能体可以教智能体，告诉它下一次做类似事情的时候可以使用哪些技能，这和现在所说的 skills 概念有点像。但那个时候大家使用的概念还是 context management 或者 prompt engineering，也就是上下文管理，以及如何通过 prompt engineering 修改 prompt。
后来我去了 Meta 和 xAI。在 xAI 的时候，我们已经开始关注 agentic RL，也就是通过强化学习来加强智能体的一些能力，比如使用工具的能力、写代码的能力。当时还有一个概念叫 MCP tools，现在当然也非常火，就是使用 MCP 工具的能力。
所以，其实在早期，Simon 和我大概在一年前就发现，模型提高自己是一件非常可行的事情。包括我们当时做的一些强化学习数据生成，有很大一部分都是代码写的。到今年年初，Andrew Kapasi 发表了 Auto Research，也就是自己进行科研的一个项目，突然一下这个概念就爆火了。
泓君
我觉得你对自我进化的总结非常好。今年再谈模型的自我进化，和往年相比有什么不一样的地方？
我觉得今年大家提到 RSI 的时候，说的是递归自我提升。贝斌，你要不要跟大家解释一下这个概念？比如我们说以前让 AI 进化的时候，考官还是人；现在考官逐渐变成 AI 了，是不是意味着它在解决更难的问题？
李贝斌
2. 递归提升进入长程任务
这是一个非常好的问题。其实，如果把自我进化想象成一个圆环，比如模型自己找问题、自己出题、自己解答，然后自己训练自己，那么 RSI 里面的 R 就代表 recursive，也就是递归式。它有点像垂直方向上的递归，慢慢向上增长。
这一点确实和以往的一些自我进化有一点不一样。当然，这个 idea 也不是新的。今年和往年最大的区别在于，模型的能力变强了。比如 Anthropic 发布的论文或者 blog 提到，他们有 80% 的代码是模型写的，而且模型可以完成大约人类 1 天时间才能做完的事情。
模型能力上来之后，因为它可以完成非常长程的任务，所以在一个长程任务里面，模型可以提高自己好几遍。不像过去我们说的 LLM as Optimizer 或者 Agent Optimizer，那时候一个 LLM 可能只会优化自己大概两三个小时。因为优化太久以后，它可能会由于自身的偏差或者能力不足，很难继续往下迭代。
它可能犯一个小错误，然后这个小错误会自我积累，越积累越大，最后就没有办法继续自我迭代。而今年之所以出现了 recursive 这个 R，是因为大家发现模型可以进行很长程的任务，所以它可以让模型自己递归式地提高很多遍。
泓君
我看这篇文章里面有一个数据：2024 年 3 月，Claude 3 Opus 可以完成人类大约 4 分钟完成的任务；一年后，Claude 3.7 Sonnet 可以处理需要 1.5 小时的任务；又过了一年，Claude 4.6 Opus 可以处理长达 12 个小时的任务。
整个大模型的改进速度是在翻倍的，而且比计算机领域经典的摩尔定律翻倍的速度还要快。
Simon 杜少雷
是的。当然，业界各家都有不同的说法，但好像大家比较接受的判断是：模型能做的事情，按照人类时间计算，每 7 个月会翻一倍。
泓君
你刚刚提到 RSI 可以处理长程任务。我们理解的长程任务，是不是可以理解成需要很多步骤、很多环节互相印证的一系列任务？
假设我给模型一篇音频文字稿，让它校正事实性错误，这只算一步。但如果它能从最开始的规划一直做到最终把播客做出来，中间可能有十几个步骤，而且每一个步骤都做好，这就是长程任务，对吗？
Simon 杜少雷
对，我说的长程任务就是这个意思。当然，不同人对长程的定义也有一点不一样，但大体方向大家都同意：模型可以在没有人类监督的情况下工作很长时间。
像你刚才说的播客文件处理，模型可以先剪切音频，然后自己听一遍，发现哪里剪得不对，再重新剪。它可以这样循环几次，然后再进入下一个环节。这样的任务，平时可能需要一个人类花 20 个小时或者 30 个小时才能做完。
如果模型可以在人类不监督的情况下把这个任务完成，我觉得它就完成了一个长程任务。
泓君
你觉得它是怎么做到的呢？
Simon 杜少雷
3. 长程任务考验系统工程
这里有非常多的技术细节。首先，在模型架构上可能就需要进行一些创新。比如传统的 self-attention 是 O(n²)，也就是算法里所说的 quadratic-time 算法。所以，当 token 比较多，特别是在 100 万上下文的时候，模型首先在推理时就会花费非常多的资源。
对此我们已经有很多现成的解法，比如 GDN、GDN V2，以及 DeepSeek V4 Pro，它也有自己的一套架构。
第二就是训练数据。要支持 100 万上下文的 inference，其实不是特别难。只要把模型训练好，放到 SGLang 或者 vLLM 里面，把参数设置好，它就可以支持 100 万上下文，甚至更多的上下文。
但如果你的模型没有在这种非常长的数据上训练过，那它可能就是所谓的 out of distribution。因为 100 万上下文是非常非常长的概念，大概相当于把好几部《哈利·波特》放在一起。而我们的代码，即使是最大的 repo，也很难 saturate 这 100 万的上下文。所以，在预训练和后训练的数据处理上，这也是非常大的挑战。
第三点就是 infra 也是一个难度。不仅是 test-time 的 infra，还有训练时的 infra。因为如果让语言模型直接输出 100 万个 token，我们需要在 GPU 上做什么样的优化、在 kernel 上修改什么样的代码，这些都是非常困难的事情。
所以，训练这种长程任务，相对于普通任务来说，难度会呈指数级增长。
泓君
Simon 有补充吗？
Simon 杜少雷
如果真正想解决长程问题，从 agent 的架构上也可以做很多事情。即使我们有 100 万上下文可以处理，真正的长程任务可能还是不止 100 万。这个时候，我们仍然需要在有限的上下文里处理，甚至处理无限的上下文。
那怎么做呢？还是需要 agent 技术、记忆技术等等，去处理这种超长程任务所涉及的超长上下文问题。
泓君
我们听起来觉得很简单，但中间可能涉及了很多具体、细分的技术体系。之前我记得贝斌讲过，训练一个模型本质上就是 data、infra 和算法这三件事。其实这三件事都高度依赖写代码，所以我们今天看到 Claude 能表现出这么强的基础模型研发能力，主要是因为它 coding 能力的提升。
自进化能力也和 coding 能力紧密相关，我可以这样理解吗？
李贝斌
我基本同意这个看法。
泓君
所以，coding 会变成所有模型的标配底座？
李贝斌
我觉得它会变成大部分模型的标配底座，但不是所有模型。比如聊天型模型可能不太需要写代码的能力。
当然，聊天型小模型可能也是通过大模型蒸馏出来的，所以它背后的大模型需要具备非常强的 reasoning 能力，需要能够自我进化，然后再把这些能力蒸馏到小模型里面。因此，背后的大模型肯定还是需要高度优化写代码的能力。
泓君
我可不可以理解成，单纯聊天还好，因为现在我们其实都在讲怎么让 agent 完成一系列事情。一旦涉及多步骤，让 agent 去完成不同的复杂任务，coding 能力就会变得特别关键？
李贝斌
没错。Coding 不仅是写代码本身，还可以通过写代码来训练自己。另外，在 coding 中进行的归纳、演绎，以及逻辑推理的基本思想和算法，也可以帮助模型在其他方向上进行优化和 generalize，泛化到其他不同领域。
泓君
我发现，在学术界，自我进化还有一个很根本的障碍。大家给它起了一个学术名词，叫递归漂移。它的意思是，模型自己生成训练数据的时候，推理错误会在一次次迭代中累积。
比如有时候我们看模型给出的答案，最后的结果可能是对的，但它的推理过程可能是错的。在这种让模型自我进化的过程中，它就会把这个错误一代一代累积，最后进化的结果越来越偏。这是你们在真正训练模型时遇到的一个比较根本的难题吗？
Simon 杜少雷
4. 验证对抗递归漂移
我非常同意这个看法。这个现象其实也是我们一直在注意的。Apodex 有一个不一样的地方，就是我们比较注重 verification，也就是自我验证。
模型自己训练自己的时候，如果验证环节出现漂移或者 bias，会对结果造成不好的影响，因为这些误差会积累起来。所以我们在做写代码、数学计算这类任务时，比较容易进行验证。可以通过 rule-based 的方法，或者跑一套测试代码，来确定它做得对不对。
所以在代码领域，相对来说更容易解决 recursive drift 的问题。当然，如果对代码领域有所了解的专家可能会发现，即使有 test script、test code，也偶尔还是会发生漂移。
比如 test case 不管是人还是 AI 写的，都可能偶尔太宽或者太窄。太宽的时候，可能会让错误的解题代码通过；但如果太紧，有时候又会惩罚正确的代码。所以这种情况下还是会发生细微的递归漂移，只是会简单很多。
泓君
我其实很好奇，你们怎么去做验证？我知道验证是 Apodex 主打的一个核心功能。我试用了一下你们的产品之后，收到了一封邮件，邮件标题非常有意思，叫“很多 AI 系统生成答案，而 Apodex 验证它们”。
后来我才知道，原来你们公司的名字 Apodex 源自一个希腊语，意思是证明和论证。相当于从公司成立开始，你们就把验证、较真写进了名字里面。
Simon 杜少雷
验证这一步我们有很多套方法，因为不同领域确实需要不同的验证方法。比如代码一般可以用单元测试验证，当然测试怎么写，有时会过宽，有时会过窄，这是另一个很难的问题。
数学可以通过证明来验证，现在也有 Lean 这样的 formal verification 方法。但不得不说，还是有很多问题更依赖人的判断，甚至都不是 100% 正确或不正确的。
这种时候，我们依赖一个 agent 系统来做 Apodex 1.0 的验证。我们把这个叫作 agent team。大概来说，就是先把一个问题进行分解，然后由不同的子 agent 分别处理：有的负责解决问题，另一个子 agent 单独验证前一个子 agent 写出来的解法。
之所以要分成两个子 agent，还是因为上下文的问题。不要让一个 agent 干所有事情，分成两个 agent，效果会好很多。这是其中一个细节。
李贝斌
而且一定要拆成两个 agent，同时给两个 agent 的指示也不太一样。
除此之外，还有一些比较重要的技巧。我们最好保留一定的冗余：同一个问题，不止让一个 agent 去做，而是得到不止一份答案。冗余这个思想在计算机里面已经有很长的历史了。
得到多份答案之后，我们会让一个全局 agent 判断哪个 agent 返回的答案更准确。这样比只用一个 agent 去解决一个方面的任务，效果会好很多。
这是从 agent 角度进行验证的一些设计。训练的时候，我们也会专门针对验证能力进行训练。比如让 agent 判断不同信息源收集到的信息哪些更可靠、哪些不可靠。一个论坛上得到的信息，肯定不如教材上关于同一个问题的内容可靠。
泓君
贝斌有补充吗？
李备斌
另外，在进行强化学习的时候，我们的裁判也会在训练过程中一起学习。这样可以避免模型学会一些不好的行为，也可以避免它进行奖励黑客。
泓君
现在市场上很多公司可能都在做 RSI，也都在做验证。大家觉得，在这么多模型公司里，该怎么判断一家公司的这方面能力是不是真的强？这是一个技术问题，还是说我投入更多精力和时间，这是一个意愿问题？
Simon 杜少雷
我觉得两个问题都是。首先，技术肯定是需要的。因为在自我递归和自我进化的时候，如果底层代码、infra 或者训练代码有问题，技术不达标，肯定做不成。
另外，意愿也很重要。有些公司可能还没有意识到，自我进化有哪些地方需要强化。
泓君
这就意味着，要判断一家公司的技术能力，可能还是需要了解一些细节。自我进化有很多种方式：有的在 harness，也就是脚手架上进化；有的在预训练的各种配方上进化；还有的在后训练，包括数据搜集和后训练配方上进化。
如果真的想判断一家公司的技术水平，我觉得还是要和他们深入聊，看看他们到底在哪些方面做了进化。
据我们了解，在脚手架上进行进化，护城河相对比较低，原因是成本比较低，基本上只要调 API，就可以对这些 harness、脚手架进行自我进化。所以在这个方向上，即使是开源社区和学术界，也有很多不错的结果。
当然，公司可能拥有更多资源，但这些技巧在细节上，即使没有那么多资源，也可以做得很好。但如果真正涉及后训练等自我进化比较难的方向，确实需要很多资源。和这些公司聊的时候，可以了解他们是通过什么方式进行后训练进化的。
预训练这方面，现在大家看到的可能都是一些 AutoResearch，比如自动训练 nanoGPT。这些确实都是比较玩具型的任务，因为它们的模型比较小，你可能调一个更好的优化器、更好的超参数就能得到提升。这些也是近期自进化的一些 paper。
但真正能不能 scale 到产品级或者大模型，需要特别深入地了解。如果他们只是说，自己在某个公开的 AutoResearch benchmark 上表现如何，这其实并不能代表什么。
李备斌
5. 自进化贯穿训练全链路
我们在自我进化的时候，把它分成了不同阶段，有预训练阶段和后训练阶段。
预训练阶段，会在数据采集和清理上使用不同的自我进化方法。后训练阶段，自我进化可能更加有效，因为模型经过后训练之后，我们才知道它有哪些问题。
所以，我们的后训练自我进化包括：先诊断自己有什么症状、哪里不达标；然后基于自己的诊断，生成不同的训练配方；第三步，拿自己生成的训练数据和配方来训练自己。在这个过程中，还需要 verify，也就是验证自己每一步做得是否正确。最后再回到第一步，继续诊断自己有哪些缺陷。
另外，在脚手架 harness 上，我们也有一些自进化。脚手架和后训练其实很难解耦，所以模型在后训练上进化之后，脚手架也会进行新的进化。你可以把它想象成两只不同的脚：左脚踩一下，右脚踩一下，让模型往前跑。
泓君
我理解，刚刚根据贝斌说的，你们预训练、后训练，包括整个 harness 环境，三种方式都会用到？
李备斌
对。因为我们公司就是把自我进化当作主要的方法论，所以在每一个方面，基本都会用到自我进化的思想。
Simon 杜少雷
我稍微补充一下。验证能力非常重要，而验证能力里，一部分是代码这类可以进行 formal verification 的验证；还有很多时候依赖模型本身的能力。我们管它叫元能力，或者 meta 能力，包括判断答案对不对、分析当前模型的问题，以及根据模型的 output 做判断。
这些元能力是需要专门训练的。
还有一点我想强调的是搜索能力，尤其对后训练来说非常重要。后训练绝大部分方法，都是先发现模型有什么缺点。假设模型已经能够判断当前模型有什么缺点，那么接下来就需要针对性地生成任务以及对应答案，去提高模型的这项能力。
而生成任务非常依赖搜索能力。基本上，生成任务还是需要去网上搜索对应的语料、代码或者相关资料，再造出对应的题目。所以 search，也就是搜索本身，是非常重要的能力。
这也是我们最开始先做 deep research 的原因。Deep research 是一个非常 general 的能力，其中搜索可能是最本质的能力之一，因为它意味着：当模型需要提高某一项能力时，它可以找到对应的数据，去提升对应的能力。
泓君
你刚刚提到，deep research 现在应该是 Apodex 已经放出的版本中最强的一块，对不对？但这应该只是第一步。
Simon 杜少雷
6. 深度研究启动自进化
是的。就像我最开始说的，自进化一开始需要先做 deep research。这样你可以收集现有信息、了解当前模型的能力，制定一个计划，然后写 code 去提高自己的模型。得到反馈之后，再做 deep research，就可以这样 recursively 地提高。
所以，deep research 是比较重要的一环。
泓君
我了解到，Apodex 的模型是在通义千问的基础上，通过后训练做出来的。Simon，你要不要跟大家讲一下 deep research 的训练范式发生了哪些变化？
比如，通过预训练做出来的 deep research，和通过后训练做出来的 deep research 有什么不一样？为什么现在会先选择后者？
Simon 杜少雷
因为我们公司刚刚建立，所以先从一个开源模型，也就是 Qwen 3.5 上进行后训练，得到目前的模型。
在后训练上，我们会重点提高一些原子能力。比如模型最开始做计划的能力，我们会生成大量对应数据，专门提高这项能力。另一个能力是搜索能力，我们也会生成很多对应题目，针对性地提高模型的搜索能力。
另外，我们会和 agent team 结合，生成一些题目。就像贝斌说的左脚踩右脚，我们需要 agent team 和数据一起开发，才能达到最后的效果。这就是我们后训练阶段主要做的事情。
当然，有了预训练之后，模型会越来越强，预训练部分我们也正在开发。之后我们也会从预训练的角度去做 deep research，包括训练模型。
我们公司最后会形成一条完整链路，从预训练开始，到最后的成品和产品，都会覆盖。
泓君
我注意到，你们现在在好几个 deep research 榜单上都拿了第一名，对吧？要不要讲一下？
Simon 杜少雷
这些包括 CrossCom，这是 OpenAI 的一个 benchmark；还有 Deep Search QA、Frontier Science，这些都是 Frontier Lab 推出的 benchmark。
CrossCom 更关注搜索能力，会搜索特别刁钻的问题。比如我要搜索一本书是哪一年出版的，它的首字母是什么，或者要求找到某个非常具体的细节，大概是这样的问题。在这方面，我们是 SOTA，也就是最高水准，比包括闭源模型在内的一些模型都要好。
Frontier Science 更多是给你一个实际中的科研问题，看你能不能制定计划，然后一步一步完成。它会用 LMS Judge 判断你的方案是否合理，原本的 benchmark 里也有很多具体判别标准，去判断你生成的内容是否合理。
这两方面，我们都是先做深入研究，生成对应题目，再提高模型能力。
另外一方面，就是我们之前讨论过的 Agent Team 整体范式，包括 verification、冗余，以及如何通过更多冗余进行判断，得到一个更全局的结果，生成最终答案。整个系统让我们达到了 SOTA 水平。
泓君
我发现，这种可以上网的模型，有时候答案并不是 AI 推理出来的，而是搜索到了，所以可能会出现一些失真。我注意到，你们自己做评测的时候，还是会专门把那些能直接搜到答案的网站屏蔽掉，是吗？
Simon 杜少雷
是的。这是现在搜索类问题，尤其是 benchmark 的一个普遍问题。因为只要 benchmark 公开了，答案大家就都知道了。你甚至可以直接在 GitHub 上新建一个页面，把答案放上去。那我的新模型只要搜到这个页面，就可以答对，但这并不是真正的 benchmark 目的。
benchmark 的目的，还是考验模型的深度搜索能力。所以我们一般会检查自己生成的答案，看模型是不是有作弊行为。如果有，我们就会把 GitHub 等网站屏蔽掉。
但有些榜单已经被污染得比较严重了，后来我们干脆也就不报了。
泓君
我注意到，你们在 deep research 的后训练环节，相当于用一个完整的 agent 团队，替代单个 agent 的验证。一个复杂任务，你们可以调动上百个子 agent。
你会认为，一个聪明的 AI，反而干不过一个能够相互 check 的团队吗？
Simon 杜少雷
7. 多智能体破解上下文上限
我非常相信这一点。这是目前我认为基于 self-attention 结构的一个本质问题。我认为即使使用 linear attention 这样一些新的结构，也应该解决不了超长上下文的问题。
上下文越长，attention 的效果就越差。所以，单个模型只要处在目前的技术范式下，还是有上限的。当然这和人类也很像：人的脑子是有限的，所以才需要纸笔，把一些信息记录下来，之后再调用。
至少在近期，我不太相信一个 agent 能解决特别特别长的上下文问题。所以这种时候就需要多个 agent 和记忆机制：多个 agent 分别解决不同问题，记忆机制把信息保存起来，再互相分享，通过整个系统去解决超长程问题。
泓君
现在说到 deep research 的能力，工程能力和模型能力谁更重要？
Simon 杜少雷
我认为这两个属于一加一大于二的结果。你当然可以一直强化模型能力，而且我认为模型能力现在仍然可以继续提高。但当模型能力达到一定程度以后，稍微做一些 agent 上的优化，就可能大幅提高整体能力。
当然，agent 工程，也就是 agent harness 上的提升，总是有限的。到了这个时候，还是需要模型能力的本质提升，进一步提高 deep research，或者整个系统的能力。
所以我认为，这两者基本上是一加一大于二的关系。
泓君
我虽然知道你们主要是在做模型，但想替创业者问一个问题。以前大家创业时最担心的是：模型基础能力一升级，所有做 agent、做垂直领域的团队，能力很快就会被基础模型覆盖掉。
如果按照我们刚刚讲的，一个聪明的 AI 由于 attention、Transformer 整个架构上的限制，反而干不过一个相互 check 的系统，是不是意味着，现在一个能把工程能力做到极致、把很多子 agent 用得非常好的团队，也具备自己的深护城河，不太容易被模型智力的提升覆盖掉？
Simon 杜少雷
我基本同意这一点。Agent 系统本身也是我们经过大量实验才验证出来的。我们目前的系统比较合理，而且效果很好。
如果一个创业团队真的证明自己通过完整的 agent 系统达到了非常好的效果，那他们之前肯定也做了大量实验，验证这套系统确实有效。
但这个领域相对也比较卷，能够做这种实验的团队可能不少。因为训练一个模型确实需要很多资源，但调试或者做 agent 相关实验，所需要的资源相对少一些，基本上只要调 API 就可以。
当然，有些垂直领域可以越做越深，包括金融、法律等。具体领域的知识和经验，确实还是很有意义的。
泓君
贝斌有补充吗？
李贝斌
往后退一步想，如果一个模型，或者说一个 single agent，单智能体，能做得很好，那么我们把它的 harness 设计得更好，让多个智能体一起合作，就可以把问题做得更深、更好。
所以我觉得，在垂直领域做 agent team，或者做脚手架的公司，未来肯定还是有发展的，也有非常多的机会。
但有一点要注意：现在模型发布得非常快，可能每个月都会有一两个比较强大的模型出来。新的模型会有新的能力，有自己的偏好，行为也会不太一样，所以脚手架的设计可能需要进行微调。
新的模型也许会让脚手架调得比以前更好。这也是我们之前做自我进化时发现的：为什么后训练和脚手架很难解耦？如果模型能力或者训练数据稍微变一下，它对新脚手架的适应能力也可能发生微小变化。
你可能设计出更好的一加一大于二的效果，或者模型变强了，脚手架也变强了，两者放在一起就能产生爆炸性的效果。
泓君
听起来，现在还是一个非常卷、非常辛苦的行业，要时刻跟着模型迭代去更新自己的架构。
Simon 杜少雷
对。我同意，AI 行业一周可能相当于传统行业的一个月，甚至一个季度。
泓君
接下来可能就是我最兴奋的一个板块了。Apodex 要做 Discovery Model。Simon，你要不要先跟大家介绍一下，Apodex 整体上是一个什么样的模型？
Simon 杜少雷
8. Apodex押注重型求解器
Apodex 是陈天桥先生创建的公司。他希望做一个让 AI 进行发现、进行科学研究的模型。
我们的长期愿景是 heavy-duty solver，强调解决非常难的问题，而不是聊天机器人这类大模型初期的应用。我们采取的手段就是自我进化，这也是我们一直强调的。
我们相信，大模型最终能够解决人类之前解决不了的问题。从经济角度来说，现在大部分模型厂商都在卖 token，但我们相信，真正通过大模型解决了人类尚未解决的问题之后，解决问题本身所创造的价值，应该远大于卖 token 的价值。
所以，陈天桥陈总的目标是直接解决最难的问题。从经济角度来说，我们可以直接获得解决最终问题所创造的价值。从问题角度来说，目前考虑的领域包括生物、材料科学等等。
我们还有一个专门的团队，叫 Heavy Duty Discovery，专门去寻找最难的问题。然后我们会有针对性地进行模型训练，去解决那些最难的问题。
泓君
你刚刚提到，内部有一个 Heavy Duty Discovery 团队。他们现在具体在找哪些问题？第一步想切入的是生物医药领域，对吗？
Simon 杜少雷
是的。第一步是生物医药，包括制药、靶点发现、老药新用，也包括疾病诊断。很多问题确实是非常具体的领域问题，所以我们需要一个专门的团队去寻找哪些问题适合解决。
泓君
我很期待你们的下一步。我们刚刚说到，让模型解决问题。我发现，你们给自己的定位是 discovery model，而不是 generative model。中文来说，就是发现模型，而不是生成模型。
贝斌，你要不要跟大家解释一下，这两个模型在根本上的区别是什么？
李备斌
9. 发现模型寻找未知假设
让模型提出一个假设，其实并不是特别难。难的是提出一个非常 out of distribution 的假设，也就是在 pre-training data 里、在网上很难找到，或者人类很难想到的假设。
第二个更大的难点是，我们要怎么样验证这个假设。这和 verification、自我验证的能力也是强相关的。
如果把 discovery 拆开来看，第一，它需要非常有创新性，能够提出新的假设；第二，它需要判断这个假设是否成立。当然，这里也有很多不同的方法。
比如，可以用 deep research 的方法收集已有信息，找到更好的假设；也可以用写代码或者 self-verification 的方法跑一些实验。如果能在计算机上进行模拟，也可以让我们对这个新假设更有信心。
所以，discovery 的第一个瓶颈是，在未知领域很难有标准答案，也很难构造出一个 simulation environment，得到可信的验证。自我进化就是我们通向 heavy-duty solver 和 discovery 的主要方法。
泓君
我们说到 discovery model 时，你刚刚提到要提出很多假设，然后去求证。这让我想到了科学领域最基础的一个方法，就是“大胆假设，小心求证”。
这其实也是我自己开始做记者、做报道时一直贯彻的价值观：大胆假设，提出傻问题，然后再去求证自己的思路和问题是不是对的。
但如果把这件事交给模型，大家以前对模型的印象是：它能从网上、从人类现有的知识库里找到已知知识的答案，就已经很不错了。现在，模型的智力要怎么样才能既理解人类的知识，又能提出问题？
我觉得这已经不是让 AI 做解题者了，而更像是让 AI 做科学家，让它能够提出问题、发现问题。这非常难。
李备斌
你刚才提到的确实是现在的难点。怎么样训练一个 generative model，市面上已经有很多可行的方法，相关 recipe 和训练配方也非常成熟。但如何让模型进行假设和 discovery，大家还在不断调试，还没有完全调通。
回到你刚才说的，怎么样像科学家一样在未知中提出问题？也可以再往下细分。比如在写代码领域，像 Swi Verify 这类题目，我们训练的其实都是模型如何做解题家。
但会提问，是我们所说的 meta 能力，是更高维的一种能力。这也涉及我刚刚说的后训练 loop：自我诊断，然后自我出题，再自我训练。
模型要怎么样从当前的回答、从收集到的所有信息里，诊断出哪里的能力有问题，或者哪里的 hypothesis 需要进一步深入研究？这是我们接下来会重点关注的领域和方向。
泓君
在学术界大家都知道，有好的 paper，也有灌水 paper。我们也想培养模型成为真正的好科学家，那就需要培养非常好的 taste，也就是学术品味。
你提出一个新问题，肯定要先做 deep research，找到已有知识。但提出什么样的问题，其实是仁者见仁、智者见智。你可以提出一个 incremental 的问题，它可能比较容易，能够发一篇 paper；也可以提出一个更加本质、更加 fundamental 的问题，它可能没那么容易解决，但一旦解决，真的能让科学有所突破。
这也是你们之后会进一步训练模型的方向，让它有更好的学术品味，对吗？
Simon 杜少雷
10. 科学发现需要顶级品味
对。我们一般说一个人是不是顶级科学家，不是看他发表了多少篇 paper，而是看他最好的一篇 paper 质量有多高。所以我们一定要追求顶点，去解答最本质的问题，这甚至要写进模型宪法里。
具体实操和训练方法上，目前可能还是已有的一些方法，比如 RLHF、SFT，或者 RL。最简单的方法当然是偏好数据：你问一个科学家两道题，他一般能够判断哪个是灌水题，哪个不是。那你就应该让模型多提一些非灌水题。
泓君
AI 现在能判断哪个是灌水题，哪个不是吗？
Simon 杜少雷
只要经过这方面的训练，我觉得还是没什么问题的。
泓君
贝斌，你觉得在和顶级科学家交互的过程中，你学到了什么？你觉得这些思想怎么可以用到模型训练中？
李备斌
我想来想去，可能还是“品味”这个词。
其实 AI 很快就能进行自我进化了，我对此非常坚信。要么是接下来半年，要么是一年，反正接下来两三年内，自我进化肯定会成功。
那在那个时候，我们还需要顶级 AI 科学家干什么？或者说，我们还需要人类干什么？想来想去，还是品味这个词。
训练不同模型的时候，我发现品味是真的存在。同样读完一篇 paper，有的人只能想到一个非常小的改进，有的人却能想到一个 substantial improvement，一个非常大、非常长远的假设，但这需要做非常多的工作，迈非常大的步子才能解决。
这是一个非常好的例子。现在我觉得，即使是市面上最好的模型，它的品味也远低于一个普通的 AI 科学家。这也是为什么现在 AI 写代码写得很好，但还是不能把模型训练完全自动化。
所以接下来，不管是作为人类顶尖 AI 科学家，还是作为 researcher、engineer 去训练模型，都需要把控模型的品味。
这非常难，因为如果大家用过很多不同种类的模型，会发现所有模型都有一些共性的问题。它们或多或少都挺喜欢拍马屁。一个喜欢拍马屁的模型，很难提出大胆的假设。
除了拍马屁，它还有一点我们叫 hedging behavior，也就是对冲行为。比如“你说得对，刚刚是我的疏忽，但我说的也没有错。你说得更全面。你还想问其他问题吗？”我们可以看到，AI 模型经常用这样的方法回答用户问题。
所以，不管是训练 verifier、self-evolve 还是 discovery，我们都会在后训练中训练模型提出假设的能力，比如放在 diagnose 里面。
但这也有另一个缺点：我们怎么样保证训练出来的新模型不会出现“鸡蛋里挑骨头”的行为？这就需要用品味来平衡。模型既不要拍马屁，也不要鸡蛋里挑骨头，而是要真正提出一个非常好的假设，再像你说的那样小心验证，把这个假设验证出来。
泓君
你刚刚提到了模型拍马屁，也就是用户说什么它都觉得对。我确实发现，在使用很多模型的过程中，这是最痛苦的一部分。它不会给你一个事实性的答案，永远给你的是迎合你的答案。
这是不是和训练模型时把参数往哪边调、给它注入什么样的人格特质有关？而且每家模型在风格上，细微之处也会有一些不同。
Simon 杜少雷
当然。Apodex 不做聊天模型，所以可能会稍微好一点。
不管哪家公司，在后训练时或多或少都会有一个基于人类偏好的阶段。这种偏好数据的来源，基本上是用户投票的数据，有点类似于 OMCS Arena；也可能是模型训练公司让员工标注的 preference，也就是偏好数据。
人不是完美的，所以人类本身可能有一些特殊偏好。比如喜欢说好话、拍马屁的模型，喜欢写得特别长的答案，或者偏好格式非常结构化、拥有很多 section 和 list 的 Markdown 格式。即使 Markdown 本身没有实际意义，也可能因为人为的 bias，让模型表现出不同的拍马屁行为。
Apodex 想做 heavy-duty solver，所以不会用网上大众的人类偏好来训练模型，或多或少可以避免一些这样的问题。未来训练模型时，我们肯定希望由最顶尖的人类来标注 preference 数据，或者给不同模型的答案打分，确保公正、公平，也从数据源头上解决这些问题。
泓君
我觉得这几个方向都很重要。你刚刚提到，既不要拍马屁，也不要鸡蛋里挑骨头。可能不拍马屁这件事，因为你们不做 To C 的用户端，对你们来说稍微简单一点。
但不鸡蛋里挑骨头，你们有经验吗？我们知道了两个“不”，那要做什么样的模型，要把什么样的人格注入模型里？
Simon 杜少雷
刚刚我们其实聊的就是品味。我把左边和右边两个“不”打出来，中间就是我们要的：要有品味。
不管模型是通过 research 找到相关信息，还是通过写代码得到答案，有了这些原始材料之后，它还要通过自己的思考和推理，给出一个相对合理的解释。
Agent team 也能稍微解决这个问题。至于拍马屁，我们其实正在做这件事：用户让我们做某件事，如果我们觉得不合理，就应该告诉用户，这件事不应该做，而不是拍马屁。
我们有一整套系统来达到这个目的，包括 Constitutional AI。宪法这个概念，应该是 Anthropic 几年前提出的。它给整个模型定义了一种性格，我们会把这种性格训练进模型的权重里。
当然，还有很多具体内容。比如我们注重真实性，如果用户说错了，就要纠正他。这里的细节，就是通过 verification 或者 agent team 的形式，或多或少去验证用户说得对不对，然后反驳他。
至于什么样的问题是好问题、怎样避免鸡蛋里挑骨头，这确实是一个品味问题。甚至让我们写一部宪法或者一份 document，明确告诉模型什么是好问题、什么是坏问题，也很难做到。
这方面更多还是要通过和顶级科学家交流，以及顶级科学家提供的偏好数据，去培养这样的品味。这和我们平时在学校培养 PhD 是一样的：学生会来问什么题目值得做、什么不值得做，我们会告诉他。
我们公司确实有机会接触各行各业的顶级科学家，这是非常重要的一点。这也是陈天桥陈总从一开始的 vision：我们从一开始就要做 heavy-duty solver，所以需要和顶级科学家对齐，培养这样的品味。
泓君
我确实知道，陈天桥先生和很多主流顶级科学家都保持着非常密切的联系。我在想，人类顶级科学家的样本量其实非常小。我们说大模型的“大”很重要，有 scaling law。那顶级科学家人工判断的品味标注，和用更大量的数据训练模型相比，它能够贡献的核心比例是多少？
Simon 杜少雷
从数据角度来说，预训练确实需要大量数据，所以才有 scaling law。后训练相对来说需求会少一些，而且现在已经有更多方法去总结一个人的品格和性质。
比如 Meta 最近也在蒸馏员工，其实也是在蒸馏他们的性格或行为习惯。最近越来越多的研究都在尝试总结一个人的品格、性格，以及一个个体的能力，看看能不能用自然语言或者其他方式把它转化为大模型可以利用的东西。这也是一个比较新的方向。
泓君
我记得音乐模型刚刚兴起的时候，正好是 Suno 那一波。当时我问做音乐模型的科学家：Suno 做的歌太一般了，像大街上的口水歌。它能不能做出像周杰伦、Taylor Swift 那样，真正有品味的歌曲？
他当时给我的答案是：“可以，但这件事不是受限于技术，而是受限于版权。因为版权因素，他们不敢拿顶级音乐人的歌曲去训练，所以使用的都是版权库里面比较简单的配乐。但如果真的用人类最精华、最好的歌曲去训练，完全可以训练出来。”
如果我们说用顶级科学家的品味训练模型，是不是也是同样的道理？
Simon 杜少雷
对，我很同意这一点。人类也是从婴儿开始，最后有人会成为顶级科学家。
一个人走上成为顶级科学家的道路，本质上也是因为别人不断给他反馈，告诉他什么是好的、什么是不好的，而他得到的数据其实也没有那么多。我们仍然相信，通过顶级科学家的指导，可以让模型拥有顶级科学家的品味。
泓君
我注意到，想让 AI 自己做科学家、自己做发现，几乎是现在所有顶级模型公司都在做的事情。
OpenAI 已经把能够自己承担大型研究课题的 AI 研究员，定成了未来几年的头号目标。DeepMind 从创立那天起就是为科学而生的。我们之前也讲过 DeepMind 创始人的经历，大家有兴趣可以回听那一期播客。AlphaFold 还拿了诺贝尔奖。
现在，Gemini 也说自己要做多智能体的 co-scientist，也就是共同合作的科学家。Anthropic 的 Dario Amodei 也想要有一个“国家级的科学家天才团队”。
听上去，现在所有顶级模型公司都想做科学家，都想让 AI 进行发现、提出好的问题。你们觉得，Apodex 的核心优势是什么？不做 To C 类模型应该算一个核心优势，因为你们可以直接调模型权重。除此之外还有什么？
Simon 杜少雷
这个战场确实非常激烈，但它的价值也很大。真正解决一个困难的科学问题，是非常有意义的。
而且科学问题非常广。这个世界上有那么多学科，解决其中几个问题，就已经足够称得上是很大的突破了。所以我觉得，不止一家公司可以成功。
Apodex 的优势，我觉得首先是比较专注。我们不是聊天机器人这样的模型，也不刻意迎合用户的偏好。现在大模型的发展，包括各种训练 recipe、配方和算法，大家已经知道得差不多了，差别更多在于执行力和整个组织架构。
我们从上到下都很有执行力。陈总本人也是非常非常投入，整天和我们交流，也整天和 AI 交流，并且从方向和其他方面给我们提供很多指导和帮助。
我们下面的执行力也很强。因为还是一个非常小的 startup，有 startup 的文化，所以我们比较 focus，只做好一件事情，就是做 heavy-duty solver。
从组织形式上来说，我们和大厂、大公司相比有很大优势。内部摩擦比较小，沟通成本也很低，这些都是大模型公司快速发展的关键。
泓君
贝斌有补充吗？
李备斌
我做所谓的 AI for Science 已经有 10 多年了。在读博士之前，我就在做 AI for Science，当时主要是在医疗行业，用 AI 研究自闭症。
其实你刚刚说，现在很多公司都开始做 AI for Science，我觉得这不一定是竞争，反而像是希望的曙光。因为过去十几年来，科学技术或者 IT 技术用于科学研究，还没有太多真正 scalable 的成果。
但随着 language model、generative model 和 discovery model 技术提升，我觉得未来 5 到 10 年，真的做出具有科研价值和现实意义的成果，是非常有希望的。
这个世界上的科研问题是无限的，有价值的科研问题也是无限的。但人的精力有限，整个世界的 GPU 也有限。怎么样在有限的 resource 里面找到最有价值的问题去解决，才是最重要的一步。
所以，Apodex 有一个 HDD 团队，也就是 Heavy Duty Discovery。这个团队有 full-time 员工，和不同的顶级科学家交流，再从几千个科研问题里找到最有价值的问题来做。这可能是 Apodex 和市面上一些其他公司的一个比较大的区别。
泓君
我觉得你这点讲得特别好。AI for Science 里面，科学问题确实是无穷无尽的。
刚刚我们提到了生物医药。之后我们还会有一期节目，专门聊 DeepMind 是怎么做自己的生物医药大模型的。DeepMind 这条线也很有意思：它最早解决的是蛋白质如何折叠，到现在已经开始预测药物和蛋白质如何结合。
但我觉得，它目前也只是解决了新药研发流程中偏上游、计算预测的这一段，离真正把药做出来、送进临床，中间还有巨大空间。可是光是这一段，就已经支撑起 30 亿美元的融资了。
所以哪怕大家都做生物医药，里面的问题也无穷无尽。科学问题非常广阔，包括物理问题、太空探索、材料问题等等。
Simon 杜少雷
另外我再补充一点：Apodex 不是在做 AI for Science，只不过 AI for Science 和 heavy-duty solver 有非常大的重叠，所以我们会 focus 在医药、生物等领域。
泓君
AI for Science 和 heavy-duty solver，这两个概念能不能简单解释一下？你们在方向上的区别是什么？
Simon 杜少雷
现在有很多模型叫垂域模型，它们会使用某一个具体领域的大量数据，训练模型在这个领域里的能力。
但我们这边的 heavy-duty solver 还是一个比较通用的模型。我们会强调一些特别的元能力，包括验证能力，也就是 verification，还有分析、搜索和计划，也就是 planning。
我们相信，这些元能力对真正的难题都很有意义，这是我们会重点训练的能力。但我们不会针对某一个特别领域，比如生物，就放 50% 的 data。这个我们不会做。
泓君
刚刚贝斌提到一个小细节，我非常感兴趣。你说 AI 还有半年就能完成自我进化和提升，这句话当时让我觉得很有意思。你能不能详细解释一下，它是什么意思？
李备斌
11. 自进化闭环仍未完成
我说的半年，是指最快可能在半年内开始把闭环跑通。
闭环里，我觉得难度最大的其实是 post-training。我认为半年之内，至少可以让这个闭环跑出一环。如果 RSI 里面的 R 是 recursive，需要跑很多很多环，那我觉得跑完一环应该是半年到一年左右。
比如，我们可以让模型在一个 domain 里自我进化，像 coding for material science。模型可以在这个领域发现自己写的代码有什么问题，构造很多训练环境和训练数据，然后在此基础上验证训练之后是否有提升，以此进行迭代。
这样的 loop 运行一次，我觉得半年之内应该能够成功。因为 Anthropic 这几个月也发过一篇 blog，说大概 80% 的代码是模型写的。
但现在还有一些问题，即使是市面上最强的模型也没有完全解决。不过从我们最近的观察和训练结果来看，我觉得很快就会有突破。
泓君
你说的问题是什么？
李贝斌
没有解决的问题有很多，但让我睡不着觉的一个问题是：我们怎么知道模型在自我进化时满足了人类的需求，没有跑偏？
这个跑偏可能是安全上的跑偏，也可能是目标上的跑偏。如果我们只是简单地告诉模型，“给我造一个更好的材料科学模型或一套算法”，它可能真的造出来了，但在我们没有观测到的地方，比如 cost，或者疏水性等其他性能上，可能会做出非常大的 compromise。
这是我比较担心的。因为人和人交流时，需求通常说得比较模糊。但特别是在训练模型时，如果你对模型或者 evolution 说得比较模糊，它可能会理解成：“用户让我迭代写代码的能力，但我遇到了一个瓶颈。不过没关系，我换一个方法来达到这个目标。”
我们需要监控模型的这种行为，这是我觉得最大的问题。
泓君
你觉得现在某种程度上，这两个问题解决了吗？一个是安全，另一个是它为了达到目标而不择手段。
李备斌
我个人看来，还是没有解决。但我仍然是一个非常乐观的人，所以我觉得应该很快就会有解决方法。
泓君
你刚刚说这是一个让你睡不着觉的问题。从你的角度来说，哪些解决方案会让你现在稍微安心一点？我们当然可以想到一个办法，就是穷举尽可能多的可能性。但这是不是看起来有点笨？
李备斌
这也是为什么我们还没有完成全自动化。我现在做得最多的一件事情，就是每天在工作时间阅读模型的输出，阅读智能体每一步的操作，确保它每一步的操作，或者整个过程，大致都在我可以理解、可以控制的范围之内。
一旦我发现它有一些比较蠢的行为，或者某种解决方法让我感觉不太对，我就会赶快停下智能体的 loop，手动改一改、调一调，再让它进一步提升。
这就是我们刚刚说的比较笨的方法，只不过现在是我手动做。未来能不能让一个智能体代替我做这些手调？现在大家提到一个很火、也很搞笑的概念，就是“员工蒸馏”：能不能把我每天做的事情蒸馏到智能体里面，甚至蒸馏到模型的 capability 里面？
我觉得这个 idea 虽然大家是当笑话说，但它是可行的。如果我们在 3 个月之内，能把我或者我的同事蒸馏到 Apodex 的模型或脚手架里，那我们现在每天做的很多事情——不管是读代码、改代码，还是阅读模型输出、阅读智能体输出——都可以加速自我进化、自我迭代的流程。
泓君
我们假设一下，真的把蓓斌蒸馏了，你会担心自己失业吗？
李备斌
说不担心肯定是假的。但即使我担心，我其实还是乐观的。
不同的人有不同的例子，比如汽车取代马车，或者 AT&T 的自动转接机。但我觉得这一次可能和之前的工业革命不太一样。我确实有点担心自己会被取代。
我记得非常清楚，2021 年我就开始有这个担心了。当时还是 GPT-3 时代，连 GPT-3.5 都没有。GPT-3 被微软放进了 GitHub Copilot 之后，我输入一个 function 的名字，它就能把整个 function 补全。
当时我还在读博士的最后一年，整个人都瘫在椅子上了。我觉得完蛋了，毕业即失业。我读完整个 PhD、学到的这些东西，模型一行代码就能帮我补全，那我以后是不是就没工作了？
但你看，现在 5 年之后我还在这里，我还有工作，只不过 day-to-day 的工作不一样了。我不再一个 function 一个 function 地写代码，而是站在更高的维度、更高的层面，监控不同的智能体写代码。
所以，模型会取代我今天做的事情，但不一定能取代我 5 年之后会做的事情。
泓君
你刚刚提到，你每天都在评判模型的质量，做验证工作。如果未来有一个“假设被蒸馏”的 AI agent，可以替你完成监督、校验和验证，那就相当于 AI 开始自己变成考官。它所有的行为，都在模仿你的行为、你的品味和你的价值观，做类似的判断。
那是不是说，有了这样的 AI 以后，让 AI 去验证的 RSI 闭环就跑通了？这就是你说的，还有半年可以做到？
李备斌
SI，也就是 self-improvement，半年左右可以跑通；R 可能还要多花一两年。
泓君
R 是什么？
李蓓斌
R 是 recursive，也就是把它递归迭代起来。
现在即使跑通了，我们每次迭代之后，或者每几次迭代之后，还是要人工检查有没有之前聊过的 recursive drift，也就是递归漂移的问题。
所以，半年到一年，我们可以解决这个 loop，但没有办法完全解决漂移。不过我仍然有信心，几年之内可以把漂移问题完全解决。
现在我们可以不断缩小漂移。假设普通模型每次会漂移 10%，如果我们能把它降到 1%，就已经很好了。但未来的目标是把它降到 0.1%，甚至 0.01%。这样我们就可以更有信心地让模型自我迭代，比如 3 个月、6 个月之后再回来看它有没有超过之前的水平。
这相当于，我们监控模型的周期不需要那么频繁了。
泓君
整个业界基本上都在往这个方向走。你觉得在这个过程中，AI 自我进化最后的一道坎，一个是提出问题的品味，一个是判断结果是否可信。你们分别在做 discovery 和 verification。
那你觉得，这个品味到底是谁的品味？是科学研究员的品味，还是创始人的品味？这之间是怎么相互体现的？
李备斌
现在来说，大部分是 AI 研究员的品味。但研究员的品味，会被创始人的品味间接影响。
因为陈天桥陈总在选择研究员时，肯定会根据自己的品味选择研究员。但这一点我其实不担心，因为品味没有对错，也没有绝对的好坏，只有适合和不适合的区别。
第二，不管怎么样，现在这个模型还是使用我们的数据，或者由我个人来监控模型的行为。但未来我相信，把时间线拉长到 5 年之后，我们的品味对 AI 模型的影响会越来越小。
这就像 AlphaGo 最初训练时受到训练数据和棋谱的影响很大，但到了 AlphaZero，它已经不再从人类的品味中学习这项技术，而是通过自我品味、自我回放、自我 reasoning，形成自己独特的一套品味。
泓君
所以，AI 会在整个过程中，通过 RSI 里的 R，形成自己的品味？
李蓓斌
没错。我觉得我们的品味只是一个 warm start，只是给它热启动了一下。以后 AI 会有自己的品味。
泓君
你刚刚提到了陈天桥先生对 Apodex 的品味。具体来说，他在工作上主要关注哪些方向？他怎么样保证大家研究的焦点始终放在重要问题上？
李备斌
这也是一个很好的问题。陈总在战略方面有非常多的把控，经常和我们开会，讨论研究、对齐所有战略方向。
因为我们都有不同的背景。比如我之前做过很多年 AI for Science，Simon 做过很多年强化学习，我们总会把过去在学校或学术界形成的一些习惯带到 Apodex。
这时陈总可能会发现，我们的一些下注和公司的大战略方向不太对齐。他一般会和我们开会，指出我们哪里错了、哪里偏离了公司的使命，然后把我们掰回正确的道路。
泓君
能举一个具体的小例子吗？
李备斌
比如 heavy-duty solver 本身应该有很强的推理能力。碰到一个问题时，模型应该先把问题分解，再进行搜索，搜集相关信息，然后总结这些信息，最后给出答案。这是比较合理的 heavy-duty solver，或者说一个注重推理能力的模型应该有的行为。
但以前很多时候，为了强化搜索能力，我们放入了很多搜索相关的数据。模型的行为就会变成，一上来先搜索，而不是先仔细思考问题，把它分解成子问题，再进行搜索。
陈天桥陈总自己使用模型时，就能看出这种行为并不是真正的 heavy-duty solver。于是我们需要改变方向，先改变它的行为，不管是通过数据还是 agent 的方式。
这里也涉及我之前说的模型宪法。基本上，这部宪法也是陈总自己制定的。模型训练、调优等环节，也都会用到陈总参与撰写的 constitution。
泓君
我知道，之前两位的老板也是马斯克。你们觉得马斯克的风格和陈天桥先生的风格有什么不一样？
Simon 杜少雷
我觉得他们的性格比较类似，但陈总的眼光和看待问题的方法，和马斯克很不一样。
比如陈总非常注重 AI for Science，或者说 heavy-duty solver。马斯克以前也和我们说过非常类似的话，当然他的原话不是 heavy-duty，会用其他 terminology。但说的话和做的事情其实不太一样。
大家可以看到，马斯克特别喜欢在 X，也就是 Twitter 上发文。他经常用 AI 做一些小事情，比如画图、回答问题，对这些非常上心。他甚至可能每周都会问一次 Grok for X 的发展进展怎么样了，所以他其实非常注重 chat 这个 feature。
但陈总说的和做的基本上是一致的。他口头上说非常看重 heavy-duty software，focus 就是 heavy-duty software。他对聊天模型、视频生成、图片生成都没有兴趣。
我觉得这就是一个非常 align 的地方：非常专注。
李蓓斌
陈总从头到尾一直强调做 heavy-duty solver，也和我们说，图片、视频生成和这个目标基本上是正交的，所以我们根本不做这些方向。
泓君
谢谢大家。我觉得这期节目非常精彩。聊完之后，我始终在想品味的问题。
Simon 说，顶级科学家不是看发表了多少篇 paper，而是看最好的一篇 paper 质量有多高。他其实点出了一个更大的问题：如果 AI 的品味是从人类顶级科学家那里热启动的，那么这种品味本质上还是由少数人塑造的。
未来，面向更加普罗大众的 To C AI，到底应该代表谁的价值观？关于 AI 的哲学思考，也是我们这个时代急需的讨论。