程曼祺
范式变化这个词在 AI 圈子被用得有点叙事过载了。DeepSeek 放弃了 V3 的 MLA 架构，Kimi 的 K2 系列，以及 GLM-5 系列，依然采用的是 MLA 架构。现在的 token 浪费，有种拿着高压水枪浇花的美感。我们现在不是说能不能做到，而是说我们不知道还有哪些需要做的。
欢迎收听《晚点聊》，我是曼祺。这是一期非常硬核的节目，我邀请了两位一线 AI 从业者，和我一起详解 DeepSeek V4 的技术报告。一位是模型架构背景的刘逸峰，UCLA 在读博士；一位是 Infra 背景的赵晨阳，他已加入由开源推理框架 SGLang 核心团队成立的商业公司 RadixArk。
如果用一句话概括，DeepSeek V4 是继续在 R1 的测试时扩展范式下，用一系列组合创新和工程优化，让百万上下文从理论进入了实用新阶段。下面我们正式进入节目。
刘逸峰
哈喽，大家好，我是刘逸峰，目前是 UCLA 的计算机博士生，之前在微软和字节参与过基础模型研发。我主要研究方向是大语言模型的预训练，包括优化器和模型架构，也有后训练研究经历。目前我一方面在开发新的大语言模型训练算法，另一方面也在尝试利用目前工业级别模型的力量，参与组里面 AI Agent 相关的项目开发。
赵晨阳
Hello，大家好。我和逸峰是本科加博士同学。我姓赵，叫赵晨阳。我在美国硅谷一家叫 RadixArk 的公司担任工程师，然后在 SGLang 这个开源推理架构和生态项目里面做开发。我们这个项目大概部署在全球超过 40 万张 GPU 上，做生产级别的推理，算是这一代开源引擎当中规模很大的一个了。
我自己先前做强化学习系统很多，也亲眼见证了 DeepSeek R1 在 LLM RL 领域带来的巨大影响力，可以说某种意义上让这个领域得到了前所未有的重视。上一周 DeepSeek 新一代的模型 V4 发布了，这也是我们今天要讨论的重点。
我们团队做了相当多的工程优化，成功在 DeepSeek V4 发布的当天就把推理和强化学习两条链路都跑通了。待会儿聊到 Infra 部分，我会展开讲一讲。
程曼祺
今天的播客会由我和逸峰一块来分享，因为逸峰的背景和之前的经验比较偏算法和架构，晨阳则比较偏 Infra。这两方面 V4 都会有一些改进和新的东西，两位的视角非常互补。
在正式来聊 V4 的进展之前，有几个我比较关心的问题。一个是 V4 发布之后，你们作为一线的 AI 从业者，自己上手使用的体验是怎样的？
刘逸峰
从用户使用端的角度，我也在 Arena AI 上面把 DeepSeek V4 和其他模型进行对比。我感觉无论是数学推理、代码编写，还是让它 follow 一个 Agent 的指令执行，都要比 V3 好得多，尤其是幻觉比 V3 少得多。
能力上我觉得它跟 V3+ 还是比较接近的。当然在代码层面，Code 还是比其他模型要好得多。体感上我觉得它跟 Kimi、K2.6 这些开源模型比较接近。
程曼祺
你说和 Kimi 最近发布的模型感觉接近，那就可以说，中国这些第一梯队的开源模型，其实用起来体感都差不了太多。
刘逸峰
对，但是代码方面，还是跟国外的顶尖模型有一定的差距。
程曼祺
晨阳，你可以说说你用 V4 的感受吗？因为这次你带的 SGLang 创业团队 RadixArk，也做了 DeepSeek 的 Infra 适配。做这个适配的过程中，你有什么比较有意思的发现吗？
赵晨阳
这个很好玩。从工程角度来说，大概从 DeepSeek V3 开始，我们有一个戏称：DeepSeek 每年的发布，都会为开源社区的研究和 Infra 基本上续命一年，会注入非常强大的活力。
比如去年 DeepSeek 提出 MLA、MoE 等架构，我们前前后后扎扎实实做了大概一年的时间，才能把这些细节都在开源领域实现一遍。今年我预感也不会例外，因为今年他们报告里的 Infra 细节非常扎实。
DeepSeek V4 依旧是 Infra 巨鲸。这次的架构变化也非常大。从 DeepSeek V2 到 DeepSeek V3，我们觉得 Inference 的变化比较渐进，整体上是把 MLA 和 DeepSeek MoE 这两套架构做了规模扩展。
到了 DeepSeek V4，注意力本身又有了新的巨大改变：滑动窗口注意力搭配双压缩策略，难度非常大。我们在适配这个过程当中，也得为先前已有的前缀缓存、投机采样等方法做非常多的优化。最终我们拿到的效果也很不错，在各家评测上处于领先地位。
程曼祺
逸峰你这几天也去参加 ICLR 了，很多研究员也聚在一起，又赶上 V4 发布。会场上大家有什么讨论吗？
刘逸峰
刚好 DeepSeek 在会议期间发布了 V4，大家讨论比较感兴趣的一个点是，DeepSeek 放弃了 V3 的 MLA 架构。之前 DeepSeek 提出 MLA 之后，Kimi 的 K2 系列、GLM-5 系列之类的开源模型依然采用 MLA 架构。
今年 ICLR 会议上也有一些基于 MLA 架构的改进，或者说雕花，比如并行 MLA 之类的改进。大家就会讨论，继续在 MLA 的范式上进行深挖或者雕花的研究，到底还有没有意义。
另一方面，大家也在思考，未来模型架构还有什么值得改进的方向。几个月之前，大家都认为现在比较先进的开源模型，模型架构都逐渐收敛了，比如都收敛到 MLA，再在 MLA 基础之上进行一些小的改进。
但 DeepSeek 又放弃了 MLA 架构，回到了传统的 MQA 架构。这说明模型架构本身其实还是有非常大的改进空间的。
程曼祺
MLA 是 V2 时候他们提出的。如果简单解释一下，MLA 和 MQA 的区别是什么？
刘逸峰
MQA 其实跟最原始的 Multi-Head Attention 差不多。MLA 则完全不一样，它会将 KV 进行低秩压缩。这样的话，我只需要存储压缩过的 KV，然后在 Inference 的时候再把它 scale 上去，就能够节省 KV Cache。
所以在比较核心的注意力机制这一块，V4 相比 V3 又有一个比较大的改进。
刘逸峰
V4 相比 V3，引入了 token-wise 的一些改进，做了一个非常大尺度的压缩。我猜测可能是由于底层实现的原因：如果把这些压缩合并到 MLA 上，实现起来可能相当复杂，也可能正因为这一点，他们舍弃了 MLA 这种比较复杂的结构。
程曼祺
这次技术报告里有一个消失的东西，就是训练成本。我是指相比于 V3，V3 的时候直接提到最后一次训练成本是 557 万美元。这次报告，包括他们自己的官方博客，都没有特别明确地讲这个数字。两位怎么看这个变化？
刘逸峰
我觉得首先，作为一家严谨、成熟的公司，DeepSeek 内部对成本的核算一定算得非常清楚。他们不选择主动公开，本身就是一个信号：他们不再是一个需要靠成本叙事来定义自己的团队，而是希望用模型本身的能力来说话，让模型代表他们发声。
最终模型最后一次训练的成本只是所有成本的冰山一角。当时写的 557 万美元，应该是最后一次训练的成本，但它有大量前沿技术探索，包括对比验证的实验成本、人力成本和数据成本。这些才是最终成本的主要部分。
因此我觉得再公布成本的意义其实不算特别大。研发成本肯定是最后一次训练成本的几十倍。
程曼祺
你们怎么看 V4？它是没有多模态能力的。
刘逸峰
我认为 DeepSeek 可能一方面更专注于文本处理能力。毕竟如果一个模型想要处理多种能力，难度还是比较大的。
另一方面，对于国产模型适配、国产显卡适配来说，本身 V4 的结构已经很复杂了。如果再融入多模态结构，写法其实很难。
程曼祺
为什么 V4 训练了这么长时间？它确实也推迟了预期。大概在春节的时候，他们本来计划争取在春节发布，后来应该算是晚了两个多月。
赵晨阳
具体的发布计划，外界很难知晓。我可以从 Infra 角度做一些推测。
DeepSeek 一次性引入了 4 个互相耦合的新 Feature：混合注意力、MHC、Muon 作为新的优化器，以及 FP4 训练。
任何一个功能单独上线，都需要极大规模的 Debug。4 个一起上，就是一个组合爆炸问题。特别是 Muon 在如此大规模 MoE 上的稳定性，以及把 FP4 做到 Forward、Backward 的生产级稳定，在公开层面都是极为前沿的尝试。
刘逸峰
我一直非常喜欢 DeepSeek。他们发布时引用了一句话，叫“率道而行，端然正己”，这个非常有意思。
我前不久读《道德经》，里面有一句话我觉得可以用来讲他们的状态，叫“为而不恃，功成弗居”：创造万物却不占为己有，功业有成却不会自我夸耀。我觉得他们一直都是一个非常值得学习的团队。
赵晨阳
我补充一点，这次 DeepSeek 的一个亮点是原生支持国产芯片。在 DeepSeek 之前的研究里，其实很少提到这一点。
也有可能是因为国产芯片底层算子或者接口量比较大，很多时候需要从零开始编写。如果他们之前尝试过这样的编写，可能也会进一步增加研发时间。
程曼祺
我看技术报告原文，只有一个地方提到了国产芯片：在 Infra 讲并行方案的时候，提到“我们在华为昇腾上做了技术验证”。这就是你说的原生支持国产芯片？这是做推理，对吧？
赵晨阳
是的。训练是否使用了国产芯片，其实不知道，外界有很多推测。
刘逸峰
对，报告里并没有写。外界的推测大部分还是认为，他们用的依然是英伟达的芯片。
赵晨阳
可以补充说一下，刚才我提到“率道而行，端然正己”这句话，他们引用的是荀子的“非十二子”。在博客里面还写了前面两句话：“不诱于誉，不恐于诽”，不要去听从别人对你的追捧，也不要恐惧大家对你的质疑。
这可能确实体现了，从去年下半年大家一直期待他们发布，到现在真的发布，中间这个团队面临的一些内外压力。
刘逸峰
高中时我们学《逍遥游》，里面讲“举世誉之而不加劝，举世非之而不加沮”，这是非常高的境界。
我还想补充一点，在 DeepSeek 的作者致谢名单里，我们可以看到离职人员其实不是特别多，大概是 5% 左右。相比其他公司的流动率，DeepSeek 的流动率相当低。
我认为“不诱于誉，不恐于诽”不仅仅是整个公司的信仰之一，也是公司研发人员自己的状态：专心做好自己的事情。
程曼祺
我觉得 R1 当时有一个非常大的舆论反响，是因为它有一个很好表达的变化：它用开源的方式验证了当时一种新的范式，也就是测试时扩展，也就是 2024 年 9 月 OpenAI 发布 o1 时，大家看到的那种新范式。
是不是可以说，其实 V4 从训练的整个大思路上，不是一个范式变化，更多是你刚才说的很多工程创新组合在一起，又把它完成得很好？
刘逸峰
我觉得“范式变化”这个词在 AI 圈子里被用得有点叙事过载了。
范式这个东西，你可以定义成一种十年一遇、甚至更加稀疏的东西。比如牛顿、爱因斯坦，他们可以称得上一种科学范式。
回到 AI 上，我们觉得可能 Transformer、Scaling Law、RLHF 或 Constitutional AI，以及 Test-Time Scaling，这些才算是范式。
可以想见，R1 在一年前的范式意义，是它在开源世界走通了 Long-Scale Reasoning。V4 自己也非常坦诚地承认，它其实 follow 了 R1 开创的范式。V4 的定位，是在范式之下解决了一些更艰难的问题。
回过头来我觉得，如果每隔半年我们就要为 AI 找一个新的范式，那只能说明 AI 的发展远远不成熟。
我更想讨论一个问题：沿着现在的语言模型范式继续优化，我们还有多少空间可以做？还有什么新的应用可能诞生？我们做这一切事情的上限在哪里？
我的判断是，这里有非常大的空间可以做，而且每一步都会很艰难。像 V4 这种系统级别耦合的工程，还是会成为接下来一两年的主旋律。
我们会想尽办法，把所谓的 100 万 token 拆分成非常多细碎的优化，再结合起来，让整体能够跑起来。这件事情非常工程化，而且商业价值也非常巨大。
赵晨阳
我再补充一下。与其从方法论的角度去解释范式变化，不如说，范式变化可以解释成提出一个新的模型能力领域。
比如之前的长文本能力，Kimi 就是用长文本能力提出了一个新的领域；包括现在的 Agent 能力、减少幻觉的能力。我觉得，提出这些新的能力领域，才是目前大语言模型需要不断去做的事情。
我们现在不是说能不能做到，而是说我们不知道还有哪些事情需要做。从这一点上来说，我觉得 V4 带给我的震撼，远远没有 R1，甚至没有 Kimi 最开始提出长文本这种范式时那么大。
关键是要去找要解决哪些问题，要做什么。
刘逸峰
对，不光是能不能做到，只要提出了一个能力领域，我觉得基本上半年到一年的时间，这个能力就会被模型刷爆。
程曼祺
那你现在有没有看到什么能力，它目前还没有那么被关注，但之后可能会很有潜力？比如 AI 自己的意识。目前 AI 还是人类的工具，但是 AI 是不是能够有自己的意识、自主行为能力，会是怎样的？
刘逸峰
其实我觉得有一个重要的能力是减少推理量。我的观点是，很多东西不需要过度推理。这也是我对于现在这些模型的一个看法：尽管大家都非常在乎解决 100 万 token，但我觉得 100 万 token 应该拿去做更重要的事情。
程曼祺
所以你关心的是，它现在已经在做的一些事情，其实可以用更高的效率做到。
刘逸峰
对。我认为整个 Agent 社区需要想清楚，我们怎么更高效地利用上下文。
我觉得现在大家对于上下文的铺张浪费，已经被 Infra 惯坏了。现在大家可能觉得 100 万 token 是一件非常自然的事情，但我始终认为，Infra 固然可以支持让 100 万 token 跑得更快，但是我们可能应该在 100 万 token 里面做更多的事情。
程曼祺
比如现在我们去用 Claude Code，可以看到它吞吐的 token 量是一个非常恐怖的数量级。
回到 V4，我们下面可以展开详细讨论一下 V4 的效果，以及里面刚才提到的很多新东西具体是怎么起作用的。
我们可以先来看性能。按照惯例，每次发布新模型，大家也都会更新一些 Benchmark。这一次 V4 的 Benchmark 有什么表现，是你们觉得比较值得关注的吗？
刘逸峰
V4 的 Benchmark 里面有一段我很喜欢：他们做了一段类似 Arena 的双盲测试。
我可以简单提炼一下，这些 Benchmark 大概有几种逻辑。第一种，比如我要测一个问题的正确性，肯定是给你一个 Question，然后你给我一个 Answer，我可以拿这个 Answer 和正确答案做比较，再按照某些规则给它一个分数。这种我们叫 Offline Benchmark。
还有一种 Benchmark 是 Online 的。因为语言模型的评估非常主观，我们刚好可以利用这种主观性来做评估。比如同样发一个问题给两个你不知道名字的模型，A 模型给一个答案，B 模型给一个答案，你自己选择 A 模型好还是 B 模型好。
有时候大家用 GPT 也会发现，GPT 居然真的会做这个事情：它针对同一个问题生成两个框，让你自己选择 A 好还是 B 好。这也是一种很常见的评分机制，我们管这个东西叫 Pairwise 对拼机制，也叫 Arena 或竞技场。
我们看到 DeepSeek V4 的技术报告里也讲到，他们做了一个内部的 Online 实验。在公司里面，不同工程师面临不同的任务，他们可以自行选择使用什么模型来完成任务，并且给这些模型反馈。
最后他们比较了很多模型，包括 Claude 4.5、Claude 4.6、OpenAI GPT-5.5 等。DeepSeek 坦诚地发布了结果：V4 的分数大概在 Claude Opus 4.5 左右，和 Opus 4.6 以及 GPT-5.5 还是有区别。
有 9% 的工程师表示不会将 V4 Pro 作为首选模型。我觉得这是一个非常坦诚的方法。这种内部采用意愿，我个人认为非常重要。
之前《晚点》两天前的报道也提到过，硅谷顶尖的模型公司，甚至可能也会使用其他公司的模型来辅助编程，这是一个非常有趣的角度。
还有一个很有意思的问题：这个世界上只有极少数公司，在编程上面是有数据飞轮的。任何一家公司如果想要在 Coding 上做出领先模型，都需要建立自己的编程数据飞轮，而被使用是获取这类数据的最佳方式。这是全球同行都需要仔细思考的问题，也是我从这篇报道当中解读出来的一些东西。
程曼祺
我好奇问晨阳一个问题。首先解释一下数据飞轮：中国主要是以开源模型为主，美国是以闭源模型为主。开源模型意味着很多时候用户会自己部署在自己的机器上，于是模型研发厂商拿不到这些数据。这会不会导致中国的开源模型拿不到很多实际使用数据？
赵晨阳
我觉得不是。首先，这些开源模型上了 1T 参数之后，部署成本根本不是个人能负担的。个人不可能有一台 H200、B200，或者国内的昇腾 910B 规模的显卡，成本实在非常高。
退一步说，大多数模型哪怕开源，其实也是 Hosted 在第三方云上，通过 API 的方式让大家调用。所以事实上无论如何都要走 API，在第三方就会有 Trace。只要大家愿意使用开源模型，模型厂商就能够拿到这些 Trace。
不过很遗憾的是，据我所知，国内也有大量用户在使用美国的闭源模型。
程曼祺
第二个问题，刚才也提到了 Arena。目前 Arena 上 DeepSeek V4 Pro 排名大概在 23 名左右，比 Qwen 3.5 Max、MiMo V2.5，以及 GLM-5.1 都要略逊不少。
另外一个第三方机构 Artificial Analysis 的 Intelligence Index 里，DeepSeek V4 大概在 52 名左右，同样也是比 MiMo V2.5、Kimi K2.6 要低。
赵晨阳
我个人感觉，选择某款模型需要有一定的 AI 信仰，我愿意为了自己的信仰做这个选择。我觉得很多时候刷榜不是目的。
我一直用 Claude Code。有一天我们公司的 Claude 因为账单的原因被下线了，那天我就用了 Codex。我的结论是，离开 Claude 这个世界完全没有下滑。
我其实很相信，这些模型在某种程度上已经满足了我的 Use Case。我的 Use Case 很难定义，所以也很难简单比较。我觉得在一个极其微小的空间里面去排先后，其实很难。
但非常可以预见的是，现在国内也有非常多优秀的顶尖模型，身处智能的最前线。
程曼祺
所以你的意思是，那天从 Claude 换成 Codex，你也没有觉得差多少？
赵晨阳
是的。一方面我觉得技术迭代非常快，另一方面，从商业上来说，竞争也激烈得不可思议。
程曼祺
我今天也在跟人讨论这个问题。现在在硅谷，Anthropic 看起来势头非常盛，有盖过 OpenAI 的趋势，包括估值，以及大家对产品的讨论。
有一个点在于，Claude Code 如果要一直保持现在的领先，它还是一个相对封闭的体系，官方还是和自己的模型绑定在一起，背后要接的是 Claude 的模型。
如果想长期保持这个优势，就需要自己的模型一直满足这个产品所需要的能力，比如 Coding，也包括交互和 Agent 框架。你一直要处在最先进、第一梯队的位置。
但这件事能不能持续下去？GPT-5.5 发布之后，我也看了一些讨论，有人认为 GPT-5.5 的编程能力又上了一个台阶。我周围有很多朋友这么反馈，包括我认识的一些公司的 C-Level 高管，他们也在考虑把下面接的模型从 Claude 换成 GPT。
对于 To B 的公司来说，可能变化也会比较快。这个我们之后可以继续观察。
回到 V4，刚才提到一些现象：一方面，它在一些 Arena 上仅看排名，落后于同期发布的中国其他模型；另一方面，从使用上其实大家也不太能明显感受到它的区别。
这是性能。另一个大家比较关心的就是效率。这次大家讨论比较多、觉得做得比较好的是，相比 V3，他们单 token 推理的 FLOPs 只有 V3.2 的 27%，KV Cache 占用只有 V3.2 的 10%。这种效率提升大概是什么水平？晨阳你可以讲讲，这可能和 Inference 关系比较大。
赵晨阳
首先，DeepSeek V3 的时候，他们曾经说过一件事：即便 V3 把价格打下来，给市场来了一重重的一刀，即便到了这种程度，他们仍然有利可图。
包括最近 DeepSeek 又进行了一次大幅降价，我不确定他们现在能不能仍然处于有 Marginal Gain 的状态，但我还是觉得这是一件非常不可思议的工程壮举。
你说的那篇文章，是他们在 2025 年 2 月搞了一次开源周，前面 5 天连续发布了 5 个 Infra 开源成果，周六又发了一篇文章，讲自己的推理成本。
程曼祺
这个我印象不深了，但我相信美股股民印象尤深。
赵晨阳
回到这个问题，他们提到了几个数字：FLOPs 只有 V3.2 的 27%，KV Cache 只有 10%。
这里有一个比较重要的问题：我们讨论的是压缩和稀疏带来的注意力改进，它有一个前提，就是上下文越长，效率优势才越显著。
如果实际测试场景只有几千 token，那么 V4 相对 V3.2 的 FLOPs 节省，根本不会这么极致。很早的时候也有一些第三方机构评测 DeepSeek V4 的推理速度，可能采用的是 8K token 输入、4K token 输出的状态，这其实不太能反映 V4 的架构优势。
简单来说，你的上下文越长，效率带来的优势就越显著。如果只有几千 token，其实没有什么很明显的提升。
不过换句话说，几千 token 到现在已经是连 System Prompt 都放不下的状态了。所以基本上我能感受到，大家日常使用编程工具或者处理文字工作时，用到的 token length 都会有比较好的提升。
程曼祺
那在 Agent 上，体感也会很明显吗？因为 Agent 要处理的上下文应该比较长，如果是一个多步骤的复杂任务。
赵晨阳
是的。现在这些动辄接近 100 万 token 的 Agent，会很有收益。
但有一个问题：在相同 token 数量的情况下，它的 FLOPs 和 KV Cache 降低了，可是很多用户反映，V4 消耗的 token 数量，也就是解决同一个问题所需要的 token，比之前大不少。
如果考虑这一点，整体效率提升并不是特别明显。当然，和之前相比，总和加起来还是会有一定的效率提升。
程曼祺
你说的这个点，其实触到了刚才晨阳说的那个问题：你觉得接下来一个要解决的问题，是同样的 token 数量应该解决更多的问题，而不是把推理一直做得很长。
那我也想问一下，为什么它解决同样的问题，token 消耗还变多了？
刘逸峰
首先，它可能在训练时目标还是倾向于：只要完成任务，得到的奖励越大，而不是完成这个任务需要多少 token。
另外，它的一些结构，比如 token-wise 的注意力压缩，把信息压缩得比较狠，也就导致需要更多 token 去补足这些缺失的信息或者推理过程。
我之前在小红书发过一篇文章，说现在的 token 浪费，有种拿着高压水枪浇花的美感。这本身是一件非常奇怪的事情。
模型忠实地反映了它受到了什么样的训练。可以想见，在它的训练当中，肯定有部分数据解决同一个问题比之前更长，所以导致这些模型进入了一个非常不好的 Loop，让解决一个问题所需要的 token 越来越长。
这个问题一直存在。类似 K1.5 的报告里讲过，他们有一个长度惩罚，会对解决同一个问题时使用更长回复的答案进行惩罚。
我倾向于认为这种技术一直都在使用，但哪怕有了这种技术，我们还是看到这个东西在不可逆地增长。所以背后可能体现出，我们在训练上还有很多值得思考的地方。
程曼祺
接下来可以聊聊你们刚才提到的很多具体进展的细节：这些东西是怎么一起运转的，以及给整个业界带来哪些启发。
我们可以跟着技术报告来看。报告的脉络也非常清楚。前面的引言解释了他们认为这是一个什么样的进展：在测试时扩展这个范式里面，继续去优化效率。
后面是模型架构设计，这是第二部分；第三部分是 Infra；第四部分是预训练过程；第五部分是后训练和评测。
我们可以先说一下，V4 在架构上的整体思路是什么。
刘逸峰
V4 整体上保留了 DeepSeek 对 MoE 和 MTP 的两个主线策略，然后在 4 个层面上做了比较值得关注的改进。
注意力上用了混合稀疏注意力；残差上用了 MHC；优化器从 AdamW 转向 Muon；Infra 上有两个关键词，一个是 TileLang，另一个是 FP4。
这 4 件事情共同让 100 万上下文从理论可行，变成了成本可接受。
赵晨阳
我觉得这次激活比例是这一波模型里面非常能说明问题的一个数字。V4 Pro 的总参数是 1.6T，激活参数大概是 49B，所以这个比例大概是 3%。
之前 Kimi K2.6 的比例应该比这个稍微高一点，现在他们应该再次往下探了这个极限。
这个比例下降反映出大家一个很明确的工程信念：总参数越大，模型的知识容量越高；激活参数越小，推理成本越低。
MoE 的核心价值就是把这两个量解耦，V4 又把这种解耦推到了更加极端的位置。
当然，激活比例并不是越低越好。比例太低，可能会带来负载不均、专家训练不充分，以及路由抖动等问题。
DeepSeek V3 的技术博客也讨论过，路由负载均衡是不是应该被纳入训练损失。我个人觉得，他们把 3% 的激活比例稳定训练到这种程度，再次印证了其工程能力。
刘逸峰
补充一下你刚才说的激活比例。V3 的激活比例是 5.5% 左右；现在同期的模型里，MiniMax M2.7 是 4.3%，GLM-5.1 是 5.3%，K2.6 也比较低，是 3.2%。
DeepSeek V4 Pro 是最低的，刚不到 3%，大概是 3% 多一点。
程曼祺
听众朋友可能会觉得这像是在雕花，但我可以说，这个事情的难度会随着数字下降呈指数上升。
从 5% 到 4%，难度是一个样子；从 4% 到 3%，又是另一个难度，远远更强。我并不是说其他团队做不到，而是他们的技术选型可能想走得更极致，很多团队可能会选择比较稳扎稳打的方案。这些并没有对错，我只是惊叹于这个事情还能继续往极限走。
赵晨阳
我倒是想用它的倒数来进行比较。之前大概是 5:1，或者 10:1、20:1；现在 V4 已经提高到 30 多、接近 40:1。
这对算法和底层算子开发提出了相当高的要求。40:1 意味着有大量冗余专家，需要保证各个专家之间训练程度的平衡，以及 token 路由的平衡。
一方面，需要各个专家都能够得到差不多程度的训练；另一方面，Infra 也要保证这些路由能够非常顺畅地抵达各个专家，再合并起来。
除此之外，另一个创新是，V4 在前几层的 MoE 中使用了哈希路由，而不是一般 MoE 的路由方式来进行 token 在各个专家之间的分配。从算法角度，它避免了前几层专家路由高度集中在少数几个专家上的问题。
还有，Muon 和混合稀疏注意力其实都是之前已经有大量实践的 Feature。MHC 以及一些特定技术，是这次最新纳入实践的东西。
但在 V4 之前提出的很多技术中，Engram 是少数没有被应用到 V4 上的技术之一。一方面，我们自己在实践中发现，Engram 本身对能力的提高非常有限，需要增加非常大的参数量，但能力提升其实很有限；另一方面，Engram 对 Infra 来说也是比较大的挑战。
程曼祺
可以稍微解释一下 Engram。2025 年下半年，DeepSeek 单独发了一篇论文讲这个事情，MHC 也是那个时候单独发了一篇论文。MHC 用到了 V4 里面，但 Engram 没有用到。
赵晨阳
Engram 相比一般的 Transformer，是把两个或者多个 token 合起来作为一个新的 token 进行编码，再输入到对应的层里面。
一般的 Input Embedding 只是针对单个 token 进行编码，但 Engram 会对连续的几个 token 生成一个全新的编码，理论上可以提高“大海捞针”这类能力。
但实际上，Engram 的体验效果非常有限。Engram 只是强调了信号加强的作用，至少短期之内，一般的 Frontier Lab 模型应该不会采用这个方案。
程曼祺
那我们按照晨阳说的“耦合起来、工程爆炸”的 4 个点展开说一说。
一个是注意力的变化。现在用了一个混合 CSA 和 HCA 的新注意力机制。我们之前从 2025 年到现在的好几期节目里，也专门讨论过注意力机制的变化，DeepSeek 一直走的都是稀疏注意力的改进。
你们可以简单分享一下，这次改进具体有哪些提升？你们看到它背后可能是什么样的思路？给大家的启发是什么？
赵晨阳
首先，注意力有稀疏注意力，也有一个对应的名词，叫线性注意力。这是一个非常容易引起争论的话题。
简单来说，V4 的注意力每一层都在运行滑动窗口注意力，也就是 Sliding Window Attention；此外还有长程注意力，可能是 CSA 或者 HCA。
CSA 是一条稀疏路线，会在序列维度上做 4:1 的压缩，然后再做 Top-K 选择。HCA 可能是更激进的方法，做 128:1 的压缩，然后保持稠密注意力。
每一层选择 CSA 还是 HCA，是预定义的。同一个长上下文从不同的层来看，有的是稀疏层，有的是稠密层。稀疏层会锁定关键 token，稠密层我个人认为会提供一种语义上的概览。
对于工程团队来说，实现这个混合方案有很多挑战。最后我们集中需要处理的复杂问题，是前缀缓存的一致性。我们开发了一套缓存架构，称之为 Shadow Redis，就是为了应对这个问题。
我们做了 3 个异构的 KV Cache 池，给 SWA 和 CSA、HCA 都加上压缩状态。同时，Prefill、Decode、Speculative Decode 这 3 个阶段都要保持同步。
程曼祺
听上去这些问题的复杂性相比 V3 又上了一个台阶，而且这也不是 MLA 时代需要解决的问题。
之前我听到过，应该也是《晚点》的播客，当时采访松林，他讲 DeepSeek 内部比较看好稀疏而不是线性。我比较认同，稀疏在工程上是一个更容易控制的方案，和现在这些 KV Cache、Prefix Cache 基础设施都有比较好的亲和性。
线性注意力的话，我目前没有听到有非常强大的、在现在这个规模的 Frontier 模型上验证过的方案。
刘逸峰
我补充一点。在我看来，线性注意力能够很好地提高模型推理速度，所以它其实被广泛应用在 Qwen 3.5 这类中小型模型当中。
但是像松林提出的 Gated DeltaNet 之类的结构，在隐藏状态更新的过程中，会不断压缩每一步 token 的信息。因此在需要长程注意的任务，比如推理、数学推导上，相较于全注意力，它的上限可能比较低。
所以在更大的模型，比如 DeepSeek V4、GLM-5.1 当中，目前还是采用稀疏注意力或者 Sliding Window Attention。
举一个非常直观的例子：从第一个 token 到第 1024 个 token，如果是线性注意力，就需要压缩 1023 次；但如果是 128 窗口的 Sliding Window Attention，只需要跳 8 次，这两个 token 就能够几乎无损地进行信息交流。
所以要冲上限的模型，肯定会比较倾向于稀疏和滑动窗口注意力。稀疏注意力对于训练 Infra 的性能要求较高，而滑动窗口注意力训练相对简单，短程注意能力比较强。
因此我觉得，未来一段时间，Sliding Window Attention 这种注意力结构的模型可能会越来越多。
程曼祺
之前 Kimi 可能考虑过，在接下来比较大的模型上使用线性注意力，或者混合了线性注意力的结构。
刘逸峰
对，但是为什么要用混合，而不是单纯使用全线性？就是因为线性注意力还是有信息压缩的问题，必须得用全注意力来兜底。
程曼祺
上次和杨松林聊那一期播客时，刚好赶上 MiniMax 又换成全注意力了。它之前有一个版本，MiniMax 2.0，用的是他们叫 Lightning Attention 的结构，也就是一种混合了线性注意力的注意力；但在 2.1 里又改回全注意力了。
赵晨阳
我还有点印象。MiniMax 2.0 的支持是我做的。MiniMax M1 应该是一个线性注意力模型，但是 M2 开头的模型都是全注意力。
当时我还和他们做算法的同事交流过，为什么会把它改回来。我们在 LMSYS Org 的博客上也讲过，文章叫《No Free Lunch》，欢迎大家去读当时的博客。
退回来讲，我们最近有一个新工作叫 HiSparse，是在 SGLang 上支持的一个 KV Cache Offload 工作。
简单来说，我们针对稀疏注意力设计了一套特定的 KV Cache 卸载策略，能够把稀疏注意力的 KV Cache 预卸载到 Host Memory 上，在长上下文场景下把吞吐做到 5 倍以上。
类似 V4 这种把成本压缩到 27%、10% 的模型，要在生产环境跑出商业价值，我个人认为 Shadow Radix 和 HiSparse 这一套底层工作非常有前景，这也是我们团队一直在做的事情。
程曼祺
接下来可以聊架构里的另外两个变化：MHC，以及在这么大规模上使用 Muon 优化器。我们可以先从 Muon 开始，因为这个可能业界实践会更多。
刚才也提到，Kimi 也用了这个优化器。它的开发者 Keller Jordan 因为这个成果，在 2024 年 12 月被 OpenAI 招入。他本来是一个个人开发者。
今年在好几个场合，包括 GDC 上，杨植麟也一直在讲 Kimi 对 Muon 的优化，那个版本叫 Moonlight。
逸峰你可以先讲讲，优化器在模型训练里本来起什么作用？为什么现在好像大家越来越多地使用 Muon？
刘逸峰
优化器相当于模型训练原理的一部分。模型训练的原理就是使用梯度下降或类似的方式，让模型逐步趋向于定义的 Loss 最小的地方。
最开始大家都使用 AdamW 进行训练。AdamW 本质上融合了动量，以及更新量归一化这两个技术。动量能够让更新更加平滑，归一化则让每一步的 Scale 比较统一，能够进一步稳定训练。
但是 AdamW 是针对每个元素进行更新，不涉及整个矩阵的更新。Muon 的提出，就是为了解决 AdamW 只针对单个参数进行更新的问题。
对于二维参数，比如线性层，本质上是矩阵乘法，Muon 提出了一种效率更高的优化方式，能够捕捉二维参数各个元素之间的信息。
以前的工具忽略了元素之间的联系，会导致有些元素已经训练好了，但有些元素还没有收敛，需要更长的训练时间。
Muon 把整个矩阵看作一个整体进行优化，让矩阵中各个元素步调一致，这样优化会更快。
但在 2024 年底 Keller Jordan 刚提出 Muon 时，它需要针对每个不同的 Module，比如线性层、Input Embedding，分别调 Learning Rate，对使用者来说不是特别友好。
到 2025 年初，Kimi 提出的 Moonlight 改进了 Muon，使得 Muon 能够和 AdamW 结合。因为一维参数不是矩阵，Muon 必须基于矩阵进行更新，而一维参数没有矩阵这个概念，所以还是使用 AdamW。
Keller Jordan 提出 Muon 时，并不知道 Muon 和 AdamW 的 Learning Rate 比例。Moonlight 的一个重要贡献，就是基本确定了这个比例系数，大概是 0.2。
V4 又进一步改进，使用了更精确的 0.18。这样我只需要调一个 Learning Rate，就可以适用于整个模型。
赵晨阳
这样 Muon 才从理论上的创新转向了实际的大规模应用。
程曼祺
所以 Kimi 做了 Moonlight 这个改进之后，业界也广泛使用了吗？
刘逸峰
对，相当于全局只需要调一个参数就够了。不过比较特别的是，V4 没有使用 Moonlight 提出的 0.2，而是用了更精确的 0.18。
程曼祺
晨阳有什么补充吗？优化器需要 Infra 配合做什么？大家从 AdamW 变成 Muon，推理侧不需要关心吗？
赵晨阳
推理侧不需要关心，因为推理不涉及参数更新；但在训练侧，这一定需要做到，而且整个链条动起来会是一个非常庞大的工程。
需要从 NVIDIA 的 Megatron 或者 Megatron Bridge 这一层开始改，再一层层往下传。当然，我说的是针对开源而言。闭源训练具体怎么实现，我也不太清楚。
刘逸峰
Muon 是矩阵层面的优化，涉及大量矩阵乘法。如果模型的某个矩阵比较大，就需要做大量拆分，可能需要分布式训练，这一点是 AdamW 没有的。
AdamW 大约是每个元素单独更新，元素可以无限拆分。这是 Muon 特有的问题：在训练过程中会涉及大量拆分和合并操作。
还有一点，预训练和后训练的优化器基本得保持一致。预训练用 AdamW，后训练也得用 AdamW；预训练用 Muon，后训练也得用 Muon。
后训练的结构比预训练更加复杂。如果后训练要使用 Muon，就可能涉及更多结构上的修改，因为它可能在一台机器上装不下。
程曼祺
现在开源模型最近的更新，是不是大部分都用上 Muon 了？
刘逸峰
大部分模型应该都改到 Muon 了，但应该还是有一部分使用 AdamW。Qwen 好像没有特别提及它的模型使用什么优化器。
赵晨阳
我认为可能大部分还是没来得及改，尤其是后训练，Infra 其实很难改。如果后训练没有改成功，预训练也只能先用 AdamW 将就着训练。
程曼祺
那我可以把这件事作为判断模型团队 Infra 能力强弱的标志之一吗？
赵晨阳
可以这么说。
程曼祺
所以你觉得这基本上是一个确定的趋势，之后会成为行业主流，只是在过渡阶段，有的人用了，有的人还没用。
刘逸峰
是的，但需要注意，即便使用 Muon 的模型，在 Input Embedding、Output Embedding 这些模块上，还是得使用 AdamW。
赵晨阳
刚才逸峰提到 AdamW 可能不太适合做切分，这不一定，因为它和模型体量有关。模型上了 1T 参数之后，不可能在任何一个 Node 上完整装下，所以 Muon 和 AdamW 肯定都要做非常复杂的并行策略，而且 Muon 只会比 AdamW 更复杂。
简单想一下 Muon 和 AdamW 的区别。AdamW 同时维护 Momentum 和 Second Moment 两个 State，这些 State 对 AdamW 来说都是 Element-Wise 算子，因此用来做切分会相对简单。
你的 ZeRO Stage 怎么切，FSDP 怎么做 Partial，TP 怎么对齐，相对而言都会简单一些。
Muon 则把第二个 Momentum，也就是 Second Moment，砍掉了，所以 Optimizer State 大约从两倍降到一倍，肯定能够节省大量显存。
但代价是，它在 Momentum 上跑完一轮 Newton-Schulz 迭代之后，还要做正交化。这就不是 Element-Wise 的过程了，而是一个更复杂的矩阵计算，我们叫 GEMM。
为了做 GEMM，它需要拿到一个完整的二维权重。如果参数之前被 TP 或者 FSDP 切得很碎，就还得把它聚合回来再计算。因此这里涉及很多分布式原语。
这系列讨论最终得出的效果是，我们可以看 Kimi 在 K2 里面的做法。Kimi 似乎只在 Data Parallelism 层面做 Muon 的切分，不会在 Tensor Parallelism 上做切分。
另外，Embedding、LayerNorm、Bias 这些层还是走 AdamW，所以现在 Optimizer 层处于一个非常混杂的状态。它的调度逻辑、给 Shard 做的 Checkpoint，以及 Checkpoint Resume，都比以前复杂很多。
Muon 不是简单地替换掉 AdamW。你可以想象，我们用大量人力和 Infra 复杂度，置换出了等量的显存和收敛效率。
这笔账值不值得，取决于每个团队的工程水平，也取决于有多少张显卡、训练的模型规模有多大。但逸峰提到的一个观点很对：优化器是检验一个团队工程优化能力的很好试金石，我非常认可。
程曼祺
这些专业名词听着非常头疼，但事实上可以想见，当我要报出这么多名词的时候，每一个名词都可能对应一个 Engineer Day 的复杂度。直白一点说，每个名词都对应着一篇文章。
这是优化器部分。关于 MHC，简单来说它是什么改进？为什么要引入这个东西，解决什么问题？
刘逸峰
MHC 基于 HyperConnection 这项工作，扩展了层与层之间信息流的宽度。
以前的 Transformer，层与层之间只有 d 这么宽的信息流。HyperConnection 则是在 d 之上再增加一个 Channel 维度，现在信息流宽度是 c×d，比以前大了 c 倍，这样可以让模型能力进一步提升。
信息流更大，模型的推理能力就会有显著提升。
但是朴素的 HyperConnection，它的数学原理会导致梯度回传不太稳定，训练不稳定。所以这项工作最初提出之后，社区反响并不是特别大，因为训不好。
MHC 加入了 Sinkhorn-Knopp 算法，相当于限制整个信息流的 Scale 为 1，横向和纵向都是 1，从而控制正向和反向传播，不至于爆炸或消失。
这个改进一方面需要对前人的 HyperConnection 做细致分析，另一方面可能是基于一些内部指标，比如梯度 Scale 或激活值大小，先发现现象，再倒推应该怎样解决问题。
这算是 DeepSeek 一个比较独特的判断和选择：他们选择去改进这件事本身，而当时可能并没有很多人在做。
程曼祺
在现在所有接近 1T 规模的模型里，是不是也只有 V4 用了这个东西？这并不是特别主流的做法，对吧？
刘逸峰
相比于没有优化的 HyperConnection，它确实不是特别主流。
程曼祺
那你怎么看它使用 MHC 带来的提升？比如模型在哪些方面会变好？
刘逸峰
直观来看是推理能力大幅增长。
以前信息需要从第一层慢慢传到最后一层，而现在信息流变宽了，推理能力就有大幅提升。DeepSeek 在 MHC 单独的论文里，也专门做了控制变量的精确比较。
赵晨阳
他们应该没有精确比较具体的能力提升，只比较了一些 Benchmark。
我想补充一点，MHC 是从增加信息宽度的角度，增加层与层之间的信息互动。最近我也注意到 Kimi 提出了 Attention Residue。
它像 DenseNet 一样，让层与层之间直接跨层连接，不需要每一层挨着连接，第一层也可以直接影响最后一层的信息。
我认为这两个方法完全不一样，但都是异曲同工地想到，要在 Layer-Wise 层面改进信息流。
程曼祺
这两种方法的区别和未来上限，你怎么看？一个是 DeepSeek 现在使用的 MHC，这是它比较独特的做法；另一方面是 Kimi 最近提出的 Attention Residue。
刘逸峰
对于资源比较有限的团队来说，MHC 实现起来的 Infra，相较于 Attention Residue 还是比较简单的。
对我来说，可能会更加倾向于做 MHC 相关的工作。包括我们 1 月份提出的 Deep Delta Learning，也是类似的 HyperConnection 技术，用于另一方面的信息处理。在只增加极少计算量的情况下，达到了非常好的 Performance。
Attention Residue 对 Infra 的要求更高。但因为它对每层之间的关系有更加精确的描述，我认为它的上限会比 HyperConnection 这一系列研究更高。
程曼祺
MHC 也会影响你们对推理框架的适配吗？
赵晨阳
其实影响很多。
从推理角度来说，MHC 把残差从简单的加法变成了需要 Sinkhorn-Knopp 归一化的操作，然后还要给 GEMM 加 Mixing，复杂许多。
直接的挑战是，先前的算子对 MHC 来说不够高效，所以我们需要为 MHC 单独写新的 Kernel。我们最近也 Release 了用 TileLang 给 MHC 写的 Split-K Kernel。
这个东西在小 Batch Decode 的情况下，能够显著提高 GPU 利用率。
我们不需要在意具体 Kernel 是什么，但为新算法定制新 Kernel 的事情，在 V3 以前没有那么频繁，而现在做得越来越多。比较欣喜的是，我们现在也有了更多更好的工具，比如 TileLang，可以更高效地支持为新算法编写新 Kernel。
程曼祺
到这里，我们盘点了刚才说的 4 个一起出现的新东西中的 3 个：新的注意力机制、优化器，以及 MHC。这是 DeepSeek 比较独特的做法。
第四个是 Infra 上的两个关键词：TileLang 和 FP4。这个可以晨阳主要展开说一说，你应该比较了解。
赵晨阳
这两个词，都是付出了无数 Infra 工程师的辛勤劳动。
我先简单介绍一下 TileLang。我喜欢叫这个东西 TileLang，因为听起来像一个拳击大师的名字。
大体来说，Infra 要解决的问题是：在给定同样计算路径的情况下，怎么让计算更快。
写 Kernel，简单来说就是底层有非常多的 Kernel，这些 Kernel 会结合硬件特性。虽然我们做的矩阵计算可能是同一块，但经过不同的 Kernel，拿到的效率是不一样的。
举个简单例子，给一个 4096×4096 的矩阵做计算，可以按照 128×128 拆，也可以按照 256×256 拆。不同硬件由于显存带宽等因素不同，有的喜欢 128，有的喜欢 256。
总之，Kernel 做的就是让底层矩阵计算越来越快。当然，还有很多不同种类的 Kernel。
写 Kernel 依赖很多语言，我们称之为 DSL，也就是 Domain-Specific Language。一般我们会拿 CUDA、Triton 和 TileLang 这三者做对比。
CUDA 是最有名的，我们一般称之为英伟达的护城河。英伟达是一家伟大的硬件公司，在硬件上一层的软件，也就是 CUDA，做得非常优秀。
CUDA 毫无疑问性能最高，但开发和维护成本也最高。Triton 极大降低了编写 Kernel 的门槛，虽然门槛还是很高，但比 CUDA 低了很多。坏处是，它限定了很多表达能力，也限制了极致性能。
同一个 Kernel，如果用 Triton 写出来，和用 CUDA 写出来相比，CUDA 的效率可能会高不少。
TileLang 走的是一条中间路线：它比 Triton 更底层一些，表达力更强，又比手写 CUDA 的开发效率更高。
TileLang 也是国内发展起来的优秀开源项目。在 V4 的报告里提到了 TileLang 的几个优势，比如把一些 Kernel 的启动开销压缩到了微秒级别，以及提升了位级可复现性。
位级可复现性可以理解为，同一个 Prompt 输入 DeepSeek V4，如果使用 TileLang，两次 Forward 推理出来的结果可能更好地保持一致。这对推理工程师 Debug 非常有帮助。
从长期价值来看，TileLang 大幅降低了新算法快速开发高性能 Kernel 的迭代成本。
DeepSeek 提出 mHC 时就写了，他们已经为 mHC 写了一版 TileLang 的混合精度 Kernel。TileLang 现在非常流行，我们团队在 SGLang 这边也针对推理场景的小 Batch Size Decoding，做了一个 Split-K 的 TileLang 版本。
TileLang 现在已经被前沿 Lab 当作算法的默认选择之一，这也是最近一年半发生的变化。
程曼祺
你说的前沿 AI Lab，是所有美国的也算上吗？
赵晨阳
都算上，是全球的。大家对这块的投入其实很大。
很早以前大家戏称，做编译器这一层非常苦。但现在大家也看到了这一层的优势和重要性。
程曼祺
我觉得这还挺感慨的。TileLang 是北大杨植老师那边发起的一个开源项目，后面肯定也有很多社区的人一起贡献和维护。
DSL 其实是比较底层的语言。大概 5 年前我刚来《晚点》的时候，有一个采访是去采访鸿蒙的负责人。他提到，华为以前做鸿蒙时想招会汇编语言的人，在国内非常难找，几乎找不到。因为他们做得很早，差不多 10 年前就已经在想这件事了。
赵晨阳
做编译器一直是一个非常伟大的事业，真的非常苦，而且并不容易出名。因为这件事听上去很扎实，离商业层面又很远，所以受到的关注不多。
这几年我觉得它越来越受到关注。前面也提到了 TileLang、CUDA 和 Triton。
严格来说，在我看来，TileLang 和 Triton 是 DSL，CUDA 不是。CUDA 太全面了，以至于它不算特别具体的领域语言。
TileLang 和 Triton 做出的抽象都很不错。简单来说，我觉得 TileLang 为了表达力放弃了一些底层控制，但达到了一个很好的平衡。
程曼祺
这种开源生态越来越多，它和 CUDA 之间长期会是什么关系？是帮助 CUDA 生态更丰富、更完善，还是也有可能和国产芯片或者其他芯片结合起来，一起和英伟达形成竞争？
赵晨阳
Hard to say。我觉得这是一个复杂的关系。
这类似于各个模型厂商之间会彼此发布技术报告，大家可能互相学习，但另一方面也多少存在竞争。
刘逸峰
我补充一下。我感觉 TileLang、Triton 和 CUDA 的关系，类似于 C++ 和汇编，或者 Python 和 C，是不同层级的语言。
CUDA 还是更底层一些，它直接和硬件交互。
程曼祺
那 TileLang 可以用在其他芯片厂商更底层的软件上吗？
赵晨阳
事实上也是如此。很多硬件厂商会主动支持这些 DSL。包括 Triton 的中国生态圈，也有非常多硬件厂商一起参与构建。
程曼祺
你们怎么看 DeepSeek 使用了非常多的 TileLang？当然你也说了，这是全球 Lab 都在做的事情。可以说他们在这上面的投入额外多一些吗？因为我看 V3.2 里其实就提到了。
赵晨阳
这个未必。我只能说他们投入了很多，但你说他们比其他人更多，我不确信。其他公司的内部技术实现披露相对有限，这是一个关键因素。
程曼祺
逸峰，另一个关键词是 FP4。你前面提到，DeepSeek V3 是第一个把 FP8 做到很大量级的工作，到了 V4 已经把 FP4 做出来了。
我很难想象，再往下走还会不会有更激烈的优化、更激烈的压缩，非常值得期待。
刘逸峰
我们可以对比一下 FP4、FP8，当然还有 BF16。只看最后一位，4、8、16，代表的是浮点数的存储位宽。
比如 BF16 是用 16 位来存储一个浮点数，FP4 则是用 4 位来表达同样的数字。
直观来说，这些迭代最大的区别就是数位不断减半。好处是峰值算力压力会得到很大缓解，除此之外，对显存容量和数据读取也带来了很大提升。
但计算算力还有两个很关键的因素：显存容量和数据读取带宽，这也是大模型训练的显著瓶颈。
从 FP8 压缩到 FP4，显存和带宽需求近似砍半，可以带来很明显的提速。
以前业界很少有人在超大规模训练中直接使用 FP4。首先，FP4 的范围实在非常狭窄，很容易在训练过程中出现梯度溢出或者归零。
所以 DeepSeek 为了解决 FP4 训练的问题，无论是 Pre-Training 还是 Post-Training，都用了很多工程上的巧思。
我可以挑一个自己最熟悉的技术，叫 QAT，也就是 Quantization-Aware Training。他们在 Post-Training 的时候做了所谓的量化感知训练。这是一种训练时模拟量化、采样时真实量化的方案。
强化学习可以理解成一个两阶段的循环。一个阶段是采样：模型拿到系统给予的输入，开始生成自己的回复；采样之后，对生成的东西打分，再把这些分数拿去训练。
所以它分成采样阶段和训练阶段。采样阶段我们称之为 Rollout。
倒过来讲，在训练阶段，我们会做模拟量化。训练时，优化器维持 FP32 的主权重；计算前，先把它压缩到 FP4 的范围，再无损反量化回 FP8 进行计算。
这个过程就是伪量化：快速做一次量化，再反量化回来。中间没有进行真正的前向计算，只是做这个操作，让量化误差在这一步得到体现。
做完伪量化之后，再用 Block-Wise 的 Scale Factor 把离群点兜住。这样模型虽然没有在训练阶段真正受到量化影响，但已经适应了低精度带来的损失。
回到采样阶段，我们会进行真实的 FP4 量化。把前面量化得到的 FP4 权重拿去真正采样。这样在采样阶段，FP4 权重真正降低了访存瓶颈，实现物理提速。
更值得欣喜的是，推理阶段的 FP4 采样和之后模型部署是一致的。现在 DeepSeek 发布的 Checkpoint 也是 FP4，训练过程中拿去采样的权重，就是最后拿来发布的权重。
它不是先用 FP8 训练好得到 FP8 权重，再把它量化成 FP4，因为那样仍然会有精度损失。
通过训练端伪量化、采样时真实量化的方案，强化学习的效率得到了很大提升。
我们可以举一个更有意思的例子。强化学习中，经常认为模型越大、生成的 token 越长，采样就越重，采样可能会占到 70% 以上的时间。
在采样时，把位宽和显存读取压力大幅降低，对采样速度有很好的提升。
程曼祺
你讲得非常具体。总之我觉得，QAT 这套训练时伪量化、采样时真实量化的方案，在 DeepSeek 的论文当中也有很强的体现。
赵晨阳
这也是我们去年 10 月左右的一个重点。之前 Kimi K2 其实也用过这套方案。
我们 SGLang 的 RL 团队去年就啃这块硬骨头，做了两个工作：一个叫 FP8 的全流程强化学习，训练时用 FP8，推理时也用 FP8；另一个是 INT4 的 QAT。
INT4 和 FP4 不太一样，但可以想见，本质上也是比较激进的压缩方案。
基本上这个行业里大家还是淌过同一条河，背后的艰辛很难能可贵。
实事求是地说，在开源领域，我们团队的量化 RL 做得还是很领先的。不过相比 DeepSeek，我们还是有一些差距。
我们的 INT4 量化感知训练，采样时做的是 W4A16，也就是权重 4 位、激活值 16 位。
DeepSeek 做到了更极限的 W4A8，也就是权重 4 位、激活值 8 位。在极致性能上，他们走得更远，这也会是我们继续攻坚克难的方向。
程曼祺
如果 DeepSeek 把自己的推理框架开源了，它和其他官方开源的推理框架之间会是什么关系？
赵晨阳
这其实是开源推理框架和闭源推理框架在哲学上的区别。
我觉得开源推理框架的一个重点是入口要广。同一套框架，可能 DeepSeek 的模型领先，我们要 Serve DeepSeek；也可能要支持小米的模型、MiniMax 的模型、Kimi 的模型。
要在这么多模型中间都支持上，整合性非常重要。这可能是开源推理引擎和 DeepSeek 内部推理引擎的重大区别。
进一步来说，作为一个要支持很多模型的开源框架，它给开发者和用户带来的最大价值，是本地部署的推理引擎对很多公司有直接需求。
开源推理引擎的性能提升，也会反过来推动闭源推理引擎。训练上其实也是一样的，开源很多时候未必能做到比闭源领先，但我觉得推理上闭源和开源的差距并不大；训练上，闭源训练还是会比开源领先不少。
开源的一个很大意义，是通过开源让整个领域变得更加透明。
很长一段时间，闭源训练引擎比开源训练引擎强大很多。以前 RL 也是一个负担非常重的事情，一个模型可能 2 月上线，到了 5 月、6 月，开源 RL 框架才把它跑起来。
这次我们团队也做到了在发布当天支持 DeepSeek V4 的 RL 全链路。逻辑上说，RL 和推理很相关：推理是做不带参数回传的 Forward，强化学习则需要采样，采样完了再做参数回传。
我还是非常高兴，能够在如此巨大的 MoE 模型上，同时做好推理和 RL，并且把训练侧和推理侧的一致性也做到极致。
我也可以预见，FP4 已经正式走出硬件厂商的 PPT，成为开源语言模型世界里真正跑通超级模型的工业标准。
程曼祺
目前这么大规模的模型，是不是只有 DeepSeek 用上了 FP4？至少在能够看到技术细节的开源模型里。
赵晨阳
其实 GPT-OSS 也是，但大家的技术选择不完全一致。
只能说 FP4 是全世界共同努力的方向。至于闭源模型具体怎样，外界就不太清楚了。
另外一个使用 FP4 的是 NVIDIA，这应该也是黄仁勋想推动的方向之一。Blackwell 卡也支持 FP4。
程曼祺
前面讲了这 4 个新的东西。报告最后一部分讲了训练过程，包括预训练、后训练和评测。这个部分你们有什么觉得比较有意思的亮点吗？
刘逸峰
一个比较大的亮点，是 Post-Training 里面先分裂专家，再进行 On-Policy Distillation。
最近一段时间，On-Policy Distillation 又开始被大家研究，但具体怎么做，各家还是有很大区别。
蒸馏在 DeepSeek V3 和 R1 上其实已经有一定实践，只不过是把强模型蒸馏到比较小的模型，比如 R1 蒸馏出来的千问模型。
但 V4 的蒸馏，是先训练一些小的专家，再把这些小专家学到的技能蒸馏起来，从而节省参数量。
训练过程中，专家越多，容量越大；但专家越多，显存和参数量的要求也越大。
所以先让这些专家学好，再把专家的精华提取出来，能够显著提高最终模型的能力。
赵晨阳
逸峰讲的这个很有意思。他们做的多专家训练，本质上是在解决一个多目标优化问题。
有句话说，同时优化的目标个数，体现了一个人的智力上限。一个人能够同时操控的系统，参数越多，说明他的能力越强。
刚才逸峰讲的联合训练，相当于在一个多目标的 Loss Surface 上寻找 Pareto 最优。但在实际工程中，这个最优点很难同时找到，因为梯度走向很复杂，冲突也很严重。
如果一味 Push Coding 能力，数学可能就不好；把数学修好，指令遵循可能又不好。
所以现在的做法是先分裂、再蒸馏：在各个目标上分别寻找局部最优，再让一个统一的学生模型，同时拟合多个教师模型的输出分布。
这有点像我们学高数时讲过的插值。我们把一个复杂 Loss Surface 上的联合优化问题，换成在一些已经收敛的离散点之间做插值。工程上听起来是一个更稳定、更可控的事情。
业界之前也有过很多类似尝试。据说早年领先的某个开源模型，也有过所谓的专家聚合阶段，只是公开细节比较少。
Kimi 的 Post-Training 阶段一直是开源领域的标杆，也提到过 Multi-Stage 的专家聚合阶段。
学术界一直都有模型聚合，以及 Model Spawn 这样的技术。我觉得大概从 GPT-2 的时候，就有人在做这些事情了。
硅谷这边的前沿闭源模型，我认为大概率也会有相同的思路，但因为商业原因，披露非常有限。
开源生态是这一波中国实验室给整个 AI 领域的实质贡献。
程曼祺
评测部分我们前面聊过了，还有什么要补充的吗？
刘逸峰
我经常会做一些比较尖锐的批评。有句话是这样的：我本科毕业时，一位 NLP 领域非常知名的研究者告诉我，我们不能优化无法评测的东西。
如果我们不能给想要优化的能力一个分数，就根本不知道自己优化得对不对。
We cannot optimize what we cannot evaluate.
赵晨阳
所以经常大家会讲一个词叫 benchmark，也会讲一个词叫 evaluation。我其实觉得，我们最好把这东西叫 evaluation，而不是 benchmark，因为 benchmark 指的是一个个具体的任务，但是 benchmark 经常会过时，可能一个 benchmark 发布 1、2 年，它就过时了，对吧？所以大家都说它是一个 finite problem，但是 evaluation 这个事情永远都存在，而且它一直都是一个非常重要的事情。
我最近也有一个很大的感觉，就是 evaluation 越来越难做，因为我们的场景越来越复杂。举个具体的例子，经常 Claude Code 更新了之后，就会有人批评说，这个版本更新之后，怎么在某些方面变差了。
程曼祺
我非常好奇，对于 Claude Code 这样的工具，大家是怎么去评估一个 feature 要不要更新的？举个例子，我们在这个行业做一阵子之后，大家就会有万千种想法，每一个想法听着都有一些道理。但是直观上来讲，你不可能把所有的想法都做了，然后就说这个东西在变好；你加的东西越多，可能这个东西反而就在变差。
有个词叫 less is more。你这个东西加进去，真的有没有变好，是需要量化来说明的，所以 evaluation 就是做这个量化的。尽量不应该凭感觉走，否则我们的优化就会出问题。所以 takeaway 就是，我觉得这一版 DeepSeek 的 benchmark 一如既往做得很扎实，而且我一直坚定地认为，我们要做好 evaluation，并且 evaluation 只能做到越来越好才行。
否则我们的行业会变成一种早些年修炼气功的感觉。我们会觉得这些气功大师让人非常费解，因为从我们的科学教育观来看，这个东西有没有客观标准，能够说明这些奇怪的功真的可以给社会带来正向的收益，还是说他只是挑出几个例子，说这个人的病好了。我觉得现在如果不做好 evaluation，我们这个行业就会陷入这种自欺欺人的恶性循环。
赵晨阳
从这点上来看，DeepSeek 这次的 evaluation 测了什么呢？多步任务的稳定性、长程对话、人格一致性，还有工具调用的鲁棒性，这些可能在 V4 的报告里面都提到了。而且我觉得，这也是 V4 能不能进入第一梯队的真正问题所在。
程曼祺
所以可以 takeaway 一下：benchmarking 会过时，任何一个 benchmark 都有被刷满的那一天，但是 evaluation 一直都需要成为一个公正的追求，否则我们这个行业是没法盖着整个领域积极向上发展的。
我觉得这事儿确实越来越难了。包括最近 Opus 4.7 更新之后，很多人认为还是要用 4.6。现在确实有个词叫 vibe checking，或者叫 vibe benchmarking，就是说我已经感觉不出来模型的好坏了，只能根据我有限几次的对话说，以前这个任务 4.5 能做，为什么 4.7 就做不好了？
我们已经进入了 benchmark 的可信危机。这些模型乍一看 benchmark 全都是 90 分以上，但是实际差异大家都说很大。所以我觉得，general agent evaluation 还没有达成共识，我们还需要更好的 evaluation 机制。逸峰，你有什么要补充的吗？
刘逸峰
我觉得 benchmark 就相当于是在某一个具体任务上的一种能力，但是我认为更重要的，还是去发现和提出新的 ability domain，比如 agentic 能力、长程注意力的能力。domain 比具体的某个 benchmark 重要程度更高，因为你一旦提出这个 benchmark，我觉得它被刷满也就是半年到 1 年的时间。
程曼祺
V4 在这方面应该也没有提什么新的领域能力，对吧？
刘逸峰
这个是没有提的，是的。所以我觉得，这也算是一个不是特别令人震惊的点。
我觉得一个非常有意思的点是，我们发现这几代模型居然没有出现 degradation。先前做得好的任务，它再也没有变差过，这点其实还是很值得欣喜的。当然，我觉得可能另一方面的代价就是，现在模型的 context length 已经达到一种令人发指的地步。
程曼祺
我想起来了，benchmarking 里面他们提到多轮工具调用，还有多轮人格一致性。
刘逸峰
我们去年 DeepSeek V3 发布的时候，我自己有一篇 paper，我们当时也投了 ICLR，前几天应该在巴西开会，但我没有去。那篇 paper 讲的是，评估一个语言模型在 GitHub 上面对刁钻的 reviewer，提交一个 PR，然后把它 merge 的能力。
这个能力相对于以前解决数学竞赛题，或者解决比如修一个 issue、像 SWE-bench 这种修 issue，区别还是很大的。这个可能跟 Claude Code 的 idea 很像，比如你让它去完成一个工程，交付之后希望把它 merge 进去；在 merge 之前，你还得和 reviewer 做很多轮 rebuttal。
所以至少就我自己做过的 benchmark 来说，我很欣喜我们的 benchmark 能够得到更多的认可。而且即便今年这个 benchmark 已经被刷满了也无所谓，至少首先这个 idea 我们拿到了很好的分数，它本身是一篇很好的 paper。另一方面，我非常欣喜地看到，这一年这个能力就能被刷满，那我们明年是不是可以期待一些更劲爆的东西？
最近我自己比较关注的 benchmark 叫 ClawBench，也就是 OpenClaw Bench。它评估的是在 OpenClaw 这种应用场景下，用户的满意度是什么样子。我也比较希望到了明年，这种类似的 benchmark、这种个人非严肃编程助手的 benchmark 也能被刷满，那我们肯定会有新的挑战，全新的应用也会到来。
程曼祺
接下来正好我们可以讨论一下行业正在发生的一些更广泛的变化。最近的模型更新还是非常密集的，从 3 月底到现在，包括前面提到的小米 MiMo 2.5、GLM-5.1、MiniMax 2.7、Kimi K2.6、Opus 4.7、GPT-5.5。你们觉得，在这些模型里面，可以总结出大家共同努力的方向吗？
刘逸峰
开源模型的方法和 architecture，实际上还是在某种程度上趋同的。它的基座也就是 MLA，但是会对很多其他的 architecture feature 做比较。基座基本上就相当于是基于这个架构去进行拓展。
包括优化器，大家现在都在用 Muon。之前可能是 AdamW，甚至还会有一些其他的 M-SGD 之类的优化器，但现在大家都陆续转成 Muon 优化器，或者在 Muon 优化器的基础上进行微调。
Agent 的能力，我觉得是这一波所有模型——不管是开源模型还是闭源模型——都在注重的趋势。因为像 OpenClaw、Claude Code 这些产品，让大家发现模型研究未来商业化可能的方向，是给这些 Agent 提供 token，从而真正实现盈利，而不是仅仅靠之前的会员服务盈利。
总体来说，我觉得这 5 家公司仍旧非常有希望。哦，sorry，这里可能漏掉了小米。小米当然也可以关注一下，昨天这个模型的 MiMo 2.5 Pro 在 Arena 上面的分数也是比 V4 要高的。
竞争实在非常激烈。看到这种百花齐放的局面，我至少还是非常开心的。当然坏处就是，这些开源模型也给我们的开源推理引擎带来了很多工作量，我们的工作量也很大。
程曼祺
你为什么没有提到阶跃和混元啊？
赵晨阳
对我来说，阶跃在多模态上面其实发力很早。我觉得现在多模态是一个不上不下的状态，所以刚才陈阳也提到了，多模态要不要做原生多模态，这些事情是非常值得研究的。
混元这边，最近姚顺雨——他是我和逸峰的学长——回去掌舵混元。我看到混元发的可能是 300B 的那个模型。它现在肯定还不在 1T 以上这个模型的牌桌上面，但是在 300B 这个规模，我觉得做得也非常扎实。现在是 3.0 Preview，如果等到 3.0 上了 Pro，它可能就会进入微信端，那这个格局会很有意思。
美国模型总体来说，更多追求的是开辟一个新的领域，比如长上下文这个理念是 Google 团队提出的，然后是多模态融合，以及 agent 能力性能跨时代的提高。就像最近很火的 Gemini 2.5，它相比之前的模型有跨时代的提高。
还有一点就是，中国模型更加侧重性价比。美国模型大家都知道非常贵，而中国模型是在同样能力下，收费比美国模型低一个数量级。我觉得这跟中国充足的技术人员储备有很大关系。
程曼祺
陈阳，你有什么要补充的吗？比如你观察到了中美模型进化的哪些差别？
赵晨阳
我先前在美国的 Amazon AGI Safety Lab 工作过，我也和逸峰都在 Seed 有过实习。对于 long-horizon agent，只有一个词：惊叹。包括 OpenClaw、Claude Code 这两个产品，我觉得都非常 admirable。
Claude 这一代模型从 4.5 之后，在多轮 agentic coding 上面的表现，相比先前真的进步了非常多。可以想见，RLHF 或者 RLAIF 这一套我们先前的 alignment 方法论，经过这么几年的积累，再加上巨量的高质量人类反馈数据，已经在美国这边形成了一个非常强大的数据闭环。
中国团队这边，我觉得强项是架构创新的密度，还有令人啧啧称奇的工程完成度。V4 的报告里面，一次性把混合稀疏注意力、mHC、Muon、FP4 训练等这么多事情全部换掉，并且跑通，这种决心和执行力是相当罕见的。我觉得中美的路径和风格有所不同，但整个行业还是在盘旋上升的。
程曼祺
美国的模型没有做得那么稀疏，大家也没有在追求这个。你觉得这不是选择的问题，而是实现的问题？
陈阳
对，而且美国这边算力比较多。它不需要做这种稀疏，因为稀疏会牺牲一定的上限。大家的选择就是，我先去冲性能，反正这么贵也有人买；我先做到那些之前的模型可能做不到的事情，然后再想降成本的问题。
程曼祺
是的，因为理论上性能冲上去之后，降成本这件事我觉得会相对确定一点。当然你也需要更多资源和支持。他说得有道理。可能很多人批评说，中美现在是在大搞太空竞赛，我觉得很遗憾，只有中美能搞太空竞赛，没有任何国家能够玩得起这一波 AI 比赛。
接下来再过 1、2 年，V4 最可能被记住的是什么成果，或者说是它的什么思路和想法？
刘逸峰
可能为数不多能被记住的，就是 token-wise 的极致压缩。从算法层面来说，之前大家可能更多是在单个 token 里面做降维，比如 MLA 就是先降维再升维，都是涉及单个 token 的压缩。token-wise 的压缩，应该是 V4 首先应用到工业级别的模型上。
其他方面，在算法层面没有什么特别让我非常惊艳的地方。
赵晨阳
我和逸峰的观点比较类似，就是长上下文、极致低激活比例，还有低单 token 成本。这个组合无论是 architecture-wise 还是 infra-wise，可能都是 V4 留下的持久遗产。
具体的某一个技术，比如 mHC 或者混合注意力，会不会按照现在的形式被采用下去，可能都像 MLA 一样，只是那个阶段的最优解，但过了 1、2 个 round，它可能就会被更优雅的方案替代。当然，硬件可能也会反过来推动这些替代。
我觉得 DeepSeek V4 率先验证了这种工程配方，还是会成为后续许多开源大模型的默认起点。在这个意义上，DeepSeek 一直是开源模型的参考基准。
程曼祺
最后一个问题想问一下两位接下来的一些行动，比如你们选择的研究方向，或者陈阳这边因为已经创业了，肯定有很多具体的事情要做。有哪些可能会因为 V4，或者其他最近发布的这些模型，而产生一些影响和改变？
刘逸峰
对我来说，因为我目前也没有在公司实习。如果有机会去公司实习，我可能会比较想做 CSA、HSA 这种 token-wise 的压缩，以及长文本。但在我实验室里面，长文本很难实验，所以对我来说，更倾向于进一步研究 HyperConnections 相关的内容，包括 Kimi 的 Attention Residuals。
我感觉这又是另一波趋势。之前是从 ResNet 到 DenseNet 这样一波，我觉得对于 Transformer 来说，可能也会有相同的趋势，就是提高层与层之间的信息流动。
我自己也在做优化器。DeepSeek V4 采用了不同的超参数，那么 Muon 还能不能进一步改进，或者 Muon 的超参数应该如何设定？到底是 Keller Jordan 提出的 5 步 Newton-Schulz 更好，还是 DeepSeek V4 采用的 10 步 Newton-Schulz 更好？这还是非常值得进一步探索的。
陈阳
就像我刚才提到的，我大概去年这个时候有一项工作，讲的是多轮 agent 给 GitHub 持续提交 PR。这算是我之前的一个 research 方向，就是研究 coding 真实场景下的 coding 表现。
我最近可能不需要做一个 research，但是我需要真实地用起来。因为现在我自己维护开源工具，会有很多人提交 AI 生成的 PR。有没有什么 golden standard，能够内化到我自己的工作里面？我看到什么 PR，能够知道这东西是靠谱的；看到什么 PR，知道它是烂的，就把它毙掉。这是我需要去研究的，把研究里面提取出来的东西应用到自己的工作当中。
还有一点是，我最近做语音模型做得比较多。我觉得语音模型上面的工程优化相比语言模型差了非常多，而且很多事情其实都可以在语音模型上面重现一次，我觉得都是可行的。
这一版 DeepSeek 还是做到了非常优秀的 PD 分离，还有 MTP 这些工作。我会认为，PD 分离未必需要在语音模型上实现，但是 MTP 对语音是挺关键的。就像现在你打开手机跟豆包对话，会觉得豆包吐出第一个语音的速度还是很快的。
很遗憾，在开源上面我们做得没有这么优秀，所以我觉得这里还是有一个很大的 gap，我们可以去努力。
程曼祺
OK，今天非常感谢两位做客《晚点聊》，分享了你们在看到 DeepSeek V4 发布之后，包括最近这么密集的这么多模型更新之后，观察到的一些变化。尤其是我们非常详细地展开聊了 DeepSeek 这一次一下子端出来的 4 个新东西，并且在 1.6T 这么大的模型上都实现了：包括它新的注意力机制，这改变了 V2 到 V3 的 MLA 主流做法，而现在 Kimi 和智谱的 GLM 还是用的 MLA 架构；第二个就是 Muon 优化器，而且 DeepSeek 也在之前比较主流的版本上做了一些改进；第三个是 MHC，这是 DeepSeek 自己提出来的、让训练更稳定的方法；最后是在 Infra 层面的 TileLang 还有 FP4 的使用。
今天的节目就到这里，各位拜拜。
本期节目就到这里，感谢收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”。下期再见。