# 179: 蒸馏风暴：一场无人公开谈论的技术竞赛 晚点聊 LateTalk · 2026-08-17 · 50 min · https://podcast.latepost.com/179 ## 逐字稿 高洪浩 今天又是我们晚点编辑部自己录的一期节目，没有嘉宾，我是今天的代班主持。我们的嘉宾其实是大家每一期都能听到的曼祺。 程曼祺 今天是我和洪浩一起来聊我们最近做的一篇报道，报道是关于蒸馏这个话题的。 开头我先叠个甲。正常来说，这个话题最合适的方式可能是找到一个一线从业者，他做过这件事情，请他来把这件事聊得比较透。但就像我们那篇文章开头写的，所有人都会去关注这件事，但大家不会公开去谈论，所以其实不太好找到嘉宾来在节目里讲这个事情。 最后我们就自己来聊。这里的信息，可能来自我们最近这一段时间和很多不同公司的从业者、研究员交流时获得的一些关于蒸馏的信息。这确实也是目前行业里非常受关注的一个话题。 高洪浩 现在每个人都在谈蒸馏。如果对于一个可能没有那么精通技术的人来说，你会怎么解释蒸馏这件事情？ ### 蒸馏到底是什么 程曼祺 我对技术也没那么精通，就尽量用我觉得自己理解的方式来解释。典型的、为了变强的蒸馏，大家主要讨论的是这个。我理解，它的过程简单来说就是：你先有一堆问题，然后去问一个很强的模型，比如去问 Fable，得到很多回答。提问和回答会构成一堆数据对，然后你再用这些数据去训练你想提升的那个学生模型，也就是你自己的模型。 你让学生模型的输出行为去接近想学习的教师模型的输出行为，让两者之间的差异越来越小，这就是比较典型的蒸馏。 当然，我刚才说的是一个简化的描述。比如从教师模型那里通过提问得到的东西，它的含义其实是在变化的。像有了推理模型，也就是 OpenAI 的 o 系列、DeepSeek R1 这一类模型之后，它就不再是简单的题目和回答，中间还会有推理过程。包括后面的智能体也越来越发达，所以这个过程还可以扩展到一个完整的智能体完成任务的过程。 高洪浩 那我可以理解为，它就是一个抄答案的过程？比如我问自己的模型一个问题，它在没有蒸馏之前回答得非常差，甚至可能都不知道怎么回答。然后我去问 Fable，Fable 能给我一个非常精妙的推理过程以及最后的结果，我就直接把这个答案告诉我的模型：以后遇到这个问题，就按照 Fable 这样的方式去回答。 这样的问题多了、答案多了，最后我的模型也懂得怎么回答，包括泛化。它可能会学习 Claude 的这种推理思考方式，变成一个很智能的模型。 程曼祺 它肯定不是我们原初意义上理解的那种“抄答案”，不是你直接有一个答案就抄过来，因为它还是一个训练的过程。现在这种蒸馏主要是用在后训练和中训练里的，你要用算力，也要有数据放到模型里去训练，这是一个难度比较高的获得答案的过程。 它不是像抄作业那样，人家写 A 你就写 A，而是需要一些方法、技巧、智慧和劳动在里面。所以它不是简单的抄作业。 高洪浩 结论就是，虽然也是抄作业，但它是有门槛的抄作业。其实也可以不用这个类比，因为类比肯定会丧失一些精度，只是我没有想到一个特别好的、能对应日常生活行为的类比。 ### 智能体轨迹蒸馏 程曼祺 接着刚才说。随着智能体的发展，你从教师模型那里获得的整个轨迹数据，它的含义也变得更复杂了。这正好是文章里没有特别展开的部分，在播客里可以补充一下。 如果对比刚才说的经典过程，智能体轨迹蒸馏要获得的东西，就不再是静态的题目、推理过程和答案，而是扩展成：一个智能体在一个环境里面，完整做完一个任务的整个过程。 先跟大家解释一下“环境”。环境就是让智能体真正把任务跑起来的一整套条件和系统。比如你要让它做一个编程任务，就要给它一个代码库、终端和必要的工具，比如代码编辑器、编译器、测试工具，然后再设置任务和单元测试，用来判断程序是否运行正确。 具体来说，更强的教师模型，比如 Fable，可以做什么？你可以让它来生成一些题目。当然，一般大家会先有一些真实题目，再去改写和扩增这些真实题目。你也可以让它来生成环境，因为很强的模型都有编程能力，本身就可以构造这种环境系统。 你还可以用它来生成轨迹，这个就比较接近典型的蒸馏。相当于让 Claude 自己在它构造的环境里把任务做一遍，你会获得它完整完成这个任务的过程。这个过程其实也是一堆数据，然后你再让自己要训练的学生模型，在行为上接近它完成整个任务的过程。 但实际上，你也可以不做这一步。如果不做这一步，而是用更强的模型来评估自己的模型在这个环境里完成任务的效果，那可能就不是蒸馏了。我觉得它可以被描述为：使用一些最强模型的数据和输出，来帮助你做一个智能体的强化学习。 高洪浩 如果总结一下，典型的蒸馏就是让学生模型去学习教师模型的输出，让这两个模型的行为越来越接近。你用到的可能是对方的推理轨迹，也可能是它完成某个智能体任务的完整轨迹。 程曼祺 这里有一个误区可以讲一下：并不是说在训练一个模型的过程中，只要用到了另一个更强模型的数据和输出，就是典型的蒸馏。但你确实可能使用了更强的闭源模型的输出，来提升和优化自己的模型。 ### 用户协议的灰色地带 高洪浩 说到这里正好想到一个问题。即使是这种情况，对 Anthropic、OpenAI 和 Google DeepMind 这些公司来说，也违反了它们的用户协议。它们原本的模型用户协议里已经说明，模型输出的内容和答案不能被拿去做训练。更宽泛地说，是不能利用它们的服务去提升和优化一个与它们竞争的模型。 这个用户协议有法律效力吗？ 程曼祺 这个可能得咨询特别专业的律师。从朴素的想法来说，目前应该是一个灰色地带，因为它的范围其实很宽泛。 ### 蒸馏从何时开始 高洪浩 整个蒸馏的历史也没有那么长。我们不说原理，只说现在大家真正开始做蒸馏，或者大规模做蒸馏，大概是从什么时候开始的？ 程曼祺 我觉得它比较新。从 Anthropic 这些公司的声明里也能看到这一点。比如 Google 在 2026 年 2 月发过一篇文章，原话是说，他们观测到从去年开始，蒸馏以及其他一些他们称为“窃取知识产权”的行为变得越来越多。 我获得的信息是，从 2025 年到现在，规模变大了很多。 高洪浩 2025 年什么时候？ 程曼祺 2025 年年初，DeepSeek R1 发布之后。但我觉得关键的时间点还不在 R1，中间有两个比较重要的节点。 一个是在 2024 年 9 月，OpenAI 发布了 o1。o1 是第一个算是开启推理模型范式的模型。它带来了两个比较大的技术变化，这在我们写蒸馏的那篇文章里也提到了。 第一个变化是，o1 揭示了在后训练中做大规模强化学习，可以让模型学到推理策略。这个推理是 reasoning。蒸馏本来也主要用在后训练上，所以在这个阶段做更多蒸馏，投入回报比上升了。 o1 还有一个发现，或者说开启了一种新的方法，就是在测试时，也就是模型推理阶段，给它更多算力，让它围绕一个问题一步一步地想，生成更长的思维链，也能持续提升模型性能。 有了思维链和更多推理过程之后，这一部分也是模型在使用阶段的产出。理论上，作为用户是可以看见的，当然它也可以被隐藏，但你能通过一些手段去还原。这部分就变成了更好的蒸馏数据原料。 高洪浩 相当于推理模型出来以后，大家发现有漏洞可以钻了。 程曼祺 这不是漏洞，或者说不是突然有了蒸馏的方法。蒸馏这个方法之前就有，只是你能蒸馏的原料变得更丰富了。你有了更好的推理，也有了推理过程这一部分。 所以第一个变化是，它提升了蒸馏这个方法的投入回报比。 第二个变化是，有了更多高级模型可以生成、并且可以用于蒸馏的数据，所以蒸馏变得更多了。 另一个比较重要的时间点，确实和 DeepSeek R1 的发布有关。具体来说，R1 的技术报告是在 2025 年 1 月发布的，同时还发布了 6 个小的蒸馏模型。其中 4 个是 Qwen 2.5 的底座，另外 2 个是 Meta Llama 3 的底座。 这 6 个模型都是把 R1 当作教师模型来学习，大概是在测试这种方式能不能提升小模型的能力。其实这才是蒸馏最开始的一种主流目的，也就是为了压缩：把大模型的能力压到尺寸更小的模型里面。 它的好处是，大模型一般比较贵、比较慢。蒸馏可以降低成本、提高速度。另外，有一些场景，比如手机、汽车这些端侧算力更少的地方，包括未来的机器人，其实都需要相对小的模型，因为它们对延迟和算力的要求更高。 我现在还记得，第一次在线下采访中和人比较长时间讨论蒸馏是什么情境。当时我去采访毫末智行的 CEO 顾维灏，他们做的是自动驾驶。他讲了很多自动驾驶里关于蒸馏的想法，这个场景就很典型。 为什么需要压缩？因为你在云端训练的模型比较大，要把它放到车上。车上当时应该用的是 Orin 之类的英伟达芯片，算力相比云端还是相对有限，所以要通过蒸馏、剪枝和量化等方法，让模型变得更小。这样它在车上的延迟会更低、速度更快，消耗的算力也更少。 对于汽车和机器人这样的场景，低延迟非常重要。所以这就是最开始蒸馏的主要目的。 高洪浩 它其实不是为了做得更强、去追赶对方。 程曼祺 对，它是为了把一个更大模型的能力压到更小的模型里面。 高洪浩 像 DeepSeek、Qwen 也会做这种蒸馏，对吧？ 程曼祺 对，Qwen 做了很多。Qwen 每次发布时，开源的模型尺寸其实都非常多。 ### 蒸馏从压缩走向变强 高洪浩 后来就是我们现在看到的蒸馏。现在看到的蒸馏，其实是为了变强的蒸馏。那为了变强的这种风气，是谁带起来的？ 程曼祺 我觉得很难追溯到是谁带起来的。其实压缩和变强是一体两面：我把一个大模型的能力压到一个小模型里面，本身也是在让这个小模型的能力变强。它一开始就有这个潜力，也有这个提升空间。 今年以来，大家对于蒸馏的讨论格外热烈，比去年热烈得多。2025 年之后，大家争论得更多了。 包括 Anthropic、OpenAI、Google DeepMind 这些公司，在 2026 年年初开始发布了更多公开文章，也在给美国政府的公开信里更多提到中国公司对它们进行蒸馏。我觉得这是一个比较明显的导火索，让大家更多地讨论蒸馏。 另一个更重要的背景是，最近这段时间中国开源模型的表现明显逼近闭源模型。比如 K3 就是一个里程碑。K3 在美国引起了很多讨论和争议，这件事我们在上两期节目、也就是第 177 期专门聊 K3 的时候，开头也讨论过。 所以是各种原因累积起来：一方面，蒸馏的规模确实变大了；另一方面，更强的开源模型逼近美国的闭源模型之后，中美双方对这个话题本身都更加关注。蒸馏就被推到了风口浪尖。 ### 字节选择不做蒸馏 高洪浩 但其实也有一些公司不蒸馏，对吧？前阵子我们也报道了。 程曼祺 那不是你写的吗？你编辑的。 高洪浩 对，是字节。张一鸣非常罕见地露面，我们已经很多年没有写过这 3 个字了。 程曼祺 我们在报道里其实也写到，张一鸣在 Seed 的一场内部会上提到，他不允许字节去做蒸馏。我们之前也了解到，字节很长一段时间都没有做蒸馏这种行为。 高洪浩 严谨地说，是罕见地有人不蒸馏，并不代表其他人都蒸馏。Anthropic、OpenAI 和 Google DeepMind 都说谁谁谁在蒸馏，但它们也没有展示完整的证据。 说回这个报道本身，我有一些想问你的地方。当时我看报道原文，它只是说张一鸣反对蒸馏，好像没有特别多上下文语境。比如他反对的是哪一种蒸馏，还是所有的蒸馏？我也不知道他是怎么定义这件事情的。 程曼祺 对，他其实没有明确说到底什么是蒸馏，也没有说什么样的方式算“硬蒸”或者“软蒸”。全员会上本身也没有更多语境。 高洪浩 你怎么看他明确表态不蒸馏这件事？字节其实是一家算力非常多的公司，现在整个大模型竞争又极其激烈。再加上我们一直觉得 Seed 的表现并没有达到预期——并不是字节一定会做到 SOTA，甚至在很多领域离 SOTA 还很远，比如编程，比如 agentic，也就是智能体领域。 它在这些领域离真正的一线水平还挺远，但它居然主动拒绝使用蒸馏这种方式。为什么？你觉得这个问题我们可以讨论了，因为你对自己比较了解。 程曼祺 首先，你那篇报道里不是已经写了原因吗？ 高洪浩 我觉得那些原因也都挺有道理。 程曼祺 一个原因是，张一鸣认为蒸馏在短期内可以改善模型表现，但本质上是在复制 Claude 已有的能力。所以如果继续做下去，最多只能逼近对方，不能实现超越。 潜台词就是，Seed 的追求肯定是做到世界第一，成为最强的模型。我理解这就是他们的抱负和追求。 第二个原因，文章里也写到，他希望 Seed 能从更底层的维度，去构建自己在 AGI 上的壁垒。有可能他认为蒸馏不是一个长期壁垒，当然大部分从业者也都是这么认为的。 最后一点不是对原因的解释，而是一个比较强的表态：即使不蒸馏意味着自己会在技术上短暂落后于国内的一些竞争对手，他们也不采用这个捷径来推进自己的模型能力。 我觉得他说得比较清楚。当然，有一些事情我不确定他在全员会上有没有讲，但他作为一家这么大的公司，而且在全球都有业务，对合规以及国外公司怎么看他，我觉得他也会有更多考虑。 高洪浩 你觉得 Seed 今天没有做到更好，核心原因有没有可能就是它没有蒸馏？这里所谓的 SOTA，是国内的 SOTA 吧？ 程曼祺 你觉得呢？ 高洪浩 我觉得有一定原因。因为你接触他们自己的人，他们是怎么想的？ 程曼祺 我觉得不蒸馏是一个挺重要的原因之一，但也不能完全归咎于这件事情。虽然这是一个比较“万金油”的回答，但我觉得它挺接近事实。 据我了解，比如 Seed 2.1 应该使用了一些蒸馏手段，是在 6 月发布的。我觉得它在这之后应该经过了一段时间的思考，内部也应该有过比较激烈的讨论，最后还是决定不要蒸馏。 而且你看它这个时间很短，从 2.0 到 2.1，算开发时间的话，我觉得也就是今年。在那之前有比较长的时间——两年多、两三年的时间——字节确实不怎么蒸馏。 高洪浩 你觉得张一鸣自己说不蒸馏的核心理由——蒸馏只能逼近、不能超越——成立吗？ 程曼祺 我觉得是这样的。首先，这是张一鸣自己提到的。如果研究蒸馏这条路最多只能不断逼近对方，很难实现真正超越，这个是有可能的。 我之前也问了很多从业者：从技术上来说，这件事是不是绝无可能？我指的是，蒸馏是否意味着学生模型就不能超过教师模型。大部分人认为，这并不是绝无可能，技术上是有可能的。 这应该是一个研究课题。蒸馏有很多方法可以优化。比如我是不是可以不只学习一个模型，而是学习更多教师模型、博采众长。当然也有可能训不好，变成博采众短。无论如何，这里面有很多可以探索的空间。 但大部分人也认为，蒸馏会有一个隐患，或者说代价，那就是组织和人的精力。如果一段时间里把很多精力和重心放在蒸馏上，因为蒸馏相对经济，成本比较低，而且提升能力的确定性比较高，这一点更关键。 如果把重心放在这种相对确定的方式上，组织里那些做更长期探索、走更不确定道路的项目，或者从事这些项目的人，可能就得不到足够的资源和认可。我觉得认可也很重要。 顶尖研究员很需要一个能够鼓励、看见创新研究的环境。我觉得这里面存在组织上的隐患。所以综合技术和组织两个方面来看，张一鸣说蒸馏可能很难实现超越，也许是一个真实的情况。 高洪浩 当时你这篇文章发布之后，我自己在朋友圈和极客公园上都写了一个挺长的分享。我问的是之前一直在想的那个问题：学生模型是否一定不能超越教师模型。我也分享了一些当时获得的行业从业者反馈。 有一个人在极客公园上的留言，我觉得挺有意思。他说，张一鸣可能不是最懂技术的，但他大概率是最懂人性的。可能这就是一种组织上的代价。 程曼祺 这个说得蛮好。 另外，蒸馏还有一些内在的技术问题。你有可能会学到教师模型的一些错误，以及它的一些不良表现。总之，你的行为会比较接近它，也可能学到一些不好的东西，所以它确实存在技术上的问题。 高洪浩 那其他公司的人难道就不会意识到这个问题吗？我们知道，国内可能有几家公司表现出对 AGI 的信仰。他们应该也能看到蒸馏的代价和负面影响。 程曼祺 我觉得取决于你认为这个代价是否可控、是否可接受。 文章里有一个比喻：一个运动员理论上可以一边吃兴奋剂、一边训练，也许真的有人是这么做的。但一般来说，如果你吃了兴奋剂，肯定会有一些侥幸心理和惰性。 其他人可能会想，我可以克制这方面的问题，或者我不一样。具体怎么想，可能得去问每一家公司的决策者。 还有一种可能是，蒸馏只是优化模型的方法之一。对一些公司来说，哪个阶段、哪种方法有用，它就会在那个方法上投入。过一段时间，如果发现有更有用的方法，也可以去用那些方法。 而且在实践中，一家公司做蒸馏，首先不代表它后训练的数据全部来自蒸馏，肯定也会有别的数据；其次也不代表它不做别的事情。它还要做 inference 的优化，也可能做算法和架构上的优化，还要更好地构造自己的预训练数据集。它还有很多别的事情要做。 高洪浩 上次选题会的时候也说到，自从张一鸣明确表态之后，有一些人想从 Seed 离开。 程曼祺 确实是这样的。但这件事也很个体化。你说有两三个、三四个人离开，好像也不稀奇。 高洪浩 他们个体层面的原因，是认为不应该放弃这种方式吗？ 程曼祺 因为每个人的职业生涯是有限的。从个体角度来讲，我当然希望自己在 Seed 的这几年时间里做出代表作，希望职业履历里所在的团队做出最强的模型，至少是中国最强的模型。 我最宝贵的人生阶段，或者说职业阶段，可能就是这几年。如果一直在里面陪着它消耗，当然这是一种非常个人化的想法，但我觉得也合理。 高洪浩 而且推测一下，有人会这么想，也可能有人会被张一鸣的这种表态招揽。 程曼祺 对。 高洪浩 如果 Seed 不蒸馏，从你的角度来看，它现在更应该做什么？或者说它的重心应该是什么？ 程曼祺 就是字节怎么去构造高质量的数据。 高洪浩 对，而且你已经看到它有动作了，就在本周。智能涌现有一篇报道，说字节从 6 月开始重组数据团队，现在要成立一个和 Seed、Flow 平行的一级 AI 部门，叫 AI 数据与安全。 相当于它把数据作为一个很重要的能力抽出来，成立了一个级别挺高的大团队。我觉得它得自己获得一种能力：不依赖外部领先的闭源模型，不依赖 OpenAI 和 Anthropic 这些公司的数据。 我还想问你，他们新成立的 AI 数据与安全部门负责人叫王银磊，Adam Wang。这个人你之前接触过吗？ 程曼祺 他原来在 TikTok 负责直播，跟文佳和 Alex 都汇报过。 高洪浩 相当于之前和他们都共事、合作过。 我看到的公开信息是，他之前在 TikTok，现在来负责数据。我不太确定这两件事之间有没有相关性。说到数据，其实现在有很多第三方数据公司也在做这方面的工作。 如果我用第三方数据公司去做蒸馏，再去买他们的数据，这算什么？我也听说有些公司可能会说自己不蒸馏，但在体外做一些操作来实现蒸馏的目的。 比如买第三方数据，这算蒸馏还是不算蒸馏？ 程曼祺 这里有很多操作空间。分两个层面来说，从技术上看，如果你让自己要训练的模型去逼近你获得的一堆更强模型的输出和行为，那技术上就是真正的蒸馏。 至于法律上，或者说是否违反对方的用户协议，这个问题能不能绕开，有很多操作空间。包括如果之后美国有更严厉的限制，可能还有对方政府的一些限制，那就不单纯是技术问题了，会涉及很多不同层次的问题。 ### 行业中的蒸馏疑云 高洪浩 接下来可以讨论更多公司，或者说整个行业的情况。DeepSeek、Kimi、智谱、Qwen 这 4 个模型里面，从你的角度来看，你认为谁最可疑？ 程曼祺 首先我想反问你，为什么是这 4 家？ 高洪浩 因为大家传得比较多的就是这 4 家。 程曼祺 这个肯定没法评论，到底谁在蒸馏、谁不在蒸馏，其实没有足够信息。 我们可以看美国这些公司有没有点名谁。Anthropic 在 2 月的时候点名了 3 家公司：DeepSeek、Kimi 和 MiniMax。6 月的时候，它又点名了一家公司，是阿里的 Qwen。 反而智谱没有被美国公司公开说在蒸馏。OpenAI 则是说 TPC [?] 有这种蒸馏行为。这里仅仅是分享公开信息。 高洪浩 那你怎么看？前一段时间，阿里被 Anthropic 点名以后，整个集团都开始禁用 Claude Code。 程曼祺 Anthropic 在 6 月给美国国会的一封信里提到，Qwen 曾经和它进行了很多交互，大约是 2,880 万次。当时 Anthropic 说，这是它有史以来发现的规模最大的蒸馏攻击。 我觉得这两件事可能没有直接的必然联系。首先，这可能是一种合规表态，中国用户理论上本来就不能使用 Claude 的模型。其次，它也要考虑自己的数据安全，也许不希望内部很多 AI 使用都通过这个模型完成，而是希望大家使用自己的模型。 我觉得这确实不一定和蒸馏有关，但它也处在中美模型竞争的大语境里。 高洪浩 如果中国所有头部模型都不允许蒸馏，你觉得现在的格局会发生什么变化？ 程曼祺 如果让所有人都不蒸馏，那大家在这一点上其实都是一样的，还是要看其他能力。我感觉可能没有什么变化，因为你仍然得看其他能力。 高洪浩 你的意思是，Kimi 还是能领先，智谱还是能领先，Seed 还是落后？ 程曼祺 你这个问题又预设了其他人都在蒸馏，而字节没有蒸馏。如果所有人都不蒸馏，字节是不是看起来就和大家差不多了？ 高洪浩 是。 程曼祺 这我确实没法判断，而且这个假设也很难实现。 高洪浩 那有什么迹象可以看出一个模型是不是蒸馏的吗？比如有些模型回答时经常会说自己是 GPT，或者说自己是 OpenAI 训练的。有的人会把这个当成蒸馏的证据，你觉得靠谱吗？ 程曼祺 这肯定不靠谱。你直接问一个模型 A“你是谁”，它说自己是模型 B，这不能证明 A 蒸馏了 B。 2024 年 11 月就有人做过这种研究。当时他们测了 27 个模型，有中国的，也有国外的；设计了 77 个问题，研究模型的身份混淆问题。 这种情况确实会出现。比如 GPT-4 会说自己是 GPT-3，Gemini Pro 会说自己是百度文心，Seed 会说自己是 GPT。 论文的结论是，仅凭模型的身份混淆，很难判断谁使用了谁的训练数据，更不能说明存在蒸馏。更合适的方式可能是看它们的输出分布是否接近，还是看模型整体的行为是否接近。 高洪浩 比如说话的方式、输出格式、拒绝回答的方式，或者代码风格？ 程曼祺 对，但这需要很大的样本量。你肯定不能只问一两次，觉得它们很像，就证明了什么。 另一方面，你说要判断一个模型是否蒸馏，原因是什么？ 高洪浩 可能提这个问题时，已经先入为主地有一个印象，觉得蒸馏是不是一件不好的事情。 程曼祺 如果作为用户，这肯定不影响使用。但假如你是投资人，或者是想买二级市场股票的人，又或者你想找工作、要在这几家公司里选一家，那可能就取决于你的技术判断：你认为蒸馏从长期来看，对一个模型研发团队是不是一件好事，然后再去判断它是不是真的做了蒸馏。这个判断对你可能就比较有价值。 ### 蒸馏需要复杂管线 高洪浩 那我们说回蒸馏的方式。你觉得蒸馏真正困难的地方在哪里？比如，是真正拿到几百万条 Claude 的回答比较难，还是知道怎么向 Claude 提问比较难？ 如果所有公司都可以大规模蒸馏，蒸馏的核心竞争力是什么？ 程曼祺 我觉得很难回答哪个部分更难，可能每个公司都不一样，要看自己的薄弱环节是什么。我可以讲一下我知道的、比较有难度的一些环节，这在文章里也有展开。 一个是在最开始，你怎么稳定、高频地访问这些模型的账号，包括怎么做用户运营。用户可能会帮你提供一些真实、高质量的数据。 高洪浩 用户提供数据，是指用户的提问吗？ 程曼祺 对，真实的提问可能只是一个种子，你可以围绕它再做扩增和改写。 行业里有从业者提及过一种做法：建立很多中转站，再让一些人通过中转站去使用领先的 GPT 或 Claude 模型。最好这些用户是真正能提出高质量问题的人，而且确实有真实需求。比如高校里的理工科学生、研究者，或者高级程序员和开发者。 这其实是一项运营工作，同时也有技术部分。中转站不一定要自己建立，也可以找一个比较稳定的第三方。 但在这个过程中，你还要防止自己被坑。假如你和一个第三方中转站合作，对方也可以在连接领先模型的过程中加入一些你不想使用的模型。 高洪浩 我知道有一家模型就是用了中转站，结果发现自己蒸馏出来的其实是自己的模型，自己在蒸自己。 程曼祺 对。 第二个整体来说，是一套数据管线，包括怎么构造题目，这本身也是构造数据的过程。如果你有很多高质量用户，在真实任务、真实场景下提出了很多真实问题，你肯定要从中筛选。 怎么筛选、过滤、去重这些真实数据？怎么进一步用模型去扩增和改写？中间还涉及纠错，以及整套数据的形式和配比。这套数据管线会有一定难度，至少里面包含经验和 know-how。 此外，整个系统是否能把成本降下来，是否足够稳定，也会影响大规模操作时的效果和效率。所以整体来说，它是一个比较复杂的系统工程。 高洪浩 这就回到前面说的“抄作业”。如果非要说它是抄作业，那就是一个非常复杂的抄作业过程。 程曼祺 本质上已经不是抄了，不是你一笔一画对着人家写一遍。 高洪浩 我理解了，大概就是这么实现的。 那如果一家公司真的想隐藏自己的蒸馏行为，最常见的方法是什么？ 程曼祺 它想向谁隐藏？ 高洪浩 比如 Anthropic、OpenAI？ 程曼祺 那我不知道。 高洪浩 如果它不用 API，而是直接下载一个 open-weight 的 frontier 模型，然后在自己的机房里生成几亿条数据，外部是不是几乎没有办法发现？ 程曼祺 你的意思是，它先有一个开源模型。假如一个开源模型变得很强，最近黄仁勋在一次采访里也被问到了这个问题。 他是在 7 月 20 多日的一次采访中被问到的。当时比较强的开源模型都很大，比如 K3 接近 2.8T，接近 3T；V4 也是 1.6T。 首先，部署这么大的开源模型需要很多算力。部署之后还持续用它跑各种数据，电费应该也很高。总之，这种行为比较容易被监测到。 如果政府或其他人认为这是一种隐患，政府可能比较容易监测到。 高洪浩 如果一家公司同时从 Claude、GPT、Gemini，甚至 DeepSeek、Qwen 这些模型里各拿一点数据，再让自己的模型进行筛选、去重、改写，是不是就很难看出某一个教师模型的痕迹？ 程曼祺 有可能，但这并不能帮助你向闭源模型厂商隐藏蒸馏行为。只要你大规模、高频地使用过它的 API，出现类似的异常行为，对方就有可能看见。 它不一定是从结果来发现，而是从过程来发现。Anthropic 最近也说过，他们采取了一些更强的反制措施，已经建立了识别蒸馏流量的分类器和行为指纹系统，可以发现跨账号协同、重复提问和套取思维链等行为。 所以它不是等其他模型蒸馏完成之后，再从模型表现来判断，而是过程中就能看到。 他们这次还提到，会加强对教育、研究和创业公司账号的身份认证。这和我刚才说的用户运营也正好呼应了，比如找高校学生来使用模型。 高洪浩 你这么关心这个问题，是因为你比较关心怎么隐藏这件事吗？ 程曼祺 你觉得隐藏之后，结果会是什么？ 高洪浩 我觉得结果很直接。举个例子，我不知道合不合适。比如 Qwen 也好，Kimi 也好，它们现在都没有被列入美国实体清单。 我首先没有说它们蒸馏了。假如我是 Kimi，或者我是西蒙，我想做蒸馏，但又不想被列入美国实体清单，也不想被 OpenAI 发现。你想知道这是否可能，对吧？ 程曼祺 对。 高洪浩 我觉得这可能也算蒸馏的另一种代价：确实会有合规隐患。要想人不知，除非己莫为，总会留下痕迹。 所以蒸馏本身会受到一些约束，不可能无限制、大规模地扩展，大家也会考虑成本。做这些事情都是要花钱的。 ### 蒸馏带来的追赶优势 高洪浩 我们说说蒸馏的好处。刚才也提到过，学生模型能不能超过老师？ 高洪浩 你觉得呢？ 程曼祺 我刚才已经说了，我觉得技术上是有可能的，至少我接触到的从业者认为技术上有可能。 有几种可能的方法。比如刚才提到的，向不同的老师学习，也就是多教师蒸馏。现在后训练中合并不同方向专家的能力时，就会用到多教师蒸馏。 高洪浩 那多教师蒸馏的思路，是否也可以用来让模型变强？ 程曼祺 这纯粹是一个拍脑袋的技术推想，也许会有人去尝试这个方向。 包括之前有一些研究，文章里也写到了：在一些比较特定的任务上，有可能让学生模型在具体任务上超过教师模型。当然，这不一定代表学生模型整体上比教师模型更强，比如泛化性、通用性以及其他方面的能力，不一定都更强。 所以我觉得，学生模型能否超越教师模型，是一个开放、可以继续研究的问题。 其他好处就比较明显了：你可以用相对低成本、确定性较高的方式，去接近更强模型的性能。 高洪浩 超过老师，并不意味着这个模型就是 frontier 模型，也就是最强的模型。它可以是最强的模型，但不一定是最创新的模型，对吗？ 程曼祺 你说的是，靠蒸馏能不能变成世界第一，或者世界第一的标准是什么。 高洪浩 我们先不用讨论创新不创新。世界第一的标准，就是按照现在各种智能评测的表现，它的表现最好。 程曼祺 那其实还是回到刚才的问题：如果你已经学习了最好的教师模型，还能超过它，那你确实有可能变成世界第一。这是一个技术上的开放问题。 但你能不能持续保持第一，就确实和创新能力有关。 高洪浩 现在就是各领风骚几个月。 程曼祺 对。你可以观察到一个现象：像 Anthropic 这家公司，至少今年上半年有几个月是持续领先的。只是最近这段时间有很多新模型密集发布。 高洪浩 比如 K3、Grok，Grok 4.6 昨天也刚刚发布。 程曼祺 所以在最近这个很短的时间尺度里，大家可能会感觉更急迫，看起来开源模型已经非常接近闭源模型。 但首先，它现在还没有真正接近。其次，如果拉到半年的维度，中间我觉得有几个月 Anthropic 还是领先的，Anthropic 和 OpenAI 都是如此。 所以也许过了现在这个阶段，最强的闭源模型公司又会向前跳一步，其他公司赶上，然后它们再跳一步。现在看到的实际情况可能是，通过蒸馏的方式，暂时还没有办法超过老师。 但换个角度，对于所有商业公司来说，有了蒸馏这种方式，后发者反而有优势。你可以用更新的数据、更强的模型去蒸馏，获得更好的数据，和领先者之间的差距逐渐缩小。可能只需要几个月，甚至更短的时间。 高洪浩 听起来其实是合理的。对这些开源公司来说，如果无法超越现在的领先者，只是跟得很紧，这种现状是否也可以接受？ 程曼祺 这取决于大家怎么看更强的 AGI 会如何到来。 有一种假设是，像 OpenAI 和 Anthropic 现在都在谈的自我进化能力。如果模型自我进化到一定程度之后，人在其中的作用会变小，那么用更多 AI 去优化 AI，速度可能会非常快，自动化程度也会很高，加速度越来越大，后面的人可能会被甩得更远。 在这种假设里，率先达到某种状态就很重要。也许今天看 Anthropic 和 OpenAI 的模型只领先几个月或者几周，但再过一段时间，如果它们到了另一个状态，时间差就没有那么容易缩短了。 当然，这只是一种假设。所以不能因为现在有蒸馏这种方式，跟得很紧，就觉得这样已经足够了。 高洪浩 当然，大家非常依赖蒸馏也可能只是阶段性的状态。它只是一种方法，你可以组合很多方法。 ### 蒸馏的边界与代价 接下来我们可以聊一个话题：站在普通人的视角，对于蒸馏有很多印象、刻板印象和热门讨论。很多人会觉得蒸馏是一个带有“原罪”的行为。 程曼祺 所谓“原罪”，可能就是我们刚才讲的：用了别人的数据，像抄作业一样。但我们聊下来，它其实处在一个灰色地带。 我觉得“原罪”这个词肯定有点严重。它肯定违反了 OpenAI、Anthropic 等闭源模型公司的用户协议，但违反用户协议不一定构成法律上的侵权，这还要看其他法律规定。 而且我最开始也说了，它们的用户协议本身限制得非常宽泛。 高洪浩 那我们现在讨论蒸馏，应该讨论能不能蒸馏，还是讨论什么样的蒸馏方式可以被接受？你自己有没有一条红线？ 程曼祺 有一些明显违反全球目前比较通行的法律法规的做法，肯定不太能被接受。比如使用黑客攻击，直接侵入其他公司或实体的系统，或者通过黑客的方式破解思维链，这种就不太能被接受。 大部分做模型的人和这些模型公司的人，肯定不会单独考虑“蒸馏”这个问题。他们考虑的是，怎么用各种方法让模型变得更好，以及怎么构建一种长期、持续做出更好模型的能力。 他们应该会整体考虑这个问题。蒸馏只是其中一种可以使用的方法：你用到什么程度、怎么使用，以及是否选择不用，都是不同的选择。 你可以想象有一个特别大的控制板，上面有很多东西都可以调整，蒸馏只是其中的一个旋钮。我觉得他们会从这个角度去考虑。 高洪浩 OpenAI 和 Anthropic 在做预训练的时候，也会弄大量数据：从实体书也好、从盗版书网站也好，或者从各种视频网站扒下来、用各种爬虫抓下来。它们这种行为和今天讲的蒸馏，有本质区别吗？ 程曼祺 这涉及现在讨论里一种常见的对话展开方式：美国公司说中国公司蒸馏，中国公司就会说“双标”。 它们会说，你们之前也用了很多可能没有获得授权的数据来训练模型，甚至有些数据根本没有买。比如中国公司使用这些模型的账号，至少还是付了钱的。 Anthropic 最近有一笔 15 亿美元的集体诉讼和解。具体案情是，当年它从一些盗版图书网站下载了很多书，没有为这些书付费。后来有很多美国作家集体诉讼，起诉 Anthropic，这件事目前已经达成和解。 大家会比较这两种行为。我觉得整体上来说，确实有双标的成分，只不过这两种行为也不完全一样。 高洪浩 怎么不一样？ 程曼祺 首先，它们涉及的侵权行为不一样。比如 Anthropic 直接获取盗版书，这肯定涉及侵权。你本来就没有付钱买书，先不说买了之后是否可以用来训练模型，至少直接获取盗版书这一行为本身就存在问题。 至于买了书之后用来训练模型是否构成侵权，我不知道。但目前我们看到，美国加州的法院有一个判例认为，这样不构成侵权。 高洪浩 就是只要你付了钱，之后拿来训练模型，就不侵权？ 程曼祺 目前这个州法院是这么判的，但只是州法院的判决。美国是判例法国家，后续类似案件会参考之前的判决。 高洪浩 这倒是有点价值回旋镖的意思。 如果之后加州法院认为这种方式不构成侵权，那其他公司使用 Anthropic 的产出来提升自己的模型，是否构成侵权？这是个很有意思的话题，这个案例挺有意思。 我们最后可以做一个预测。你觉得 3 年以后，蒸馏会像爬虫一样普遍，几乎无法阻止，还是美国几家 frontier lab 最终能通过账号体系、模型设计，甚至法律手段，把它彻底禁止掉？ 程曼祺 我觉得这个行业可能没法看 3 年之后，太久了，有 36 个月，感觉人间都已经变了。到时候 AI 已经发展成什么样，也很难知道。 高洪浩 那你说，这个争论最终会不会被大幅压下去？ 程曼祺 我觉得博弈肯定会持续进行。你有一些手段，我再来反制你的手段；我可能又会找一些新的手段。 蒸馏本身有很多现实约束，也不太可能肆无忌惮地蔓延，大家也会考虑成本，毕竟这些事情都要花钱。 高洪浩 如果蒸馏越来越容易，那今天投入几百亿美元训练 frontier model 的商业模式，会不会发生根本性变化？ 最近大家对于所谓“斩杀线”的讨论也很热。我们之前第 177 期聊 K3 的时候也讨论过这个话题。短期内，市场预期可能是 Anthropic 和 OpenAI 的估值会受到一些影响，甚至有人认为这会冲击它们 IPO 的进程。 程曼祺 但我觉得前提是，我们现在只看到了此时此刻的切面。比如马斯克昨天发布 Grok 4.6 之后，在回复另一家公司的推文时说，Grok 4.7 会超过现在所有的模型，但他也补了一句，Anthropic 的下一个模型可能会非常强。 有可能过了 1 个月，Anthropic 又发布了一个很强的模型，那大家的预期就会改变。闭源模型公司可能还有一些没有展示出来的后手，所以现在还很难说，投入很多钱开发一个领先模型的做法是否真的会受到冲击。 高洪浩 但有一件事比较明确，它确实冲击了商业逻辑。V4，包括 Grok，其实也是性价比很高的模型。 有一张很著名的“斩杀线”图，在 V4 和 Grok 4.6 的下方、右边那个区域里的模型，都被斩杀了。 现在确实有一个问题：对很多任务来说，目前这一批最强的模型可能已经够用了。比如我最近见了一个应用公司的创始人，他们也是做偏生产力的应用。他跟我说，用户 10 个任务里，有 8 个都能被 DeepSeek V4 Flash 解决。当时 Pro 还没有正式发布，而 Flash 确实非常便宜，速度也比较快。 这确实会改变很多商业逻辑，至少会改变很多定价策略。它也涉及一个更大的问题：智能的供给和需求之间，现在是什么关系？ 程曼祺 目前看，对很多人的日常使用来说，智能过了一条线之后，确实就够用了。 高洪浩 我们上次讨论姚顺宇那篇博客时，也聊到过这个话题：模型从编程市场向白领市场扩散时，白领工作对智能的需求可能并没有那么大。 程曼祺 准确地说，是对智能需求的规模和节奏，也就是需求增长的速度，是否有那么快，这件事要打一个问号。 高洪浩 最近我见了一个平时交流比较多的投资人朋友，他也在想这个问题。他想的是，我们之前一直说编程市场会比视频生成市场大，万一错了呢？ 程曼祺 这种判断出错的可能性在于，对很多白领工作来说，现在的模型可能真的已经够用了。再做更强的模型，可能就是杀鸡焉用牛刀。 高洪浩 可能没有用武之地，拿着屠龙刀也没地方用。 程曼祺 我觉得这可能是比蒸馏更大的问题：现在智能的供给和需求，接下来会怎样匹配？不只是规模上的匹配，也包括节奏上的匹配。 其实上次录姚顺宇那期节目时，我对这个问题从个人感受上来说是相对悲观的。那会儿除了用模型做偏 deep research 的工作，其他工作做得比较少。 但后来一段时间，我用了 ChatGPT Codex，它的工作功能特别多，我感觉它确实能让我做很多以前做不了的事情。那段时间我又会比较上头。 当然，冷却一段时间之后，仔细想一想：你是不是每天都要那么高频地去手搓各种工具？这个频率确实会降下来，对更复杂任务的需求也会降下来。 所以我觉得，这是蒸馏之外，很多人现在已经在思考的另一个问题。 高洪浩 今天我们讨论了很多关于蒸馏的话题，包括蒸馏的历史。它可能不是一个非黑即白的概念，也聊了字节为什么不蒸馏，以及蒸馏的代价。 程曼祺 我们自己—— 高洪浩 哈哈，不是我们自己，是说字节。 程曼祺 这个口误还挺有节目效果。 高洪浩 我相信大家对蒸馏已经有了一个初步的印象和认知。 程曼祺 最后补充一点：我们收集了很多关于蒸馏的信息，但我们并不是直接做这件事情的从业者。所以这篇文章和这期播客，更多是起到一个抛砖引玉的作用。 希望大家能分享更多你知道的蒸馏方法、观察，或者对这件事情的态度。我们也可以在收集更多信息之后，给出一个更完整的 2.0 版本。