144: “大而强”到“小而强”|与刘知远、肖朝军聊密度法则、RL 的 Scaling Law 和智能的分布式未来

欢迎收听晚点聊，我是曼琪。今天的嘉宾是清华大学的刘知远和肖朝军。刘知远是清华计算机系副教授和面壁智能的首席科学家，肖朝军现在在清华做博士后，也是面壁 MiniCPM 系列的文本模型负责人。他们的团队刚在十一月的《自然》杂志机器学习子刊上发表了封面文章《Dancing Law of LLMs》，大模型的密度法则。所谓密度就是用更少的算力和数据获得相当乃至更多的智能。我们讨论了密度法则的起源。虽然你说高效是不言自明的，但是从事实上来讲，2022 年 ChatGPT 兴起以后，其实在全球范围内，大模型的话语体系其实是 scaling law，就是在 2023 年初的时候曾经有过一些巨头说这个世界上不需要超过几个大模型。1943 年的时候，IBM 的董事长曾经说全球不需要超过五台主机。也展开聊了业界提升模型能力密度的具体做法，分为架构、数据、学习算法、然后软硬一体就是 infra 四个层面。其实围绕这四个方面，我们应该可以看到现在市面上有很多相关的工作。而再往后更大的密度提升可能需要一些全新方法。强化学习做到现在其实大家还没有解决的一个问题是强化学习的 scaling 问题，它现在有两种技术路线。在刘知远的设想中，未来更高密度的模型会支持每个人在端侧拥有专属大模型，智能会分布式地存在。比如说你的眼镜也好，甚至你的耳机、你的手表，各种各样的智能硬件，它完全是可以有一个共同的提供智能服务的终端，就有点像家庭里面的 NAS，只是说你是一个便携的、可以跟着你走的 NAS。他是一个典型的技术乐观主义者。关于未来，你有什么担心的地方吗？我担心的地方是我们人类自己会束缚我们自己的前进步伐。相关文章和讨论的链接我会贴在 Show Notes 里。下面我们正式进入本期节目吧。

今天很高兴邀请到清华大学计算机系的刘知远老师，以及他之前的博士生、现在在清华做博士后的肖朝军。朝军今年年初也做客过《晚点聊》，和汪玉老师的学生付天宇一起分享了注意力机制，尤其是稀疏注意力的改进，这也和今天的话题有关，之后我们可以展开。

两位可以先和听友简单打个招呼。

大家好，我是刘知远。

大家好，我是肖朝军，现在主要做文本架构方面的研究。

讨论密度法则之前，最近正好赶上行业里有很多新模型，包括 GPT-5.1、Grok 4.1、Gemini 3，还有最近刚发布的 Cloud Ops 4.5。我们可以先从这些行业动向聊起。

两位最近在这些新模型上，看到比较有意思的部分或者亮点是什么？

1. The New Model Frontier

我感觉至少有两个很明显的趋势。

第一个趋势，还是大家今年、应该说所有大模型从业者都关注到的智能体化。你会看到，几乎所有模型在智能体任务上都有了非常出色的表现。直观体现就是，这些模型发布之后，大家都会在代码任务上测试：它能帮我解决多少个 bug。

这是第一个很明显的趋势。

第二个趋势，是我从 Nano Banana 和 NotebookLM，也就是 Gemini 支持的这些任务上观察到的。你可以看到，它相比于其他模型不同的一点在于，现在生成图片时，生成其中的文字会非常精准。这是在之前的 Diffusion Model 上一直看不到的。

在 GPT-4o，也就是 OpenAI 今年发布的 GPT-4o 上，我们看到了一些曙光。Nano Banana 则把这件事进一步发展、发扬光大了。

为什么我觉得这件事情会很有意思？因为它让我们看到了一个新的 scaling 方向。

我们之前一直在说 scaling，但文本模型的数据正在枯竭。大家一直会提，是不是可以使用更多模态的数据？但这件事情一直没有做成。大家使用更多模态的数据，并没有让模型的智能水平再实现一步跃升。

当然，我现在的感觉是，假设通过图像生成，以及统一的自回归方式，是不是有可能实现这件事情？

这件事情现在还没有办法确定，因为还没有进入细节。

对，因为不知道 Gemini 3 是怎么实现的，对吧？它究竟是一种产品层面的优化，还是模型一体化带来的优化？

对，这个可能还得等一两个月，我们再看看。

2. From Scale To Density

我会觉得，最近这 6 年其实是一个高速发展的阶段。现在几乎每周的进展，都顶得上我读研究生时一年的进展。每天都会有各种头条。

在我看来，这里面大致可以划分为两个大的方面。

一个方面，我把它总结为能力更强，也就是让模型的能力变得越来越强。我们可以看到，从 2018 年预训练模型出现之后，大概每过几年的时间，模型的能力就会有一次飞跃。

2022 年底 ChatGPT 出现，通过 instruction tuning 让模型能听懂人的指令。2024 年底、2025 年初，通过大规模强化学习，让模型学会深度思考。

我们会看到一条非常清晰的主线：模型变得越来越通用，越来越接近，甚至超越人类的智能水平。

同时，我和朝军所在的团队发表的这篇论文，其实是想给大家呈现另外一条主线，也就是能效更高。

过去 6 年，大家经常提到大模型，它发展的逻辑是规模法则。规模法则背后其实是在告诉我们，能够找到一条基于大数据、大算力和大参数的通用智能解决方案。

在这样的解决方案下，只要有足够多的数据、足够多的算力，再训练足够大的模型，就可以让模型的能力持续提升。这就是规模法则的逻辑。

但规模法则同时也带来了一个非常大的问题：模型训练得更大，意味着训练成本和使用成本都会相应变高，基本上是线性甚至超线性增长。

所以我们会认为，历史上任何一个对全人类产生深远影响的科技，都一定要追求更加高效的发展模式。找到一套通用的技术方案之后，一定要让这套方案的方方面面更加精进，变成一个更加精密的体系，让我们制造出来的产品成本更低、能力更强。

这就是我们提出 Dancing Law，也就是密度法则，想要告诉大家的发展方向。

现在这些新模型发布之后，从外界来看，更多体现的是您刚才说的两条主线中的性能提升，也就是能力提升。

在效率上，您说的第二条主线，最近业界的进展有什么体现？

3. Efficiency Enables Distributed AI

AGI 的发展路径还没有结束。我们会看到 Gemini 最新的进展让大家眼前一亮，所以能力更强这条主线的显示度更高。

另外一条线，我觉得在全球范围内也有非常多的工作。大家会意识到，花那么多算力、那么多经费训练一个模型，必然会导致这个模型没有办法在更多场合使用。你只能通过 API 调用，这本身极大地限制了人工智能真正的普及。

智能本身应该是高度分布式的，它在各个领域都有潜在的广泛应用。所以从另一个角度看，如何让模型更加高效，其实是实现这一轮人工智能科技革命非常重要的底层驱动。

今年一个很重要的旋律，其实就是效率的改进。

先说开源界。你可以看到，今年的 MiniMax，还有千问的 Qwen Next，DeepSeek 就更不用说了，今年的 V3.2 也做了稀疏 Attention，包括我们也在做稀疏 Attention。

现在，在架构上提升模型效率已经成为开源界非常普遍的共识。

闭源界也可以看到类似的事情。比如 OpenAI 会做各种 mini 系列的模型。Gemini 3 发布之前，还有一个 Gemini Diffusion 文本模型，宣称文本生成速度会比其他模型快很多倍。

因为它不开源，所以不知道具体是怎么实现的，但可以看到，他们内部也在追求效率提升。对他们来说，资源量固然比我们大很多，但再多的资源，面向 AGI 的投入现在仍然是有限的，大家都要把事情做出来。

所以从公众来看，能力提升是明线，但暗线应该是能效更高。

历史上，过去几十年的信息革命，明线是计算设备逐渐小型化。原来的大型机，到了 1980 年代变成小型机、PC，到了 2000 年之后是手机，2010 年之后是智能手机。

智能化设备让我们的信息化生活和工作变得非常方便，这是主线，也是明线。

但暗线其实是芯片行业的快速发展，也就是摩尔定律。

所以我们提出密度法则，其实是想寻找大模型的摩尔定律。

我们接下来可以正式展开聊一下密度法则。

我最开始看到这项研究时有一个疑惑：这项研究揭示的规律，或者说发展的脉络，是随着时间推移，模型的训练和推理效率不断提高。这个现象对业界来说好像是不言自明的。

当然，你们这次给出了非常定量的描述。能不能讲讲这么做的背景和意义，以及驱动这项研究背后的核心问题意识是什么？

4. Why Density Needs A Law

第一个角度，从人工智能发展的角度来讲，我们会认为它一定要追求高效。

但追求高效不能只是一句口号，说“我要高效”。我们需要一套体系，就像你刚才问的：到底哪些因素会影响模型的密度，影响能效？

从这个角度讲，我觉得我们就达成了提出密度法则的目标。我们要提出一个指标，让这个指标成为客观事实，能够团结更多研究者，更细致、更定量地探索如何实现更高效的模型。

第二，虽然你说高效是不言自明的，但从事实上讲，2022 年 ChatGPT 兴起以后，在全球范围内，主流话语体系其实是 scaling law。

几乎所有机构都会说，只有更多的数据、更多的算力，才能训练更大的模型，才能追求更强的能力。这从 2022 年一直持续到 2024 年底，成为一个很大的话语体系。

甚至 OpenAI、英伟达也都在说，其他人不要去训练大模型。只有那些有 10 万张卡的团队、10 万张卡的机构，才有资格训练大模型，其他人使用就可以了。

他们试图构建一个“唯算力论”的话语体系。

在这种情况下，我们认为密度法则非常重要。今年年初 DeepSeek V3 其实告诉大家：不需要那么多算力。绝对算力仍然很大，但绝对不是很多国际企业和机构所宣称的那样。

我们认为，自己有责任在人工智能发展的过程中，把正确的发展方向告诉大家。

深入了解整个人工智能全貌的人，可能知道高效很重要。但对很多人来说，包括决策层，他们接受到的信息仍然会让他们觉得，规模法则是第一性原理，必须有 10 万张卡，才有可能做通用人工智能。

在我看来，这是一个非常错误的信号。

因为您刚才也提到，它有点像摩尔定律。

我之前看《芯片战争》时，觉得里面对摩尔定律的描述很精辟。它虽然叫定律，但实际上并不是物理规律，而是一种叙事，或者说一种共识。它指挥整个产业链和行业中的很多环节，让大家有一个共同目标。

是的。摩尔定律约定俗成之后，团队内部一开始还讨论要不要叫密度定律。后来我们觉得，在中文话语体系里，“定律”更多和物理规律有关。

英文里的 law 本身就是规律，并不一定是物理定律。但在中文里，law 翻译成“定律”之后，显得特别高大，好像必须是掌握万事万物的法则。所以后来我们基本上会说密度法则，更能体现 law 本身的含义。

我非常认可你说的，摩尔定律和密度法则其实都是一种人工的自我实现。

摩尔在 1965 年最初那篇文章里，并没有把自己的观察称为定律，或者 law。过了十几年，其他人发现，摩尔根据过去十几年总结的规律，在此后十几年仍然有效，于是把它定义成了摩尔定律。

之后它又持续影响整个行业，影响力越来越大。人类社会通过工业化和技术创新，实现了这种自我实现。

我们认为密度法则也是一种自我实现。所有人都追求更高的密度。摩尔定律追求的是在芯片上放入更多电路，密度法则本身则是在逆着这个世界熵增的趋势前进，通过技术创新追求某种内在秩序，把更多内容压缩到更小的空间里。

宇宙是大爆炸、熵增和不断扩散的。要让密度更高，显然需要外力。对人类社会来说，这个外力就是不断创新，让知识能够被压缩到更小的空间里。不管是芯片、模型，未来一定都会沿着这个方向发展。

我再补充一点。

人类在自然发展的过程中，会讲物竞天择。它并不是物理规律，但在资源有限的场景下，只有更好地遵循这套法则的那一批人，才能存活下来，并把基因遗传下去。

人的脑子并没有无限制地增长，而是在有限的体积和有限的能源消耗下，让智力不断提升。所以这既是我们的追求，也是有限资源下的必需品。

朝军说的这个点特别有意思。

如果遵循自然界生物群落中的物竞天择，摩尔定律之所以能够 work，可能也和商业竞争环境有关。不追求用更低的成本实现更强的算力，企业和芯片就没有竞争力。这是内部的物竞天择。

未来模型的发展肯定也是这样。如果你实现的模型效率不如另一家厂商，竞争力就没有那么强。

密度法则和规模法则本身并不是对立的，而是相辅相成的。所有一线大模型团队一定都会追求模型的高效。

只是这件事情不一定会在同一个模型里面完成。

你会看到，GPT 系列模型的 API 价格其实在快速下降，这本身就是它内部不断自我实现的过程。

换一个理解，scaling law 强调的是计算量和能力之间的密度关系。我们想强调的是，密度可能对应那个斜率：用计算量换取智能时，转化率要越来越高。

虽然 OpenAI 的资源很多，但它一直在说资源不够，没办法做一些更前沿的事情。包括 Ilya 离开 OpenAI，也是因为他觉得拿不到足够多的资源去追寻前沿研究。

Safe Superintelligence 也是一样。

所以核心问题是，大家仍然受到资源限制。即使是 OpenAI，也会因为资源受限产生矛盾。对他们内部来说，追求效率也是一件非常极致的事情。

回到你们这次的研究，它的核心洞察和结论是什么？

核心洞察是，虽然名字叫密度法则，讲的是能力密度随着时间不断提高、指数翻倍，但我们更想强调一个观点：要追求单位参数或者单位开销下能够转化出来的智能能力。

这相当于立了一个 flag，或者设定了一个目标：大家应该追求这件事情，而不是一味地说模型的 performance 有多高。

我们的工作在 2024 年底正式完成，投稿到现在经过了快一年的时间才最终中稿。在那个时间点，大家都在讨论怎么把模型参数再放大一点、计算量再放大一点。

我们认为，这种发展模式是不对的。它只会导致所有人疯狂砸钱，却没有提升智能的转化率。这样下去，迟早会迎来资源不够的阶段，大家进入所谓的寒冬。

比如 Llama 3 405B 之后，下一步难道是做 1000B、2000B 的稠密模型吗？如果这样发展，AI 就没有办法持续下去。

所以在那个时间点，我们想通过这篇文章宣称：对技术发展而言，追求密度，或者追求智能转化率，是技术发展的重要主线。

至于能力密度是 3.5 个月翻一倍，还是一年翻一倍，我觉得这个数值本身可能反而没有那么重要。

你们现在发现的是平均 3.3 个月翻一倍，差不多 100 天。但后来把 2025 年的新模型加进来之后，修正成了 3.5 个月，对吗？

对，当然会有一些抖动，核心观察是它在加速。

大概在 2023 年 1 月，也就是 ChatGPT 出现前后，能力密度的倍增速度开始加快。原来算出来是 3.3 个月，把 2025 年的数据加进来之后变成了 3.5 个月。

我觉得这可能是正常的抖动。

因为你们是 2024 年底完成研究的，所以开始有这个想法、真正开始做研究，时间应该更早，对吧？

5. How MiniCPM Chose Efficiency

对。我们在去年年终就已经开始提，当时叫知识密度。

这个故事其实可以再往前追溯到 2023 年下半年。

2023 年初，ChatGPT 出现并震惊全球，让所有人发现大模型这么好用，于是掀起了那一轮非常大的浪潮。

2023 年的主旋律是什么？从年初一直到年底，大家的主要任务都是复现 ChatGPT，也就是把模型能力复现出来。

国内一线团队大概在 2023 年 9 月、10 月左右复现出来。我们当时估计，国内和国际最先进水平大概差一年左右，基本上都能复现出来，因为主要的 instruction tuning 已经复现了。

复现出来之后，就面临一个决策问题。

OpenAI 在 2023 年 4 月发布了 GPT-4。所以到了 2023 年 10 月左右，一旦复现出 ChatGPT 的能力，最自然的决策就是把参数再扩大一些，数据再增加一点，算力再做大一点，然后追求 GPT-4。

绝大部分团队都按照这条思路去做，所以你会看到，2024 年上半年，几乎所有团队都在推出 GPT-4 水平的大模型。

我们团队在 2023 年下半年复现出 ChatGPT 水平的模型后，第一方案也是追求 GPT-4 水平。但经过核算，我们发现，这样的模型大概需要 140B 参数，对应的成本大概是几千万元。

我们多想了一步：花几千万元训练这样一个模型，大概率到 2024 年上半年，国内至少有 5 家一线团队能够实现类似的能力。那我们如何收回训练成本？

我们找不到一个确定答案。

如果配方没有变化，只是把模型参数变大、数据增加，再训练一个 GPT-4 模型，对我们来说在商业上是讲不通的。

所以当时我们把主要精力转向模型风洞的构建：去看如何让各个方面更加高效，以及这些改进对于提升模型能力效率有什么影响。

这一系列工作产生的结果，就是 2024 年 1 月发布的第一个 MiniCPM 版本。用 2.4B 参数，就可以实现当时 Llama 2 13B、Mixture 7B 的模型效果。

2.4B 是什么水平？在手机上就可以运行。

MiniCPM-1 在 2024 年 1 月让我们意识到，通过持续的技术创新，可以极大提升模型效率：用更少的参数、更少的计算量，实现相同甚至更高的模型能力。

一方面，我们看到了在端侧部署大模型的可能性，所以 2024 年我们提出了端侧智能、端侧大模型。另一方面，从暗线上，朝军和我们也在思考它背后的规律是什么。

2024 年这一整年，我们都在尝试寻找这样的规律。受到摩尔定律启发，我们提出了知识密度的概念，并在此基础上探究如何找到所有模型通过技术创新实现密度变化的规律。

这就是它的缘起。

至少在面壁内部，这成为了一个目标指引。现在把它发表出来，也是因为你们觉得实践方向是对的，并且可能会在业界获得更多共鸣。

回到研究发现本身。你们的数据里显示，ChatGPT 出现之前和之后，从计算量到能力的斜率变陡了。ChatGPT 之后，斜率变得更陡。

我比较好奇的是，为什么在 2024 年 9 月 o1 和 R1 之后，强化学习后训练方法被引入，却没有出现类似的斜率变化？还是说现在时间太短？

更多可能是技术细节上的问题。

我们去年年底定义的能力密度版本，面向的是基座模型，所以 o1、R1 更多体现的是后训练技术的增长，并没有直接体现在能力密度里。

我们现在也在做 2.0 版本，希望把后训练技术的改进都体现在能力密度这个指标上。

可以这样理解：现在的能力密度对应 scaling law，而 o1、R1 增长的是 test-time scaling，或者叫 inference-time scaling law。它们对应不同的阶段。

所以，密度法则可能也要有一个面向预训练 scaling law 的版本，以及一个面向后训练的版本。相关建模还在推进过程中。

具体怎么实现密度提升，可以展开说说吗？

6. Four Levers Of Density

大致分为架构、数据、学习算法，以及软硬一体，也就是 infra，4 个层面。它们基本覆盖了整个模型 pipeline。

先说架构。现在不管是模型架构，包括稀疏注意力，还是 DeepSeek 引领的细粒度 MoE 架构，都是这方面非常典型的工作。

架构创新一定会朝着更高效的方向发展。

第二个方面是数据治理。对于世界上已有的数据，以及世界上还没有的数据，如何为了提升模型能力，更好地寻找学习教材，这件事对于模型能力提升的效率和上限影响都非常大。

你可以想象，一个小朋友从小到大，接受的是一套精心挑选、精心准备的教材，还是完全不管，直接给他乱七八糟的东西去读，结果显然不一样。

第三个方面，我们称为模型风洞。我们要寻找模型成长的规律，能不能做到以小见大：通过大量小模型实验，收集经验数据，预测将要训练的大模型在什么参数、什么数据配置下，能够达到更高效果。

能不能在模型还没有训练之前，就预测它的能力上限？

这种对智能能力成长规律的把握，在 OpenAI 曾经被称为 predictable scaling。它提出 scaling law，不只是找到了发展曲线，还找到了通过小模型预测大模型能力的规律。

这个规律对于更好地利用 scaling law，以及更好地设置大模型配置，具有非常重要的作用。

第四个方面，是模型要伴随硬件共同成长。模型需要在具体硬件上发挥作用，所以未来在训练和使用阶段，都要实现软硬协同的设计和优化。

这些因素都会影响模型密度，也就是到底用更少的计算量、更少的能耗，实现更强的能力。

我们现在推进的工作，就是希望定量地发现模型架构、数据治理、模型风洞等因素对模型密度和能效的影响关系。

目前还没有找到特别清晰的定量关系，但已经有一些经验性的结果。

围绕这 4 个方面，现在市面上有很多相关工作。

先说架构。Transformer 不就是两个部分，FFN 和 Attention 吗？FFN 现在基本上大家都共识要做细粒度 MoE，也就是细粒度稀疏。

FFN 是 feed-forward network，可以理解为一个比较稠密的矩阵层。

稀疏 MoE 是说，在那么大的一个矩阵里切分成好几块，每次计算只选择其中一块。这件事是 DeepSeek 揭示给大家的。

为什么说 MoE 是 DeepSeek 揭示给大家的？Mistral 不是更早做了 MoE 吗？

Mistral 做过 MoE，MiniMax 也更早在做 MoE。

其实我们很早就在做。我们原来有一个博士生，张正燕，大概在 2020 年、2021 年就开始做 MoE 架构。

Mixture of Experts 这个概念在 1990 年代就已经有了。把它用到 Transformer 里面，大概是在 2020 年左右。当时 Google、我们团队其实都在做。

但客观上说，是 DeepSeek 把它真正做到了最大的模型上，并且 work 了。

因为规模化，以及真正支持高效计算，这里面仍然有很多工程挑战。DeepSeek 的揭示，意思是它把一个大家已经做了一段时间的想法和理念，在比较大规模上实现了，大家发现这件事确实有效。

在大模型行业里，从技术上来说，其实没有太多全新的东西。

现在很火的强化学习，也是上个世纪就非常火热了。深度学习的 BP 算法，也是上个世纪的产物。

放到今天，核心还是算力和数据增长，使这些方法能够发挥作用。

所以说 DeepSeek 揭示了这件事，并不是说 DeepSeek 发明了 MoE。很早在 GPT-4 出来时，大家就在讨论它可能是 MoE 架构。

但具体怎么 scaling 到那么大，没有形成共识。大家也不敢一下子花很多算力，选择一条和主流不一样的道路。

DeepSeek 做到之后，大家开始 follow，而且它是开源的。

“揭示”表示它从非共识走向共识，是一个转折点。

在 FFN 上，大家现在比较大的共识是做 MoE 架构。

今年另一个非常重要的转变，是刚才提到的 Agent 和深度思考。它们都揭示了一个问题：大模型要变成长模型。

模型需要接触足够多的上下文，比如一个代码仓库，或者 Deep Research 中海量的外部信息。在这种场景下，模型要接收很多输入，也要产生很多输出，大模型势必会变成长模型。

所以 Attention 成为了非常重要的瓶颈。

现在大家都在做这件事情，包括线性注意力、稀疏注意力。也有一些传闻说，Gemini 等模型使用了 sliding window，也就是滑动窗口、稀疏注意力和混合稠密注意力。

无论开源还是闭源，大家都在做这件事。

架构很形象地说，就是智能的容器。用更少的计算量达到相同效果，是架构带来的重要改变。

数据层面，今年也形成了一个比较大的共识。去年很多人提到 scaling law 撞墙，公开可获取的数据枯竭。

下一步很重要的增长点，一个是合成数据，另一个是更高质量的清洗数据。现在大家都在这两个方向投入很大精力。

在数据方面，你们可以分享一下自己是怎么做的吗？

我们内部有一套 pipeline，大概从 L0 到 L4，代表不同层次。

L0 是数据收集。通过抓取、采买等方式，形成最原始的数据。

L1 是过滤，把重复数据和垃圾数据过滤掉。

L2 是选择，从这些数据里选择我们认为高质量的数据。

L3 是合成，包括数据合成、改写等。它不再是对已有数据的简单处理，而是产生一些这个世界上以前没有过的数据。

L4 是验证数据。我们会通过形式化或者人工方式，确认这些数据是教材级的数据。

比如最近国际上有一个非常有名的预训练数据集 FunWeb。我们用这套数据预处理 pipeline 对 FunWeb 做了精炼，又精选了一遍相应的数据，得到一个不到原始数据十分之一的数据集，叫 Ultra FunWeb。

我们发现，用 Ultra FunWeb 训练的模型，能力比用原始 FineWeb 训练的模型还要高。

你可以设想，用不到十分之一的数据，就能训练出更好的模型，训练成本显然可以下降到十分之一。

这就是数据治理带来的价值。

这还只是预训练部分。后训练还包括 SFT 和强化学习，相应数据的合成程度和合成水平，也会非常大地影响模型能力上限和效率。

比如上海交通大学有一位非常年轻的老师，叫刘鹏飞。他最近做了一系列 Less is More 的工作，就是用更少的数据得到更强的能力，这是这方面非常好的结果。

我们会看到，数据治理方面有很多信号告诉我们，需要准备更精致、更精炼的数据，让模型去学习。

一个非常终极的问题是，人工智能发展到大模型阶段，典型特点就是数据驱动，所有智能都来自数据。

那我们就要问：假如要构建某一个水平的模型，能够构建的最小化数据集是什么？

这个问题值得持续探索。它也有助于我们追寻人工智能的一些终极问题，也就是智能到底是什么。

总的来说，我们内部有一套比较复杂、完备、分层的数据治理体系。最近几个月，我们应该会发布一份相关报告，以及数据样例，做一次数据整体开源。

您说的数据开源，是指最后处理完成的数据结果，还是 pipeline 本身也会开源？

数据结果和处理数据的整体架构都会讲清楚。我们会以论文或者报告的形式告诉大家，这套数据体系应该做成什么样。

可能会开源一部分数据，也会告诉大家大致需要做成什么样子。

过去几年，我们也开放了很多数据样例，包括 UltraChat、UltraFeedback，以及刚才提到的 Ultra FunWeb。

我们想告诉大家，数据的质量和数量，确实是模型达到更高水平的重要基础。

刚才说模型架构是智能的容器，那么数据就是模型学习的教材。

这没有什么不能公开的，因为 AI 领域本身就有开源共享的共识。

但同时我们也会看到，大模型出现之后，构建一个大模型，或者构建一个智能系统，本身变成了一个非常复杂、精密的体系。

其中包含的环节特别多。我们只是列出了比较重要的 4 个方面：架构、数据、学习和硬件。每个部分又包含非常复杂的体系。

你看 DeepSeek V3，它的 contributor 大概有 100 多人。我认为这已经是一个非常精炼的体系了。

你可以设想，在全世界范围内，可能需要数百人的团队，甚至上千人，也是有可能的。

我觉得知识和成果产生的方式也变得很不同了。

以前的论文可能是 4、5 个作者，或者 7、8 个作者。现在报告下面往往是一长串作者。

是的。

刚才说了模型架构和数据，接下来还有算法，以及软硬结合。

7. The Missing RL Scaling Law

算法也是一个很重要的点，大家对此比较有感触。

从预训练到今年大家关注的强化学习，强化学习做到现在，大家还没有解决的一个问题，就是强化学习的 scaling。

以前我们会讲预训练要 scaling，也有 scaling law。但强化学习的 scaling law 是什么？以及怎么让强化学习持续训练下去？这是大家还在持续探索的事情。

强化学习没有 scaling，具体是指什么？我看 Ilya 的播客也在讨论这个问题，他觉得不应该用 scaling 来描述现在强化学习的状态。

这件事现在仍然是非共识。

去年下半年，OpenAI 讲 O1 是通过大规模强化学习得到的一套系统。但对比预训练，强化学习的 scaling 还没有走得特别好。

预训练现在基本上是几十万亿 token，训练步数可能是几十万。强化学习现在基本上训练几千步，R1 公布的报告也只训练了不到 1 万步，就已经在某个任务上达到很好的效果。

但它还远没有达到我们认为 scaling 足够好的程度。

大家强调强化学习的 scaling，通常会说环境的 scaling、数据的 scaling。

现在强化学习很强调 verifiable reward，也就是可验证的奖励。当前公开、已知且容易获取的可验证奖励，主要就是数学和代码。

但更多场景怎么办？代码现在很强，但它主要是在解竞赛题。如果要做真实的软件开发，就会更复杂。

竞赛题只涉及比较简单的 Python 环境，而真实开发会涉及更复杂的软件、第三方库等。这些事情大家还没有做到。

所以，RL 怎么 scaling，是一个很大的问题。

OpenAI 之前有一位研究员叫 Jason Wei，经常发推文说 RL 多么 magic。它 magic 的核心在于一个 unhackable environment，也就是不可被 hack 的环境。

这背后其实是在说，如何给强化学习搭建一个足够好的 scaling 平台，让模型能够在上面持续学到东西。这是大家在学习范式上持续探索的突破点。

但 Ilya 提到强化学习不可 scaling，是因为他认为这种 unhackable environment 实际上可能不存在。

也就是说，或者说，人类的学习并不是这个样子的？

对。这也牵扯到我们对 AGI 下一步的定位。

现在的强化学习有一个能力：只要在任何任务上有充足的标注数据和人类反馈，它就能在这个任务上达到千分之一、万分之一的人类水平。

现在很多大厂已经宣称，模型达到了 IMO 金牌、IOI 金牌水平。

假设一家公司做某个具体业务，它可以在这个业务上积累足够多的数据，通过强化学习让模型在这个业务上非常精通。

现在也有这个趋势，或者说风口，叫 RL to B。针对一个真实商业环境去做强化学习。

对。但这样的 AI 不是我们真正想要的 AGI。

人类的学习是很高效的。我可以在一个新任务下，通过少量反馈、少量动作，就把任务学好。

所以在学习范式上，我们可能面临两种转变。

第一种是继续 RL，思考怎么让 RL 继续 scaling 下去。

另一种是看预训练和 RL，或者有监督微调和 RL 之间的区别。随着学习效率提高，sample efficiency 变高，进一步的 RL 仍然不够。那么未来如何让 RL 的学习效率更高？

这里的学习效率，是指如何更好利用环境反馈，用更少量的人工标注，在一个新任务上达到足够好的效果。

所以有人说 RL 没有 scaling，指的是给它增加更多算力，让它适应更多部署，并不一定带来更好的效果。它只能在特定任务上变好，并不会在更多下游任务上带来更好的效果。

它只能针对那个环境中的任务变得更好。

对。

所以以前我们在大模型领域会说 prompt engineering，现在会说 reward engineering，或者 environment engineering。这些都是大模型时代出现的新产物。

所以您认为，继续 RL 可能不是我们一般想象中的 AGI，但在一些具体场景里会有很多用处？Coding 已经是一个例子了。

也不完全是。

Scaling 有可能带来泛化。以前在深度学习时代，我们一直在做有监督学习或者有监督微调，但真正出现泛化，是通过预训练。Scaling 上去之后，它就泛化了。

但 RL scaling 能不能带来这一点，现在不好说。

所以我会说，现在有两条技术路线。

一条是继续 scaling，在足够多的环境下 scaling，看看它能不能在新任务上泛化。

另一条是确实需要一种新的学习方式。

我有一个小白、天真的问题。RL 不能给它构造一个很复杂、很多样的环境吗？

很难。

这种多样的环境很难获取。最简单的例子，人类在这个世界上会获取很多反馈。比如我和你聊天时，看到你的表情变得很严肃，我会认为自己可能说错了。这就是一种反馈。

但对强化学习来说，需要明确告诉它：这是 1，这是负 1。这件事本身就非常复杂。怎么把整个世界建模起来，给它一个 reward？

这有点像你说的 value function，也就是价值函数如何提供给模型。这是一个非常复杂的问题。

我想象一下。人在真实世界里其实面临很多目标，但在某一个时刻，注意力可能被某些目标或者反馈吸引。换一个场景、换一个时空，注意的事情又不一样。

所以这种价值函数或者 reward model 是非常困难的事情。

我们也会想，这种 reward model 和真正做这件事，可能是同等难度的产物，有点鸡生蛋、蛋生鸡。

假设我能把世界建模得很好，你做任何事情我都能给你足够反馈，那这个 reward 或者价值函数为什么天然不是 AGI？是不是必须先有一个 AGI，才能创造出另一个 AGI？

对。

你们现在在算法上，怎么提升能力密度？接下来重点做的方向是什么？

还是回到刚才那两件事。

我们团队也在尝试捕捉 RL scaling 上的一些规律。有一些同学在做 RL 中的熵变化。这个熵可以理解为大模型的探索能力。

这里的熵，是熵增、熵减的那个熵吗？

对，就是熵增、熵减的熵。

反映到模型里，就是 token diversity，也就是混乱度的变化。直观理解是，在当前 query 下，模型通过多次采样，能够生成多少种非常不一样的回答。

我们发现，RL 的过程其实是熵逐渐变化成 accuracy 的过程。我们也在尝试构建对这个机制的理解。

面向 scaling，我们还会做足够高效的 scaling 框架，希望模型在 RL 过程中能够充分利用算力。

这样就能训练得更快，未来有可能用这些算力训练几万步 RL，再增加更多探索环节。

比如面向开放域的强化学习，除了数学和代码之外，写一篇论文什么样的 reward 才是好的？我们也在做一些尝试。

但目前开放域强化学习还没有成熟的行业共识，我们也在探索。

最后一层是软硬件的深度优化，也就是软硬件协同一体的深度优化。

软硬协同的深度优化，应该说是计算机发展到现在的一条核心主线。

摩尔定律本身有人说已经终止了，因为 CPU，也就是通用计算设备，已经不像摩尔定律预测的那样持续指数增长。

但 GPU，或者说英伟达，还在支持摩尔定律的发展，现在也有人叫它黄氏定律。

核心就是怎么把算力利用得足够充分。

假设 GPU 算力只用了一半，另一半计算资源都消耗掉了，肯定是非常不经济的。所以软硬协同就是要思考，怎么把算力利用得足够充分。

大模型和神经网络发展到现在，核心胜出的架构、专家和方法，都是软硬协同的方法。

Transformer 最早提出时，核心问题就是它认为 Attention 架构能够把 GPU 利用率打满。Transformer 出现之后，大家发现可以继续 scaling，把模型做得很大。

之前的 LSTM、CNN 等方法没有办法做到这件事，所以 Transformer 胜出了，之后才出现 GPT-1。

从 GPT-1 到 GPT-3，中间也有很多工程问题。大家需要把大型集群的通信利用充分，让大型集群发挥足够作用。

再往后，像 FlashAttention，也是面向硬件优化 Attention 的计算。

我们上期节目聊过这个。

对。软硬协同一直是 AI，乃至整个计算机行业发展的主旋律。

一方面，面向现有硬件设备，要设计更好的算法。这也是我们上次聊稀疏注意力时的一个重要点：为什么要设计分块注意力？天然就是因为 GPU 的计算特性。

另一方面，面向 AI 设备，要设计相应的硬件。现在手机端的 NPU，以及 infra 层面的各种努力，其实都在做这件事。

DeepSeek V3 的技术报告里甚至提到，它深入到底层修改汇编语言，让模型能够得到更好的支持。

这些都是软硬件两边协同努力所取得的进展。

你们今年 10 月也更新了模型架构，发布了面向 LLM 的稀疏注意力第二代，对吧？这是今年 6 月开源，10 月发布技术报告的版本。

相比之前第一代，更新和提升是什么？

我们 6 月就开源了。6 月发布第一版 MiniCPM-4 时已经用上了，10 月才把技术报告、训练数据和基座模型等全部开放出来，供大家使用。

相比第一版，核心改变是受到了 DeepSeek 的启发：做到原生稀疏，也就是训练阶段就足够稀疏。

第一版是在推理阶段做稀疏。第二代的优点，首先是训练时间可以加速；其次是稀疏度可以降低。

之前推理阶段的稀疏程度大概是 50% 左右，而且主要是在 prefill 阶段，也就是长文本输入时加速，对长文本输出支持得不是很好。

第二代把稀疏做到训练里，稀疏度可以降下来。现在基本上，128K 的上下文只需要 attend 4K 到 6K 个 token，也就是不到 5% 的稀疏度。

同时，我们的算子也支持长文本输出。这样做深度思考和 Agent 时，这个方法会更实用。

你刚才也讲到 DeepSeek 的 NSA，它是块状选择 token 的方式。

我看到 DeepSeek 9 月更新的 V3.2，里面的注意力又改了，取了一个新名字，叫 DeepSeek Sparse Attention，也就是 DSA。

相比 NSA，我理解它的块状选取变得更细了。它是怎么解决计算问题的？

这个问题比较细节。

核心可以这样理解：DeepSeek 的架构已经不需要解决访存问题，不需要解决存储带宽问题，已经可以做到纯粹由计算支撑，所以能够忽略这个问题。

但对大部分其他模型和部署场景来说，这个问题依旧存在。

DSA 相比 NSA，有一个我们在 InfLLM-V2 里批评过的点。NSA 当时的架构有两个缺点。

第一个缺点是对短文本不友好。它拆成 3 个注意力组件，短文本情况下 3 个组件都要计算，计算成本直接乘以 3。

第二个缺点是对后训练不友好。现在大部分模型的训练范式是长短文本预训练，长文本只在后训练阶段进行，不会从头开始做长文本预训练。

NSA 没办法支持“短文本预训练、长文本后训练”的范式。

DSA 就放弃了这两个点，设计了一套整体架构仍然类似、但面向后训练优化的方案。

我们当时也认为 NSA 的这两个点不理想，所以提出了新的方案。

前段时间我和 DeltaNet 的核心作者之一杨松林聊过线性注意力的改进。

Kunshan Labs 和 Kimi 有一个 KDA，名字和 DSA 很像。他们都在做线性注意力的改进，把 DeltaNet 和 Full Attention 混合起来。

杨松林当时提到，他觉得下一个方向可能是直接把线性注意力和稀疏注意力混合。你们有没有这方面的探索？

大家确实都在关注这件事。

可以这样类比：线性注意力对应的不是 Full Attention，而是 Sliding Window。因为 Sliding Window 天然具有常数级存储，可以处理长文本。

稀疏注意力对应的才是 Full Attention，也就是完整的稠密注意力。

未来这两个方向应该会合并。现在已经有很多工作，比如 KDA、MiniMax，都在尝试把线性注意力和稠密注意力混合，在很多场景下保持长文本处理的效率和效果。

所以未来线性加稀疏应该是一个自然想法。

但现在有一个急需解决的问题：大家关注的长文本，仍然主要是之前的长输入问题。

我觉得长文本的发展路径一定是面向未来的深度思考和 Agent 场景。这样的场景更需要处理很长的输出。

面向长输出，现在很多线性注意力的验证还远远不够。

你可以发现，MiniMax 这次 M1 做 Lightning Attention，把线性注意力和 Full Attention 放在一起，后来 M2 又用了 Full Attention。

我觉得一个重要原因是，M2 想主打 Agent，但直接迁移过去可能会有一定性能损失，所以最终选择了 Full Attention。

现在大家关注长文本的方式有些偏颇，这也是一个重要原因。

你年初不是就说，应该更多关注长输出吗？到现在这也还不是共识？

对。大家可能还是会认为长输入很重要，比如给模型喂一本书，再问它一个问题。

长输出是因为 CoT 变得更重要了。

对，包括 Planning。

比如 Agent 要规划一、二、三、四、五个步骤，最不能发生的事情就是做完第二步之后，把第一步做过什么忘了，然后再反过头重做一遍。

长深度思考和多步执行能力，是对现在长文本架构的新挑战。

所以线性注意力在长输出上表现得不太好，还是因为它更容易遗忘之前的内容？

对。

即使混了 Full Attention，也不能解决这个问题吗？

要看混多少。

之前大家都比较激进，MiniMax 大概是 1 比 7 的混合，只有 1 层 Full Attention、7 层线性注意力。我估计到后面他们有点没绷住，最终选择了 Full Attention。

我认为这个方向有未来，应该能够解决，但可能还需要一些时间。

你们下一代旗舰模型会采取什么样的架构？可以预告一下吗？

还在写，还在写。

但有一个肯定的点：会是全稀疏架构，FFN 稀疏，Attention 也稀疏。具体 Attention 会不会进一步变化，还需要更多实验。

接下来延展讨论一下密度法则。

有了定量描述之后，对研究界和业界有什么影响？比如你们自己的行为，以及行业其他角色的行为，有没有受到影响？

首先，对我们自己内部来说，我觉得这是一个统一思想的重要节点。

不管是模型架构创新、数据治理创新、模型风洞建设，还是软硬一体协同，都有了一个统一的评价标准或者指标。这样大家更容易形成共识，共同推进。

这和简单地把模型训练得更大、让能力变得更强，是一种不太一样的取向。

我们内部经常喜欢类比芯片。比如现在构造一个大模型，包含架构设计、数据治理、学习方法和软硬协同，整个体系我们喜欢称为“大模型的光刻机”。

这本身是一个非常复杂的体系，需要有共同目标，才能让一个上百人的团队形成非常好的协同。

对外部来说，今年年初受到 DeepSeek V3 的影响，你会发现 Sam Altman、Anthropic，以及后来 Mary Meeker 的互联网报告，都特别强调 AI 成本问题。

从今年开始，大家越来越发现效率和能效非常关键。随着 AI 要真正广泛应用到各行各业，这件事情会变得更加重要。

我们也经常看到有人在具身智能等专家报告中引用密度法则。具身智能需要构建机器人的大脑、小脑等系统，对端侧智能的构建规律会更加敏感。

因为它对延迟要求比较高，不能完全依赖云端。

之前有一篇文章发表在《Nature Communications》上，讲的是 MiniCPM-V。里面有一张非常经典的图，说明密度法则和摩尔定律揭示了这样一件事：过去只能在服务器、云端运行的模型，未来可以装进终端。

很多做具身智能的专家和团队都会使用那张图。他们会认为，这为构建具身大脑提供了很好的理论依据，也帮助他们预测端侧具身模型什么时候能够到来。

按照你们对过去两年多开源模型的预测，具身智能什么时候能用上性能很强、能够支持具身大脑的端侧模型？

8. Intelligence Moves To The Edge

从今年开始到 2030 年，全球一线芯片团队，包括英伟达、华为，都会有基于自身制程的路线图。

每年发布的芯片，大概会有什么样的算力、访存和其他规格，基本都是可以预测的。

根据这些规格，我们可以算出在主流端侧芯片上能够加载的模型尺寸，以及激活参数规模。

我们大概估算，到 2030 年，端侧可以部署超过 60B，也就是 600 亿参数的模型，激活参数大概可以达到 8B 以上。

当然，这本身是线性预测。未来几年也可能出现非线性突破。

单纯从线性预测看，大概会达到这个水平。

如果再叠加密度法则，我们认为未来 5 年，一定可以把 GPT-4 到 GPT-5 水平的模型能力放到端侧，形成每个用户自己的专属能力。

对手机这类相对成熟的移动设备来说，这应该很有用。

手机、机器人、汽车、PC，是几大终端。

现在来看，汽车今年铺开的速度非常快，因为汽车对功耗要求低一些，空间也更大。

其次是 PC，再其次是手机。

机器人则另当别论，因为它还处在快速发展、没有固定下来的阶段。相对来说，机器人的空间也可以，但它本身已经有很大的功耗问题。

在机器人端侧加载高算力大模型，可能还需要进一步探索。

对手机、电脑和汽车来说，在上面放一个 GPT-4、GPT-5 水平的模型，比较容易想象它能做什么、带来什么价值。

具身智能可能有另一个难点：什么水平的模型在上面可以 work？大家其实还没有完全研究清楚具身模型到底应该怎么做。

汽车可以看成更成熟的机器人，它的 action 相对简单。

但即使在汽车上，自动驾驶的小脑模型和智能座舱的大脑模型，现在也还是相对独立地发展。

未来机器人小脑部分相对稳定之后，再有大脑，接下来还有一个命题，就是大小脑如何协同。

机器人这个方向可能连小脑都还没有稳定，所以还谈不上大小脑协同。

VLA 算是一种尝试，对吧？大家设想的协同方式。

对。所以我觉得现在还处在战国时代，百花齐放。

对你们来说，很多应用也在这些端侧上吗？

按照刚才的顺序，今年来看，汽车上的进展特别大。

手机因为算力相对受限，你看 Apple Intelligence，整体效果还比较受限。但根据我们刚才的估算，未来两三年应该会发生一次非常大的跃迁。

可以讲讲你们和车企的合作，以及在汽车场景上的落地吗？

我们最早的落地应该是今年的马自达一款车型，后面还有吉利的一款车型，基本上今年已经量产。

速度比较快。我们在今年上半年入场，开始相关合作，下半年就完成量产，这在汽车行业非常罕见。

明年我们陆续应该会有超过 6 款不同车企的车型加载我们的模型。

我们特别强调密度法则。汽车智能座舱每款车型都会约定使用哪一款芯片，同时约定响应时间和功耗。这样一来，在这款芯片上能够加载的模型参数规模基本就固定了。

密度法则让我们能够构建密度更高的模型，所以在汽车，尤其是智能座舱领域，我们的竞争力处于比较领先的水平。

这是我们今年在汽车方向、尤其是智能座舱上推进非常快的底层逻辑。

面壁的模型在车上主要做什么？

大语言模型比较好理解，比如语音交互。你们的多模态模型在 GitHub 上的 Star 和下载量也很多。多模态模型用在车上可以做什么？

现在主要还处在智能座舱的初期阶段。

主要是用多模态模型感知车外和车内的环境，同时通过自然语言和车内不同位置的人进行交互，满足他们的需求，并提供相应提醒。

不同车厂对智能座舱功能的定义差异很大，不同层次的车型也会有不同设计。

一些相对复杂的智能座舱，功能点可能超过 100 个。你可以在各个方面和智能座舱应用进行交互。

总体目标是让你坐进车里，就能体验到一个全智能化的环境。

但现在智能座舱还没有形成标准化共识，仍然处于初步阶段。

如果大模型研发公司把模型放到车上，一个座舱里可能有上百个功能点。模型和功能点之间的适配、结合，主要是一个微调过程吗？是你们来做，还是车企来做？

现在是我们来做微调。

我们特别强调标准化。比如我们的模型内部有一套标准化的 SFT 工具链，也有相应的数据合成规范，所以整体模式相对比较高效。

9. The Efficient AI Business

回到 2023 年年终，您当时也说过，复现 ChatGPT 能力之后面临一个抉择：是花几千万元训练一个 140B 模型去追 GPT-4，还是做更高效的模型。

当时这个判断背后有商业逻辑。您会参与决策吗？

会。

我们那时作为创业公司，在 2023 年下半年也在寻找商业模式。一个可能的选择，就是像很多大模型创业公司一样提供 API 服务，这在我们的选项之内。

但我们的判断是，API 服务缺少差异化。大家都提供 API，竞争力体现在哪里？

从密度法则来说，我可以让模型成本更低，让 API 价格更低。但我们认为，云上的模式不具备商业壁垒。

原因是，一些大厂可以发挥它们的超能力。它们在其他方面盈利很多，家底很厚，可以烧钱，在这个方向上不计成本地推广。

所以对一个家底还不厚的创业公司来说，在云上提供 API 是风险极大的事情。

这基本也预判了后面的发展。2024 年 5 月开始价格战，API 价格战就开始了。

对，就是那个价格战，我觉得其实是一个非常重要的警示，因为其实那个价格战本身就是由 DeepSeek 所引发的。后面大家都跟进了，什么火山引擎、阿里这些。所以 DeepSeek 本身也在像我们团队一样追求高效：用更高的技术，用更少的参数、更少的计算量，完成更高的模型能力。它在云上的确能够呈现非常高的竞争力，可以用更低的价格提供服务。但是我觉得我们跟 DeepSeek 不一样的地方是，DeepSeek 也有非常厚的家底，完全可以不考虑盈利问题。对于绝大部分创业公司来讲，还是需要考虑自己的商业选项。

这和你们一直追求高效的方式有关。你们有没有复盘过，为什么 DeepSeek 在 2025 年 1 月形成了那么大的声势，而你们没有在叙事和舆论上形成类似的声势？

还是刚才说的。从绝大部分公众来看，明线仍然是谁家的能力达到更高水平。

这件事显然需要训练更大的模型，甚至几千亿、上万亿参数的模型。

对我们来说，现在走的路线更适合我们自己的判断，也更符合我们的禀赋。

我不追求一炮而红，追求的是一条自己有 100% 把握达成目标的路径。

当然可以孤注一掷，把融到的所有钱都拿去训练一个超级大模型。但如果它不能形成商业闭环，就可能带来不可接受的后果，这不是我能接受的。

AGI 一定会在未来 5 到 10 年到达。AGI 时代能做的事情非常多，为什么要进入一个拥挤、且我们并不占优势的赛道和别人竞争？我觉得这不是明智的选择。

我听过一句话，觉得特别对：别人得到的，并不见得是你失去的。

DeepSeek 变得很火，并不代表我们也追求高效，就应该按照它的方式去做。面向未来，AGI 是非常广阔的天地。

你当然可以像互联网时代的 Google 一样，提供公开的云服务。但你也可以设想，AGI 时代的智能既可以发生在云端，也会发生在端侧。

既然端侧有无限前景，而现在还没有多少人注意到这个方向，我们提前布局，可能更符合初创公司通过前瞻性布局进行探索的方式。

我追求的是充满不确定性的确定性。

刚才也提到，你们试用 Apple Intelligence 时，觉得它的效果还没有那么好。手机目前能支撑的模型性能还是相对受限。

根据你们观测到的密度法则，大概到什么时候，手机上的模型能力会变得足够强，能够支持我们做一些很有意思、很提升效率的事情？

我们觉得 2027 年可能是一个重要节点。

这个节点意味着，到 2027 年，预计可以把大规模强化学习实现在端侧模型上，让端侧模型具备很好的学习能力。

这意味着每个人都可以利用自己的数据，作为模型的学习环境，让它持续学习。

也就是说，2027 年，我们可以利用端侧相对不错的算力，支持一个具备自我学习能力的模型，逐渐成长为每个人专属的大模型助手。

它可以成为我们所有终端上的智能掌控者。

如果要在眼镜这么小的体积上实现类似能力，是不是要更远？

我觉得眼镜可以作为手机的配件，不一定要在眼镜本身装上模型。

我最近在控糖，因为要减肥，所以装了一个监测血糖的设备。

是扎在胳膊上的那个设备，对吧？

对。我们为什么一定要在这个设备上装一个芯片或者模型？

当然也可以装，但它不一定需要做智能化的事情。只要把采集的数据传给用户自己的终端盒子，持续收集用户数据，提供相应的智能服务，就可以了。

我不太认为智能一定要真正到达所有终端。

整个人类社会的终端，应该是每个人，以及每个人身边各种分布式的设备。比如眼镜、耳机、手表，以及各种智能硬件。

它们完全可以共同连接到一个提供智能服务的终端，就有点像家庭里的 NAS，只不过这是一个便携的、可以跟着你走的 NAS。

最后想讨论一些更广泛的行业趋势。

现在大家也在讨论，大语言模型经过预训练和强化学习后训练之后，下一个不同的方法可能是什么。

10. AI Learns To Make AI

一个重要的点，就是刚才提到的自主学习、自我学习、自我进化，或者持续学习。现在叫法很多。

在线学习是这个意思吗？

在线学习应该只是其中一小部分。

判断还是一样：现在强化学习已经能够支持我们在很多任务上取得非常优异的效果，但这还不是人类智能的呈现方式。

未来模型应该是一个很好的学习者，放在你的终端或者任何设备上，逐渐学习你需要它学习的任务。

比如帮你剪播客、写代码。这些都是你的专业技能。你可以像带实习生一样把它带出来，让它慢慢帮助你，甚至取代你。

帮助我取代我。

对。

这应该是 AGI 下一步非常重要的一点，也是现在强化学习和预训练都无法做到的事情。

这也是为什么现在会有世界模型。它想帮助模型获得一个足够好的、能够获取反馈的平台。

还有其他学习范式。强化学习之父也提到，大模型不一定是通向 AGI 的最终路径，核心还是这种自回归式的学习方式，可能会阻碍模型更高效地学习新技能。

再往后，模型具备自我学习和自我进化能力之后，在你手上可能会成为一个专门播报新闻、播报科技前沿的模型；在我手上，可能是一个研究人工智能本身的 researcher。

不同模型还可以相互协作。比如我的模型是 AI researcher，另一些模型是 infra researcher，它们共同让 AI 模型运行得更快。

再往后就是最高阶的创造能力。

人类会产生爱因斯坦，他能根据已有的符号体系，比如牛顿定律，推导出相对论。但现在的 AI 模型显然做不到这一点，它只能在人类定义好的语言和符号上学习，无法创造新的符号，以及符号之间新的关系。

如果达到创造能力，我们会认为，人类社会中所有需要智能的工作，可能都会被 AI 取代。

这大概是我们列出的 AGI 几步走：自主学习；具备自主学习能力的 AI 之间进行协作；最后是真正的创新。

也可以叫 AI scientist，这是大家现在经常提到的概念。

但我们说的创新，可能更多是创新的 meta 能力，而不是在生物医药等某一个具体领域里做创新。

这是一条明线。暗线则是在底层实现逻辑上，我们喜欢把它和信息时代的芯片发展做类比。

整个信息革命让全球成为信息化社会，但信息化底层的支撑是芯片，也就是算力。

你可以看一下算力的分布。中国电信研究院 2024 年初有一个统计：2023 年，全国端侧，也就是手机上的算力加在一起，是全国数据中心算力的 12 倍。

你可以设想，云上的算力看起来很大，一个算力中心的算力也很大，但全国十几亿人、几十亿部手机叠加起来，手机上的算力总量其实是非常大的规模。

过去 80 年，全球通过算力支撑了信息化社会。算力的分布，也就是信息的分布，其实是分布式的，分布在终端上。

每个人都有一个以个人为中心的信息终端：手机、PC、平板等。

未来智能社会的智能分布也会是这样。

2023 年初，全球曾经有一些巨头说，世界上不需要超过几个大模型，就能满足全球智能化需求。

这就像 1943 年，IBM 董事长说全球不需要超过 5 台主机，就能满足全球计算需求。

所以我们可以设想，几年之后，智能化也一定是分布式的。

这个世界的智能本来就分布在每个人的头脑里，也会分布在每个人的终端上。未来智能化社会的基本形态，一定是在终端设备上，为每个人、每个智能终端提供智能服务。

在这样的形态下，如果模型具备自主学习能力，就意味着可以根据用户个人数据，形成每个人专属的大模型。

这个大模型是你的终身助手，是这个世界上最懂你的智能模型。

云上则会有各种专家大模型：美团大模型专门理解外卖，滴滴大模型专门理解行程规划，抖音大模型理解你的娱乐偏好。

它一定是端侧的个性化模型和云端专家模型之间相互协同，共同完成工作。

这种模式会形成所谓的智能体互联网。这就是刚才说的协作模式，也是底层的暗线。

它不一定被公众广泛认知，但会发生在计算设备和底层系统中。

密度法则会发挥重要作用，让智能以非常低、用户几乎感知不到的成本，开始广泛服务每个用户。

在这个未来设想里，经济模式会怎么运转？

这是我自己的观点，不一定对。

历史上的工业革命一轮接一轮，比如蒸汽革命、电气革命，大致属于工业革命，替代的是人的体力劳动。利用机器，替代人的机械化体力劳动，甚至比人的体力劳动能力更强。

这一轮智能革命在做什么？我觉得它和上一轮信息革命叠加在一起，替代的是人的脑力劳动。

所有知识工作者，以及所有需要人类关于这个世界的知识才能完成的工作，只要是机械化、重复化的，未来就应该由人工智能完成。

那个人怎么赚钱？

如果我是一个人，第一步，我的个人智能终端会让工作效率更高、更有市场竞争力。也就是说，在个人助手支持下，完成的工作水平比别人高，完成的工作量比别人多，就可以获得更多劳动收入。

我觉得这很难想象。在那个环境里，好像也不需要货币了，也不需要工作了。

我举一个今年的例子。

代码大模型非常厉害，相当于所有程序员都要加载相应的 AI，辅助工作，提高效率。

结果就是，有了 AI 辅助，生产效率变得极高，可以获得更好的收入。

未来如果大家使用一个通用代码大模型还不够，还需要积累自己的知识库，以及自己编写代码的经验，那么通过这些经验构造出的个人助手，能够帮助你写别人写不了的代码，你在市场上就更有竞争力。

这相当于提高了整个社会的生产力和生产效率。

今年还有一件事，就是亚马逊裁员 1.4 万人。

可能未来的模式是，现在人通过知识和技能赚钱，但 AI 能自主学习之后，AI 本质上是你的知识和技能外化出来的替身。

未来可能仍然是人机协同，只不过大家付费，是因为你和你的 AI 很强。

对。

在 AI 时代还能工作的人，一定是高水平知识工作者，因为低水平知识工作已经被 AI 取代。

高水平知识工作者一定会由 AI 辅助。

那在 AI 时代，一个低水平工作如何成长为高水平知识工作？你的专业领域之所以还需要你，是因为 AI 肯定有做不了的事情。

我们是一个人类社会。比如医学、心理咨询、金融、教育、法律，这些知识工作很重要的方向，不可能离开人。

第一阶段一定是 AI 辅助。但 AI 在辅助过程中，可以通过你的行为和反馈不断成长。

它成长到一定水平，是不是就可以在某些场景发挥作用？

或者一个人开了一家公司，员工是他的 AI。你的成长过程，就是这家公司创业和发展的过程。

这种生产力无限大的未来还是很难想象。你会觉得生产非常过剩。

我对这件事情充满期待。

过去几十年，我觉得人类的发展是被我们自己的知识绊住了。

信息大爆炸、知识大爆炸带来的结果，是每个人只能成为某个特别小方向上的专家。

人类历史上积累的知识总量已经大到这样一个程度：任何一个人，都只能是其中一块很小的拼图。

如果仍然依赖人类完成前沿探索和创新，继续认识和改造世界，就会越来越难。因为一个人一辈子光学习新知识都学不完。

有人举过一个例子：人类知识是一个大球，任何人的学习到了博士阶段，可能只是在球的边缘形成一个小小的凸起。再往后，可能穷尽一生都到达不了那个边缘。

怎么办？我觉得需要 AI。

所以在我看来，AI 的出现，局部上可能会带来生产力过剩。比如程序员大比例裁员。但同时我们也看到，作为整体，人类对自己积累的知识已经完全失控。

这就说到你们刚才提到的第三阶段了：AI 帮助人类发现。

现在其实已经开始了。

比如 AI for Science，国内很多机构、国家机构都在全力布局。美国刚刚发布的《创世纪计划》，也是在做这件事情。

大家都看到了，AI 对人类发现和改造世界具有非常重要的作用。

原来可能需要十几年、几十年才能完成的工作，未来有了 AI 帮助，可能几个小时就能完成，这是完全有可能的。

我们在很多方向上都还缺少认知：材料、能源、整个宇宙，以及 AI 本身的智能是什么。我们不知道人脑是什么机制，也不知道它的机理是什么。

这个世界有太多未知。

智能时代最让人着迷的地方，不只是实现 AGI，而是 AGI 能让我们更快、更好地认识一个更大的世界。

所以完全不用担心生产力过剩。

就像刘慈欣的《乡村教师》里说的那样，这么低频的带宽、口口相传积累的人类知识，到了现代已经难以为继。

现在讨论生产力过剩、程序员失业，我觉得都只是沧海一粟。

再过 10 年、20 年，当我们有了新的材料、新的能源，生命科学和寿命都有巨大突破，当我们的足迹超越地球、遍布宇宙，我们还需要担心程序员失业吗？

但我的担心不是宏观层面的，而是从每个人的角度出发。

一个人失业，对他或者一个家庭来说，肯定是冲击。

但对于全人类来说，我觉得这是一次大的解放。

关于未来，你有什么担心的地方？

刚才说的都是很乐观的部分。

我担心的是，人类自己会束缚自己的前进步伐。

你指什么？比如监管吗？

对。

现在已经有很多人说，不要研究 superintelligence，不要做这个，不要做那个。我觉得完全不合理。

这就像 1940 年代，因为有 computer 这个职业，就说算盘已经可以完成计算，为什么还要研究超级计算机、大型计算机？

又有人说，大型计算机是用来做军事、毁灭人类的，那为什么要研究它？

所以你的担心是其他人对 AI 的未来过于担心？

如果回到 1940 年代，有人说电子计算机是用来做军事的，所以不应该研究它，你觉得这种说法合理吗？

可以审慎，但凡是能够提高我们探索世界能力的事情，一定要支持。

否则我们就永远只能停留在一个盲目的未知领域。

不过现阶段，担忧未来、引发更多监管和约束，还不是业界主流。

对，这些是比较少数的声音。

所以我也没什么好担忧的，努力往前走就好了。

最后想问，未来一年内，你们有什么想验证的问题？

技术上，可能还是 RL 到底能走多远。

自主学习到底应该以什么样的完整方式存在，也是一个问题。

未来一年，我们还得思考一个新的问题：最早到来的 AGI 会是什么形态？我觉得应该会在未来一两年内逐渐呈现出来。

最早到来的 AGI 会是什么形态，具体是指什么？

比如有一天 OpenAI 宣称自己的模型已经达到 AGI 水平，你觉得它会是怎样的模型，或者怎样的系统？

这是一个很值得思考的问题。

大家现在觉得对话已经很通用了，但我觉得还远远不到。

现在很多人会说，AGI 未来要做人类能做的所有事情。但我觉得这件事不对。

一个很简单的问题：自动驾驶未来可能由大模型来做吗？我觉得显然不可能。一定是一个非常专用的小模型做得更好。

那我们能不能说，因为大模型做不了人类会做的驾驶，所以它不是 AGI？我觉得也不能这么定义。

所以 AGI 到底是什么？“人类能做的事情它都能做”这个定义是错的，必须思考它究竟会是什么形态。

我现在的一个感觉是，未来 AGI 可能是一种“生产 AI 的 AI”。

比如我告诉它，现在想要一个自动驾驶模型。AGI 就去构建这个模型，生产和收集数据，不断优化模型，让它能够在特定算力上运行。

这样我们不需要 AGI 什么都会，但它需要会的最核心的事情，是生产 AI。

但这也不是最终答案。我觉得这个问题一定要在未来一两年内思考清楚。

自主学习这些都是能力，但这种能力具体应该呈现在什么产品、什么模型，或者什么用途上？

朝军说的这件事，从历史上看，工业革命的一个特征就是用机器制造机器。

不是用手工制造机器，而是用机器制造机器，这是机器大生产的标志。

未来 AI 的大生产也是这样。到了智能时代，各行各业真正都能把 AI 用起来，本质上就是用 AI 制造 AI。

其中很重要的一点就是自主学习。自主学习意味着模型可以在某种环境里自己成长，这其实是用 AI 制造 AI 的雏形。

AI 本身会自我提升自己的能力。

所以我特别期待，最早明年、最晚后年，能看到学习能力的提升。

刘老师，您自己想验证的一个问题是什么？

就是刚才说的自主学习。

自主学习明年就会出现吗？我感觉业界现在还没有很多关于怎么做这件事的信号。

这才是有意思的地方。

朝军刚才提到了 reward engineering。现在在一些特定领域，已经可以看到通过设计特殊的 reward 机制，实现持续学习。

它不只停留在数学和代码两个领域，也会扩展到其他领域。

最先扩展到什么领域？

就是可以通过形式化，或者通过相关方式提供 reward 的领域。

最近物理等领域已经有很大进展。

核心还是那些学科，主要是理科。

我其实觉得，现在看不到苗头很正常。

技术发展有一个 scaling 过程。预训练模型出现之后，从被广泛认识，到 GPT-3，再到 ChatGPT，也经历了很长的 scaling 过程。

最近因为大家关注得多，这个过程迅速缩短了。

我觉得明年自主学习会出现一个大家能够看到的雏形。它可能还没有那么泛化，但在某个任务上能够逐渐变得更好。

所以说明年，是说信号和苗头出现，不是说它已经被大众接受。

之所以开始叫 reward engineering，就是 RL 已经开始在各行各业尝试，大家通过人力构建 reward，探索 reward 到底应该从哪里来。

再进一步，当所需人力越来越少，就可以形成真正更加自主的模式。

这本来就是一个量变产生质变的过程。

大家可以想象，现在 RL 已经开始在各个领域广泛尝试应用。明年可能会看到数学和代码之外，更多场景的成果。

然后这些成果慢慢汇聚到一起。

它现在先泛化的是环境。如果让一个模型在所有这些环境中学习，它是不是就能够掌握更高层次的自主判断和 reward 能力？

对。我觉得这是一个很自然的过程。

好的，好的。那今天非常感谢刘知远老师，还有肖朝军博士做客《晚点聊》，分享了清华还有面壁合作研究的密度法则，揭示了一个什么样的业界发展规律，以及这样一个叙事可能会帮助大家怎么去统一接下来的目标，以一个更高效的方式去获得更多的智能。然后我们也延展聊到了面壁自己在密度法则的指引下的一些模型研发，还有业界落地的探索，以及密度法则对更广泛的行业有什么影响。谢谢两位参加我们的节目。

各位拜拜。

好，拜拜。

本期连点呈现继续推荐我们之前聊过的和提升模型效率相关的几期节目。这包括上周刚发的一百四十三期，我们与 Delta Net 的核心贡献者之一杨松龄聊了 Delta Net 和更多线性注意力改进的趋势。本期也呼应了相关话题，比如我们聊到了 Qwen Next、Kimi 的 KDA、DeepSeek 的 DSA 和面壁自己的 InfLLM 等不同注意力机制改进的思路和进展。两期也都提到了业界正在探索直接混合线性注意力和稀疏注意力。

与本期直接相关的还有同样由朝军担任嘉宾的一百零三期节目《用 Attention 炒起大模型优化时》。他当时就提到，从年初 DeepSeek NSA 和 Kimi 的 MoBA 等成果里得到的一个启发，是要把稀疏注意力做到预训练阶段。这在今年六月开源的 InfLLM 的第二版中已经实现。这么做的一个好处就是我们那期聊到的，思维链和强化学习被更多使用后，长文本不再只关注长输入，长输出也变得很重要。

时隔十个月，朝军这一次提到，他认为长输出的重要性还是没有成为一个行业共识，是一个急需优化的方向。一百零三期既是对注意力机制发展的一个很好的梳理和科普，当时的一些思考也并不过时。比如那期最后我们也讨论了 AI for Science，这在今年也成为了一个更明确的发展方向。

本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。