荣慧
大概3周前，DeepSeek R1的发布在全球掀起了轩然大波，相关讨论铺天盖地。十字路口向来不是很擅长追逐热点，我们也认为，等热度稍微退去之后，往往能够更加全面、理性地讨论一个话题，而不被一时的情绪所左右。
因此，本周我们邀请到的嘉宾是李乐天。李老师曾经在百度担任了10年的主任高级架构师，此前也做客过十字路口。他上次来分享的播客题为《我想击碎你们对于AI不切实际的幻想，并重建一个正确的认知》，那一期节目成为我们去年45期节目当中收听量最高的一期，可以说好评如潮。
因此，我们也非常荣幸能够在DeepSeek引发的热潮渐渐平息之际，再次邀请李老师来和我们聊AI、探讨DeepSeek。我们准备的这20个关于DeepSeek的问题，涵盖了算法、算力、数据、应用以及商业等多个方面。
人的一生当中能遇到的技术大事件可以说是屈指可数，而DeepSeek的发布无疑是其中之一。我也相信，每个人都值得投入时间去了解DeepSeek究竟是什么，它又意味着什么，以及它将如何改变我们每个人的未来。
李老师，我们的第一个问题就直接开始。网上有一个很流行的说法是，DeepSeek的发布会标志着AI进入了“下半场”。你会认可这个说法吗？可不可以给大家讲一讲，上半场和下半场分别是什么？
李乐丁
1. AI Enters Its Second Half
大家好。关于AI，其实我们上次聊过，更多是关于预训练方面的事情。经过两年的发展，基本上大家会发现，过去两年来AI在预训练方面的上限提升，实际上是一个逐步趋缓的过程。
我们从GPT-3.5到GPT-4的时候，看到了一个非常大的跨越。但从GPT-4开始，到现在将近两年的时间里，它向上的演进其实并不多。包括几个月之前，美国那边也开始有更多讨论，在说预训练是不是已经到顶了。
包括Ilya给出的他自己的判断，目前大家基本上已经形成了一个共识，就是预训练已经走到了一个阶段性的顶点，我们不太希望再训练更大的模型了。
这方面的原因，一方面是因为公开的、高质量且有足够多样性的数据，基本上都已经被使用到了。这里还涉及我们之前说到的一个东西，就是多样性。AI需要很多、很多不同方向的知识，并不是说我在某一方面的知识增加10倍，AI的能力就会变得更多，而是说现在我们需要的是每一个方向都已经有很多知识，然后再增加一个新的方向。
从这个角度来说，多样性的高质量公开数据已经非常稀少了。所以从数据的角度来说，我们很难再把规模扩得更大。至于合成数据，现在也有很多讨论，基本共识是，如果你任意生成合成数据，然后直接喂给预训练模型，会导致模型崩溃。很多大学都有相关论文论证这方面的内容。
除了数据之外，其实还有一个争论目前还没有形成完全的共识，但很多人开始意识到这件事情，也就是我们上次提到的一位教授的观点：由于Transformer模型架构的限制，导致今天生成式AI的数据学习效率太低了。我们喂给它几万亿个token的数据，然而它们仍然很难具备像一只猫一样的智能。
所以我们会觉得，可能需要一种新的方法。从这两个角度来说，大家都觉得预训练可能已经走到头了，可以采取一些其他新的方向。特别是之前OpenAI发布O1之后，大家开始逐步把更多目光放到了后训练，也就是post-training部分。
Post-training可以让模型增加更多垂直方向的技能，比如O1会增加数学、代码等STEM类型的能力。你也可以在垂直方向增加特定的fine-tune，让它变成一个金融模型、法律模型、医疗模型等等。这些方向现在正是post-training主要发力的地方。
荣慧
所以，上半场和下半场，是不是也可以用pre-training和post-training来划分？
李乐天
对，我觉得上半场是我们为模型增加更多知识，也就是pre-training；下半场是让模型在已有知识的基础上形成更多能力。
荣慧
所以，这也可以认为O1的发布是下半场的一个信号？
李乐丁
只是O1是闭源的，所以它当时也没有把所有技术细节拿出来给大家看。它又是收费的，同时思维链也没有公开，所以虽然能力很强，但是并没有被业界或者普通用户强烈感知到。
这也是为什么DeepSeek R1发布之后，会得到这么大的关注。
R1的发布相当于给全世界揭秘了最先进的技术是如何完成的。从这个角度来说，R1就相当于下半场时代的拉玛。
荣慧
第二个问题，我们请李老师给大家科普一下DeepSeek R1，包括在发布R1前几个月发布的V3。它们的工作原理和训练方式分别是什么？我们先有一个基本的了解。
李乐丁
DeepSeek这次直接发布了R1和DeepSeek-V3的论文。除此之外，如果大家想深入了解，还可以看它之前发布的另外两篇论文。把这几篇论文放在一起看，其实就能形成一个全貌。
前面两篇，一篇是DeepSeek-V2，也就是上一个版本的模型，里面有MLA；另一篇是DeepSeek Math，讲它如何将数学能力引入模型。我们先从R1说起。
R1这次直接将模型的数学和多步推理能力带到了O1的级别。它是怎么实现的，其实是大家最关心的事情。这篇论文应该是我最近两年看到的最精彩的论文。
2. R1 Learns From Results
DeepSeek在R1这篇论文中训练了3个模型，而不是1个。我觉得最有价值的是一开始的R1 Zero。R1 Zero使用了一个非常优雅的想法：我们是否有可能纯粹依靠强化学习，让模型自己摸索，通过多步骤思考提升它在数学、编码等方面的逻辑思维能力？答案是肯定的。
DeepSeek在这里引入了一种非常不同于以往的强化学习方法。之前很多，特别是美国，对于强化学习的使用方法，往往是尝试奖励中间过程。比如我来解一道数学应用题，一个直观的想法是，这道题由一步一步的推理完成，那么对于每一步，强化学习系统都要对这一步是否正确、是否做得好进行一次激励。通过不断的激励，让系统得到反馈，从而实现优化。
但DeepSeek非常精彩地分析了这个问题。他们的结论是，要激励模型的结果，而不是干预中间过程。最终，它的奖励模型可以说非常简单，简单到只判断两件事。
第一，它只判断模型最终输出的结果是不是正确答案，而不关心中间的思考过程，对中间思考没有任何激励。第二，它引入了一个格式奖励。格式奖励的作用，本质上是让后面的reward model专注于判断输出结果，不要被中间过程污染。
它的格式实际上就是把中间的思考过程和最终结果区分开来，明确区分，这样我只看结果，不关心过程。仅仅通过这一个方法，就可以让模型的效果直逼OpenAI的O1，这是一个非常优雅的方法。
为什么我们只激励结果而不干预过程能够成功？DeepSeek在论文中有非常精彩的论述。它认为，中间过程的内容非常难以量化，也很难给出正确的激励结果。
比如我们讨论一个偏文科的内容时，都知道人说话时上一句和下一句之间要有关联，要统一放在一起。我们有一句成语叫“断章取义”，这是一个贬义词，也就意味着我们把一段连续对话中的任何一句话单独抽出来时，它都不能代表你的全貌。
所以我们很难对人说的某一句话进行精确打分：你说得对还是不对，高还是低，这件事是做不到的。对于偏理科的东西，即便是一道数学题，我们也知道一道题往往有多个解法。比如高中很多题，我可以用代数方法解，也可以用几何方法解，还可以用分析的方法解。
同样，就算只局限在代数上，我也可以先合并同类项，再两边平方，也可以反过来。也就是说，对于理科题来说，它的推理过程是无限多的，我们很难穷举。因此，与其让模型干预中间过程，不如直接看结果。
从这个角度来说，机器的思考过程与人类是完全不同的。我们不能强求机器和人有一样的想法，因为它的知识可能比所有人脑中的知识储备加起来还要多，它的预训练里学了几万亿个token。
通过让它不断实验，以一种对机器最自然的方式进行训练，我们是可以达到优秀效果的。这是R1 Zero给我们最大的启示：证明了强化学习直接使用是可行的。
荣慧
你提到的这个创新想法，在此之前有没有其他模型厂商尝试过？因为我看到一些报道，也提到OpenAI的研究员比较早的时候做过分享，说模型需要的是激励，而不是干预。
李乐丁
是的，这件事情做得最早的确实是OpenAI，当然还有强化学习的宗师级选手DeepMind。这个想法其实在AlphaZero里就出现过，在AlphaFold中同样也出现过。
我们更多地关心结果，OpenAI也有相应讨论。但从开源方面来说，R1是首个直接告诉我们可以这么做的模型。我相信OpenAI和DeepMind内部都会有大量相关研究，我甚至相信OpenAI很有可能已经走过了R1整篇论文中的路程，最终形成了他们自己的模型。
这方面应该有很多前沿研究者在做，但开源的R1是首个。R1 Zero是一个非常棒的创新，但论文中也非常明确地写出了它的两个缺点，这两个缺点使它不适合真正作为日常使用的模型。
第一个问题很容易想到：既然模型是通过自己的方式摸索出推理步骤，那么这个步骤很可能对人来说难以理解。网上现在也有很多人形象地说，AlphaZero的思考过程不是人话，人很难理解。
第二个问题是语言混合。它的中间思考过程会把中文、英文或者其他语言混合使用，这也很正常。因为模型本身学会的是所有语言，并不局限于中文，也不局限于英文。对模型来说，所有语言都是token，所有计算都是选择概率、计算attention。
对它而言，不同语言之间没有代沟，也没有区隔。哪个词更能表达当前推理方向，它就会选择哪个词，所以会形成R1 Zero这样的效果。但这样的结果显然不适合日常使用。日用的情况下，我还是希望能够看懂中间思考过程，希望它要么使用中文，要么使用英文；如果预设它使用法语，它就使用法语。使用一致的语言，更符合人类的习惯。
为了解决这两个问题，DeepSeek又增加了更多方法，让R1 Zero变成了R1。论文里讲得非常细致。
首先，它在DeepSeek-V3的基础模型上进行SFT微调，使用了一批CoT数据。这相当于给模型一个基础的回答套路：如果碰到某一类型的题目，第一步应该是什么，第二步是什么，第三步是什么，第四步是什么。
比如要做一次总结，第一步先看各种材料，第二步进行对比，第三步写总结，它会写出类似这样的回答套路。经过fine-tune之后，模型回答时会更接近人类的说法，同时也会使用一致的语言。这解决了语言一致性的问题。
然后在这个基础上再使用强化学习，相当于我只告诉你几个基本套路，让模型沿着这些基本套路自行摸索，解决其他多步骤思考的问题。经过这样训练之后，得到一个中间模型。
这个中间模型实际上仍然存在一定问题。虽然语言可能一致了，但是由于使用强化学习进行了大量能力扩展，扩展出来的很多能力在回答方式上还不完全像人话。
怎么解决这个问题？DeepSeek使用了蒸馏。它把这个中间模型进行蒸馏，得到一批问答对，其中包含大量题目和回答方式。然后对这些回答方式进行筛选，筛选使用的是一个叫拒绝采样的机制。
这个算法很常见，并不特别。它的思想其实就是通过人的举例，算出人回答问题时的套路，和蒸馏出来的数据在回答问题时的套路是不是差异太大。对于那些差异特别大、特别不像人话的内容，就拒绝它，不采样这样的信息。实际上，这是一个剔除式的筛选算法。
经过这样的处理，DeepSeek得到了60万条非常高质量的多步骤推理问答对。在此基础上，再增加20万条传统的fine-tune数据。这些传统数据是让模型具备语言对话、文本创作、阅读理解等传统大语言模型能力，这些能力使用fine-tune是最佳实践。
两者加在一起就是80万条数据。用这80万条数据重新fine-tune DeepSeek-V3基础模型，得到的就是R1。它既具有传统大语言模型的各项能力，又具备多步骤思考的推理能力，同时推理结果符合人类的思考习惯，并且使用一致的语言。
这就是O1的效果。整个过程非常精彩。
荣慧
确实听起来一气呵成，李老师讲得也很漂亮，像给我们讲了一个纪录片一样。第三个问题，刚才李老师提到了蒸馏。网上有很多争议：DeepSeek到底有没有蒸馏OpenAI？
伴随这个争议的，除了原创与否、侵权与否这些问题先不说，还有另一个问题：如果只是使用蒸馏，有没有可能超越OpenAI，超越SOTA模型？
李乐天
3. Distillation Needs Reinforcement Learning
首先，我相信DeepSeek没有使用OpenAI的数据，我觉得没有必要。我们假设它使用了蒸馏数据，那蒸馏是干什么用的？
通过前面整篇论文的论述过程，我们可以看到，唯一使用外部数据的地方，是从DeepSeek-V3基础模型做第一步SFT时，使用了一批CoT数据。这些数据是让模型学会基本的回答套路。
这部分数据就算使用了OpenAI的一些成果，又如何？因为最后真正的能力完全来自后面的强化学习。如果没有使用OpenAI的数据，也没关系。DeepSeek完全可以自己找专家进行标注，这方面并不是什么特别大的困难。
如果没有前人的数据拿来参考，可能会稍微走一些弯路。比如我们现在已经发现，R1这条路更适合做数学题，可能不太适合做文科。也许它之前做了大量文科CoT，然后进行蒸馏、实验，发现效果不好，再回过头去写更多数学题，仅此而已。
无非是浪费一些时间，最终它一定会摸索出一套合适的种子CoT数据，所以没有任何必要去蒸馏OpenAI。也许一开始有一些参考，那又如何？全世界每一个人都在参考别人的工作，我觉得这不是什么问题。
回到第二个问题，仅靠蒸馏能够超越SOTA吗？我说绝对不能。这里的“不能”不是说你拿出一个最终成品，发现它在benchmark上不如目前的第一名，这种情况是有可能的。
真正不可能的地方在于，如果你拿出的这个模型是蒸馏的，那么它一开始的蒸馏数据从何而来？这些蒸馏数据必然来自强化学习的大量扩写，而不是来自蒸馏别人。如果只是蒸馏别人，你的能力一定小于它，这是我们的既定经验。
传统蒸馏一定是大模型蒸馏到小模型。这时小模型可能具备大模型80%到90%的能力，具体取决于蒸馏技巧，但绝不可能反向超过大模型。那就成了“左脚踩右脚上天”，这是错误的。
所以，中间一定要引入强化学习，才能让模型在推理方面做好。这时它就超越了单纯的蒸馏。
荣慧
业界的共识还是认为，O1带来了范式上的革新。它的原创性创新启发了后面的很多人，不管是DeepSeek的R1，也包括Kimi的推理模型K1.5。
我觉得这种知识的接力，或者站在别人的肩膀上继续创新，其实是最近让人感到有些感动的技术理想主义，它推动着人类不断进步。
最近还有一个被大家批评得很厉害的人，就是Anthropic的CEO Dario。他之前其实很受业内人士尊重，但在DeepSeek R1发布之后，他跳出来写了一篇代表某些美国观点的文章，主张对中国进一步限制芯片，以保护美国在大模型和AI领域的绝对领先。
这是不是也意味着，在DeepSeek R1所使用的post-training路线——强化学习，和Anthropic一直在用的RLHF路线之间，RL已经显然胜出了？Anthropic受到了威胁，所以才有Dario的一系列反应吗？
李乐丁
这篇文章确实火遍了全网。我觉得我们要客观看待，把里面不同的地方区分开来。首先，如果从整体角度来说，这篇文章完全是在制造“中国阴谋论”，试图通过强化中国的威胁，来掩盖Anthropic和OpenAI的能力已经被中国追上这一事实，所以这部分内容纯粹就是阴谋论。
但是，他文章中关于纯粹技术部分的论述是非常中肯的，对于DeepSeek内部大量技术的论述也是中肯的。这部分我们可以采纳，我觉得说得也都非常好。
其中他确实说了一句事实，就是DeepSeek的能力仍然和他们有6个月的差距。这个我们没有必要回避。今天我们不要拿空头支票就直接上奔驰，确实我们还没有超越OpenAI，也没有超越Anthropic。
比如R1的效果只是达到了O1的下限，但现在OpenAI已经有O3了，这一点我们确实存在差距。当然，他没说的是，这6个月时间里，Anthropic自己的进展也不大。所以确实有差距，但也没有那么大。他们前方的两家已经放缓了，而我们正在追上来。
说到技术，我觉得应该保持开放心态，不能预设某一项技术一定正确或者一定错误。如果我们这样预测，DeepSeek不可能做出今天的R1。因为在此之前，最主流的正确方式是Llama，而Llama的架构和DeepSeek可以说完全不一样，中间存在巨大差异。
我非常同意梁文锋之前接受采访时说的一个观点。他采访中一个很重要的观点是，现在的大模型研究更像是research阶段。而research阶段的典型方式就是，我提出一个假设，然后通过实验去证实它。在实验给出结论之前，我都不能说这个假设一定正确或者一定错误。
所以我确实无法回答，到底是纯强化学习这条路正确，还是另一条路线正确。另一条路线认为，模型的能力应该是一个连续的光谱，应该在基础模型之内就让它具备偏文科的回答能力和偏理科的多步骤思考能力。这同样是一个非常厉害的想法。
也许它后面能够有更好的方法来实现这一点。我觉得我们就抱着一种科学的心态去关注它们，看大家什么时候能够证实自己的想法。
但另一方面，对于意识形态方面的内容，我们显然是不认同的。美国已经没有能力阻止中国研发大模型了，我们已经完全具备了生成式AI的全部技巧。可能仅仅是硬件方面，造卡还有点困难，但国内也有卡，中国也有自己的AI训练卡。
所以，无论如何，他们都不能阻止我们做出世界上最好的模型。
荣慧
现在我们知道，推理卡已经被R1证明是可行的。比如硅基流动这次发布的API，就是在华为云的推理卡上运行的。李老师，训练卡现在到什么程度了？
李乐天
4. Domestic Training Cards Become Usable
训练卡目前属于可用，但确实有点难用。如果你想用3个月复现DeepSeek，恐怕最佳方案还是全套英伟达GPU，使用它的NVLink，最好网络也使用InfiniBand，因为整套体系非常完备。
如果你想探索完全不同的新模型，CUDA提供的支持也是最完备的，这一点我们没有必要回避。但是国内的卡完全可以进行训练，只不过需要一段时间做模型适配。
我之前有几个朋友做相关硬件工作。一般来说，训练适配时间大概在3个月上下。当然，前提是模型比较确定，是一个固定模型。如果要做自定义算子、探索新的方向，恐怕要花更长时间。
荣慧
前面4个问题都比较硬核。为了照顾大家的收听节奏，第5个问题轻松一点，也是大家都关心的。
DeepSeek这一仗打得非常漂亮。它大获全胜的因素，我们认为包括开源、技术做得好、成本低，以及产品体验不错。李老师在你看来，这些因素谁最重要？或者说它们分别占比多少？能不能分享一下你的看法？
李乐丁
5. Open Source Enables Deep Experimentation
如果让我来判断，我觉得开源是最重要的。梁文锋给了一个非常好的评价，他说：“与其说这是中国战胜了美国，不如说这是开源战胜了闭源。”
我们回过头来看DeepSeek的论文，从R1倒推之前的V3，V3里面有MoE、MLA，再倒推到前面的V2，再回头看DeepSeek Math中关于强化学习的最初探索，其实能够非常明确地感受到，业内一线研究者对未来方向是有感知的，他们不是不知道。
那阻碍他们的问题是什么？很可能是没有足够条件，让他们在这种创新方式上做实验。
很多时候实验是要付出代价的。比如DeepSeek做了大量实验，去论证某些方法可以，某些方法不可以。R1里他们尝试了激励过程，结果不好；V3里也比较了使用新的MTP，也就是multi-token prediction，对模型效果改善有多少。
这意味着，要做好一个大模型，需要大量实验，因为没有人真正知道模型正确的道路是什么。可以说，整个生成式AI，乃至整个AI，在理论层面都是不完备的。它不像计算机科学有图灵完备性，完全告诉你一切；AI并没有。
很多时候该使用什么方法，需要通过实验才能知道。所以更重要的是，要有足够机会让研究者做实验，不能因为这次实验训练出来的模型效果比上一版本下降了2%，就处罚他，不再给他资源。如果这样，就做不出最好的模型。
我认为O1的产生背后一定有两个原因。一方面得益于DeepSeek-V3这个模型，使模型训练成本大幅降低。V3整体训练只需要550万美元、2000多张卡。在它的基础之上再做推理、做其他强化学习，成本也比传统超大模型低得多。
这意味着在同等资源投入下，DeepSeek可以做更多实验。另一方面，我觉得是因为DeepSeek本身坚持了一个很好的初心。就像梁文锋说的，他们不去做商业化，纯粹research。
在这种情况下，我可以接受模型失败，可以接受这次效果不好，甚至可以接受在一段时间内效果不好。比如我们仔细看论文会发现，它把强化学习做了8000步，这几乎是绝无仅有的。此前没有公开论文把强化学习推到这么远。
这不是因为研究者想不到。无论中国还是美国，我们都有非常优秀的研究者，大家都能想到。但从0到8000步，效果提升不是线性的，中间会下降，会反复。
如何保证你有足够资源，在比如2000步时，强化学习的斜率不再快速上升，甚至阶段性向下时，还能坚持下去？我觉得这需要更好的管理支持。
所以，一个偏向research、偏向开源的方式，才能孕育出这样的先进技术。
荣慧
很多分析说，大家看到的只是DeepSeek这次巨大的成功，但它的成功背后其实有非常多失败，只是我们可能不知道。李老师，你刚才提到8000步，可以再具体、通俗地解释一下，这8000步意味着什么吗？
李乐丁
可以稍微说一下。R1 Zero里使用的强化学习，可以这样理解：首先让模型在一无所知的情况下回答数学题。
这些数学题的来源，可以参考DeepSeek Math那篇论文。它使用了8000道种子数学题，这是专门的评测集，里面有题目和标准答案。然后让机器自己生成答案。
显然，大部分题应该答错，只有极少部分回答正确。强化学习系统会进行打分，把正确答案标出来，也把错误答案标出来。当然，这里面还有一个非常重要的技巧，就是GRPO的reward model，稍后可以再说。
在这个过程中，我可以给模型打分，把好的回答选出来，把差的踢掉，然后让模型用这些好的数据重新fine-tune基础模型。这时模型的能力就提升了一步。
比如一开始，8000道题它可能只答对10道，正确率是8000分之10。把这10道正确答案重新fine-tune模型之后，开始进行强化学习的第二轮，还是用这8000道题让它回答。大概率它会从答对10道变成答对20道、30道，当然这些数字只是举例。
然后reward model选出好的答案，踢掉差的答案，把更多好的答案反馈给模型，再进行第三轮，以此类推，第四轮、第五轮、第六轮。
如果粗略地看，我们会看到模型每一轮生成的思考过程中的token数越来越长。论文里也有很好的表述，基本上是线性变长。模型说的话越来越多，也就意味着它思考得越来越多。
同时我们看到，随着步数增加，整体正确率在提升。但有意思的是，这个提升不是线性增长的。前4000步，模型正确率提升的斜率基本是一条直线，效果变得很好。
从4000步到6000步，斜率开始衰减，从非常快的增长变成相对缓慢的增长。到6000步之后，模型正确率甚至下降了一下；到7000步左右时还在下降；应该是在7500步之后，模型准确率又开始上扬，形成这样一条曲线。
当然，DeepSeek可能因为前面做了大量工作和探索，所以它的曲线非常漂亮。很多强化学习研究可能在1000步时效果提升就开始衰减，到了2000步就变平，甚至掉头向下。这时大家可能就不愿意再花资源做后面四五千步了。
荣慧
所以，可以说他们是为了测试和证明这个方向、这个选择，想要看看它能够得到什么样的结果，因此非常坚持？
李乐天
是的。我们一会儿可以插入讲一下GRPO的reward model。当我们真正想清楚这篇论文，觉得R1整个训练思路如此自然时，就会对它有信心，相信这件事一定能够做成。
再加上DeepSeek有很低的训练成本，也有一个很好的老板，我觉得大家会形成一个共同决策：我们把它拉到一个别人都没想象过的次数，看看它到底怎么样。
所以这就是成功的原因。再说一下它的GRPO是如何reward的。R1的大部分技术都来源于一些朴素想法，我们通过直觉就可以大致判断它们是可行的，而GRPO是其中最复杂的一项。
我们回到原先的强化学习过程。可以简化为：先让系统尝试回答100道题，然后把其中正确的10道题拿回来，重新fine-tune模型。下一次训练时，这100道题可能有20道答对了。
这时要不要把这20道题全部送给模型重新训练？这里会存在一个问题：这20道正确的题中，可能有相当一部分和前面那10道重复。
从两年前训练大模型的预训练阶段，我们就发现，数据虽然重要，但最好不要重复。重复使用数据训练模型，很容易造成过拟合。
形象地说，在强化学习过程中持续训练时，我们更希望模型关注新摸索出来的套路，而不是一遍遍重复、背诵之前已经学会的技能。
所以，GRPO的工作就是尝试量化哪些新训练出来的套路更好。R1的做法是，首先对于每一道题，系统让模型做多个回答，这里选择了8个。然后对这8个答案分别评分，答对给1分，答错给0分。
接着把这8个分数转换成一个称为Z分数的统计学数据。这个分数在统计学上经常使用，它的作用是提供更好的区分度。
比如这8个答案中绝大多数都做对了，那么我们认为模型对这个题型基本已经学得很好了，于是它的Z分数会比较低。相反，如果8个答案中只有少数几个答对，我们就认为模型学到了新的套路，这少数几个答对的地方，Z分数会非常高。
恰好从数学角度来说，Z分数可以落在0和1之间的小数，因此可以直接看作采样概率。有了这个分数和采样概率，我们就可以让新学到的套路以更大概率被模型重新训练。
那些已经学会、已经掌握的旧知识，则以更低概率交给模型复习。多关注新知，少关注旧识。如此往复，模型就会不断优中选优，完成整个过程。
当然，GRPO除了在思路上的优势之外，因为它只激励结果而不关注中间阶段，所以和传统的PPO、DPO等强化学习算法相比，在计算量、内存消耗等方面也有很大优势。
综合起来，就形成了R1使用的这项非常优秀的算法。
荣慧
Lex Freeman那个播客里，详细解释了DeepSeek在底层优化上做的一些事情。他甚至把它列为低成本训练成功的关键，提了3点：第一，前面你提到的MoE，也就是混合专家；第二，MLA；第三，因为芯片限制，它不得不通过底层优化来提高效率。
NVIDIA本身有NCCL这个库，但DeepSeek没有这个东西，却做了很多创新。你了解他们具体做了哪些创新吗？
李乐丁
6. Hardware Constraints Drive Efficiency
具体做了什么，论文里都写得很清楚，主要就是通过底层库的优化，以及在训练过程中对不同计算和通信之间的编排进行优化，保证这套系统有足够带宽，不会被通信卡住。
但通读论文之后，我觉得DeepSeek手里的卡是H800。它既没有H100，也没有H20。H800和H100主要的差别，就是NVIDIA把NVLink带宽砍掉了一半，所以它被迫做这些优化，不做不行。
另一方面，H20的通信能力和算力又比H800差很多。按照它现在的优化方式，在H20上运行可能不会有同样的效果。我觉得它使用的是H800，但这件事现在它不说，也没人知道。
这确实很有启发：卡住它的地方，被它变成了创新。
荣慧
如果有H100，效果会更好吗？
李乐天
肯定会更好。H800的条件确实太有限了。
荣慧
Lex把这3点列为最重要的因素，你同意这个观点吗？
李乐天
基本同意。我觉得还有一点，就是FP8和低精度，我认为这是非常重要的东西。这些其实起了主要作用。
美国人在技术分析方面基本都靠谱，这些判断大体都对。但观点层面的内容，我们就仅供参考。
荣慧
第6个问题，DeepSeek-V3为什么可以只花550万美元？而且前不久还有一个新闻，李飞飞的团队用50美元也训练出了据说可以媲美DeepSeek R1和OpenAI O1的AI推理模型，这又是怎么回事？
李乐丁
这其实是两个问题：一个是V3的550万美元，另一个是李飞飞团队的模型。我觉得先从李飞飞这边说起。
7. Small Models Borrow Big Reasoning
用50美元训练出S1，确实有点标题党，但这篇论文同样非常重要。要理解它的重要性，还是要回到R1。
R1这篇论文实在过于精彩，以至于它把最后的甜点都变成了主菜。刚才一开始我说到，R1最终训练了3个模型，前面说了两个，一个是R1 Zero，一个是R1。第三个是什么？
实际上，DeepSeek尝试回答了这样一个问题：R1和R1 Zero都是在DeepSeek-V3这个超大模型底座上完成的，也就是在一个670亿B、虽然是MoE、但仍然非常大的模型上训练。
在这个超大模型上训练，我们证实了通过强化学习和蒸馏，都能让它获得非常棒的多步骤推理能力。问题自然就来了：在一个没有这么大的小模型上，使用强化学习和蒸馏，能不能让它具备很好的多步骤思考能力？
DeepSeek做了实验。它把前面所说的从中间模型蒸馏出来的80万条珍贵数据，用来fine-tune千问和拉马这两个相对较小的模型。根据我看到的论文，应该是7B和30B。
这实际上就是蒸馏：用数据去蒸馏。答案是可以。在小模型上使用珍贵的蒸馏数据，也可以让它具备非常棒的数学能力。论文里有相应benchmark，成绩非常好。
但论文也告诉你，如果在小模型里直接使用强化学习，也就是R1 Zero这条思路，行不行？不太行。论文认为，这是因为小模型具备的知识还是太少了。
就像你要想自己修炼，最好还是多有一点知识。完全没有知识，就容易走火入魔。
这绝不是一个甜点，而是一个主菜。因为这意味着，拿一个32B的小模型，甚至7B的小模型，都能让它具备类似O1的多步骤推理能力。
沿着这个思路继续想：我用小模型和80万条数据fine-tune，那8万条行不行？数据少一点，对应用获得自己的能力也有好处。8万条行不行？8000条行不行？
这就走到了李飞飞团队的S1论文。在这里，它最终给出的答案是：如果你想让数学效果好，1000条就可以。
它是怎么做的？它先从Google的Gemini 2.0 Flash Thinking中蒸馏出5.9万条高质量问答。客观说，Gemini 2.0 Flash Thinking也是一个非常棒的推理模型，效果不比R1差。
李飞飞团队对这些题目进行精选，目标是看究竟能把蒸馏数据压缩到多小，模型仍然能够学会这种能力。它大概用了3个原则：题目要足够难，题目不要重复，覆盖面要足够广。
最终得到1000条。论文很清楚地告诉你，这1000条大概包括哪些内容，有各种数学题，从相对简单的线性代数、微积分，到比较复杂的实变函数、微分方程，还有很多量子物理等，基本都是理科题。
仅仅用这1000条数据，拿去fine-tune千问，就可以得到媲美R1的数学性能。李飞飞团队告诉你，如果你想在一个普通的小模型上快速得到类似R1的能力，使用蒸馏的话，只需要1000条数据。
论文里写得很清楚，fine-tune只需要16张H100，训练26分钟，算下来就是50美元。当然，50美元是一个非常极限的测试，所以我说50美元比较标题党，实际成本肯定会比这个多。
但这也意味着，如果你仅仅是想获得某种垂直能力，成本可以非常低，后训练成本是非常低的。
再联系V3。V3的论文不仅告诉你预训练花了550万美元，也就是260万GPU小时。我们就按GPU小时来说，因为单价在不同地区不一样。
这260万GPU小时可以预训练出V3，同时它还告诉你，后训练所用算力连预训练的零头都不到。所以我比较不喜欢网上很多人说，预训练scaling law结束之后，后面就是后训练的scaling law，算力会继续无限膨胀。
后训练确实有scale，但它的规模和预训练不能比，会差好几个数量级。
至于V3的550万美元、260万GPU小时是如何做到的，就要回到V2，可以说这是过去很长时间厚积薄发的结果。
其中最重要的、节省模型参数的技术技巧是在V2完成的。V2完成了MoE，V3进一步做了优化。如何降低每次计算中attention消耗的算力，也是V2完成的，V2里的MLA被V3继承并进一步优化。
V3做的是使用FP8训练。我觉得美国人其实早就应该做这个，因为FP8是H100最重要的卖点。美国人手里有这么多H100，却不去尝试这个东西，我觉得也有点“资源诅咒”的味道。
这件事本身不神奇，就是大量做实验，摸索出在整个正向和反向传播过程中，哪些部分可以使用FP8。这又贡献了一部分效率。
这3项加在一起，贡献了绝大多数效果。把它们放在一起，260万GPU小时基本上就可以完成一次训练。
荣慧
李老师讲得太好了。在没有视频、没有PPT的情况下，能够把事情讲得这么清楚，真的很不容易。这两篇论文我看了很久，确实写得非常好。
我还想问一个问题。你刚才其实提了好几遍，华为云的分享里也重复了很多遍，说这篇论文写得太精彩了。我今天还问ChatGPT，业内一般怎么衡量一篇论文写得特别精彩，它给了我一些维度。
我想问问你的主观判断：你会从哪些角度觉得一篇论文“写得太精彩”？
李乐丁
通俗来说，就是干货足够多。这篇论文的干货实在太多了。
坦白说，虽然我一直非常关注AI，但过去两年越来越不愿意读论文，因为大部分论文给出的有效内容实在不太多。这篇论文的硬内容含量，可能相当于一般论文的10篇，甚至不止。
比如R1训练3个模型这件事，完全可以写成3篇论文。至于DeepSeek-V3里那么多各种各样的优化技巧，坦率说，很多技巧DeepSeek还没有做得足够完善，单个技巧的效果可能不大，后面的V4、V5也许会逐渐做出来。
但这么多实验、这么多事情，如果按照普通方式发表，很可能写成5篇、6篇论文都可以。所以它的内容含量确实非常高。
而且我觉得，这种方式也很符合开源世界的沟通方式。它发表一篇论文，然后社区成员会通过论文去解读，等于帮它做了非常多次二次传播。
荣慧
这才是社区精神。
DeepSeek显然带来了非常强的民族情绪，尤其是考虑到DeepSeek背后团队中的每一个人，都是在国内工科高校体系里培养出来的。前两天我听到一个投资大佬在私下聚会上非常激动地说，这代表中国的国运；如果没有国运，我们很可能就进入通缩了。
他甚至认为，DeepSeek的发布避免了中国进入类似日本失落30年的境地。李老师，你怎么看待DeepSeek对于中国科技行业乃至整个中国商业世界的影响？
李乐丁
8. China Must Become an Originator
这个问题太宏大了，我确实回答不了。就从我的感受来说，我觉得有一点非常明确：DeepSeek证明了中国的研究人员、软件从业人员以及AI从业人员，掌握的知识和能力一点都不比美国差。
我们具备完整的知识，也可以在几乎完全独立的情况下做出最先进的东西，这是非常好的事情。至于它对更大层面的影响，我不知道，但我相信大家一定会因此感到兴奋。
当然，我觉得还要注意一点。最近我看到了很多网上传播的内容，其中有些地方不太好：不要因此就觉得我们一下子完全超越美国了。
梁文锋在采访中有两个观点我非常喜欢。第一个前面已经说过，第二个是他怎么看中国和美国的差距。
中国和美国的差距，比如在AI领域，可能只差一年，甚至半年。但与其说这是时间上的差别，不如说更本质的是原创和跟随的差别。
我们不得不承认，也应该承认，AI几乎所有原创性的想法和idea依然来自美国。强化学习是谁最早在产业中真正使用的？是DeepMind。
GPT这种scaling方式，也就是增加模型参数来提升能力的方式，最早从哪里来？来自OpenAI。
所以，如果我们在这个阶段不能完成转变，从跟随者变成原创者，那我们和美国的差距可能永远会维持在一年、两年。我们可以跟得很近，可以学会，但不能超越它。
荣慧
我有一个感触：现在的DeepSeek更像是Ilya时代的OpenAI，而不是Sam时代的OpenAI。现在的OpenAI太过于路径依赖了。
李乐天
对。它当然是完全的ClosedAI。一方面，它太过于沉迷scaling，也就是不断增加算力；另一方面，产品化又纠缠了它太多精力。
其实大家对OpenAI最大的期待，应该还是希望它把GPT-5做出来，去超越原来的东西。大家希望看到的应该是这些。
荣慧
为什么梁文锋能够带队做出这样的成绩，而其他国内大厂——我们就不点名了，反正也就那么几个，大家都知道是谁——为什么做不出来？
李乐丁
主观地说，我觉得很多时候还是KPI压力太大，KPI设置可能不太合理。
梁文锋他们团队应该是没有KPI的，大家更多秉承的是纯粹researcher的态度。我们不一开始假设某一条路一定正确，而是大家一起讨论，看看哪条路可行。可行的我们就投入去做，做不成就做不成；效果差，可能再坚持一段时间；如果确实效果差，就换一条路线。
我觉得这是一条正常的科学探索道路。我们从小就学爱迪生发明灯泡，试了那么多次。你不失败，哪里来的成功？
但恐怕在大厂工作不是这样。大厂虽然资源更多，人才肯定也更多，数据也更多，但压力也大。很多时候，如果这一版模型不能把效果提升3%、5%，可能工作都保不住。
这确实会影响大家做事的方法。大家可能不太愿意尝试目前看起来不行的东西，而更愿意“削足适履”：前人这么做，我在他的基础上扩大一点规模再做。这样才是能够活下去的方式。
荣慧
看上去，DeepSeek的胜利是工科生的胜利、技术的胜利。问题来了，AI时代的产品经理要怎么办？
李乐丁
9. Products Need Human Judgment
我觉得产品经理对于AI太重要了，是灵魂。
但我们也别只说好的一面，也泼一点冷水。说实话，现在AI模型的发展和AI应用真正的诉求并不一致。
R1、O1、O3确实非常棒，但应用需要的不是这样的能力。应用需要的是稳定、可复现，并且可以横向扩展到不同领域的能力，而不是在某一个纯粹的数学领域做得很好，却又不能做到100%正确。
这和应用需求不一样。除了预训练撞墙、后训练带来希望之外，还有一个共识：应用并不会选择最强大的模型。
现在应用的普遍做法是使用小模型，甚至非常小的模型，不再追求模型具备很强的推理、思考能力，而是把这些问题交给产品经理写的prompt engineering、RAG系统或者外部程序来判断，把逻辑留在传统系统里，只让AI承担类似传统NLP的工作。
这是现在应用的实际用法。因为从用户反馈来看，现在模型确实达不到大家想要的质量，所以我们只能退而求其次，把其中最好、最能用的部分拿过来。
说到这里，产品经理的作用是什么？简直无比重要。产品经理要定义产品中的边界，要明确哪些AI在现实中完成不了的事情应该如何处理。
就像我觉得我们上次聊天时举过的例子：让AI订机票。你无法想象，两年过去了，这样的产品还是没有做出来。
哪怕有了O1，美国人也用了O1半年，还是没有做出来，也没有变得更好。为什么？因为实际订票时，它不是一锤子买卖。你不可能一开始就把自己想要什么票全部告诉AI。
你不可能提前说清楚：“给我订一张明天北京到上海的票，几点钟，哪个航空公司的经济舱还是公务舱，要不要升舱。”这些信息我不可能一开始全部说出来。
我一定要在中间不断查看、不断思考，还要和自己的行程做对比，中间有非常复杂的流程。这个流程不可能由AI一步完成，中间如何提升整体效率，一定要靠产品经理。
所以可以说，产品经理才是真正让AI走向应用的灵魂，决定了其中的工作方式。至少在这个层面上，我们完全没有替代人。
再看一个例子。现在RAG大量应用于企业内网搜索。做过RAG的人都能想到，最好的实践是什么：RAG检索所使用的语料，应该只通过企业内部的搜索系统检索出来，而不是使用模型自己的知识，因为模型自己的知识会产生幻觉。
但你可以使用模型的语言能力完成大语言模型的理解、总结等工作。这应该是一个好的组合：RAG提供知识，语言模型提供能力。
但现状是，真正用起来会发现，这两者的边界不能精确控制。经常出现的情况是，模型输入结果同时耦合了RAG的知识和模型自己的知识，甚至模型自己的知识用得更多，于是出现幻觉。
反过来，有时虽然完全应用了RAG的知识，但RAG的数据又反向压制了语言模型自身的能力。这些情况经常出现，但想改变很难，因为你不能重新训练一个模型，只能在RAG系统之外再增加额外方式去处理。
所以从这个角度来说，大模型使用起来也有这个问题。大模型不能改，重新fine-tune的成本又更高，那不如用一个小模型，把更多工作、逻辑工作和稳定性工作留给RAG。
荣慧
我们进入第三部分，聊一聊DeepSeek发布之后，对于To C、To B以及To D，也就是To Developer的各种影响。
第10个问题，DeepSeek的发布，尤其是R1，会给To C的各种产品带来哪些影响？
李乐丁
10. Open Models Reshape AI Products
我觉得它对于To C，实际上对于整个产业都有非常大的影响，因为成本实实在在降低了一个数量级。
当然，今天AI应用很多时候并不是卡在成本上，而是卡在能力上。如果成本降低，我可以把更多预算留出来，引入人工，让产品经理在人工参与的部分做更多规划和设计，这样To C产品可能会做得更好。
第二，原先那些已经使用AI、但因为成本原因没有大规模使用的场景，比如基础NLP理解、基础规划等，都可以用起来。这可能会带来一个阶段性的高潮，让大家去尝试。
荣慧
对To C产品的另一个影响是，大家可能觉得模型变成了产品，会淹没很多产品。你有这样的感受吗？
李乐天
我不认为是这样。
你有没有观察到，实际上无论是OpenAI的App，还是Gemini以及国内的一些App，如果看现在的数据分析，会发现它们的用户时长都不是特别长。
从我们自己的使用情况看，每天使用的次数也不是特别多。这很大程度上反映出，我们现在还没有准确抓到大家的需求痛点。
可能确实是因为这个行业技术发展太快，还缺乏足够优秀的产品经理来定义什么样的事情最适合用AI解决。所以当大家的需求没有被正确定位和满足时，只能去尝鲜，看看谁家的技术更好，才带来了这样的影响。
后面整个市场进入更加完备的运转阶段，有更多产品经理进来界定需求，就不会是这样了，除非AGI出现。
荣慧
我也是这么认为的。第11个问题，DeepSeek的发布对于To B有什么影响？To B又可以分成To Enterprise和To Government。
李乐丁
对于To B和To G来说，影响可能非常深远。
我们观察到，DeepSeek上线之后很短时间内，Azure就开始支持使用DeepSeek，AWS很快也跟进。今天几乎所有一线云厂商都跟进了，允许你使用DeepSeek作为推理模型。
这会产生一个问题。我们在开源领域早就观察到，如果一项技术的上限不再快速提升，那么对于各家商业公司来说，生存危机就消除了。
以前可能会出现这样的情况：如果我没有立即跟进最先进的模型，6个月之后别人发布的模型效果巨幅改善，直接革了我的命。但这种情况可能不会再出现。
在这种情况下，各家可能会把模型研究重点从军备竞赛——卷谁能做出GPT-4级别的模型——转向更加理性。让研究团队去探索类似DeepSeek的方式，或者探索超越Transformer的下一代模型。什么时候做出来，不着急。
与此同时，在产品方面直接使用开源DeepSeek。大家都具有同样的产品，我们几乎所有中国互联网公司，包括美国互联网公司，都大量使用开源软件。大家都使用Linux、MySQL、Redis，开源软件的使用量非常大。
当开源模型真的已经是业界最好、又不存在生存危机时，没有道理不用。所以整个To B都会受到影响，尤其是中国，我觉得会有深远影响。
美国可能也会有自己的DeepSeek。毕竟由于SRPK等因素，以及当前美国的政治环境，它对中国仍然存在敌视。他们很可能不愿意看到一个来自中国的产品在美国形成大生态，可能会自己做一个类似的东西。
但如果大模型的上限不再提升，未来To B方向大家可能使用的都是开源模型。
荣慧
第12个问题是To D，也就是To Developer。AI coding是大语言模型非常重要的方向。李老师，你认为DeepSeek会带来什么影响？
我看到Cursor官方发言说，不管是他们自己的评测还是用户反馈，目前仍然认为Claude 3.5 Sonnet在写代码方面一枝独秀。
李乐丁
对于To Developer来说，可能是影响最小的。因为Developer正好是Claude、O3、R1最擅长的方向，而这个方向还在快速发展，所以谁能领先并不确定，之后它们之间的位次还会有很大变化。
这些模型能力的好坏，会直接决定Cursor这类To Developer软件使用什么模型。但我觉得没关系，正是这样的竞争才会诞生新技术。
也许现阶段我们又落后于美国了，那又如何？再过一段时间，我们有了更好的研究，还会超过它。
最终受益的可能是开发者。每个人手里都会有一个很好的AI chatbot，帮助他写代码、写测试、写文档等等，这是一件好事。
荣慧
确实很精彩。我刚才突然回忆，在我人生前30几年里，有什么时候像现在这样，能够如此强烈地感觉到科技进步就在眼皮底下发生？
以前好像没有这么强烈的感受。它有点像第一次用iPhone的时候。
李乐天
但第一次用iPhone之后，并没有出现你追我赶的情况。比如今天用了iPhone，3个月后又发布一个“微phone”，并没有。所以这个感受确实很特别，可能也是人生仅此一次。
荣慧
第13个问题，我们来看DeepSeek的发布对于AI应用的影响。
DeepSeek发布之前，大家可能还记得，十字路口当时做了两期内容，我们其实非常激动。Devin的发布意味着2025年，甚至可能是AI Agent落地的元年。
但现在DeepSeek发布了，会对整个应用领域带来哪些影响？李老师前面也提到了一些，看看这里有没有额外补充。
李乐天
对于应用来说，它相当于To B的延展。
一个问题是，应用使用什么样的技术栈，我觉得这是To B的问题，大家可能会转向开源模型，这种情况很有可能发生。
另一个问题是，应用本身会不会因为R1发布而大幅前进？我对此比较存疑。站在应用角度，还是那个大问题：应用需要的能力，确实是现在的大语言模型不具备的。
我们看到O1出来几个月之后，也没有哪个App说，因为O1的发布，原来解决不了的问题就解决了。越来越多应用在尝试过所有模型之后，会觉得我不需要GPT-4这种超强模型，甚至不需要Claude这种非常强大的模型。
我在美国看到一个特别有意思的事情。当你问很多人Google的Gemini App怎么样时，大部分人会说：“不太好，这个模型有点笨，没有ChatGPT好。”
但如果你问Gemini的API怎么样，大家都会说好。因为Gemini Flash确实又便宜、又快、又好。从性价比来说，Gemini 2.0 Flash甚至比DeepSeek更高。
我们可以看实际定价，尤其是Google有TPU支持之后，它的成本非常低。所以对于应用而言，我们早就走向了一条可能和今天大语言模型研发方向不太一样的道路：大家都在用小模型，都在玩RAG，都在玩prompt engineering。
因此，从应用前端的角度来说，变化可能不会太多。
荣慧
Gemini Flash其实也是一个推理模型，但好像几乎没有什么名气。
李乐天
这可能是Google在PR方面做得不太好。它的实际效果很好，Gemini 2.0 Flash的效果也是SOTA级别，和GPT-4等模型属于同等级别，但成本非常低。
同时还有Gemini 2.0 Flash Thinking，这是一个带推理能力的模型。李飞飞团队的论文就是从它那里蒸馏数据，说明它的能力也很强，只不过在benchmark上打榜可能还差一点。
Google最近还发布了其他模型，包括Flash-Lite，进一步降低了成本。我觉得Google在这方面看得很清楚，因为Google实际上是全球最大的应用玩家，最大的AI应用就是搜索。
它很早就看清楚，降低AI成本，绝对是推动已有应用大规模使用AI的重要手段，所以一直在强调这一点。但Google可能也有大公司病，最近PR确实做得不太好。
荣慧
我觉得产品也做得很差。Gemini 2.0 Flash Thinking藏在Google AI Studio里面，而Google AI Studio的界面真的不是给普通用户使用的。
李乐丁
对。我一开始它发布的时候也用了好几次，确实非常impressive。但后来发现入口太深，每次使用还要重新想一遍怎么点。用了几次之后，我也懒得再用了，确实有点可惜。
荣慧
第14个问题，DeepSeek发布之后，很快就在几十个国家的App Store登上榜一，而且好像是历史上最快从0增长到3000万、4000万日活的应用之一。
但另一方面，我们也看到DeepSeek内部的卡本来就不太够。应用的大规模流行可能影响了它的训练，所以他们迟迟没有把应用的稳定维护放在第一优先级，似乎仍然想把更多卡拿去做训练，而不是服务C端用户。
李老师，你怎么看？Chatbot对DeepSeek重要吗？之后你预测他们会如何进一步做Chatbot？还是会慢慢觉得这件事不重要，就不做了？
李乐丁
它重不重要，我回答不了，这可能只有梁文锋自己决定。
但从我的情感角度来说，我不希望它做Chatbot。因为一旦做Chatbot，就会耦合大量产品化工作。
大量真实用户在使用时，不会天天问复杂应用题，也不会问多步骤思考能力。大家的考量点不是这个。产品化会关注更多日用性问题，而这些问题需要做很多额外工作。
一旦做产品化，你还会关心产品质量、可维护性等，这些都会牵扯大量精力，就像今天OpenAI遇到的问题一样。
所以从情感角度来说，我觉得中国不需要another app，中国需要一个OpenAI。我希望它不要做这些事情，简单做一做，让大家体验一下就可以了，不要把精力放在这里，还是继续做原创技术。
我觉得这才是最让大家兴奋的地方。
荣慧
去年年底，大概12月，我们有一期内容和《晚点》的曼祺一起复盘大模型这一年，盘点了国内各个模型厂商。当时提到DeepSeek时，有一个故事给我印象很深。
梁文锋在一次对外表达中提到，DeepSeek不在乎商业化，而且不做商业化，因为他认为任何商业化尝试都会影响、稀释和分散他们在科研上的注意力和投入。
所以刚才李老师讲的这个愿望，和他不做商业化其实是一脉相承的：不要做商业化，甚至To C产品也不要做，好好做科研。这里可能才是最能获得高ROI回报的地方。
李乐丁
是的。
荣慧
我们进入第四部分，聊一聊未来。第15个问题：未来算力还重要吗？
这件事牵动着万千股民的心，因为很多人都买了英伟达。如果算力不重要，就意味着巨头们持续在芯片和算力上的投资可能会下降。李老师怎么看？
李乐丁
11. Compute Gives Way To Algorithms
我坚持我一直以来的一个暴论：不要再投资算力了。
投资算力，归根到底还是在坚持预训练的scaling law。但这件事情我已经明显看到了它的上限。
降低成本的方式有很多，只是很多时候大家没用。既然DeepSeek出来了，大家都会关注如何降成本，以及推理这部分。实际应用也在使用越来越多的小模型。
所以从阶段性角度来说，对算力的需求一定会下降。特别是如果我们接受前面的预测：当模型能力不再上升，To B也开始选择开源模型，大厂不再进行军备竞赛，那么就没有那么多训练算力需要消耗。
推理阶段可能也会阶段性下降，因为大家会使用小模型。直到AI应用迈过产品化门槛之后，算力需求才会重新上升。
所以在中间这个阶段，我觉得没有必要再卷算力了，应该把精力放回去卷算法，去探索超越Transformer的技术。
我们让模型学了1万亿、几万亿个token，它还没学明白为什么3加5等于8，这是不对的。
荣慧
如果这个暴论是认为算力不重要了，不要再搞芯片、不要再投资买芯片，那么第16个问题是：未来数据还重要吗？拥有独家数据的公司，还能不能形成壁垒？
李乐丁
我觉得数据比算力更现实，仍然非常重要，尤其是在垂直方向。
过去各种应用，无论是搜索、推荐还是短视频，都证明了拥有数据、拥有数据分布，对于提升质量有多么重要。归根到底，无论是AI还是大数据，都是统计模型。数据越多，统计效果就越准确。
但不要把门槛设得太高。不是说我已经积累了几万亿个token、训练了模型，然后还继续堆数据，那其实就没有必要了。
基础性数据仍然是非常重要的壁垒。垂直应用方面的数据，或者说垂直知识、行业认知，永远都是壁垒。
荣慧
第17个问题，我们大胆预测一下DeepSeek的下一步。正在录制播客的此时此刻，梁文锋和DeepSeek团队可能正在思考什么？他们的to-do list里包括哪些事情？李老师有一些大胆预测吗？
李乐丁
如果是我的话，我会沿着现在R1还没有完成的事业继续做。
一件事是继续探索R1 Zero这条路的上限在哪里。我们已经走了8000步，再往后走会怎么样？我觉得大概率走到1万步、2万步，效果都会提升，但到多少步时边际效应会递减，这值得探索。
另一个重要问题是，能不能通过纯强化学习，直接解决模型不说人话和语言混合的问题？毕竟再蒸馏一轮，不是一个特别优雅的方式。做技术还是要追求优雅性，这些都值得去做。
另外，V3里也开启了很多新的探索，比如MTP，也就是multi-token prediction，还有新的路由算法。这些路由算法在V3里收益都不明显，它做了明确实验，论文数据里都有。
但这些东西都很promising。如果有资源，完全可以在V4、V5里继续做实验，我觉得他们会去做。
还有一点，论文中也写了，后面要探索超越Transformer的其他新模型。这是我最希望它去做的事情。
前两天一位研究者还在谈，未来如果真的想实现AGI，一定不能只靠自回归模型，一定要尝试通过概念、世界知识等方式来做。我还是希望看到我们的研究部门真正尝试从大的idea上超越OpenAI、超越DeepMind，想一想真正迈向AGI应该怎么走。
荣慧
李老师还是对DeepSeek寄予厚望，我觉得和大家一样。如果我们真的期待更多奇迹，DeepSeek确实很有可能不断带给我们信念感和力量感。
第18个问题，除了DeepSeek，我们还有很多其他很厉害的公司和主要玩家。也想请李老师大胆预测一下，接下来字节、腾讯、阿里分别会做什么？
李乐丁
作为商业公司，如果没有切身的生命威胁，短期内也观察不到某项技术会快速发展并直接颠覆自己，而同时又看到这项技术成本可以大幅降低、并且是开源的，那么它们的策略一定会做review和调整。
可能没必要在原来那条路上继续巨额投入、不断烧钱，不如在开源基础上做改进，同时投入一部分真正面向自己的第一方研发，再加上一部分面向未来的探索。
其实我觉得，用开源做改进，加上一部分针对自身需求的研发，再加上面向未来的探索，这才是大厂工作的常态。
过去10年来，大厂的工作常态本来就是这样，而不是在一项还没有定论的技术上疯狂投入。那是不正常的。我觉得它们一段时间之后都会有所调整。
荣慧
第19个问题，我们再聊一聊美国。无论是Meta、Google、微软、亚马逊，还是OpenAI和Anthropic，他们下一步会做什么？李老师，你有一些信息或者预测吗？
李乐丁
美国人肯定被吓到了，这一点是肯定的。但不同的人被吓到的地方不一样。
如果是研究者，客观说，一流研究者其实都知道前进方向大概是什么样。所以在这方面，美国目前仍然会是原创者。下一个小突破，或者大突破，仍然有更高概率出现在美国。大家会做这方面的事情，我们还需要时间追赶。
美国的大公司也一样。据我了解，Meta也在review自己对拉马的巨额投入是否是正确方式。他们应该也会和中国商业公司一样做出调整。
我大胆猜测，美国很可能也会有一个和DeepSeek对标的开源产品，满足美国人自己的安全感。
但与此同时，对于更多业界之外的人来说，这简直太可怕了。本来他们觉得世界上独一无二的技术，不仅在技术上被中国破解了，成本上也被中国大幅压低了。他们恐怕会做出很多行为。
但又如何呢？今天我们必须承认，中美是全球唯二掌握最先进科技的国家。只有这两个国家掌握前沿科技：互联网、云计算、人工智能、新能源、自动化机器人，中国都已经有了，你拦是拦不住的。
与其花时间搞阴谋论，不如自己多努力。
荣慧
我看到一些分析说，目前受影响比较大的，可能是Anthropic和Google；OpenAI和NVIDIA可能也会有压力；其中影响最大的可能还是Llama，毕竟它以前是开源第一，现在这个地位可能不保了。
很多人也在讨论模型商品化，以及模型商品化和推理成本降低之后，给各个厂商带来的比较大影响。
李乐丁
模型商品化这个判断是对的，但说它一定是DeepSeek导致的，我觉得未必。只能说，大众终于感受到了这一点。
即使没有DeepSeek，模型低成本化、商品化也一直在进行，过去一年一直在进行。我们会看到，大家日常使用的模型从一开始的千亿级，迅速降到百亿级，甚至降到几亿、几十亿，这个下降趋势还在继续。
要推进应用，就一定要降低成本，这是不可改变的。
荣慧
第20个问题。分析DeepSeek时，我想到Peter Thiel曾经讲过，真正的创新是在许多不同层面的创新同时发生，然后以高度协同的方式组合在一起。
如果李老师总结一下，DeepSeek，特别是R1在低成本推理方面的巨大成功，按照Peter Thiel的说法，它的创新究竟体现在哪些方面？
李乐丁
DeepSeek的创新其实很多，但坦白说，很多创新也并非DeepSeek原创。我们在它论文的引用里也能看到，很多想法是其他研究者率先提出的，而DeepSeek首先在开源模型中大规模应用了起来。
我很难说一家公司把所有原创都囊括了。但我觉得最重要的一点，还是坚持科学的基本原则。
无论是科学还是创新，都没有固定方向，是不可预知的，会有很多不同方向。在这些方向中，你要认真去实验、去尝试、去做。我觉得，愿意去做这件事才是最重要的。
荣慧
谢谢李老师。这也是十字路口第一次尝试用“20问”的方式来聊一个话题。我们希望这种方式可以让大家比较全面地从各个层面了解一个热门议题、热门技术或者热门产品。
再次感谢李老师的时间，也欢迎你以后再来十字路口。
李乐丁
谢谢。