E179｜DeepSeek技术解析：为何引发英伟达股价下跌？

大家过年好。大家春节过得怎么样？我是在整个春节期间，都被 DeepSeek 刷屏了。而且它其实不仅仅是在中国火，它也是现在硅谷和华尔街讨论的热点。

DeepSeek 在 1 月 26 日登上了苹果 App Store 榜首。从那之后的 18 天，它的下载量达到了 1,600 万次。如果对比 OpenAI 发布 ChatGPT 后同期的下载量，DeepSeek 是 ChatGPT 同期下载量的 1.8 倍。现在，它已经成为全球 140 个市场中下载量最多的应用。

DeepSeek 引发关注的另外一点，是它的出现也带来了美国科技股的全线下跌。1 月 27 日，英伟达的跌幅接近 17%，市值蒸发了 5,890 亿美元。按理说，像 DeepSeek 这种低成本、高性能，同时还是开源的模型，它的出现应该带来整个 AI 创业的繁荣，市场也应该需要更多 GPU。

所以按照这个逻辑推理，英伟达的股价应该涨而不是跌。但是为什么英伟达不涨反跌？这期节目，我们就来详细解释这个问题。除此之外，我们也会深度解析 DeepSeek 的核心技术，以及它对整个芯片产业和开源生态的影响。

在过去的一周，我们在硅谷做了 10 个跟 DeepSeek 相关的深度采访，我们就不一一在播客里面呈现了。大家感兴趣的话，可以去观看硅谷 101 的视频，我们现在也正在加班加点地制作中。

下面就先请收听我们今天的播客。

今天我们来聊一聊最近大家都在热议的 DeepSeek。跟我在一起的，是大家的老朋友、加州大学戴维斯分校电子与计算机工程系助理教授陈羽北；另外一位是 Inference.ai 的创始人与 CEO，John Yue。

Speaker 1，你可以从模型和算法的方向来讲；Speaker 2，你可以从算力的方向来分析。首先，可不可以先总体给大家介绍一下，为什么这次 DeepSeek 一出来，不管是在股市上，还是在中美之间的讨论中，都引发了大家的关注？Speaker 1，你先从技术上给我们简单分析一下，它有哪些比较惊艳的表现？

我觉得这次引发这么大讨论，首先是因为 DeepSeek 在所有语言模型团队里面，本身并不是一个非常知名的团队。在此之前，很多人其实都不知道 DeepSeek，他们一直很低调。

第二个是，这次媒体报道出来的一个核心话题是，他们用很低的成本，基本上用了不是最好的算力，以很便宜的价格，做出了超越 OpenAI 的模型。我认为，对于很多不了解他们背景的读者来说，这会造成一定冲击，也会对整个股市造成一定冲击。

第三个是，这次 DeepSeek 做出来的模型，在 benchmark 上和 o1 达到了差不多的水平，甚至更好，基本上是伯仲之间。所以这也会让大家受到冲击：是不是美国的领先地位不存在了？

我觉得，引发这么大讨论，主要就是这几点。当然，我认为这个报道还是有一定片面性的。

对。在展开以前，我非常想跟进一下你刚刚说的“是不是美国的领先地位不存在了”。你怎么看这个问题？这可能也是大家最关心的一个问题。

我觉得，当然 DeepSeek 的技术很好，但是我实际上感觉，在泛化能力上，初步来看，o1 这个模型在一般任务上的泛化能力还是更强一点。

第二，我觉得确实有一点是，大家对大模型的技术、理解和做法，在一定程度上已经变得越来越相似了。大家想的有点相似，做的很多东西也在收敛。所以这个时候，它其实不是美国技术领先不领先的问题，而是整个学界的想法和创新性，在这一点上出现了 convergence。这确实会让大家觉得，创新速度好像 slow down 了。

你说创新的速度在下降，或者说我感觉大家的想法很多时候有点像，没有那种“你说出来以后，我压根儿就没有想到过”的感觉。这样的想法越来越少了。

你指的是，比如说大家都开始认同强化学习的方式，是这样吗？

我自己一点粗浅的理解是，这次我反而觉得强化学习被大家过度提到了。当然一会儿我们可以再说细节。

从 DeepSeek 这次的进展来看，我认为虽然强化学习在里面占了很大的比重，但是在我看来，其实是基础模型本身的能力很强。你说 V3，其实已经是一个很强的模型了。

对，我觉得 V3 本身的基础能力是不错的。为什么呢？如果你仔细看它的论文，里面有一个数字：在 R1-Zero 没有进行强化学习之前，生成 100 条回答，它的成功率如果我没记错的话，也已经在 10% 左右了。这是一个非常显著的性能。

GPT-4o 是多少？

4o 的话，我印象中最后到了七八十吧。

但是基本概念是，它在前期有 10% 是一个非常高的数字。在我看来，它用了 GRPO 这样的方法。本身这个 policy gradient 方法，在我看来算是比较粗糙的一个模型，也可以这么认为。

后来我在网上看到有人说 PPO 也可以，其他强化学习的方法也可以。那么如果是这样，最主要的进展，我认为是在基础模型的前期，它已经达到了 10%。我觉得这是非常好的性能。

当模型的基础能力达到一定水平之后，你可以通过一个类似 search 的方法，让它自我提升。如果你可以找到一个比较方便的 reward，也就是学习的奖励函数，就可以实现自我提升。

所以我觉得这是一个很好的 message。但是我反而觉得，强化学习在这里面的地位是次要的。

所以我总结一下你的观点：你觉得 DeepSeek 之所以好，本质上还是因为 V3 的表现非常惊艳。V3 的表现惊艳，是因为他们通过 MoE 等各种方式，让基础模型的整体性能变得更好。然后 R1 只是说，它在这个基础模型之上进行了一次升级。

但是你觉得，V3 比 R1 和 R1-Zero 更重要？

我觉得它们都有一些重要的点。

V3 里面的重要工作，我认为基本上都和模型架构效率的提升有关。V3 里面有两个比较重要的工作：一个是 MoE。以前你会发现，不同的 expert 之间 load balance 做得不太好，所以当你把它分散到不同节点上的时候，load balance 会有问题。他们在这一点上做了优化。

同时，它在 attention layer 上要节省 KV cache，其实也是在提高架构的 efficiency，也就是性能。这两点可以说是它的核心创新，使得它在一个 600 多 B、Megatron 级别的大模型上，基础模型的表现已经相当不错了。

这次做 R1-Zero 的时候，他们做的第一件事情，是先设计一个非常简单、直观的奖励函数，叫作 rule-based reward。基本上就是：你回答的数学题必须绝对正确，回答格式也必须绝对正确。

然后一个基本想法是，我就用 DeepSeek V3 的方法，每次你问我一个问题，我回答 100 条，然后再从这 100 条里面寻找那些正确的回答，增强正确回答的比重。

实际上，这绕过了强化学习里面最难的一个问题，就是稀疏奖励。比如我回答 100 条，或者回答 1 万条都不对，那我其实就没有办法提升，因为我根本没有学习方向，所有回答都是错的。

反过来，如果我做的任务已经有一定的成功率，我就加强这些成功的部分。这使它从稀疏奖励变成了比较稠密的奖励。同时，我也不用再去搭桥、建模，去学习中间的奖励函数。

所以我感觉，这里是借助 V3 的基础能力实现了一次很大的提升。同时，R1-Zero 告诉我们，如果一个模型的基础能力已经不错，那么它有可能通过自身进行提升。

其实这种思路和 model predictive control、世界模型的一些想法有很多相似之处，只不过现在解决的是最简单的问题。

第二个看似显而易见、但是这次也产生了很大影响力的结果是：我可以先训练一个 600 多 B 的大模型，然后让它用自举的方式，通过回答 100 次、用 bootstrap 的方法，逐渐提高能力。

我先训练一个大模型，然后就可以用大模型去教小模型。他们后面做了一个非常有意思的实验，在 Qwen 上，从 1.5B 一直到 30 多 B，都做了这样的 distillation，也就是蒸馏学习。

你用大模型学出来的 reasoning 和 planning 能力，可以去教这些小模型，提升它们在相关问题上的表现。我感觉这是一个相对比较容易想到的点，因为在所有的自我增强、model predictive control、model-based reinforcement learning 等方法里，都面临一个核心问题：

如果你的模型不够好，那么在这个基础上提升，通过 search 的方法其实都不会太好。但是如果你用的是一个大模型，它的搜索能力已经足够了，本身模型表现也很好，那么你已经学到的能力就可以直接教给小模型。

所以我听下来，觉得 DeepSeek 整体上是一个组合拳。它从 V3 到 R1-Zero，再到 R1，每一步的方向都有一些策略上的可取之处。

你觉得在硅谷的公司里面，比如 OpenAI、Gemini、Claude，包括 Llama，它们有没有沿用这样一套训练模型的方法？

我觉得是有的。很多想法其实在之前的工作里都出现过。

比如我印象中，DeepSeek V3 用到了 multi-head latent attention。之前 Meta 应该有一篇专门讲 multi-token prediction 的工作，其实也有相似的效果，应该有很大的借鉴。

Reasoning 和 planning 之前也有过很多相关工作。至于 process reward、model-based 方法，我恰恰觉得这次 DeepSeek R1-Zero 取这个名字，在一定程度上和 AlphaZero 有点像。

你们是什么时候开始关注 DeepSeek 这家公司的？

以前他们应该就一直在发一些文章，但真正特别仔细地关注，还是最近的事情。之前一直有关注 V3，V3 出来以后开始关注，但再之前应该也有一些文章，他们一直在发。

我应该是 12 月的时候听说的，也是 V3。

对，V3。

但当时也没有特别注意，因为大家都觉得美国还是 AI 领先。很多国内模型虽然跑分很好，但是大家也不知道到底是怎么跑出来的，所以没有特别多精力去关注。尤其对我们来说，如果客户不提，我们也不会去深入研究。

但它应该是微软 CEO 最近发了一条 Twitter，发完以后才火起来的。

它其实火了好几波。我是在 2024 年年终开始，不停有人把 DeepSeek 的文章发给我。那时候还有一家硅谷媒体叫 SemiAnalysis，他们写了一篇文章，说 V2 是他们见过的最好的、质量最高的开源模型。

那大概是 2024 年七八月份的一轮。到了 V3，我印象中最开始是 Andrej Karpathy 等几个意见领袖在 Twitter 上说这个模型很棒，然后开始把 V3 带火。之后股市上的英伟达价格下跌，其实是在 R1 出来之后的几天。

我一直在想，市场是怎么发生变化的？为什么这个模型出来差不多一个多月之后，才引发股市上的连锁反应？

我还是感觉，媒体的报道给大家的印象是：DeepSeek 用了很少的钱，做出了这样的大模型。好像 OpenAI 烧了这么多钱，结果 DeepSeek 做出来的东西和它一样。

对。

第二个印象是，整个 market 是情绪化的。很多人可能会来问我：DeepSeek 是不是没有用英伟达最好的芯片？

但我会说，它背后的资方是幻方。我们又知道，幻方实际上是算力领域的大佬。这一点对于不了解幻方的人来说，也可能在心理上造成一定冲击。

所以我认为，首先，训练所花的总研发成本并不低。第二，如果没有搞错，它确实用到了英伟达最好的一类芯片。

从这两点出发，我觉得市场没有必要因此恐慌，好像英伟达的芯片不再被需要了，随便出来一个小团队，就可以花几百万美元挑战 OpenAI。如果公众形成这样的印象，从而造成恐慌，我觉得是没有必要的。

我想问一下 Speaker 2。因为你是做 GPU 的，你觉得 R1 出来，对英伟达到底是利好还是利空？为什么它的股价会跌？

这应该是一把双刃剑，有利好也有利空。

利好这边很明显：DeepSeek 出来以后，给了人们很多想象空间。以前很多人已经放弃做 AI model 之类的事情了，现在它相当于给了大家很多信心，让更多初创公司可以出来，去探索更多 application 和应用层面的可能性。

如果有更多人做应用，那其实是英伟达最希望看到的局面，就是 AI 整个行业被盘活，大家需要买更多的卡。所以从这个角度看，其实是对英伟达更好的。

更差的一面是，英伟达的溢价确实受到了一些冲击。很多人刚开始以为它的壁垒被冲倒了，所以一下跌了特别多。但其实我感觉，也不是壁垒被冲倒了，没有那么严重。

英伟达最大的两个壁垒，一个是 InfiniBand 的芯片互联，另一个是 CUDA，也就是它整套调用 GPU 的系统。它和 AMD 等其他芯片公司，其实已经不是在同一个层面竞争了。

其他公司争的是单张卡的性能怎么样，但英伟达争的是互联技术怎么样，以及软件调用和 ecosystem 的维护怎么样。所以英伟达真正的壁垒是这两个。

这两个壁垒，DeepSeek 确实都稍微冲击到了它的溢价，但并没有把它的壁垒冲垮。

怎么冲击它的溢价呢？刚才 Speaker 1 说到的 MoE 优化，其实削弱了英伟达互联的重要性。现在可以把不同的 expert 放在不同的卡上，卡与卡之间的互联没有那么重要了。而且有一些 dormant expert 不用的时候就休息了，这其实也会冲击英伟达互联这一块的需求。

另一块是 CUDA。它告诉大家，现在有一种可能：以前大家都觉得 CUDA 绕不过去，但现在这个团队可以绕过 CUDA，直接使用 PTX，在 instruction set 这一层直接做优化。

当然，这不是说以后所有团队都有能力做这件事情，但它至少提供了一种可能性：你有可能不需要买英伟达的卡，或者不需要买英伟达最先进的卡，也可能用更小一点的英伟达的卡来跑这个模型。

什么叫作绕过 CUDA？它是真的绕过 CUDA 了吗？我听到一种说法是，它用的不是 CUDA 比较高层的 API，但还是使用了 CUDA 比较底层的 API。

这个用词不太准确。它没有完全绕过 CUDA 的 ecosystem，而是可以直接调用 CUDA 底层的东西，不用刚才说的那种很高层的 API。它可以直接调用 PTX，也就是 instruction set 上面一层的东西，然后在这一层直接做优化。

但这也是一个很大的工程，并不是任何小公司都有能力去做这件事情。

如果 DeepSeek 有这种能力，业界其他公司也有这种能力吗？比如说，如果现在买不到英伟达的 GPU，我用 AMD 的 GPU 去做。因为 AMD 和英伟达的两个核心壁垒，一个是 NVLink，另一个是 CUDA。如果这两个在某种程度上都受到冲击，你觉得对 AMD 这样的公司会是利好吗？

短期来说对 AMD 是利好。AMD 最近也宣布已经把 DeepSeek 适配过去了。

但长期来看不好说。因为这毕竟只是 DeepSeek 一个模型。CUDA 厉害的地方在于，它是一个通用的 GPU 调用软件系统，什么软件过来都可以用 CUDA。

但是 DeepSeek 这种做法只支持 DeepSeek。后面如果有别的模型，你还要重新适配一次。我们现在是在赌，以后 DeepSeek 是不是真的会成为 gold standard，真的变成这个 OpenAI，所有初创公司都在 DeepSeek 上开发。

如果是这样，对 AMD 挺好的，因为它已经把 DeepSeek 移植过去了。但如果后面不是 DeepSeek，比如 DeepSeek 的优势在于它对 reinforcement learning、GRPO 等方法做了改进，后面的更多模型也用这种方法，那么来日方长，不一定是 DeepSeek。

如果是别的模型，它又要重新适配，那就还是挺麻烦，不如直接用 CUDA。

所以你的核心观点是，DeepSeek 动摇了英伟达的两大壁垒——NVLink 和 CUDA？

从 GPU 需求上来看，首先我没觉得它动摇了这两个壁垒。我觉得这两个壁垒还是非常坚挺，只是它对溢价有一些冲击。你可能收不了那么高的价格，但也不代表其他竞品能突然进来，这是一个非常漫长的过程。

其他竞品做的，和这两个壁垒并不一样。就像我刚刚说的，你可以针对某一个模型绕过这些东西，但是没有人做出了英伟达 CUDA 那种通用系统，可以把所有东西都绕过。

所以它其实没有冲击英伟达的壁垒，只是 DeepSeek 提供了一个可能性。

比如有一堵墙，以前大家都觉得翻不过去。现在有一个人跳过去了，然后他说：“你看，我可以跳过去，你们也有可能跳过来。”但并不是说他跳过去以后，其他人现在也都能跳过去。

这就是为什么它冲击了溢价，却没有打倒壁垒。墙没有变低，但这个人告诉大家，他可以过去。他只是提供了一个精神上的鼓励，说明这件事情是有可能的。

对 GPU 的需求会减少吗？因为这次训练成本低，所以某种程度上，股市下跌也可以理解为：大家是不是只需要更少的 GPU，就可以训练出更好的模型了？

如果只训练这一个模型，那是这样。但 DeepSeek 出来真正伟大的意义，是重新激发了做 AI 的人的热情。

这么来看，应该会有更多公司出来，它们会买更多芯片。所以这件事情有可能是溢价降低、销售量变大。最后市值是变大还是变小，就要看中间这个比例怎么样。

你自己的观点呢？

这个不好说，还是得看 application，取决于 2025 年大家能玩出什么花样。

如果之前 application 出不来的一个阻力是 GPU 价格，那么英伟达的市值应该会涨，因为现在价格变成了十分之一，甚至更低，这个阻力就不存在了。但如果它的阻力是别的，那就不好说。

所以，AI 应用越多，DeepSeek 把门槛降得越多，从 GPU 需求上来说，整体就越利好英伟达。

对。做 application 的人不会自己雇一个团队，把 DeepSeek 的这些事情重新做一遍，也不会自己绕过 CUDA 去搞 PTX。他们大多是小公司，只想要拿来就能用的 solution。

所以这样的话，还是会用英伟达。

英伟达最想看到的局面，应该是更多 AI 公司出来。那它们需要的是训练模型的 GPU，还是更多推理芯片？

我个人感觉，推理芯片后面也会是英伟达。我不觉得这些小公司长期有优势，短期肯定大家都有优势。

如果一直用 DeepSeek，确实会有一些优势。但长期来看，推理可能还是英伟达，训练也是英伟达。

为什么推理也是英伟达？

因为它还是 CUDA，还是这个行业的龙头。刚才说的两个壁垒其实也没有动摇。

这些 ASIC 公司的主要问题有两个：一个是软件支持不够，另一个是硬件其实没有壁垒。

像 Groq、Cerebras 这样的公司，它们是在一个大的 wafer 上做芯片。从硬件上看，它只是 CUDA core 和 Tensor Core 之间比例的不同，并不是说在某个方面做到了英伟达做不到的事情。

比如 TPU，它其实 100% 都是 Tensor Core。但你说英伟达想做 100% Tensor Core，它做不到吗？也不是，它只是觉得 100% 都是 Tensor Core 没有这个市场。

如果有一天英伟达觉得 Groq 的这种比例有市场，我觉得它做出来没有什么难度。它在硬件上没有特别强的壁垒，大家其实有趋同的趋势。

软件是这些 ASIC 公司另一个大的问题。它们的软件维护做得都不是特别好，甚至连 PTX 这一层的维护都不是特别好。TPU 用的也是英伟达的 PTX，也就是它的 instruction set。

这两个问题导致英伟达可能还是会一直占据龙头地位。

推理芯片对软件的要求也同样高吗？我在想，训练芯片上英伟达有绝对的垄断地位，是因为它的软件很难绕过。但在推理上，是不是更容易绕过去？

推理对软件的要求也很高。你还是要调用底层 GPU 的 instruction。

Groq 不是说自己性能很好吗？但它的软件侧其实还没有建立起来。你看它们现在做的模式越来越重：刚开始只做芯片，现在又做自己的数据中心，然后又做自己的云，相当于把整套 vertical 全部做起来。

但它的资金和英伟达差得很远，凭什么能做得更好？

你觉得现在市场上有非常值得关注的芯片公司吗？

我觉得 AMD 有一定可能，其他 ASIC 公司可能还差一些。但就 AMD 来说，应该和英伟达还有很长一段距离。

如果从投资和创业的角度来看，你觉得有公司能在未来的推理芯片上成功吗？

我个人感觉，如果要在芯片这块创新，可能更多要聚焦在芯片软件的维护上，而不是在硬件上做一些 DDR、Tensor Core、CUDA Core 之间比例的调配。

我觉得这块其实没有什么意义。你等于只是帮英伟达当一个大头兵，去看一下这个比例有没有人需要，但其实建立不了什么壁垒。

软件这块有很大的优化空间。你要是能做出一套比 CUDA 更优的软件，可能会有很大机会，但也不是一件很简单的事情。

中国的公司有机会吗？

华为，所有人都有机会。

我是在想这样一个问题：因为美国对中国有芯片禁运，中国其实也更有动力在底层做研发，包括在软件侧做研发。

你刚刚提到，芯片硬件的研发大家有趋同的趋势。如果在这样的高压环境下，有一些公司像华为一样，资金也比较充足，可以在软件侧进行大量投入，然后把生态建立起来呢？

华为是有可能的。但如果是中国，硬件上还是需要做出一些进步，硬件依然有门槛。

中国不仅是生产芯片这一块被制裁。不是英伟达一家在制裁它，而是从高速内存、芯片组装、封装，到台积电生产芯片，再到 ASML 出售光刻机，整条产业链都在制裁中国。

所以中国要做出芯片，像华为这样的公司不仅要解决软件问题，还要把整个制造链条都建立起来，然后再把软件做出来。

懂了，解释得非常清晰。

这次 DeepSeek 出来以后，我反而觉得对英伟达这样的公司是一个利好。之前大家有一个想法：Transformer 出来以后，这 7 年 Transformer 架构都没有变化。如果以后一直这样，对英伟达来说是非常不利的消息。

CUDA 最擅长的一点是通用性，它支持很多不同的架构。所以在模型架构快速改进的时候，这对英伟达是最好的。假设从某一天开始，所有模型的架构都不再变化，那就可以做 ASIC，专门优化 Transformer attention 机制。

但恰恰是 DeepSeek 用到了 MoE，用到了 Multi-head Latent Attention，对 layer 和计算方式进行了改进。模型又开始变化了，这对英伟达来说是利好。

这可能对 OpenAI 这样的公司不是非常利好。因为 Sam Altman 自己也说过，如果能找到比 Transformer 更好的架构，那么他们很多 investment 都会陷入麻烦。

我觉得 eventually 架构还是会变。DeepSeek 这次推动了架构改变，包括之前 MoE 出现以后推动的架构改变，这可能对 OpenAI 这样的公司构成冲击。

对。我注意到，这次大家说 DeepSeek R1 做得特别好的是推理能力。能不能给普通的不懂技术的听众普及一下，什么叫作推理能力？为什么推理很重要？如果不是推理，它的另一端是什么？

推理可以理解成：我要做一个复杂任务，但无法直接输出结果，所以中间可能需要一些草稿、计算，依赖这些中间过程，最后才输出结果。也可能在输出结果之前，需要进行更多计算。

基本上，不管是推理、planning，还是 reasoning，都需要这样一种能力：我现在要解决一个问题，或者我看到一件事情发生了，我想知道它为什么会发生，然后往前倒推。在我的定义里，这叫 reasoning，也就是反向思考。

可不可以用现实生活中的例子，比如数学推理、代码推理，给大家解释一下？

代码取决于任务的复杂性，以及它是否需要中间步骤。凡是需要中间步骤的过程，我认为都属于一种推理。

不需要中间步骤的任务有哪些？能不能举几个例子，方便大家理解？

我们以 language model agent 的方式来举个例子。比如今天的天气怎么样？这个任务是一个非常直观的问题：我想知道天气是什么样，然后语言模型可以直接调用天气 API，把天气拿过来，任务就结束了。

这不算推理？

不算推理。

但比如说，我现在在加州的 Palo Alto，要去纽约，能不能帮我找一条最快的路线？这就算推理。

你会发现有几种路线：可能是坐哪几班飞机，也可能先开车到附近的机场，再搭乘另一班飞机。这里有不同的选择，需要一些中间步骤，调用 API 也好，自己思考也好。

所以发展大模型，最核心的是发展它们的推理能力吗？或者说，我们判断一个大模型核心能力的时候，最重要的是哪几部分？

我觉得发展大模型有几个非常重要的任务，不光是推理和 planning。

为什么大家非常重视推理和规划能力？很多听众可能都听过 Rich Sutton 写的一篇著名文章，叫《The Bitter Lesson》。我觉得这篇文章写得非常好。他在 2019 年写了这篇文章，我每年都会让所有同学重新读一遍。

文章里面有一句话是 “Do not try to be too smart”。他提到了两种最 general 的能力：一种是 learning，一种是 search。

大模型之前的无监督学习，以及后面的 supervised fine-tuning，你可以认为它们主要属于 learning。现在所说的推理和规划能力，实际上是一种 search 能力。

这两种能力会反复出现。DeepMind 之所以冲在前面，其实就是非常重视 search 能力。它做 AlphaZero、AlphaGo，做了很多相关工作。

这两者显然应该结合起来。DeepSeek R1 也是先通过自我启发式搜索，再通过学习，用 rule-based 的方法把这两种能力结合起来。我觉得这是非常重要的。

但是在发展大模型的过程中，我觉得还有一个至关重要的点。如果想通往 AGI，这是不可能绕过去的。

不管我们训练各种各样的大模型，最终都希望让它实现类人的智能。我们希望它能够做问答、预测未来、coding，或者推理和规划，其实都是希望赋予它人的智能。

但人有一个非常强的能力，就是学习效率极高。

有两种估算我觉得都有一定道理。第一种估算来自 BabyLM 相关的研究：人在 13 岁之前接受的 token，或者 word，不到 1 亿。

第二种估算是，假设从人出生开始，每秒可以接收 30 个 token，大概是 10 个词，每天 12 个小时，持续 20 年，最多也就是 100 亿个 token。

这两个数字放在这里，再看 Llama 3 的 pre-training，已经到了 15 万亿个 token。你会发现，现在大模型一直在做的事情是 scaling：更大的模型、更多的数据、更多的计算，让模型变得更强。这没有任何问题。

但是你会发现，大模型所拥有的数据量，比人已经大了 3 到 4 个数量级。这时候我们可能要反问一个问题：为什么人可以用这么高效的方式学习？

我认为，推理、逻辑和规划能力，可能是构成这种高效性的原因之一，当然也可能还有因果等其他原因。发展大模型的过程中，如何实现这样的高效也非常重要。

所以现在大模型和人脑相比，学习效率还是低很多，至少从数据上看，低了几个数量级。

这非常像当年的蒸汽机。刚开始出现的时候，我记得看过一个估算，说早期蒸汽机的能量效率是 0.02%。到今天可能是 20%，刚好也差了 3 个数量级。

所以我觉得，什么时候我们燃烧数据的效率可以提高 3 个数量级，可能 general intelligence，或者 human-level intelligence，才更有可能实现。

这是我和 Yann LeCun 讨论时受到启发的一个问题。有一次我们吃午饭，聊到什么时候数据使用效率可以提高 3 个数量级。到那个时候，可能就更接近通用智能了。

在此之前，我认为只有 scaling 可能是不够的。

我跟大家解释一下，Speaker 1 刚刚提到的 Yann，是指 Yann LeCun。他是 Speaker 1 的博士后导师，也是图灵奖得主，和 Geoffrey Hinton、Yoshua Bengio 一起被称为“深度学习三巨头”。他同时也是 Meta 的首席科学家。

稍后我们会专门讨论 AGI，详细展开他的思想。在此之前，我们先把 DeepSeek 的部分聊完。

你们觉得 DeepSeek 选择开源这条路，对行业生态具体会有哪些影响？比如我知道，最近美国 Reddit 论坛上，很多人已经开始部署 DeepSeek 的模型了。我很想知道，它选择开源以后，开源到底是怎么反哺它，让它把模型做得更好的？

最近我们也在平台上部署了一些 DeepSeek 模型。我觉得它开源，其实是对整个 AI 行业非常好的一件事情。

去年下半年以后，大家会感觉有一点失落，因为 AI application 看起来都发展不起来。其中一个原因是，很多人觉得 OpenAI 已经把所有应用的壁垒打掉了 80% 到 90%。

大家其实都比较惶恐：我做一个东西，明年 OpenAI 会不会推出一个 o4，把我的东西全部覆盖？如果我把产品建立在 OpenAI 上，就更麻烦了。它出了一个新模型，把我的 application 完全包含进去；价格上我没法和它竞争，功能上也没法和它竞争。

这导致很多人不太敢做，VC 也不太敢投。

我觉得这次 DeepSeek 开源，对整个行业的好处是，大家都有了自己的 OpenAI。作为一个小的 application developer，我不再害怕 OpenAI 出下一个版本把我淹没，让我没法和它竞争，或者我的产品干脆只能使用它的 API，然后直接被它取代。

现在我可以使用一个开源的、非常好的模型，这样我就有一定的 continuity，有更大的信心去做更多 application。

如果 DeepSeek 还有能力超过 OpenAI，那对整个行业就更好了。相当于一条恶龙现在不存在了，大家的发展就能更顺利。

更多人使用它，其实和 Llama 的逻辑一样：有更多人使用，就有更多反馈，所以模型可以做得更好。DeepSeek 也是这样。如果更多 application developer 觉得，用它就相当于拥有了自己的 OpenAI，那么它收集数据的速度肯定会比其他模型快很多。

现在我们能看到一个开源模型，在整体性能上已经和 OpenAI 的 o1 接近，或者说超过，基本上是同一个量级。可以预期，OpenAI 很快发布 o3-mini 之后，开源模型也可能升级，出现下一个版本，再去超过这些闭源模型。

当一个开源模型性能足够好的时候，OpenAI 这样的闭源模型存在的意义是什么？大家直接拿这个开源模型的底座去用就可以了。

DeepSeek 的意义在于，它的价格低了很多，是开源的，而且和 OpenAI 最前沿的模型差不多好。但它并不是说已经比 OpenAI 好。

闭源模型的意义就在于，它可能仍然会领先。就像苹果和安卓，苹果其实还是比安卓好，更有可能做出更好的产品，这就是 leadership and concentration。

但开源的意义在于，它像安卓一样，谁都可以用，而且非常便宜。它降低了进入行业的门槛，所以可能才是真正让行业蓬勃发展的因素。

闭源模型有可能一直领先。如果闭源还不如开源，那可能就没有意义。但它应该在 management 上有优势，应该超过开源。

现在确实有一批闭源模型不如开源模型，那就自求多福吧。

如果闭源模型必然还不如开源模型，那我也不知道这些公司在做什么。你还不如免费模型好。

我觉得开源生态非常重要。除了在实验室里做研究，我之前还参与过一家叫 Aizip 的公司，也做很多全栈 AI 应用。

你会发现，很多开源模型无法直接使用，至少无法直接用于产品级的东西。但是如果有这样的开源模型，可能会大大提高你生产产品级模型的效率。

所以不管是 DeepSeek 还是 Llama，我觉得这种开源生态对整个 community 来说都至关重要，因为它降低了所有 AI 应用的准入门槛。

我们当然希望看到更多 AI 应用。如果我们做了大量训练，但现实生活中真正能用的 AI application 非常少，或者定价非常高，对整个生态都是不健康的状态。

所以我认为 Meta 做的事情很重要。Llama 一直坚持 open source，让所有 AI 开发者都可以做自己的应用。

虽然 Llama 没有把应用直接替你做好，但它提供了一个 foundation。Foundation 顾名思义，就像一个地板，你可以在这个地板之上构建自己想要的应用。但它已经把 90% 的任务做好了。

我认为，更好的 foundation 对整个生态非常重要。OpenAI 下大功夫优化的一些能力，依然会有优势，但我们也不希望市场上只有 OpenAI。那对所有人来说，可能都是不利的消息。

还有一个问题：DeepSeek 是怎么把 API 接口价格降下来的？我看了一下 R1 官网，写的是每百万输入 token，缓存命中是 1 元，缓存未命中是 4 元；每百万输出 token 是 16 元。

我整体算了一下，o1 的价格差不多每个档位都是它的 26 到 27 倍。它是怎么把 API 成本降下来的？

它是从上到下做了整套优化，从 PTX 怎么调用底层 GPU，到 MoE 架构的 load balance，整个都做了优化。

我觉得最重要的一点，是它降低了对芯片的要求。以前可能非得在 H100、A100 上跑，现在可能可以用稍微低端一些的卡，甚至可以用 Groq，或者国内的 H800、H20 这些卡来跑。

这样就已经大幅降低了每个 token 的成本。如果它再做一些优化，比如切割 GPU、virtualize GPU，就可以降下来很多。

当然，OpenAI 内部也可能早就把成本降下来了，只是不想降低 retail price，这也不确定。我觉得主要就是两个方面：一个是架构优化，一个是芯片可以降级。

芯片降级，未来会成为全行业普遍的事情吗？

我觉得也不会。因为英伟达的老芯片都停产了，市面上其实是有限的。

比如你可以说这个模型能在 V100 上跑，但 V100 早就停产了，而且每年都在折旧，可能过两年市面上就没有 V100 了。英伟达只会生产最新的芯片。

那在新的芯片上做优化，成本还是低的吗？

如果在新芯片上做一些优化，比如我们做的 GPU 切割，就有可能降低成本。

我们最近跑一个 7B 的模型，大概就是 20 GB 左右。我们拿一张 H100，把它切出三分之一来跑 DeepSeek，成本就直接降了三分之一。

我觉得后来可能会有更多虚拟化 GPU 来降低成本。因为如果只是基于老卡和游戏卡，游戏卡被英伟达列入黑名单，不能用于正规的 hosting；老卡又停产了，还有很多维护问题。所以我不觉得这会成为主流现象。

所以你们现在是提供芯片优化，帮助客户节省成本？那你最近的客户应该暴增了。你觉得这是受益于 DeepSeek，还是你们一直在做这件事情？

我们从去年开始就在做这件事情。我们也一直在赌，后面会有更多小模型。

刚好 DeepSeek 出来以后，带来了一个趋势：它会蒸馏出更多小模型。如果大家跑更多小模型，就需要不同型号的芯片。如果每次都使用物理芯片，可能会比较难处理。

刚才我们提到，DeepSeek 降低了 API 成本。你刚才也分析了它的研究方法。你觉得这套研究方法，未来有没有可能用到更多模型中，比如你们做 GPU 分片、和客户部署模型的时候？

它的研究方法会不会带来整个行业对 GPU 成本的一次进一步节省？

你说的是 reinforcement learning 的那些方法？

对。

应该会。它的出现证明了，现在有更优的 RL 方法。后面肯定会有很多人用相同的方法去做这件事。

尤其是它自己调用底层库这一块，以前可能没有人有勇气尝试。但 DeepSeek 证明了，几个博士生毕业也可以很快做出绕过 CUDA 的优化。

后面很多模型公司可能都会效仿。大家都这么做的话，成本肯定会下降。

所以我理解，训练成本降低了，推理成本也会大幅下降。

对。

你们现在帮客户部署 GPU 的时候，客户的主要需求是什么？

简单、便捷、快速部署，价格低。

价格低，指的是前期部署，还是后面整套解决方案的成本？

所有地方价格低，客户都会开心。但我们只能解决部署这一块的成本。

这里其实有很多浪费。比如拿一张 A100 或 H100，都是 80 GB，但你要蒸馏出一些小模型，或者使用 Snowflake、Databricks 这样的模型，可能只有 10 GB，有的还更小。

你在 80 GB 上部署一个 10 GB 的东西，就等于大部分 GPU 都被浪费了，但还是要付整张 GPU 的钱。

假设你用 H100，其实是想用它的速度，想用它 4 纳米工艺带来的性能，所以还是要租整张卡。但 inference 的 workload 是弹性的：有时候客户增加很多，有时候又减少。

如果一张卡上浪费了很多空间，扩容的时候每张卡都浪费很多。我们现在做的事情，就是把它虚拟化以后，完全没有浪费，比较简单粗暴地解决 GPU 部署成本问题。

这个领域还有一个有意思的发现：过去 6 到 8 个月，我觉得小模型的能力进展非常快。这会带来一个变革。

我之前说过，全世界有 99% 的算力是大家看不见的。大家不会觉得，一颗 ARM 芯片或者高通芯片里，其实有 AI 能力。

未来如果有大量小语言模型，以及各种 VLM、audio intelligence 等能力，可能会越来越多地出现在过去不会使用 AI 的平台上。

现在特斯拉的车里已经用到了很多，但以后你会发现，手机、耳机、眼镜里都会出现越来越多的 on-device AI。眼镜也是一个很火的单品，现在有很多眼镜公司出现。

越来越多设备里都会出现 on-device AI。对于降低成本、提高 AI 可用性，我觉得未来有巨大的机会。

小模型好用吗？

小模型在很多领域都有基本应用。你会发现，当你给小模型足够多的训练以后，它最终的性能可能和大模型差不多。

举一个具体场景：我们现在正在录节目，用到了话筒，话筒里会有降噪功能。这个降噪功能可以用一个极小的 neural network 来实现，这个神经网络可以直接放在话筒里面。

你把模型放大 10 倍，或者放大 100 倍，会发现它们的性能差不多，最后的 SNR 没有太大变化。这个时候就可以把它放进话筒里，以后所有话筒里面都可能运行一个 AI 模型，把降噪完成。

越来越多这样的功能会集成进来。比如小语言模型可以放到手表上，做一些基本问答，调用 API 完成一些基本工作。更复杂的工作，可以 offload 到云上。

这是一个层次化的智能。但很多平台，比如手表，已经可以做非常复杂的推理了。手机里的高通芯片，推理能力可以达到 50 TOPS，其实是非常大的算力，和 A100 相比也没有差多少。

所以很多小模型其实可以胜任很多大模型已经在做的事情。这对于降低成本、提高 AI 的触及程度有很大帮助。

小模型是本地运行，还是联网运行？

本地运行。

所以我理解，未来世界里可能会有各种各样的小模型。当小模型不够用的时候，再去调用大模型，这样就可以极大节省推理成本。

对。我觉得未来的 AI infrastructure 应该是层次化的。最小的模型可以运行在端上，甚至传感器里，处理非常普通的问题；边缘设备上也会有更多 AI 功能；最后再到云上。

端、边、云未来应该是一个整体。

之前我说过一个数字：如果把全世界端上和边上的算力加起来，你会发现，它可能是全世界 HPC 里 GPU 算力的 100 倍。这是一件非常可怕的事情，因为它的数量太大了。

高性能 GPU 可能以百万片的级别出货，但手机和边缘设备可能是 10 billion，也就是 100 亿的量级；手机可能是 10 亿的量级，传感器还会再多一两个数量级。

当 volume 上去以后，加起来的算力实际上非常大。

芯片够用吗？比如高通的芯片可以做很多复杂功能，从小语言模型到 VLM，再到 audio 的 ASR，很多功能都可以胜任。

对于这些初级 AI 功能，不管是 agentic 的，还是 perception，也就是感知类功能，我认为都可以在 edge platform 和 endpoint 上完成。

最后最复杂的一部分任务再交给云。

第二个问题是，你会发现全世界 90% 到 99% 的数据其实都在端和边上。但现在大部分情况是 use it or lose it。

比如你不可能把摄像头的所有视频都传到云端。如果端和边上有 AI 功能，就可以把最有用的数据传上来，这个价值非常巨大。

现在这些数据其实都没有被 unlock。未来当初级 AI 模型越来越多以后，你可以认为，初级 AI 模型反而可以充当大模型的一种数据压缩。

现在大家部署的主要是 DeepSeek 的小模型，还是 Llama 的小模型？

其实可能都不是。整个生态里有 Qwen、Llama、DeepSeek 的一些模型，也有很多自研模型。

我觉得整个生态里，只能说会有越来越多的小模型涌现，而且它们的能力在快速提高。

选择模型的时候，最关键的考量是什么？

首先必须快，而且要小，这是效率问题。但除此之外，它必须足够好。没人会为一个小、快但不好用的模型买单。

你必须保证它处理的任务能够胜任，这叫作鲁棒性，也就是 AI 的 robustness，非常重要。

还是以话筒降噪为例。你把模型放进话筒，它必须保证音质不能变差。如果最后出来的声音很粗糙，我就不会使用它，可能还是会用后期处理软件。

我理解了。所以在应用端，大家看的并不是最前沿的模型是什么，而是最适合自己的模型是什么。

比如在话筒里加一个降噪功能，要保证最后的音质和降噪达到最优平衡。在这个情况下，选择成本最低的模型就可以了。

对。

最后我们再来讨论一下 AGI。

最近 Anthropic 的 CEO 和创始人 Dario Amodei 在文章里提到了人工智能发展的三大动力曲线。

第一是 Scaling Law，这个我们先不解释。第二，大概是通过算法改进、芯片改进，以及各种方法，让训练效率和规模每年提升 4 倍或者 10 倍。

第三是整个训练范式也在改变。2020 年到 2023 年，整个行业主要采用预训练大模型的方式；但到了 2024 年，几乎所有公司都意识到，要在预训练模型上加入强化学习的训练方式。

但大家在这个步骤上投入的钱还不够多。以前可能从 10 万美元增加到 100 万美元，那如果把这些步骤投入拉到 1 亿美元，会怎么样？

他认为，通过这三种方式，人工智能的发展速度会按照指数增长，智能也会指数级提升。

他的一个结论非常震撼：大概在 2026 年到 2027 年，他认为 AI 会在任何行业、任何场景下，比绝大部分人更聪明。他用的是 “almost” 这个词，我觉得可能接近 99%。

他做出这样的预测，还是非常有勇气的。

如果你说 5 年以后，我认为可能更稳妥一点，因为 5 年以后谁都不知道会发生什么。但如果说是明年，现在已经是 2025 年了，如果说明年 AI 就要在各行各业超越大部分人，或者再多给一年，到 2027 年，我认为还是有挑战的。

单个任务呢？比如写代码。

写代码其实是提高效率，但你说超越人，我觉得不是这样的。

很多低级别任务确实很繁琐，也确实可以加速。但人工智能真正用在应用里的开发还远远不够。

你可以想一下，全世界的算力主要用在训练上，还是用在推理上？以前可能主要用在训练上。随着大模型能力变强、AI 开发成本下降，用在 AI 应用上的算力已经提高了很多。

我觉得替代人可能是应用层面的事情。但从 Dario 的角度来看，因为他是大模型公司的创始人，我想他说的应该是模型能达到的智力水平。

对。如果不解决 learning efficiency 的问题，我觉得大模型的智力水平无法真正和人放在同一个级别上。

所以你觉得，达到 Yann 说的这种 efficiency，大概需要多久？比如提高 3 个数量级。

我们当时讨论以后，我简单做过一个计算。我觉得这件事有很大的不可预测性，因为其中需要基础研究。

当前人工智能和人类能力，或者说 natural intelligence 和 artificial intelligence 之间，在 efficiency 上的差距，不管从功耗、模型尺寸，还是学习所需要的数据来看，都至少差 3 个数量级。

先说功耗。人的大脑非常 efficient，清醒运转时的功耗大概相当于 20 瓦。

同样可以想象，如果有一个 600 billion parameter 的模型，大概需要多少张卡？大约需要 16 张卡，对应的是 2 万瓦的量级。20 瓦和 2 万瓦，刚好差了 3 个数量级。

再看数据。假设人在 20 岁之前只能接触不超过 100 亿个 token，而 Llama 的训练数据量是 15 万亿个 token。15 万亿和 100 亿，也刚好相差大概 3 个数量级。

第三个例子是自然界的小动物。比如 jumping spider 可以做非常复杂的三维导航，而现在自动驾驶使用的导航模型，基本上是 billion 级别的参数。jumping spider 只有几百万个神经元，刚好又差了 3 个数量级。

所以我觉得，natural intelligence 和 artificial intelligence 之间，至少存在 3 个数量级的 efficiency 差距。

如何 unlock 这个差距，或者 bridge 这个 gap，我觉得需要基础研究。

现在整个大模型的进步，让你看到了希望吗？

我觉得大模型本身的进步并没有让我看到这个希望。但大模型之外，比如 reasoning、planning、neurosymbolic representation、逻辑推理、search、因果，也就是 causality，我觉得这些方向似乎都在正确的路上。

另外还有 data curation 和数据迭代。人其实非常擅长做一件事情：学习一个东西，然后找到在哪里学习最有效，再把注意力集中到这些东西上。我们会搭桥，会寻找有效的学习路径。

原则上，如果机器能够有这样的能力，自我提升，我认为它就会更像人。但目前很多时候，机器的提升还是来自人类准备数据，也就是 human in the loop。人类还要帮助它做更好的 curation。

什么时候这个过程能够基本自动化？比如给模型一个 Internet，让它自己提升自己，能够 make every token count，我认为那时它才会更加接近人的智能。

所以你觉得，整个基础研究已经走在正确的路上，类似类人智能的基础研究正在全面展开？

我觉得有很多有意思的研究，但基础研究虽然发展速度一直在加快，本身还是有不可预测性。

有可能明天就出现一个小神童，找到 unlock 的密码，大家很快就把这个问题解决了。

这是计算机领域的研究，还是人脑领域的研究？

我觉得它是数学、计算机、人脑和工程几个领域交叉的进展。

当然目前工程占主导地位。工程上可以尝试很多想法，追求更快的速度。我认为最近 10 年，工程的发展比其他领域都快一点，因为你可以做实验，最后可以获得更高的实验效率。

数学需要证明，但有时候数据太复杂，无法证明。所以计算机或者 engineering in general，更容易 close the loop。

Speaker 2，你对 Dario 的观点有什么想法？

我觉得他说得差不多。但他说 AI 完全能超过人的时候，最大的瓶颈可能在于 domain knowledge。

比如我创业这么多年，你要说一个机器能超过我的创业经验，我觉得可能比较难，因为我的创业经验只有我自己知道，也没有把这些东西数字化。

不同的行业里，大家都会有自己的经验，都会增加自己在某项工作中的 wisdom。他们是不是把自己知道的东西全都数字化了，又把这些数字化的数据给了某个模型？我觉得这可能是一个比较大的工程。

基于这一点，我觉得机器超越人可能没有那么快，应该不会是这两年的事情。主要还是一个数据壁垒。

所以你觉得现在数据会是大模型训练中，达到 AGI 的核心门槛吗？

我认为还是模型的自我提升能力，而不是数据本身。

人在学习过程中，会不断寻找学习信号，然后自己做思考。很多思考都是内化的，不一定来自外界的 token。

不是说外部世界的数据不够了，所以我学不好。学不好可能还是我自己的问题。

第二，人类的学习是一代比一代更强。第一代人需要反复尝试，这个尝试有点像 search。

比如有一天我在野外走来走去，走到一个地方，发现一朵蘑菇，我可能把它记录下来，它就变成后人的 knowledge。

人类学习的高效性，很多时候不是因为探索本身更高效，而是因为我们把之前学习到的最重要的 knowledge 记录下来，后面所有人的学习效率都会提高。

不管是围棋、音乐，还是其他领域，每一代人探索出新的技术，就会被记录下来，后面的人直接用上。

之前有一本写得非常好的书，叫《Peak》，讲的是如何做专注的学习。

我觉得大模型可能会先训练出上一代大模型，再用它生成更好的数据，然后提升自己，最后训练出下一代大模型，这也可能成为一个趋势。

但说到底，我认为还是要解决 efficiency 的问题：如何用少量的数据，获得那么强的泛化能力。我觉得这是圣杯问题之一。

现在业界有哪些流派？最近争议挺多。我看 Yann LeCun 一直不太认同纯强化学习的方式。

Anthropic 在 Sonnet 3.5 之后，一直还没有特别好的推理模型；但 OpenAI o1 的思路，包括这次 DeepSeek R1 的思路，我觉得在 2024 年可能已经成为业界比较标准的做法了。

在整个大模型训练范式转变上，你觉得业界现在还是有很多争议，大家有完全不同的思路和方法，还是慢慢像你刚刚说的那样，大家开始趋同？

我觉得还是有很多创新。只是当很多 capital 被带进来以后，大家要快速 scale，而 scale 的方式看起来有点单调。

创新点其实还是很多的。我觉得 Yann 一直在推动的就是世界模型。

这个概念是我们看了 David Ha 的一篇文章，叫《World Models》。我当时觉得，概念上没有什么新的，但名字很酷，是一个经过 polish 的名字，而不是几十年前就有的概念。后来我们就采用了这个名字。

在我看来，世界模型的定义其实非常简单：给定当前状态，给定当前 action，也就是你的行为，预测未来。当然，预测得越准确越好。

你刚刚定义了三步，可以举一个具体例子，说明什么是世界模型吗？

其实 GPT 就可以认为和世界模型很相似。

Generative pre-training 里有一个核心思想：给定之前的 context，也就是过去的 token，预测下一个 token。网上的各种数据，它预测下一个词。

世界模型和它唯一的区别，是多了一个 action。Action 是什么？比如向前走、向后走、向左走、向右走。

DeepMind 有一篇很好的文章，叫《Genie 2》。它里面的意思是，给我任何一幅画，我可以变成这幅画里的主人公，可以向前走、向后走，然后在这个世界里穿梭。

GPT 可以认为是一个没有 action 的 world model，它只做一件事：给定之前你说的话，预测未来。

世界模型更 general 的形式是：给定之前发生的事情，再给定我接下来要采取的行为，预测未来。

当世界模型足够好的时候，就可以用它做 reasoning 和 planning。

举一个我们最近做的工作的例子：如果我可以创建一个非常好的 world model，那么接下来完全可以用这个 world model 来学习一个任务，几乎不需要再观察现实世界，因为已经创建了现实世界的一个 copy。

这时候可以搭载任何强化学习方法，把现实世界替换掉，直接在世界模型里运行，最后达到很高的 performance。

当模型进化到一定程度，准确度足够高时，就可以在模拟空间里提升自己的行为。甚至不需要强化学习，直接使用 model predictive control，搜索出一条更好的 trajectory。

这和我刚才说的一样：当基础模型已经足够好，生成 100 条回答时，已经能找到一些比较好的信号。然后可以进一步强化，让它在这个方面提升很多。

假设模型已经好到一定程度，生成的 100 条回答里必然有一条是正确的，那你甚至不需要再学习，直接把正确答案搜索出来就可以了。

所以我觉得 Yann 坚持的世界模型是一个非常重要的方向。当然这里面也有不同流派：有人 focus 生成，有人希望学到更高级别的感知，有人强调空间智能。不同的声音都存在，我觉得这是好事。

大家还是有很多不同的方式和方法，去实现 AGI。

对，我觉得在这一点上，还是有非常丰富的想法。

关于 DeepSeek，现在很多信息已经公开了，因为它也是一个开源模型。我想问一下，你们对 DeepSeek 还有没有什么好奇的问题？

有。它的论文里没有写具体的数据 composition，也没有公开很多训练细节，只是在大概层面上进行了介绍。

当然，我认为不应该把所有内容都公开，这不合理。但如果能公开更多细节，让大家更好地复现这项工作，可能会更好。

你希望它把数据写得更细？

对。但这也是一个趋势。所有 frontier research lab 都有同样的趋势：一旦谈到数据，就变得非常含糊。

有些事情甚至连 OpenAI 都不敢写。所有大模型公司被问到数据时，都不太敢回答。

比如数据是如何 balance 的，curation 的 process 具体怎么做，这些都不写。我可以不写具体的数据组成，但至少可以写数据具体如何 curate。

这些细节很多时候反而是最关键的。其他东西，比如用 search 做 reasoning 和 planning，其实很容易想到。当模型足够好时，用 bootstrap 提高性能也容易想到。小模型无法直接 bootstrap，用大模型生成数据再喂给小模型，也容易想到。

真正不容易想到的，一个是数据的具体 composition，另一个是 architecture 里面的一些底层创新。我觉得这些东西可能才是最关键的。

所以整体上还是想从 DeepSeek 身上学到更多。

对，我可能没有更多问题了，但我比较关注的是，DeepSeek 这家公司能不能持续 push the envelope，能不能持续挑战 OpenAI。

如果它后面能够不断给我们惊喜，让我们看到大家最后做 application 都是在 DeepSeek 上，那对整个芯片和 infrastructure 的格局，确实会有比较大的改变。

会是什么改变？

就像我刚才说的，DeepSeek 已经绕过 CUDA 去适配很多东西了。如果它能继续站住这个位置，很多其他芯片都会有一定机会，对英伟达本身的生态也会有挑战，英伟达的溢价肯定要打下来。

但如果下一个模型，比如 Llama 4，假设它比 DeepSeek 好很多，那可能一切又会回到起点。

好的，谢谢两位。今天我们从算力、算法，以及整个大模型的演化，聊了 DeepSeek。它对数据的影响是怎么样的呢？如果大家对听到更多的采访感兴趣，我们也考虑会将一些精华的内容放在硅谷 101 的视频号上。当然我相信我们的很多听众也是 AI 领域的专家，如果大家对于 DeepSeek 有什么想法，或者想了解的，欢迎给我们写评论、写留言。这就是我们今天的节目。大家可以通过小宇宙、苹果播客、Spotify，还有 YouTube 上搜索硅谷 101 来关注我们。我是泓君，感谢大家的收听，再次祝大家新年快乐。