卫诗婕
Hello 大家好,这里是漫谈 Light Star,我是诗杰。一年一度的英伟达 GTC 大会在美西时间三月十七日上午十一点于加州圣何塞开幕。开幕前夕,小龙虾 OpenCloud 掀起的 Agent 热,着实为本届 GTC 带去了空前的热度。AI 正走过基点,AI 基建会发生怎样的变化?一期一会,我又邀请了漫谈的老朋友,PPIO 派欧云的创始人姚欣 Bill 反场。去年 GTC,B 老和我考古了英伟达的三十年成长史和精彩的算力风云。如果是对英伟达毫无了解的朋友,欢迎先前往漫谈的第二十八期和二十九期节目补补课,那是一段非常精彩的商业史。今年,B U 在 GTC 开幕前在硅谷和我录制了这期播客。他的导读不仅标出了 GTC 本届的看点,也涵盖了二零二六 Q 一的 AI 动向季报。而为了更准确的理解本届 GTC 的亮点和技术趋势,我又找到了这期节目的第二位嘉宾,国产 GPU 形云的创始人纪宇。纪博是芯片行业专家,也是华为天才少年,参与过华为升腾芯片项目,二零二四年正式开始芯片创业。他会为我们校准本届 GTC 中一些新产品亮相背后的产业逻辑和风向。特别说明,本期节目不构成任何投资建议。好了,我们先从姚新 Bill 的访谈开始。
欢迎 Bill 三度返场,辛苦你了。今年还是像往常一样,咱们先押押题,后面对对答案。
姚欣
你这个押题的时间选得很好,还有一个半小时就要进场了,现在是场前押题的最后几分钟。
卫诗婕
我听说今年 GDC 是售票空前火爆,是吗?
姚欣
对,现在去换证件要排起长队了,据说要排 2 个小时。我有点放弃了,我同事先去排队了。
卫诗婕
今年 GDC 有哪些不同以往的风向吗?如果去年咱们说,GTC 之前先吓了老黄一跳,我觉得今年应该是老黄喜笑颜开。为什么呢?
姚欣
今年 1 月 OpenClaw 特别火,包括整个 AI coding agent 的全面爆发,大家都纷纷意识到进入了一个 token 新时代。这件事,妥妥的就是老黄 2 年前的预言,今天全部发生了。
像咱们 1 年前聊这个话题时,还是从训练转向推理。英伟达当时紧急开始适配,说要大力讲推理、不讲训练了。这是它在整个算力转型过程中的一种快速应对。
但今天你看,前一段时间老黄自己也讲“五层蛋糕”。当他讲这些概念时,你能看到他已经可以轻松应对,有点沉稳拿捏、把握住了行业趋势。所以我觉得,这次 GTC 之前,资本市场的反应也说明,大家对于英伟达以及接下来算力市场的进一步发展,还是非常乐观的,算力依然供不应求。
卫诗婕
去年它不是有一个路线图吗?从推理讲到下一步是 Agent AI,Agent AI 的下一步是物理 AI。今年时间轴就来到了 Agent AI。
姚欣
对,今年我也非常期待。既然是事前押题,我也很期待这次在 Agent AI 这一侧,老黄会放出什么样的大招。因为这也会直接关系到他下一代芯片的发布,以及 Agent 这一套智能体的发展趋势,这些都是今年非常重要、非常值得关注的话题。
卫诗婕
我再追问一下去年的访谈。你记得去年我们说老黄急了,按照你说的,他今年是喜笑颜开。那你觉得他今年会更急吗?
姚欣
短短 1 年过去,你知道吗?我觉得市场真的已经经过一个春夏秋冬了。
从去年下半年,特别是去年第 4 季度开始,大家知道进入了一个算力涨价周期。不仅是 GPU,包括整个上下游,很多元器件现在都在暴涨,像存储、硬盘、内存等等。其实背后的原因是,这些传统元器件扩产能的速度比 GPU 扩产能的速度慢得多。
因为 AI 需求强劲,GPU 扛住了这一波。你去看看英伟达,包括台积电,这几年的产能填充率和增长率都非常高。但是很多偏传统的硬件基础设施反而成为了瓶颈,所以这些趋势都证明了一点:算力需求是在供不应求。
只要算力是供不应求的,去年曾经对英伟达的很多担心就会被重新审视。比如年初大家可能担心所谓的杰文斯效应:当大家有了更便宜的模型、更高效的模型,像 DeepSeek 这样的模型,是不是推理需求没有达到预期那么高了?
现在结果证明,虽然推理的性价比在不断改善,但是推理总量的需求呈现了可能百倍甚至更高数量级的增长。像去年下半年,仅仅是谷歌这样巨无霸级别的企业,半年时间的 token 增长就超过了 13 倍。
近期大家也看到的很多的这种大模型公司频频传出业绩的这种喜讯,包括我们公司在内,我们都是能看到可能就一两个月如何超过过去一年半年的营收。所以我们进入了一个拐点增长的时代。
我自己提出过一个观点:我认为现在已经到了一个后极点时刻。过去一年时间里面已经完成了基点跨越,现在进入到一个需求的一个井喷式爆发的阶段里面。
去年年初 DeepSeek 带来的震惊,是对整个 AI 产业链乃至算力产业链的挑战。而到了 1 年后的今天,它已经变成了大家对未来需求爆发增长的确定性,所以大家纷纷加大投入。
可能去年我们讨论的很多问题,比如算力的循环投资,OpenAI、英伟达互相投资,而今天来看,这种所谓的循环投资越来越多了。大家都想押注未来,宁愿加杠杆、加大投入,甚至冒风险,也要继续投入。
我刚刚在硅谷还听到一个消息:Meta 准备裁员 20%。它裁掉 20%的背景,是要把剩余的现金流更多地投入算力。你能看到,企业侧已经证明,它意识到今天 AI coding 带来的生产力,也意识到未来是一个更海量 token 消耗的时代。
这些 M7 巨头都在用行动说话,做出这样的选择。所以我觉得,市场在短短半年时间里,真的又一次颠覆了我们的认知。
卫诗婕
这个趋势我完全认同,而且你去年的很多预言都被验证了。我有点忘了那句话是不是你讲的:如果训练是一池水,推理就是一条大河。
姚欣
是汪洋大海,那可是更广阔的天地了。
卫诗婕
你去年有一个明确判断,就是进入推理时代之后,算力只会指数级上升。现在观察到一个点:去年的模型表现,主要是由推理侧纵深的 scaling law 带来的。
去年,包括你和我在硅谷跟谷歌研究员聊时,大家都有一个共识:进入 Agent 时代之后,Agent 网络的 scaling 还会带来更大的算力消耗。
姚欣
对,这当然可以概括成一句话:scaling 在逐渐后移。
以前我们都是 pre-training,也就是训练侧的 scaling。实际上从去年开始,行业走向了 test-time,走向了 inference scaling。现在你可以看到,已经走向了 Agent 侧的 scaling,整个 Agent layer 也成为目前普遍的趋势。
今天大家在“养龙虾”的过程中,昨天智谱刚刚发了一个智谱的 tuber 版,专门针对龙虾这类场景。它实际上是为了更好地复现智能体的各种操作,提升稳定性。
这里面大量的后训练,包括强化学习侧的投入,实际上都是基于推理侧的算力产生的。所以我们能看到,随着 Open Cloud 以及其他生态的红火,更多需求还会继续爆发。
卫诗婕
但我也好奇,去年我们其实小小聊过这个问题:英伟达整体的算力芯片在训练上肯定是一骑绝尘,但是它在推理上是不是最优选择?去年我们打了一个问号,我觉得这也是今年关注的重点。
包括进入 Agent 时代之后,从算力芯片到基础设施层会有什么样的需求变化?英伟达能否在这些方面也保持领先?这个我们先卖个关子,留个悬念,待会儿可以细细聊。
我想再跟你复盘一下,去年 DeepSeek 造成英伟达股价暴跌、上演“1·29惨案”之后,你会怎么概括英伟达的这一年?
姚欣
去年 GTC 给我印象最深的,首先是老黄虽然在匆忙应对,但我觉得大方向极其正确。特别是刚才提到的,他对于 Agentic AI 以及 Physical AI 的预判。
从他当时的时间表看,大家可能会感觉还要 2、3 年才能进入这个阶段,但事实上行业就在加速进步。不仅是指数级进步,而且是加速的指数级进步。所以我相信,今年 Agent 的大爆发,对大家来说都是一个意外之喜。
你能看到,整个英伟达的信心,包括股价的信心,都在快速修复,对未来的预期也在进一步增长。未来提前到来了。
卫诗婕
未来已来。
姚欣
对,大家都有这样的看法。但另外一端,你刚才提到的推理侧,其实老黄已经在布局了。
去年圣诞节,你记得英伟达有一个重大收购,就是把 Groq 收购了。一会儿我也很关心,这次大会会不会宣布一些 Groq 相关的架构,融合到下一代 GPU 的设计里。
我从产业链上游已经听到了一些信息:英伟达可能会把 Groq 这样基于 SRAM 的高速推理架构融合到 GPU 里面,通过堆叠的方式实现。这是一个趋势。
但这件事我也挺佩服英伟达的。收购完成才短短两三个月,如果就能实现技术融合,而且还是基于硬件架构的融合,我觉得确实很有挑战。
卫诗婕
是啊。但你也知道,英伟达在黄仁勋的驱动下,一直在违反半导体行业的迭代周期,比别人更卷,推陈出新的速度也比别人快得多。
所以我也很好奇,这次英伟达会不会让我们看到又一次如光速般前进、非常快速激进的未来技术路线规划。
收购 Groq 这件事本身我也想跟你聊。1 月初元旦之后,我发布了一份年终 AI 报告,你也是我几十位采访对象中非常重要的一位。
当时我对英伟达收购 Groq 有一个大致判断:市场上有一种声音认为,收购 Groq 其实是一笔技术招安费,是为了补足英伟达在推理侧的短板,所以它收购了一个现成的团队。
我想听听你对英伟达收购 Groq 的看法,也请你给大家介绍一下 Groq 做的 LPU 是什么。
姚欣
走向推理时代之后,你会发现,推理需求的角度可能完全不一样。
以我们今天使用的各种模型为例,同一款模型可以有不同的定价。举个简单例子,如果你只是使用聊天应用,比如类豆包这样应用的话,其实你是可以容忍百毫秒甚至更好的延迟,但同时希望价格足够便宜,智能程度过得去就行。这可能是大多数聊天类应用的诉求。
但是另一类需求,比如 AI coding,你希望机器自动编程,那你肯定希望它的可靠性极高、性能极好,最好速度和吞吐量也都极高。但你可以接受价格高,因为这毕竟是昂贵的应用场景。相比原来聊天模型的价格,贵 10 倍、100 倍都可以接受。
所以,同样的模型会产生完全不同的需求。走向推理时代的一个大变化,就是针对不同应用场景进行优化。
Groq 推出的 LPU,首先属于一种专有的优化方向。它和英伟达的 GPGPU 架构不太一样,因为 GPGPU 前面的 GP 是 general purpose,也就是通用目的。包括 CUDA 也是如此,可以服务几十个行业、不同领域,不光是 AI。
通用性必然会带来硬件设计架构上的一定冗余,优化效能也不够彻底。Groq 带来的 LPU,特别是结合它的 memory 特性,使用的是 SRAM,而不是电脑和显卡中常用的 DRAM,也就是动态存储架构。它使用了一套静态存储架构。
这套架构的特点是 I/O 存储和吞吐率非常高,但缺点是价格昂贵,所以 SRAM 做不大。过去 SRAM 通常用于 CPU cache,但 Groq 现在把它用来做推理芯片的存储和快速处理。
这说明 Groq 的 LPU 架构,是针对某些特定场景进行优化:要求极高速吞吐、极强稳定性,同时能够接受极高价格的场景。
这样的场景可能 1 年前还不多见,但今天无论是 AI coding,还是我们说的长程任务、Agent 应用场景,可能都需要这类优化特性。
所以我相信,对于英伟达来说,它的武器库在慢慢增多。通用方案我可以给你提供一个 85 分、90 分的解决方案;如果你愿意付出更大代价,希望得到 99 分的解决方案,我也能提供。我觉得这可能是英伟达正在走向的方向。
实际上从去年你就能看到,它已经在做很多和定制型芯片之间的互联结构,ASIC 芯片的互联结构都证明,英伟达依然希望在未来推理百花齐放的市场里,最大化占有市场份额。
卫诗婕
这也是老黄的野望。英伟达在 DeepSeek 之后确实很快做了战略调整。当时它发布了针对 coding 和 Agent 的大内存推理模型服务,重点是从 token 速度转向优化内存和长上下文存储。这个概括对吗?
姚欣
英伟达在看模型公司的变化,模型公司在看应用需求的变化。我觉得这是产业链传导的过程。
我们也定期在硅谷,因为要做模型服务,所以必须理解模型,才能做好云服务的改进和优化。
去年年底,硅谷的模型和应用公司明显指向了几个方向。第一个重要方向,用英文称为 long-horizon tasks,也就是长程任务。这是非常典型的 Agent 场景,主要是进行长时间任务模拟。
我们之前看到的,可能是 Anthropic 推出了 Claude Cowork,可以帮你自动接管桌面,整理很多任务,也可以处理 Excel 报表,引发了前段时间所谓的 SaaS 软件末日论。这其实就是一种长程任务体验。
过去 1 个多月,小龙虾 open cloud 横空出世,让更多普通人、开源社区和普通开发者看到,这样的长程任务可以独立完成一件事情,带来了非常强的工作诱惑力。
第二个趋势,是模型侧积极推进的个性化智能,也就是 personal intelligence。越来越多的智能会针对每个人的上下文和场景进行定制。
比如 Google 的 Gmail 在 1 月推出的新服务,可以自动读取你所有历史 Gmail、所有邮件和聊天内容,再基于这些个性化信息给出结果。今天各家模型厂商也都在推出类似能力,因为这和它们的商业化直接相关。它们在尝试广告以及其他商业模式,而这些都和个性化直接相关。
卫诗婕
其实包括小龙虾,你也可以把它私有化部署在你自己的本地,是吧?我也看到咱们国内有很多的厂商,包括腾讯在内,实际上去年年底的时候是在抵制豆包,说我不能够把我的数据开放给豆包。但是今天有了龙虾了之后,说哎呀,我赶快出一个龙虾版的微信,龙虾版的这个飞书或等等这种功能,是你能看到大厂对于这样的一个轰轰烈烈的趋势和技术的演进已经达成了一个行业的共识,所以说也在推出很多让个人用好工具处理个人数据的这样一些个性化的场景。
姚欣
第三类,我也期待今年英伟达大会会提到的,是多模态或者全模态应用。今天的 AI 不只是看懂文字、进行文字表达,还能不能实现图像、音频、视频的大融合。
字节跳动发布 Seedance 之后,在全球引发了新一波浪潮。我相信今年多模态模型推理,甚至混合模态推理服务,很可能会出现一系列杀手级应用。
这三类任务、三种不同特点,是模型厂商和应用厂商在 2026 年押注的未来,也是它们走向商业化、尝试用 AI 实现更多人类工作的挑战和努力。
正因为需求发生了变化,所以英伟达今年宣传的重点,肯定会包括长程任务、长时间运行任务和海量 token 消耗。甚至我猜测,它也可能会针对现在显存、内存成本高的问题,做上下文压缩和场景优化,让现有硬件得到更充分的利用,提升硬件产出和生命周期。这可能也是优化层面会出现的趋势。
更激动人心的,当然是它下面的 Feynman 架构。原来应该要到 2027、2028 年才会发布下一代架构。
今天毫无疑问应该是 Rubin,包括 Rubin Ultra 的上市。你能看到迭代速度有多快:我们可能还在讨论 H100、H200,甚至 H200 进入中国的时候,2 年前发布的 Blackwell,也就是 B 系列,已经要逐渐从最常见的产品中退下来,变成 Rubin 系列,同时 Feynman 系列已经在路上。
我觉得老黄就是用这种卷法来推动行业,也在抓住我们进入奇点后时代的趋势。奇点后时代不仅是指数增长,同时还是加速的指数级增长。这种速度和加速度,对全行业所有人来说都可能是巨大压力。
卫诗婕
普通人最近使用 OpenClaw,也能感觉到它的进化速度太快了。你刚才讲的 Rubin 也是今年的大看点。从 B 系列、Blackwell,再到 Rubin,对于外行人来说,我们该怎么理解芯片的进化?
姚欣
从 H 到 B,我觉得最大的关键词,是开始进行一定程度的堆叠。但 B 系列还可以出现单卡,比如 B200,仍然可以作为一张卡插在机器上。
但是随着密度越来越高、能耗越来越高、互联要求越来越高,到了 R 系列,很可能就不再有单独的 AI 加速卡概念了,可能都是一台台超节点。
可能是一个 NVL72,72 台甚至更多;华为则是 144 台这样的互联集群。现在 AI 数据中心的建设也和以前不一样了。
以前可以认为,数据中心或者 AI 数据中心是一个集成商,要购买不同硬件,找电、找网络、找机架机柜,再把它们组装在一起。
但今天你会发现,去年 GTC 大会上老黄讲的 AI Factory,英伟达确实会成为 AI 工厂整套设备的出口商。它已经帮你把机柜内所有服务器互联起来,完成调试,甚至把一部分基础软件也都做好了。你基本上拿过去就能开箱即用,插上电就可以运行。
这对整个 IDC 行业的冲击是巨大的。但这件事也必然会发生,因为推理性能要求在不断提高,英伟达也需要进一步吞吃产业链利润,通过更高的优化来获得高利润和高竞争力。
所以 Rubin 系列可能会彻底改变整个算力行业的建设方式、玩法和商业模式。
这次我也很期待在硅谷和大量 NCP 交流,看看这些 NCP——当年英伟达帮着囤货、帮着全球出货的 IDC 厂商——如何看待英伟达,或者说 AI 集群化、超节点化的趋势,会对整个算力结构和产业链带来什么影响。
我的一个判断,也算是预判吧,是会有更多 NCP 出现,因为对 NCP 的技术要求降低了,但获得能源的要求增加了。
能源是全球分布式的结构,各个地方的能源设施,只有当地企业最了解、最熟悉。所以我相信,一定会有更多所谓的主权 AI、更多 NCP 建设,以及全球范围内对能源的争夺。
能源之上就是老黄的“五层蛋糕”。能源之上的部分不需要你们费心,我们已经帮你一站式打包完成了。这可能意味着,英伟达不再只是 GPU 公司,而是真正成为新时代的 AI 工厂设备出口商。
卫诗婕
我记得你去年也提过主权 AI。你当时好像说,如果算力是石油,每个国家都希望自己拥有一个石油开采厂,类似这样的意思。
姚欣
对。现在如果 Rubin 发布,再结合 Feynman 的展望,很可能就会成为这样的趋势。
今天的机器设备就像一条完整的生产流水线。你当地只需要盖一个机房,把电接进去,甚至都不需要 workers,人都不需要,所有东西都已经完成了。未来 AI 工厂很可能就以这样的方式构建。
如果能发展到这一步,英伟达的想象空间确实会很大。所以一会儿我相信咱们肯定会聊到,如果要概括今年上游半导体的关键词,我觉得就是一个字:光。
在这种密度下,英伟达的很多技术已经开始出现瓶颈。比如现在制程已经用到 2 纳米,也在试验 1.6 纳米,这只是从 2 纳米到 1.6 纳米、20%的提升,已经没有想象中的翻倍提升了。
接下来就是堆叠。去年是 56 层、72 层,再多能到多少?140 层?堆叠也差不多到头了。
无论工艺层面,还是超节点集群的密度提升,都已经看不到指数级增长,只能看到几十个百分点的增长。但架构层面还有巨大潜力可以挖掘,这里我觉得仍然有指数级增长空间。
光互联以及光的高速互联,可能带来技术架构上的改变。所以你能看到,和光相关的半导体元器件,无论中国还是美国,最近都在猛涨。
卫诗婕
考虑到我们有很多普通受众,你能给大家解释一下,为什么光互联会成为接下来的关键词吗?
姚欣
去年我们聊 Blackwell,也就是 B 系列时,有一个小趋势:它直接跳过了 B100,发布的叫 B200。为什么?因为 B200 其实是在一块板子上,把两块 B100 拼在了一起。
这有点像今天 MacBook 里的 Apple CPU。它实际上把多个 CPU 焊在一起,在整个芯片板卡层面直接实现堆叠和互联,这是第一层。
第二层,是它去年开始做机柜堆叠。以前一台机器上可能插 8 张卡,或者插 8 个刀片卡;现在它把多台机器堆叠在一个大机柜里。
但机器与机器之间如何连接?过去常用的是局域网,拉一根网线。即使使用最高速的万兆、十万兆网络,连接速度仍然非常有限,和 CPU 级别、主板级别的互联根本没法比,中间差着几个数量级。
英伟达其实在几年前就开始收购一系列网络互联相关企业。虽然可能仍然使用铜线,但通过 InfiniBand 这类高速互联网络,尽量接近 CPU-CPU 或 GPU-GPU 芯片级的互联速度。
这也是每年英伟达 GTC 的看点。它的 NVLink、NVSwitch,以及整套互联速度,几乎每届发布都会翻倍。
今年我们可能看到,它开始抛弃铜线级互联,全面走向光互联。铜线互联会发热,传输速度虽然也接近光速,但只是接近。如果完全采用光传输,能耗会低很多,性能优势也会更明显。光纤更轻、更薄,部署也更方便。
今天一个训练集群上万卡集群,光它们之间的这种连线可能都能够跑非常非常远,几十万公里已经是非常非常互联的这些网线都要很长的距离了。换成光之后,整体部署成本和复杂度都会有所优化。
而且大家都知道,光纤通信的容量几乎接近无限。通过不断优化技术架构和光模块,可以不断提升光通道容量,应对未来分布在不同机器中的各种 GPU,把它们无缝连接起来,虚拟地变成一颗超大规模 GPU,以及超大规模显存。
这样一来,超大规模模型推理就可以高速运行,同时实现极致性能。
推理集群现在可能还没有达到训练集群的万卡、十万卡互联规模,但推理需求确实已经从单机推理、单机 8 卡推理、两台机器 16 卡推理,发展到几百卡并行推理。
去年 DeepSeek 开启了模型走向 MoE 的时代,大家也开始把一系列大、中、小模型分布式部署到多台机器上。既然如此,大家肯定希望这些机器之间能够高速互联。
所以,所有以光模块、光通信为核心的互联厂商,都会迎来大量需求。这也是我认为今年英伟达 GTC 上,与半导体上游相关、最值得关注的热点。
卫诗婕
我记得你去年有一个判断:英伟达最深层、最底层的挑战其实是能源。光互联算是能源挑战的一部分体现吗?
姚欣
我觉得能源依然是当下最难的挑战。过去 1 个多月,Anthropic 的 CEO Dario 和马斯克都不约而同提到,美国现在存在能源问题,也就是 AI 带来的电力荒。
英伟达面前的问题肯定更严峻,因为它售卖大量算力。如果这些算力耗尽能源,或者带来能源危机,该怎么解决?
简单来说,英伟达没法直接解决能源危机,它能提高的是在同样能源投入下的生产效率。
它为什么要推动更多堆叠、更多光互联?为什么制程即使提升有限,也必须从 2 纳米推进到 1.6 纳米?因为看起来性能提升有限,但能源利用效率的提升可能非常巨大。
英伟达一直在提升性能上限,尝试用现有能源产生更多产出。这也是为什么今天大家仍然选择英伟达的芯片,因为在能耗比上,它更有优势。
现在大家都在算,一度电到底能产生多少 token。这是 AI 工厂的绝对衡量标准,也就是一度电的产出率。甚至大家已经开始评估,一度电到底能产生多少智能。
整个产业链上游,五层蛋糕中上面的几层都在做这件事。我们为什么要优化模型性能、压缩模型、改进模型?也是为了用同样的卡产生更多 token。
英伟达则是在芯片层面,用同样的能耗产生更多算力,运行更好的模型。所以今天整个行业都在推动这件事。
这也是为什么过去一两个月,产业链上的公司都出现了超指数级增长,可能一两个月就获得过去一年的增长。因为优化在不断提速,同时需求侧又出现了 10 倍、100 倍的短期爆发。
我对 2026 年的感受是,整个行业都在加速。特别是机器智能超过大多数人的普通智能之后,机器之间互相运行,它的消耗速度、迭代速度,比过去人使用 token 的速度快得多。
小龙虾放在这二十四小时它可以做执行任务,但人还要吃穿住用行,总有时间上限。机器没有这个上限。所以我看到的需求增长,以及对底层能源的消耗和挑战,都会更加残酷。
去年我来到美国寻找算力时,发现 30 兆瓦以上的机房已经非常难找,更不用说常规训练数据中心,至少都在 200 兆瓦以上。现在 200 兆瓦的机房几乎看不见,最新的 100 兆瓦以上机房,也要到 18 个月甚至 24 个月以后才能建成。
以前连马斯克自己的 xAI 训练,都做了一个“违背祖训”的决定,使用柴油发电机给 xAI 集群供电。你想想,马斯克一直在讲清洁能源,最痛恨石油能源,但这里却在进口柴油发电机,这就是一个矛盾。
我甚至认为,未来两三年,北美的 AI 需求一定无法仅靠北美本土算力满足。包括英伟达在内,都会把最终芯片的销售地扩展到全球其他地区,扩展到拥有更多能源的地方。
最近中东的战争,实际上也对我们这些提供全球化 AI 服务的企业产生了巨大影响,带来了很多流量的短期冲击和供给不足。
所以在今天的 AI 时代,从能源供给角度来说,这是一个非常 critical 的问题。我觉得,未来若干年,整个行业的进步都会不断面对这样的声音和挑战。
卫诗婕
你刚才说中东战争给全球 AI 服务商带来了很大影响,主要是战争带来能源制约,能源又带来算力制约,对吗?
姚欣
一方面是能源制约,另一方面,全球 AI 算力实际上已经进入数据中心全球分布式部署的时代。
像 AWS、Google,除了在北美有数据中心,也在亚洲大量部署,东南亚和中东都是核心节点。但前段时间因为空袭和战争,中东多个节点短期掉线,或者能源基础设施被炸、电力不稳定,导致当地数据中心部分机器停止运转。
这直接导致原本应该在那些数据中心运行的服务和工作负载,不得不切换到其他数据中心。但其他数据中心短期内也处于高负荷运转、接近满载的状态,于是大家只能把服务切到更碎片化、更下沉的区域,或者临时寻找资源,这都会带来网络不稳定。
前几周,Claude 的模型推理需求已经供不应求,所以它不得不引导大家使用空闲时间。Claude 很多服务都是程序员用来开发和编程的,每天北美上午、中国半夜时,Claude 的 token 响应速度就非常慢。
Claude 后来想了一个办法:鼓励大家凌晨、半夜编程。这就是我们以前讲的东西半球调度——西半球高峰期使用东半球夜间的资源,来提供推理服务。
这证明全球范围内正在形成“西数东算”,但它也带来了更大挑战:全球推理正在形成一张网络化、全球化的服务网络,对可靠性和稳定性的要求会越来越高。
卫诗婕
对,一个很好的例子其实 Gemini 前段时间崩溃了,你有听说吗?
姚欣
对啊,其实都是这样一系列的事故,他们的崩溃的原点都是因为中东地区的这些机房和算力可能下线,可能它也许之前只占全球算力可能百分之五、百分之十,但这百分之五下线,你得把这百分之五短期内你要在几分钟内你要在全球其他地方要上去,但任何地方都不可能瞬间。比如某个区域已经有百分之十的负载了,那加个百分之五就意味着短时间内提升百分之五十的负载,那可能没有这么多的闲置资源,所以这件事情其实非常的挑战。在大家能源又短缺,利用率又高,然后今天二十四小时的算力需求都在指数级增长的情况下,整个这种全球的算力调度和算力服务要求挑战越来越重要啊。
互联网不可能被断开或停止。如果交通网络、航班网络某个区域停止,都会带来全球影响。
就像石油运输一样,一个小小的 23 公里海峡,可能就会制约全球 15%到 20%的能源。
卫诗婕
你怎么看今年 GTC 前夕,老黄用万字长文发布的“五层蛋糕”理论?我们应该怎么理解它?
姚欣
我的看法前面其实已经提到了:英伟达不再是一家 GPU 公司,而是要吞吃上下游。
这是我一直以来的观点。从它大手笔投资 NCP、投资很多新云厂商,甚至投资应用,你能看到它虽然不直接和互联网巨头、公有云巨头进行正面竞争,但所有布局都显示,它正在成为新世界的新一级,形成自己的联盟。
它要把 OpenAI、Anthropic 这样的模型公司绑在自己的战车上。它虽然不直接像 AWS、Google Cloud 那样提供公有云服务,但是它投资和支持的那些 neocloud、NCP 都在做云服务,正在和 AWS、Google Cloud 展开正面竞争。
最近它又投了 20 亿美元给 Nebius。我们在硅谷看到,很多公司的竞品几乎都拿到了英伟达的投资,英伟达的收购也都跃跃欲试。
所以你能看到,英伟达在“五层蛋糕”模型里,显然不只是做芯片这一层。
AI 工厂意味着什么?不是输出工厂里某台机器的某个元器件。过去英伟达可能只是提供工厂中的机械臂或车床,现在提供的是完整产业链。
它为什么要和开源模型厂商大量合作?它希望把模型加载和服务整合进去,直接给你输出 token。Token 就是某种智能。
从某些角度看,这本来是模型公司应该做的事情,但英伟达通过和开源社区合作,也在实现直接提供 token 服务,并通过联盟伙伴、投资对象和盟友来完成。
这会极大扩大它现有的销售规模和业务规模,也会让它对上下游的控制力远远超越一家 GPU 厂商。它将拥有对整个生态的影响能力和绑定能力。
我猜测,下一步它还会投资更多全球各地的 NCP 和算力供应商,让这些 NCP 代表它在全球范围内控制能源。
底层的能源、上层的芯片、开源模型,这些都完成了,除了应用层之外,其他部分都已经具备极强的影响力和控制力。
卫诗婕
蛋糕都做好了,奶油铺好了,樱桃你们来点。
姚欣
对。去年咱们应该也讲过正三角和倒三角的故事。
如果从上往下是应用层、模型层,底层是基础设施和芯片层,成熟之后应该是一个倒三角:最上面的应用需求侧蛋糕最大,下面相对小一些。当年的互联网、移动互联网都是如此。
但我觉得还是要拉长时间看问题。随着应用需求不断爆炸式增长,最终这个正三角还会变成倒三角。即使变成倒三角,它的底座也可能已经超过人类历史上所有 IT 投入之和,成为一个再造互联网、甚至超越互联网的巨大时代。
今天到了 2026 年,大家兴奋的原因就在这里。因为 AI 智能化和 Agent 时代的到来,需求空间远远大于过去的 SaaS 软件、消费娱乐互联网,也远远大于传统公有云市场。
这样的市场,才能让英伟达继续成为世界上市值最高的公司之一。它要保持竞争力,维持高增长和高毛利。我觉得至少未来几年,它仍然拥有这样的时间和预期。
但它也有挑战和局限。去年它已经喊出了 Feynman 架构,今年我估计 Feynman 的细节会落地。但我刚才提到,在基础设施、芯片和技术架构层面,虽然还能继续增长,却看不到两三次指数级增长的空间。
所有技术进步的瓶颈都已经出现:半导体制程、堆叠、能源、带宽,甚至本质上是物理定律和能源的限制。这些上限在未来 3 到 5 年已经能看到了。
所以我的看法是,未来 3 到 5 年可能仍然是算力狂欢和算力爆炸增长的阶段,有点像 2010 年到 2015 年。那时所有手机厂商都非常热门,小米发手机,苹果发手机,各家公司都发手机,那就是移动互联网时代的英伟达和基础设施建设。
但到 2015、2016 年之后,市场进入平稳增长期,大家的重心就转向移动应用,有了抖音、TikTok,以及很多新的模式和玩法。
我觉得今天也有一个非常重要的关注点:在 GPU 还能保持几倍增长的同时,下一代抖音、下一代 TikTok 的应用正在孕育。
从 OpenClaw 开始,它代表的市场,正如去年黄仁勋在大会上讲的,未来应用市场应该被定义为工具使用市场。人和猴子的重大区别,就是人会使用工具。
这个工具市场不是传统意义上的电脑工具或劳动工具,而是一个更泛化的市场,它在替代整个劳动力市场。
今天硅谷大厂裁员、越来越多数字员工出现,其实就是新时代工具市场的缩影。这个市场的想象空间非常巨大,对全球人类生活的冲击才刚刚开始。
虽然我们在硅谷、在小宇宙播客里天天听到这些信息,可能觉得很兴奋,但如果放到全球 80 亿人口中,关注这些事情的人可能连 1%都不到,真正用得上的人可能连万分之一都不到。
从 1%到 100%,还存在一个极其巨大的扩散空间,可能需要 5 到 10 年。2010 年就在使用智能手机的人,确实比很多人更早,但后面仍然有巨大扩散空间,创业者也才刚刚开始。
这里面的空间、想象力和天花板,我觉得会给大家带来巨大机会。这也是 2026 年老黄在笑、全行业从业者都很乐观的原因。硅谷、模型公司、应用公司和资本市场都非常乐观。
卫诗婕
你刚才讲了一个很重要的判断:你觉得算力效率的提升还有 3 到 5 年空间。
姚欣
我说的是英伟达这一层的提升,还有 3 到 5 年空间。
包括我们做模型优化、云服务部署,每年 token 单价都能指数级下降,可能下降 10 倍,同时模型智能程度还会在一定程度上提升。
这种提升未来 3 到 5 年仍然看得到,只是它已经不只发生在模型层,也发生在 Agent 层。Agent 可以通过多模型调用、多智能体组合,依然每年给我们带来 10 倍速度的最终结果交付和提升。
刚才讲到长程任务,去年我们使用 Deep Research 或 Manus 时,提交一个任务,可能运行 15 分钟给你结果。今天已经能看到,一个任务提交上去,运行 1 个小时给你结果。很可能到今年年底,运行 3 天、5 天给你结果。
虽然花费的时间越多,消耗的 token 就会指数级增长,可能增长到几百倍、上千倍,但结果的稳定性、准确性和可靠性,也确实已经到了可以直接使用和采纳的程度。
这就是智能体时代的到来,也解释了为什么 AI 劳动力会诞生,以及整个工作的属性会受到冲击、变化和影响。
卫诗婕
所以一个简单结论是,AI 虽然已经狂飙了 3 年多,但完全没有停下来的意思,接下来可能还会进入一个加速时代。
聊一下去年一个很重要的事。去年第 3 季度我们俩聊过“星际之门铁三角”,也就是 OpenAI、英伟达、Oracle 以及云小弟组成的联盟。
姚欣
一度来说,这个联盟对 Oracle 这样的成长型公司,包括云服务公司,压力非常大。它顶着巨大的亏损,市值一度一夜回到解放前。
卫诗婕
那现在在你刚才描述的这些前情之下,这三方是不是又重新回血了?当然英伟达从头到尾都很开心,因为在星际之门里面它也是大赢家。
前段时间 OpenAI 刚刚融了 1100 亿美元,也算稳住了一下。与此同时,Anthropic 的估值也在暴增,它的投资热度更高。而且这两天因为 Anthropic 和五角大楼的争议,它好像一度在 App Store 登顶,超过了 ChatGPT。
姚欣
回到去年 10 月我们看到的循环投资,我判断今年这种循环投资会越来越多。英伟达和其他芯片公司投资云公司,再投资模型公司,让它们之间产生更多交易。这种关联交易会越来越多。
今年更大的看点,我也建议可以从英伟达转向刚才讲到的几家头部模型公司的变迁。我觉得这才是更有意思的新趋势。
你也能看到,去年我们聊“御三家”时,肯定得罪了 Elon Musk。Grok 现在,也就是 xAI,现在整个团队开始大幅流失,明显已经落后。
小扎的 Meta 新模型也迟迟没有出炉。前三家和其他家的差距正在明显拉大,这三家之间的定位也开始进入新一轮竞争。
这一轮竞争已经不仅是模型能力的竞争了,我觉得已经进入下一个时代:能不能更多替代人的工作,能不能真正实现人的工作替代。
硅谷最近很有趣,红杉在做一个评测和分析:每一度电不仅产生多少 token,而是到底能产生多少真正的人类工作、能替代多少场景。
大家的评估逻辑已经不再评估中间状态,比如模型性能和模型效果,而是直接评估最终工作结果。
就像今天咱们俩录播客,这可能是你作为媒体人的工作能力。但有一天,也许你的数字分身做得比你还好。
甚至我年初有一个非常狂妄的断言:我认为 CEO 的工作可能今年就会逐渐被 AI 部分替代。
最近已经看到这样的趋势。有一个项目提出了“零人公司”的概念。我们现在讨论的是艺人公司,OPC,也就是 One Person Company;有人开始提出 zero-person company,没有人,整个公司由 AI 组织、主导、赚钱和策划。
这虽然只是一些小实验,但的确说明,跨越奇点、机器智能超过人类智能之后,AI 对世界的改写和冲击才刚刚开始。更多看似匪夷所思的事情正在发生。
这些趋势和增长,也在消解投资人对于循环投资的顾虑。今天模型公司会进一步融资,不仅模型公司在往上走,Agent 这一层也会有大厂进入。未来短短半年到 1 年,智能体的成熟会带来更多资本狂欢。
资本狂欢会继续延长 AI 行业的证伪周期。3 年前大家一直问:英伟达也好,SAP 也好,这些公司烧这么多钱到底挣回了多少钱?
尤其是 OpenAI,如果最后要大幅盈利,它每年投入的基础设施都是千亿美元级别,那它赚的钱一定要达到数千亿美元级别。但即使去年完成了几百亿美元收入,距离千亿、数千亿美元还差 10 倍,而它的投入还在大幅翻倍增长。
以后如果要挣几万亿美元收入,人类企业目前没有任何软件公司做到过。整个全球软件行业的总收入规模,大概也就在 6000 亿美元左右。这是一件绝对颠覆性的事情。
最近为什么说 SaaS 公司、软件公司要崩掉?因为投资人看到了一个可能性:如果更多智能体和 AI 能力提升,真的有可能颠覆今天这 6000 亿美元的软件行业。
随着过去软件行业无法服务的场景被 AI 智能体服务,带来的可能是万亿美元级别的需求。劳动力市场就更不是 10 万亿美元级别,而是更大的市场。
这似乎填满了投资人对于 AI 公司未来营收的想象。大家觉得还应该继续投资,评估模型公司和智能体公司的上限,不应该用一家软件公司来衡量,而应该用更大的工具使用市场、人类劳动力市场来衡量。
资本市场相信了这一点,所以也会支持内循环投资进一步发展。
卫诗婕
所以站在 2026 年第 1 季度末,硅谷整体情绪是 AI 没有泡沫。
姚欣
泡沫大家都会承认。我觉得泡沫是一种估值偏高,但另一方面,应用落地和应用高增长,在过去 3 年一直是高度确定的。
大家都认为 AI 的需求会不断解锁新场景,随着技术和性能提升,解锁更多场景。这一点从来没有犹豫过。
但股价有没有泡沫,确实是阶段性的。大家一旦看不见未来,就缺乏想象,会评估今天的公司是不是太贵,于是产生股价泡沫破灭的可能。
但需求发展可能只是 5 年、3 年后的事情。如果发现 2 年就能发生,我就要调整预期,把预测曲线的斜率拉得更高,市值也会涨得更快。
卫诗婕
不知道你还记不记得,去年年末国内一位非常有名的投资人,用一个 return 去总结二零二五,并预判 2026 年会经历回调。因为 AI 已经狂飙突进了 3 年,投进去大量资金,但商业化并没有达到预期。
显然,站在此刻,这种情绪已经一扫而光了。听起来大家都很乐观。
姚欣
我觉得在硅谷可能确实能一扫而光,但二级市场,甚至国内资本市场,大家的判断并不一样。
一、二级市场投资人的判断依据不同。二级市场投资人看公司的财务表现,逻辑是“我先看到了,才相信未来”,至少要证明财务表现已经能够实现这些预期,我才会相信你之前讲的话。
而一级市场,硅谷就是典型的一级市场,以 VC、PE 为主导。它的逻辑是反过来的:大家通过一套逻辑推演,认为未来的想象力可行、合理,就会相信未来、继续投入,哪怕短期财务表现还没有体现出来。
当年的 SaaS 公司,包括更早期的云计算公司,都可能亏损 10 多年才赚钱。早期投资者投入百亿级、千亿级资金,并不是因为眼下已经有很好的财务数字,而是因为他们认为整个推理逻辑已经印证清楚,相信这件事大概率会发生。
当然,投资人也会做一件聪明的事:不会把全部资金押在一家企业上。你能看到,Open AI 的投资人和 Sofi 的投资人是大量重叠。到后面,大家押注的其实是这个赛道,而不是单一企业。
哪怕某一家企业崩掉,只要这个赛道起来,一级市场投资者最后仍然可能赚得盆满钵满。这也是一级市场和二级市场的区别。
卫诗婕
所以这一次 Agent 兴起之后,把原来的 AI 连续剧从 30 集变成了 50 集,至少大家期待的远景更远了。
姚欣
对,因为大家发现大结局还远远没有到。原来的想象根本不是大结局,只是中间一段高潮情节,后面还有更多高潮和想象空间。
卫诗婕
那我们回到 GTC。你觉得今年 GTC 最大的看点是什么?我们用大家能理解的方式,一一拆解一下。
我之前听到一种说法:今年通信方面最大的变化是光,在算和存方面,英伟达要分别交出 LPU 和 CPU 的答卷,是这样吗?
姚欣
CPU,对,光。刚才已经讲到了。
LPU 我还要打一个问号,很快就要揭晓了。去年 12 月底收购,3 月份就把它纳入技术路线图,我不知道需要多长时间才能推出。
如果今天就公布,那就太厉害了。它能这么快把这两套东西整合起来,哪怕还没有流片,也开始实现架构整合,我觉得英伟达真的太神奇了。我还有点不可置信,但确实值得关注。
CPU 以及刚才讲到的光器件、光连接部分,我觉得是非常确定的。开会前就能看到,过去几周光相关股票都在非常乐观地上涨,投资人也很乐观。
我身边很多做二级市场半导体投资的人,从去年下半年就在持续加注。大家认为现在应该到了业绩兑现的时候,因为英伟达的 Rubin 系列的出货一定是大量的使用和计算。
今年 1 月老黄在 CES 上稍微披露了一下新 GPU 每台要耗费多少硬盘存储,直接带动了 SanDisk 等 NAND 闪存厂商的股价。
如果今天披露新一代 Rubin、Rubin Ultra 会消耗多少光互联,投资者很快就能算出这笔账。未来 3 年的产能和光互联需求曲线,就可以被画出来。那时股价会怎样增长,也值得期待。
卫诗婕
所以你的预判是,今年 GTC 之后英伟达大概率会上涨,对吗?
姚欣
英伟达涨不涨我不好说,但我觉得光相关公司肯定会涨,这是我非常确定的判断。
英伟达的股价已经不只是看财报了,任何负面新闻都可能对它造成巨大冲击。长期趋势毫无疑问仍然会上涨,但短期可能出现某个不如预期的因素。
比如中国市场增长远低于预期,这可能直接对它造成冲击。因为在这么高额的收入和营收里面,找毛病太容易了。
所以英伟达的股价不会像过去几年那样一飞冲天、确定性上涨。相反,增长幅度会放缓,不确定因素会增多。但这些不确定性,也可能给投资者带来买入机会。
卫诗婕
折线图会非常震荡,波动加大。
姚欣
对。我觉得英伟达这几年的趋势,就是波动不断加大,直线涨幅放缓。
卫诗婕
这次 GTC 之前,我也和二级市场的朋友聊过。他们觉得这次 GTC 就牵一发动全身,应该会影响很多这个产业上下游的公司。
姚欣
当然。其实从去年下半年开始,我们作为算力服务方和供应方,就经历了非常痛苦的涨价过程。相信所有 IT 爱好者都能感受到。
今年买手机,手机价格在涨;电脑在涨;内存、硬盘,所有东西都在涨。背后的原因就是进入了 AI 时代。
GPU 已经具备每年翻倍、每年翻倍扩产能的能力,但大量其他 IT 和半导体产业过去 10 年每年只扩增 3%到 5%的产能,根本没有应对好这种产能不足。
从电力到半导体,再到各种元器件,所有产业都要适应人类迈入智能时代的新挑战。所以未来一两年投资这些领域,我认为确定性可能更大,甚至超过投资英伟达。
卫诗婕
所以大家都疯狂买 iPhone 17 Pro Max,担心下一代内存涨价了。
另一个重要问题是,Agent 时代基础设施会怎么变化?英伟达也得给出答案吧。
姚欣
其实再往上走,离英伟达的能力圈会越来越远。
它的蛋糕为什么要把底层两三层,通过自己的生态尽量垄断?能源、芯片、云基础设施,它都在尝试通过投资和布局实现控制。
但再往上,特别是最顶上的应用层,我认为它应该开放包容。你看模型层,它和所有模型厂商都保持关系。
从 OpenClaw 的发展,也能揭示一个重要现象:AI 时代的 OS 正在到来。
每一代真正的时代划分点,应该以操作系统的诞生为标准。PC 时代有 DOS、Windows,后来有 iOS、安卓。AI 时代的 OS,曾经一度被认为是模型。
但我一直不看好模型公司成为 OS,因为模型之间存在可替代性,也存在快速竞争。即使今天的头部 3 家模型厂商,各自能完成的事情也有特色。
OS 应该是一个通用系统,支撑上层应用百花齐放;能够调度、整合底层不同的异构资源,让开发者和应用厂商无缝使用最先进的能力,这才是 OS。
就像传统 OS 要能用好手机的 CPU、GPU、内存和外置存储,还能把数据存到云上,这些都是 OS 层应该做的事情。
今天 AI 时代的 OS,Open Cloud 的第一个特点是模型可选。第二个重要特点,是实现了记忆存储。
它存储的不是传统数据库,而是个性化、长期有效的存储。把这些存储和记忆结合模型调度能力,再加上第三项能力——工具使用,包括各种 MCP、skills 和 computer use——就能让 Agent 实现很多能力。
今天的 skills,其实有点像当年的 App Store。智能手机到底有多智能,取决于你下载了什么 App:下载微信可以通讯,下载美图秀秀可以美颜。
OpenClaw 也取决于你安装了什么 skills。使用相应的 skills,它可以变成财经分析师,也可以变成会议助手。它调度什么模型,决定了它具备什么能力。
底层部分都被隐藏起来了。对于使用者来说,只关心 skills,不需要关心底层如何和模型交互,也不需要每次都写提示词。这不就很像当年的 OS 吗?
这件事重要,是因为应用普及需要一个通用 OS。没有 iOS、安卓,就不会有应用开发者的大爆发。
当年如果每一款手机都要单独适配,成本会非常高。我以前就给塞班手机做过适配,每一款手机都要适配。但有了 OS 之后,只要在一个 OS 上调通,所有使用这个系统的手机都能运行。
这极大方便了开发者,也让商业进入高速爆发循环。我觉得今天最值得关注的,就是 Agent OS 时代的到来,它会给应用爆发和创业者带来巨大的机会窗口。
卫诗婕
目前来看,哪些 Agent OS 有机会成为重要定义者?
姚欣
我们可以做一个类比。每一代 OS,包括 Windows、Linux、iOS、安卓,都有一个有趣现象:一家商业机构主导的闭源 OS,比如 Windows、iOS;以及一个至少一开始是开源、最大化接纳社区的开源 OS,比如 Linux、安卓。
今天很有趣的是,OpenCloud 先诞生了,而且似乎在快速整合开源社区。它是 GitHub 上增长最快的系统级应用,也拥有大量生态。
很多互联网巨头以前看到豆包手机,第一反应是封杀;但今天看到 OpenClaw,第一反应是接入和兼容。这就是开源和开源社区的魅力。
所以,开源 OS 大概率会以 OpenClaw 为底座发展。但 OpenClaw 是不是最好的商业系统?对于非核心、非敏感的民用系统,也许可以运行;但大家也知道,开源系统的安全问题至关重要。
包括我们国家现在很多政府部门、重要部门都明令禁止使用 OpenClaw,美国也一样。所有商业机构、很多大公司的工业系统,都在提出安全挑战。
这里面一定会出现另一类系统:闭源版 Open Cloud。大概率可能由模型公司或巨头公司推动,Anthropic 就在做这样的事情。
Anthropic 的 Claude Cowork,最近几版发布几乎是在逐项整合模型能力,也把 OpenAI 的很多能力汇聚到自己的应用里。它可以访问你的桌面,但访问是受控的;它也可以调用很多任务,但经过审计、可以披露。
中国也有很多 Agent 公司在做类似的事情,包括 Genspark 刚刚推出 Genspark Cloud,Manus 也在推类似产品。他们都在争夺下一个闭源、但更适合企业、更安全的 Agent OS。
所以这又是一次历史重复:未来可能会出现两个 OS,一个闭源、一个开源;一个最大的社区拥抱,迭代最快,另一个则更适合企业侧,能够被审计、安全、可控,部署也更方便。
我认为这两个 OS 在未来两三年内都会持续进步。移动互联网时期,我们也观察了两三年,从 iOS、安卓 1.0、1.2,到 2.0、3.0,基本到 4.0 才逐渐稳定,格局开始确定。
这个过程中不只是 iOS、安卓。微软收购诺基亚,也想推出 Windows Phone OS;国内很多互联网巨头,包括百度,都想推出自己的 OS;硬件手机厂商也想再做一套,三星推出了 Tizen。
我觉得今天 AI 时代的 OS 之争刚刚打响。未来两三年,虽然我的终局判断是一开源、一闭源,但最终花落谁家,是不是 Open Cloud,是不是 Anthos,我现在还远远看不清楚。
很可能还有很多巨头会跳进来继续参与。中国市场也会如此,在中国特定的互联网市场、使用习惯和安全合规环境下,也会产生自己的开源和闭源 OS。这是未来两年非常重要的看点。
卫诗婕
你是什么时候到硅谷的?昨天,对吧?
姚欣
对,我周末飞过来,还在倒时差。接下来 4 天都会参加 GTC 会议。
卫诗婕
这两天接触下来,你感觉 Open Cloud 在硅谷掀起的反响大吗?和中国一样大吗?
姚欣
中国的反应确实很大,因为中国从政府到各方面都动起来了。
但这里要区分创业者市场。像 Y Combinator、YC 孵化项目以及早期投资人市场,我觉得热度一点不比中国差。
很多 VC 投资人告诉我,过去两年白投了,他们决定推倒重来。这种巨大的决定,发生在短短 1 个月内。
以前大家做的很多应用都是垂直整合:底层做自己的模型,上面做自己的服务,认为不是简单给模型包一层就行。但现在大家说,基于 Open Cloud 生态要重做。
这是我看到的非常大的决心和认知变迁。国内投资人也需要迅速跟上。
第二个感受是,小公司、小团队对 AI 的认知一直大于大厂和巨头。可能在谷歌等巨头层面,它们的反应还没有中国巨头快。
但初创公司和硅谷创业者已经玩出了新的花样。大家非常关注的一点是,能不能用大量 AI 能力和 AI Agent 替代人。
硅谷创业成本一直很高。同样情况下,一个硅谷 A 轮公司过去可能有十几个人,现在可能越来越少,只有几个人,但他们使用 AI 工具的能力非常强。
比如 YC 合伙人之一 Gary Tan,自己就在发布 skills。你想想,投资人都开始给自己写 skills 了,这种迭代速度非常可观。
我觉得 AI Native 组织正在出现两极分化,并不是所有人都达到同样程度。普通人使用 AI 工作流之后,可能一个人的产出变成 3 倍、5 倍;但有些超级个体,一个人的产出可能相当于 50 个人、100 个人。
他们使用 OpenClaw 的方式也和普通人不同。他不是把 OpenClaw 当作一个员工,而是用它搭建一整套系统,搭出一家公司。
整套多 Agent、多智能体之间的互动和协作,就是我看到的创业者、小公司和最前沿 AI Native 使用者正在推进的趋势。
卫诗婕
不过我觉得 Anthropic 的判断也很早。他们内部相信 AI 很快可以取代白领工作者,所以比更多人更早看到了这个趋势。
姚欣
我来的时候看到电视节目采访 Anthropic 的创始人。他们刚刚发布了一份报告,揭示 AI 最容易替代的行业。
前 20 名里,有两个我很熟悉的行业。排在第一的是程序员,前 6 名里还有财务、投资人员和分析师,都属于传统意义上的金领岗位。
卫诗婕
去年我记得也有过小范围共识:AI 居然先替代白领,而不是蓝领。
姚欣
现在我觉得它已经在替代金领了。
卫诗婕
但我好像也不是很焦虑,因为我觉得人还是有一些能做的部分。
姚欣
现在大家正在探讨的是,人能不能进化为超级个体。人在被替代,但也在不断进化和适应。
越来越重要的能力,是能不能指挥其他人,能不能调度一个 AI Agent 矩阵,或者调度一家由 AI Agent 构成的公司。
你有 5 个、10 个、100 个 AI 员工,可以去调度和管理,这就是你的能力。现在这件事反而越来越重要。
卫诗婕
去年我们聊过,训练市场上英伟达一骑绝尘。接下来在推理领域,特别是 Agent 到来之后,也提出了很多新的算力需求。
我记得你去年判断,推理市场的需求会非常多元和分散,形成一超多雄的格局。现在一超看起来好像还是英伟达,多雄是谁呢?和去年我们盘点的相比,有变化吗?看到哪些有潜力的公司?
姚欣
今天下午还会参加一家公司的会,叫 Cerebras。它也像 Groq 一样在做推理芯片,但它的特点是在一块超大的晶圆上把所有东西集成进去,这类公司也在发展。
虽然这是英伟达的大会,但我也看到 AMD 在大厂采纳量中不断增长。
博通的芯片、博通的定制芯片,以及谷歌的 TPU,去年下半年已经展现出威力。包括 OpenAI 在内,很多公司都开始拥抱谷歌,因为需要使用 TPU。
在同等情况下,TPU 的推理成本比 GPU 更便宜,也是大型模型厂商寻找算力时的重要补充。
LPU 则是更年轻一代的路线,更偏向 only for transformer and language 架构。TPU 的诞生时间更早,大概 10 年前就开始用于向量计算和 tensor 计算。
但经过近 10 年迭代,TPU 的成熟度一点不比 GPU 差。在谷歌,它已经覆盖训练、推理和模型优化,谷歌也在开放相关服务,向个别模型公司出售整套 TPU 解决方案。
这已经和英伟达产生直接竞争。所以说咱们去年三月份判断一超多雄,但我觉得去年下半年就开始在被验证。到今天,这种格局已经形成。
国内还要看到国产 GPU 的发展趋势。1 月国产 GPU 发布是热点,大家知道 3 月有 GTC,短期内可能还存在性能差距,所以很多公司抢在 GTC 之前发布。
一超多雄的格局已经形成,只是这个过程中,每家的特色和迭代,会不会让“一超多强”出现第二个“二超”,来挑战第一名,还要拭目以待。
看看今天 GTC,老黄在 Feynman 层面能建立多高的护城河,能不能维持未来 3 年、一直到 2028 年的持续领先。这是一超多雄格局是否能够保留的看点。
卫诗婕
你也提到今年另一个大看点是 Feynman 架构。我们该怎么理解它?
姚欣
我也得现场看看。去年线上披露的信息还很少,Rubin 架构已经看到落地,但 Feynman 的确让我好奇。
它还能优化多少?在技术提升空间没有想象中那么大的情况下,如何保持陡峭曲线?期待一会儿的 keynote。
卫诗婕
现在是北京时间凌晨 2 点左右。大概十几个小时之后,我还约了第二场采访,是华为天才少年、做芯片出身的季宇。他会和我一起聊看完 GTC 之后,尤其是芯片领域和架构层面的专业看法。
姚欣
还有 5 分钟就要开始了。
卫诗婕
欢迎季宇,跟大家打个招呼吧。
季宇
大家好,我是形云集成电路的季宇。
卫诗婕
你要不要简单介绍一下形云在做什么,以及和英伟达的关系?
季宇
简单来讲,形云也是一家 GPU 公司。我们和英伟达之间的关系,可以用一个简单类比来说明。
英伟达今天做的很多事情,包括这次要聊的 GTC 相关内容,它给大模型提供的完整解决方案,比较像上个世纪 80 年代的 IBM,给大家制造很多大型机。
我们也看到,真正把 IT 技术普及开来的,是英特尔。英特尔带来了个人电脑和互联网。
所以我们希望在大模型时代,做一些更加普惠的事情。
卫诗婕
专业同行看同行很有意思。这期节目由两部分组成:第一部分是和我们熟悉的嘉宾、PPIO 派欧云创始人姚欣一起,在 GTC 开始前押题;第二部分是季宇从专业视角校准这场 GTC 到底透露了哪些信号。
我先问一个简单的问题:用一个词形容看完本届 GTC 的感受,是什么?
季宇
最大的感受是琳琅满目的各种机柜。这代表什么呢?英伟达希望给大家打造最顶尖的 AI 工厂。
为了这个 AI 工厂,针对今天大模型各种各样的需求,它做了各种解决方案,从 CPU、GPU 到网络都有。所以它不再是单独的一块 GPU,而是一系列芯片的组合,并且每种芯片都被打造为高密度机柜的形态。
几年前,机柜可能主要还是 GPU 机柜。今天我们发现,每个东西都做成了机柜:CPU 做成机柜,GPU 做成机柜,CPU 和 GPU 的组合也做成机柜,甚至不同类型的 GPU 也有不同机柜,确实让人眼花缭乱。
卫诗婕
昨天我和 Bill 聊的时候,问他怎么理解“五层蛋糕”模型。他认为这个模型背后是英伟达的野望:它再也不是从前那个只卖芯片的“乖孩子”,而是在向产业下游延伸,至少要把五层蛋糕中的 3 层掌握在手里。
这意味着英伟达对整个生态的控制力和影响力都会比过去更大。这和你刚才说的是一致的吗?
季宇
是一致的。英伟达这几年始终要回答资本市场一个问题:它下一步的增长到底是什么?
如果一直只是 GPU,那么英伟达在今天整个 GPU 行业已经处于绝对垄断地位。为了讲更高的增长,它必须在 GPU 之外找到更多蛋糕。
五层蛋糕也是对整个 AI 行业的梳理。它希望告诉大家,不只是芯片,还有基础设施、系统,以及机房建设、能源相关的部分。
首先芯片这块它肯定都希望吃,不光是 GPU。今天它给我们的已经不止六件套了,基础设施也可能成为未来增长点。
卫诗婕
刚才问你最大的感受,是琳琅满目、非常丰富的机柜。除了野心之外,这背后还有没有其他衍生意义?
季宇
从我个人角度,当然只是我自己的判断:今天英伟达增长的需求,促使它必须在系统端找到更多增长点。
但这件事也会推动它打造越来越高端的系统,封闭程度和溢价都会越来越高。
为什么我说这是琳琅满目的一堆机柜?IBM 大型机就是这样的形态。我们觉得这件事不一定是最好的解决方案,因为 IBM 今天在计算机产业里的地位已经远远不如英特尔。
上个世纪 80 年代,IBM 做的机器也让人感觉琳琅满目:各种各样的机柜,可能有专门存储的机器,甚至打印机也是专门的大机器。所有东西都很高端,让人叹为观止。
IBM 也好,英伟达也好,本质上都是把计算机产业和计算性能推向极致。IBM 在上个世纪把操作系统、计算机以及集成电路的能力都推到了新高峰。
在 IBM 之前,计算机还是相当专用的设备。IBM 把软件和硬件分开,写一套操作系统就可以给不同类型的 IBM 设备使用,也给计算机行业奠定了很好的基础。
今天毫无疑问,AI 行业的发展都受益于英伟达这套体系,以及它过去多年在 GPU 和加速计算上的持续提升。
客观地说,AI 产业已经发展到和所有人息息相关的阶段。它不再只是科研上堆一个 AGI,而是已经深刻影响我们的生活。
基础设施到底应该变成什么样?我觉得 IBM 和英特尔之间的关系,是我们切入这个问题的一个很好视角。
卫诗婕
如果让你给昨天老黄在 GTC 上的演讲打分,你打多少分?
季宇
每一次 GTC 演讲都会给我们一些新的内容,但背后呈现的主题始终越来越清晰:AI 工厂。
它希望打造一个非常庞大的基础设施,这也是五层蛋糕中非常重要的一环,然后提供海量 token,服务下游大量 AI 应用。
卫诗婕
在 GTC 开始之前,你重点关注哪些方面?
季宇
整个 AI 行业过去的发展,我们一直密切关注。像我们这样做 GPU 的公司,最关心的肯定是英伟达接下来会做什么芯片、推出什么产品。
第一个最大的关注点,是新增了 LPU,也就是去年英伟达花 200 亿美元收购的 Groq。
其次,英伟达上一次发布的 CPX 这次好像消失了,包括很多产品形态也做了调整。这些变化都很有意思。
卫诗婕
那我们先从 LPU 聊起。你怎么看这笔收购?我之前判断,这是一笔技术招安费。
英伟达的芯片以训练见长,但市场对于它是否能够做好推理有很大质疑。它收购 Groq 做 LPU,是在补足推理这一块吗?
季宇
我的想法和你比较类似。LPU 到底能解决什么问题,大家始终有很多疑问。
因为 LPU 本质上是一条非常激进的路线。整个 GPU 这么多年基本都靠常规 DRAM 做显存,显存决定了这颗芯片能放多大规模的模型,以及模型如何运行。
LPU 直接把大家最习以为常的内存、显存全部抛弃,改成在芯片上使用带宽非常高的 SRAM 来存放数据。
这条路线最大的争议是,今天的模型都叫大模型。大模型最大的特征就是巨大无比,而这么大的模型和单颗芯片能够提供的 SRAM 容量相比,差距非常大。
卫诗婕
能不能给大家解释一下 SRAM?
季宇
SRAM 可以简单理解为:不管是 GPU 还是 CPU,因为它们都是逻辑电路,在做逻辑处理时总需要一些存储。
所以芯片上会有一些存放临时数据的存储单元,这也是半导体工艺提供的。但因为它主要是为计算设计的工艺,所以无论做 CPU 还是 GPU,片上能放的存储空间都非常小,一般也就是几百 MB 的量级。
真正做计算时,不管 CPU 还是 GPU,都需要内存或显存,因为那是单独的芯片,挂在计算芯片外面,专门针对存储容量优化。
这就是 DRAM。SRAM 容量很小,但和 GPU 计算芯片融合在一起,位于同一颗芯片上。DRAM 则挂在外面。
挂在外面自然有一个问题:它和 GPU、计算芯片之间的数据通路带宽有限,因为毕竟是两颗芯片。
LPU 做了一个非常激进的取舍:为了获得存储和计算融合在一颗芯片里的高带宽,它接受了单颗芯片容量非常小的缺点。
它解决问题的方式,是用几百个 LPU 组成一个定制化系统,把今天这么大的模型放进去。
这样做的好处是,计算和存储融合在一起,整个推理速度可以非常高效。这就是 LPU 选择的激进路线。
卫诗婕
为什么说它激进?
季宇
今天大模型不只是有权重,有千亿、万亿参数的权重需要放进去。模型在和人交互的过程中还有上下文,这些上下文也会产生额外存储。
如果芯片本来存储就很少,扩充就会变得困难。容量本身有限,用户多了,交互过程中产生的上下文存储需求也会非常多,系统就会变得很局促。
如果服务的人比较少,那几百个芯片组成的系统只服务少量用户,从经济账上又不合理。
所以这件事说实话还是充满矛盾。今天看 GTC 之前,我也很想知道老黄到底怎么看这个问题。
英伟达收购 Groq 之后,究竟想怎么使用 LPU?英伟达每次 GTC 都会讲,复杂模型如何通过芯片组合来进行推理。LPU 作为一个新选项加入进来之后,我很关心它到底如何讲好这个故事,因为行业针对这条路线一直有很大争议。
卫诗婕
以前都是外界推测,没有英伟达官方态度。那昨天的演讲透露了什么?
季宇
它现在的方案,简单理解,就是希望把 LPU 整合进整个超节点机柜。
不只是 LPU,其他 CPU 以及英伟达自己做的各种芯片,也基本都做成标准机柜。我觉得它希望在产品形态上保持一致,最后大家可能就是买一堆机柜,然后排列组合。
每个机柜在整个推理过程中承担不同角色,因为今天大模型推理仍然比较复杂。
大家可能听说过 Transformer,这是这一轮 AI 的核心,也可能听说过 MoE,也就是稀疏专家模型,这个概念是被 DeepSeek 推广起来的。
这两个部分恰恰是今天大模型最核心的部分。你可以认为,不管哪家的模型,基本都是这两类东西组合在一起。Transformer 里面其实包含 Attention 和 MoE 这两部分。
Transformer 的核心是注意力。比如你和 AI 聊了上万字,这些字之间的关系要在注意力层计算,所以会产生一个巨大的 KV Cache,也就是我们刚才讲的,除了权重之外非常重要的一部分——上下文。
抛开技术细节,回到芯片需求上,KV Cache 对应上下文,基本是一个纯内存型的计算特征。
一颗芯片不管算力多高,如果数据没有及时加载,算力就会闲置。像工厂流水线一样,原材料进来的速度很慢,后面即使有几百个工人一起干活,也没法提高效率。可能进来一个,大家一瞬间做完,然后坐下来等下一个。
所以即使芯片算力很高,也不一定能把性能发挥出来。
另外是 MoE 这一层,有几百 GB 参数。参数量太大,显然放不进一颗芯片。英伟达现在通过机柜来分散这些参数。
分散之后,它的计算特征又是稀疏的。如果给这样一个计算系统提问,系统不会把 600 多 GB 参数全部调出来服务,因为成本太高。
这 600 多 GB 实际上是一堆专家。每次问题可能和编程相关,就只激活编程相关的专家。虽然参数很多,但真正读取的并没有那么多。
如果并发度起来,情况又不一样。一个机柜不可能只服务一个人,可能同时服务几百、几千,甚至上万用户。每个人的问题各不相同,虽然每次只激活一部分专家,但所有用户加起来,可能每个专家都很忙。
结果就是,它对算力的要求会被拉起来。每个专家后面可能都排着一堆人,所以它反而是一个算力比较密集的场景。
整体来讲,大模型推理的复杂性比较高。英伟达 GTC 有一张图,左边放一个机柜,写的是 decode attention;右边是 LPU,写的是 decode FFN。
FFN 是 feed-forward network,也就是前馈神经网络。在标准 Transformer 里,是 Attention 加 FFN。因为 FFN 这一层太大,所以才采用稀疏结构,变成混合专家,也就是 MoE。
回到这张图,它讲的是把一堆专家放在 LPU 上,而访存密集型的注意力计算放在原来的 GPU 上。
当然图上还有一块叫 prefill。我们和大模型交互时,会给大模型输入,大模型也会给我们输出,这些都是 token。输入 token 和输出 token 不一样。
现在模型 API 通常输入 token 更便宜,输出 token 更贵。主要原因是,输入 token 相当于一次性给模型 1 万个 token,比如讲一个故事或让它读一本书。这 1 万个 token 是一口气接收的,可以并行处理,权重可能只加载一次,就把这 1 万个 token 处理完。
输出 token 则更复杂。注意力计算可能是访存密集的,混合专家又需要大量请求排队,才能让每个专家忙起来,让算力得到高效利用。
所以大模型推理中,prefill 负责处理输入,是算力密集型,对算力要求高。decode 则处理输出,过程更复杂,因此需要拆分。
我个人认为,这样的拆分不是特别合理。
卫诗婕
为什么?
季宇
因为刚才讲过,专家部分可以忙碌起来,算力利用率很高;但注意力部分很容易出现带宽不足。
一堆人围着,但可能一个人做一下就要等下一个数据进来。
卫诗婕
再解释一下“一堆人围着”是什么意思?
季宇
计算简单来讲分两种:算力密集和访存密集。
算力密集是一个原材料进来之后要经过很多工序,所以一堆人围上去都忙得不可开交。这时如果工厂处理能力很强、算力很高,性能就会很好。
另一类任务,可能原材料进来只做一个简单加工就出去了,所以原材料进来的速度决定整体性能。
我们刚才讲的 MoE,也就是专家模型,可以通过海量用户并发,让每个专家都忙碌起来,变成算力密集型场景。
注意力这一层无论如何都是访存密集型。因为每生成一个 token,都需要把过去读过的 1 万个字在计算过程中产生的 KV Cache 读一遍。
简单来讲,LPU 主打的是高带宽。原材料就存在工厂里面,不需要从一个狭窄入口送进来,所有东西都混在一起,所以带宽很高。
但它却用来处理 MoE。MoE 是工序非常复杂的场景,每个专家都要处理很多请求,很容易忙起来,算力可以充分发挥,不需要那么高的带宽。
所以它用 LPU 处理 MoE,实际上是一个错配。
卫诗婕
我试着总结一下:你觉得用 LPU 处理 MoE,有一点浪费。
季宇
对,没有打中它的特点。LPU 最核心的优势是带宽高,适合特别吃带宽的应用,不适合吃算力的应用。
MoE 只要经过优化,其实是一个吃算力的应用场景。我们看到 LPU 做了大约 300P 的算力,但带宽是 40P。300 除以 40,大概不到 10,也就是说每个专家可能进来之后做 10 次计算,算力就用满了。
但算力密集型任务可能一个数据进来要做几百次计算,根本不需要那么高带宽就能把算力打满。
所以简单来讲,这是一个错配:它是算力密集型场景,却使用了以显存带宽著称的 LPU。
大模型里不是没有特别吃带宽的应用,Attention 就是。Attention 和聊天高度相关,因为它要处理输入的 10 万字,抓重点、找关联,所以要存上下文。上下文在显存上的体现,就是 KV Cache。
假设 1 万个用户传来 1 万字上下文,就要存下对应的 1 亿个 token 的 KV Cache。它对存储的需求是动态、弹性的,和请求数量、每个用户的上下文长度都强相关。
但这恰恰命中了 LPU 的巨大短板:显存太小,放不下。当用户多了、存储需求急剧膨胀时,可能都不是性能好不好的问题,而是根本适不适合、能不能做的问题。
我理解,英伟达之所以这么选择,也是因为 LPU 的存储是确定的,只有这么多。如果一个模型的权重刚好能塞进 LPU 机柜,那用它计算当然可以,不会运行到一半突然显存不够。
但 Attention 会出现这个问题。所以我觉得,这有点像为了把 LPU 用起来,强行做了一个看起来不太合理、但可能勉强能 work 的方案。
卫诗婕
你的意思是,用 LPU 处理 Attention 时可能会出问题?
季宇
对。
卫诗婕
市场上有没有其他人关注到这个洞察?
季宇
大家观察到了很多问题。不光是我说的这个点,这个点已经算比较大的一个了。
还包括机柜之间的互联。英伟达做超级大机柜,本质上经常强调内部互联,NVLink 很强,把很多卡连在一起。
但两个机柜之间到底是什么互联?两个机柜之间其实没有很强的互联。每个机柜对外提供的互联比较少。
如果把一个很大的模型拆到两台机柜之间,计算过程中产生的流量也非常大。机柜内部有强互联,但机柜之间相对较弱。
这种情况下,一个模型推理时可能要在两个机柜之间来回跑几十遍,中间的带宽也会成为问题。
卫诗婕
所以你觉得 LPU 方案是有问题的?
季宇
至少今天没有讲清楚。通过这样一张图,我觉得还不能说明它已经解决了问题。
卫诗婕
我看到市场上有讨论,说在推理层面 TPU 也做得很好,谷歌的 Gemini 就是用 TPU 做的。TPU 会成为 LPU 的竞争者吗?想请你介绍一下 TPU 和 LPU 的关系。
季宇
TPU 是一条相对没有那么激进的路线。它和英伟达一样,使用标准 HBM,也做一颗算力芯片。
从大逻辑上看,TPU 和 GPU 的关系,肯定没有 LPU 和 GPU 的差异那么大。
TPU 更强调:不需要做像 GPU 那么通用的设备,所以在芯片中针对 AI 计算做了很多定制化电路。它的编程方式和适用范围相对受限,是一颗更专用的芯片。
仅此而已。它在内存等其他方面,差异没有那么大。
当然,TPU 后续发展过程中也开始组建大规模网络,在这件事上走出了一些不同路线。但整体来看,它没有 LPU 那么激进,还是在中规中矩的打法上做差异化选择。
卫诗婕
那现在推理层面最好用的芯片,到底是哪种路线?
季宇
“好用”是比较主观的。
英伟达 GPU 拥有广阔生态,好用本身就是一个加分项,也是这么多人使用英伟达方案的原因。
第二,在一些极端半导体方案上,容易出现什么问题?今天大模型业务是多样的。
举个例子,大模型刚出现两三年前,还不是我们刚才讲的多专家 MoE 结构,而是稠密结构。
稠密结构的特征和需求,和今天的稀疏结构完全不同。稠密结构中,每生成一个 token,就要唤醒所有参数,对带宽要求非常高。
如果当时专门做一颗针对 dense 的芯片,等 MoE 出现后,可能就发现这颗芯片不再合适。
应用层也是这样。前几年大家讲 Chatbot,今年讲得最多的是 Agent,包括 OpenClaw。
Agent 兴起后,我们明显发现 token 调用量会变得巨大,输入 token 的调用量远远超过输出 token。
最开始的 Chatbot 是我问一个问题,它给我一个回答,输入和输出字数比较接近,是一个相对平衡的状态。
后来 OpenAI o1 走了思考路线,我问它一个问题,它要思考很多。这个思考过程也是输出 token,所以输出 token 一下子变多。
但到 Agent 时代,Agent 需要到处看上下文。比如我问它一个问题,它可能去检索文档、看网页,所有这些读取都是输入 token。
它的输出变成了工具调用,可能只有几个字;工具调用完成后,又返回大量结果。这些结果它还要再读一遍。
我自己统计过,使用 Claude Code 时,输入 token 大约是输出 token 的 150 倍到 200 倍。
所以今天的推理系统,肯定还要相对四平八稳,否则很难适应这种剧烈变化的应用需求。
卫诗婕
我说一下我的理解。推理层面 GPU 肯定能做,英伟达高端芯片也肯定做得很好,但问题是账算不过来。
用英伟达训练芯片做推理,实在太烧钱,所以大家希望有一颗做推理、更经济好用的芯片。
TPU 是谷歌实践的例子,LPU 是一条比较接近的路线。我的理解有错吗?
季宇
GPU、TPU 肯定都能做。Groq 被收购之前,也搭建了自己的云服务,主打推理速度非常快,能给出每秒生成多少 token 的震撼结果。
但它到底能不能大规模上量,肯定要打一个问号。
从今天英伟达给大家呈现的系统里暴露出的这些问题来看,可以看到其中确实有一些问题比较难解决。
卫诗婕
所以你觉得,LPU 做推理,在大量用户、海量并发时可能存在硬伤?
季宇
对。
卫诗婕
如果现在大家都在“养龙虾”,我把它部署在本地,自己是唯一用户,这样会不会很合适?
季宇
本地如果只有一个人使用,首先不可能为你一个人建设上百万、上千万规模的超算来服务。
LPU 不可能靠一颗芯片独立工作,一定要几百颗芯片,才能哪怕服务一个人。
卫诗婕
如果用几个词概括 Agent 时代算力的需求,会是什么?
季宇
抛开 GTC 主题,从大逻辑看,算力需求肯定是指数级增长的。今天的量,放到明天可能都只是一个很小的数字。
但这种指数级增长的需求,算力行业到底怎么满足,我和老黄可能有一些不同想法。
老黄希望大家到处建设 AI 工厂。这是近几年 GTC 里大家听到最多、反复被强化的词:人人都建设大型机器。
他希望到处建设大型 AI 工厂,为全世界所有 AI 需求提供 token,不管是手机、手表、耳机、汽车还是机器人,所有设备都能获得源源不断的 token。
这是他的逻辑。所以英伟达也希望为 AI 工厂提供全套基础设施,把 AI 五层蛋糕中的几层全部吃掉。
但我的想法是回到最开始讲的 IBM 和英特尔之间的关系。真正让计算机技术大规模普及的,一定是英特尔。
在英特尔推动个人电脑革命之前,计算机是高度专用的设备,和普通人没有关系,大部分人也不会接触。
但今天我们的日常生活已经和计算机息息相关,计算机深刻影响了人类社会的所有行业。
所以真正的普惠,不可能通过到处建设大型超算实现,至少这种方式在经济上很难算过账。
相反,真正的 AI 普惠,应该像英特尔那样:能不能把今天这么强大的模型,变成硬件成本更低、门槛更低的产品?
这不只是成本问题,也是门槛问题。能不能让更多人买得起可以运行大模型的硬件,我觉得这才有想象力。
英特尔让个人消费者能够以买得起的价格使用个人电脑,同时使用体验和能力也达到了当时计算机发展的较高水平。
简单理解,英特尔把 IBM 在六七十年代发展出的 IT 技术成果带给了普通人。这是很有启发的做法。
同时,它也把便宜的服务器带给了 Google 以及国内大厂。早期创业时,这些公司可以用便宜服务器组建数据中心、构建服务,再服务几十亿用户。
这些事情才能帮助 AI 改造全行业,渗透到人们生活的方方面面。
而大型机这个故事,大家也知道,IBM 的大型机后来并没有真正普及。当时可能有人觉得全世界只需要 5 台计算机。
今天如果认为全世界只需要几座 AI 工厂来生产海量 token,我也有同样的感受。
OpenClaw 给了我们一个更具象的例子。前几年 AI 基本都存在云端:给你一个网站、邀请码,你去体验;感觉不错,就订阅,每个月付费,日常使用。
但我觉得 Open Cloud 其实也真的第一次给了一个消费级硬件的一个体感。虽然它现在的 token 仍然依赖云端,但它给了一个很好的全景图。
移动互联网时代,手机是消费电子核心,周围还有耳机、平板电脑等,构成整个消费电子生态。
Open Cloud 其实它不是一个对今天 NV 的这种大型机的一个补充,恰恰相反,它证明大家希望像个人电脑时代一样拥有自己的 AI,并拥有消费电子生态的全景图。
今天 Mac mini 可能仍然依赖云端 token,但如果云端 token 或高质量模型能直接装进 Mac mini 这样的本地设备,对整个 AI 产业会变得更加具象化。
卫诗婕
所以 Agent 至少有一个趋势,一定会本地化、个人化、私有化、个性化。这些特征会推动算力普惠化,因为只有普惠化,大家才有可能自己构建一切。
季宇
我觉得降低门槛,是让一件事普惠最重要的推动因素。
但英伟达造的这些机器给我的感觉是,10 年前我也是英伟达用户和开发者。我可以买消费级显卡,在上面训练自己的模型,跟随深度学习发展。
更早在学校读 PhD 时,我也能接触很多这样的设备,实验室可以买相对高端的计算卡,运行更大规模的实验。
但我觉得今天 GTC 上展示的所有东西,已经和我没有任何关系了。无论个人、高校还是普通公司,都很少有能力或机会购买这么大、这么贵的设备。
简单来说,今天英伟达瞄准的客户,应该是超级大客户,产品也是超级大产品。它的核心客户已经变成了 Hyperscaler。
卫诗婕
我一直有一个疑问。看过老黄过去的故事,会觉得他非常聪明、有远见。
有没有一种可能,现在是大模型激烈竞争的时代,大家也愿意花钱,所以他趁这个窗口期大力推动超级大产品。但他可能在默默部署一些普惠化产品,等窗口期结束之后,再拿出普惠化路线?
现在肯定不会卖,因为卖了就会影响高利润大型产品的销路。
季宇
我这几年一直看 GTC,是因为我认为黄仁勋肯定是一个有魄力进行转型的人。
不光今年,其实每年我都会看 GTC,也会关注英伟达每一次展示未来想法和产品路线。我想不断确认一件事:它是不是完全押注 AI 工厂,是否真的要让门槛越来越高。
每年追下来,我很早就感受到大型机和普惠之间存在巨大鸿沟。这个趋势不但没有改变,反而在不断加强。
相反,我没有看到老黄在这么长时间里流露出要做普惠产品的迹象。
卫诗婕
大型机和普惠机之间的鸿沟是什么?今天强大如英伟达,也不可能两边都做吗?
季宇
这两者本身就是互斥的。
如果大家开始使用英特尔的 x86 CPU,或者 Google 开始用消费级 x86 CPU 搭建搜索引擎,就不会有人再为大型机、小型机买单。两者实际上是互斥的,所以它没办法革自己的命。
英伟达今天做 AI 工厂,不只是为了守住现有利润,也是为了创造更多利润,从 GPU 蛋糕扩展到五层蛋糕中更丰富的部分,以支撑营收进一步增长。
就像它今天已经用 T 这个单位来描述营收一样。
卫诗婕
市场上从来没有消失过做空英伟达的机构。
季宇
我觉得本质上,这套故事始终没有讲清楚的一点,是 ROI 的问题。
我们可以看到,为什么过去 3 年,甚至 Open Cloud 出来了之后,消费级市场都没有普惠算力?消费级市场之前也尝试过 AI PC、AI 手机,但并没有特别成功。
我觉得是因为 AI 基础设施门槛实在太高,导致消费级终端没有机会真正渗透 AI 的核心价值。
云端则不同。因为这是一个巨大的历史性机会,无数巨头愿意砸钱、亏钱去抢入口。相当于有人在负重前行,所以成本和 ROI 结构的问题不会在云端立刻暴露。
但消费端不可能亏钱来支撑 AI。消费者一定会寻找平衡点。
所以今天如果英伟达想吃掉更多蛋糕,基础设施成本这么高,未来到底怎么持续?
英伟达的逻辑是,用今天最好的技术、不计成本地搭建一个比上一代强很多的产品。它的性价比提升来自价格可能上涨,但性能增长更多。
从性价比角度,它确实在进步。但门槛也实实在在一代一代提高,而且越来越高。
卫诗婕
你似乎还没有回答我最开始的问题:怎么看英伟达收购 Groq?
季宇
单纯从技术角度,肯定存在一些问题。但站在英伟达今天拥有大量现金流的角度,花一笔钱消除潜在竞争威胁,也是一种方式。
甚至可以说,现在有无数做空英伟达的声音,但大家讲不好做空英伟达的故事,于是会讲很多故事,LPU 就是其中之一。
LPU 是攻击英伟达的工具,对做空机构来说,它可以作为一种工具。既然英伟达账上有很多钱,那它完全可以说:你说 LPU 能挑战我?我也有 LPU。
至于用户用不用,反正我有。这也可以打击很多做空英伟达的理由。
今年元旦,我写了一篇 2025 年度 AI 复盘报告。我的一个观察是,在长期激烈竞争的 AI 趋势下,有实力的巨头都很愿意用现金消化技术代差,这可能就是当下最优选择。
但这件事不能单纯从技术维度看。英伟达最大的做空点,还是它和 IBM 的思路太像。
我们知道 IBM 的结局是什么。但相反,我不认为英伟达今天在超算上追求最好的技术没有做得更好。所有想在这方面挑战它的公司,我觉得都很困难。
卫诗婕
LPU 已经聊得很充分了。你刚才还提到一个有意思的点:CPX 消失了。什么是 CPX?
季宇
CPX 在今年 1 月 CES 时,以及更早的时候就发布过。我们刚才讲过,现在模型会变得非常复杂,既有 prefill,也有 decode,有的吃计算,有的吃带宽,很难通过一颗芯片实现最优性价比。
当时英伟达除了自己的主干 GPU,还做了一个不使用最先进 HBM 显存的方案,把算力做得更高,同时使用相对便宜的显存,因为它不再追求显存带宽。
它希望通过 CPX 单元,换用更便宜的显存,提高性价比。
但这次 CPX 消失了,也比较有意思。熟悉存储行业的人知道,去年 9 月以来整个存储行业出现了一波暴涨,内存价格暴涨。
CPX 当时的逻辑,是用 GDDR 取代 HBM,换取更高性价比,使用成本更低的介质。
但现在整个内存都缺货,包括 GDDR 也在涨价,所以我猜测,可能是价格差已经没有原来那么明显了。
它想做异构,是因为两颗芯片分工能带来巨大性价比优势。但存储涨价之后,很多优势被抹平了,所以它就放弃了。
这也暴露出一个点:英伟达每次在 GTC 讲的东西,都会不断调整,并不是一开始就 finalize,也不是已经大规模生产、准备好推向市场。
它通过一次次发布观察反馈,结合市场动向,始终想告诉市场“我有竞争力的方案,我有准备”。
所以你会看到,它发布的期货产品越来越多。LPU 也不一定是英伟达抛出的方案就一定合理,英伟达可能还没有把这件事讲清楚。
下一次亮相时,LPU 可能又会讲出一个不同的故事,也许更合理;如果实在讲不合理,也可能消失,这些都有可能。
卫诗婕
今天看完 GTC,还有什么你标出来的亮点吗?英伟达这么多芯片组合,到底想干什么?
季宇
除了 LPU,我们刚才还聊到 CPU。以前是 Grace,现在变成了 Vera。
它的 CPU 也变得更具象。这些东西都是结合刚才讲的复杂系统,尽可能从行业中再挖掘更多利润。
除了 GPU,英伟达如果要这么激进地打造定制化产品,CPU、网卡等行业其实已经沿着标准化路径发展很久了。
所以英伟达如果想吃这部分利润,首先要做的就是比标准化产品更好,但同时也是非标产品,这样才能吸引大家使用。因为如果是标准化产品,利润不会经过英伟达。
现在英伟达推动的机柜,本质上包括 CPU,然后把一堆 GPU 连接起来。它重点押注两件事:
第一是互联。除了 GPU 算力利润,它还想吃互联利润。第二是存储利润。
CPU 本身不是重点,但 CPU 是存储的核心。英伟达这几年也一直希望把 CPU 和 GPU 绑定,让 Vera CPU 搭配 Rubin GPU,构成 AI 超算节点。
我觉得 CPU 在 AI 时代有一定价值,但是否一定要使用非标 CPU,这是一个巨大问号。
另外,从技术角度看,Vera CPU 和 Grace CPU 使用的内存条也不是标准内存条。
比如我们今天买一台 x86 服务器,要买大量内存条。去年内存价格涨疯了,但它是标准化产品,是硬通货。
这次 GTC 大会上展示了纯 Vera CPU 服务器。你能看到几颗芯片,上下平铺着大量黑色内存颗粒。它不再使用竖着插入的内存条,而是选择了非标内存。
本质上,它希望通过 CPU 进行绑定:用了它的 CPU,就要用它的非标内存。
CPU 其实不是核心,非标内存的价值才是真正的大头。一台服务器里 CPU 没多少钱,但大量内存加起来价值非常高。
我的意思是,从技术角度看,非标内存到底能为用户带来什么价值?其实没有太大价值。
卫诗婕
你觉得这一整套产品和售卖方案,实际上是“司马昭之心”?它并不是所有东西都围绕最本质的问题和解决方案,而是有带货性质?
季宇
从商业公司的核心利益角度,英伟达的核心目的肯定是像我们最开始讲的,吃更多蛋糕。
但怎么吃?简单一点说,就是胡萝卜加大棒。
胡萝卜是,我给你做非标产品,也给你增加一些标准产品带不来的特性。这个特性对今天的 AI 应用到底有没有价值?你会发现,英伟达可能翻来覆去做的,都是它想推的那些特性。
前几年它推 GB200 机柜,讲的是 scaling law 需要更好的模型训练。DeepSeek 出来后,大家发现训练模型并不需要那么多钱。
于是每次 GTC,它都会结合热点和大家关心的事情讲不同故事。但它想推的东西,始终还是同一套。
它希望做到技术上的名正言顺:我想推一个非标产品,但也能带来增量价值。故事讲好了,用户才会接受这样的产品形态。
大棒就是捆绑。你想买我的 GPU,GPU 就和 CPU 一起卖。
但用户不一定买单。去年 GB200 推出之后,市场反馈可能不够好,也倒逼英伟达推出 B200、B300,放弃 Grace CPU 绑定的服务器。
卫诗婕
我之前和 Bill 聊过,从 B 系列到 Rubin 系列,它越来越往大堆叠方向走。你也这么认为吗?
季宇
是的。你会发现每一代产品都越来越夸张,把很多东西全部塞在一起,让人感觉这台机器无与伦比。
卫诗婕
“无与伦比”到底是好词还是坏词?
季宇
它肯定希望呈现的是世界上最高端的产品,因为这就是超算的逻辑:用最先进的东西,做一个所有指标都最好的产品。唯一的问题就是贵。
卫诗婕
所以近 3 年的 GTC,如果画一条路线图,其实就是朝着大而全、超算和高端化一路狂奔,对吗?
季宇
还有另外一个点,是异构化。
如果一个系统只需要 GPU 就能解决,对用户来说其实很舒服。只要买足够多的 GPU,今天 AI 发展的需求可能都能解决。
但 GPU 也确实需要其他东西辅助。只不过其他辅助部件如果不贵,就不值得单独拿出来讲。
因为英伟达希望在 GPU 之外获得更多利润,所以它会主动让系统变得更加异构,主动推动不同硬件。
异构本身有技术合理性,但英伟达也在不断强化这个特点。
卫诗婕
所以整个全景图变得越来越复杂了。
这次 GTC 之前大家还关注 Feynman 架构,但好像没有特别多信息披露,是这样吗?
季宇
英伟达每次都会推出一代自己的 GPU 架构。
像 A100、H100,包括 H20、H800 这些阉割卡,以及后面的 B200、B300,字母都代表英伟达每一代 GPU 架构。
大家比较熟悉的 H100、H200,属于 Hopper 架构。Hopper 下一代是 Blackwell,所以 GB200 里的 G,代表 Grace CPU;B 代表 Blackwell GPU。
再下一代是 Rubin,Rubin 的下一代才是 Feynman。
其实我们现在连 Rubin 的产品都还没有完全看到,今天可能只是展示了 Rubin 的全景图。Feynman 属于更下一代产品,所以信息披露肯定更少。
但老黄可能也希望抛出一些信息,看看市场反应。
卫诗婕
我查过公开信息,Feynman 被解释为一代为 Agent 时代而生的架构,是这样吗?
季宇
我觉得可以这样理解:英伟达的产品永远为当前最热门的东西准备。
GB200 在大家预训练大模型时,老黄说它是为训练更大模型、为 scaling law 而生。DeepSeek 打穿训练逻辑后,GB200 又变成了为推理而生的架构。
所以,Feynman 是不是要解决 Agent 问题?一定是的。等它真正面向市场时,Agent 肯定已经爆发。
但 Agent 爆发之后会不会出现更新、更重要的需求?到时候 Feynman 也一定要适配。
老黄的产品最大的特点,就是确实不计成本,但也确实面面俱到,没有明显短板。需要算力,我的算力最高;需要带宽,我的带宽最高;需要互联,我的互联最高。
它像一个六边形战士。无论需求是什么,如果六边形战士都满足不了,大概就不存在能够满足的产品了。
卫诗婕
如果从感性层面说,你觉得今年 GTC 最大的亮点是什么?
季宇
还是 LPU。
英伟达之前做的所有东西,我基本都能理解。LPU 是最让我不理解的一件事。
无论是黄仁勋收购 Groq,决定把 LPU 放进产品线,还是之前大家传言 Feynman 会把 GPU 和 LPU 融合,我都觉得这些超出预期,因为我看不到它的合理性。
但老黄确实选择了这条路线,对我来说肯定是很不一样的事情。
Feynman 本身很自然。英伟达有 Blackwell、Rubin,下一代升级自然要推出下一代 GPU。下一代 GPU 无非是把算力、带宽做得更高,再增加一些特性,让今天的大模型运行得更好。
这些都可预期。LPU 确实是一个巨大转变。
卫诗婕
那昨天老黄的状态,你是怎么看的?
现在 AI,尤其是 OpenClaw,带来了巨大爆发。这是我们去年经历的非常 amazing 的一年。
季宇
我明显感觉他更高亢了。
去年所有的发展都超出大家预期。开年的第一件事是 DeepSeek,之后 coding AI 真正变得好用;再往下是开源模型,尤其去年七八月份,国内大量模型开源,这也是一个巨大、意想不到的变化。
然后是 Gemini,再加上 skills 和 OpenClaw。
卫诗婕
你把我年初那份年度报告的大纲都说了一遍。
季宇
对,是 amazing 的一年。今年能看到这么多进展,还是非常令人兴奋的。
作为站在风口浪尖上的公司,所有需求都会折射成英伟达对未来市场的预期。老黄整体状态肯定说明,他对整个 AI 行业的发展充满信心。
卫诗婕
去年挺戏剧性的。去年 GTC 之前,市场上也有一些压力声音。我不知道是不是先入为主,去年反而觉得老黄挺紧张,很多地方有些卡顿。
你觉得他今年更高亢了吗?
季宇
明显高亢多了。他不是还摆了一个那个 token king 嘛,对吧?
今天早上看到这个之后,我转发了自己 1 年多以前写的一篇文章,叫《困在大型机里的 AI 产业》。
1 年多前写这篇文章时,很多人还没有切身感受。但今天看过这么多琳琅满目的大型机,看到这些大屏机到底长什么样之后,大家对这篇文章的感触,比去年更深了,所以有很多人来和我交流这件事。
卫诗婕
好的,我回头把这篇文章贴在我们这一期的生 notes 里面。好啦,这期节目就是这样。相信大家能听出两位嘉宾在一些行业趋势的判断上呈现出高度的共识,但也因彼此的专业和生态位不同,而对英伟达的战略有着不同解读。漫谈希望找寻更多有公信力的、多元的行业声音呈现给大家。也欢迎专业人士在评论区分享你对行业的观察和见解,亦或是本集的听后感。我们下期再见。