[BidClub_]
硅谷坐标 Silicon Valley Vector · · 28 min

硅谷坐标 x CASPA副会长Jimmy Cheng:GTC回顾-AI时代英伟达的护城河

曹卿云 Qingyun Cao程暨杨(Jimmy Cheng)

YouTube
TL;DR
  • Jimmy Cheng 的 GTC 核心观感:OpenClaw 被定位为 agentic AI 的操作系统。 开场发言称其为“有史以来最受欢迎的开源项目”,并说“It exceeded what Linux did in 30 years”;Jimmy 转述黄仁勋称其为有史以来最伟大的软件之一,增长率超过 Linux 与 Kubernetes。黄仁勋还判断“以后的每个 CEO 都会有一个 OpenClaw 策略,就像以前每个 CEO 都有 Linux 策略一样”;针对安全与隐私问题,英伟达发布了内建企业安全的 NemoClaw。
  • 英伟达的护城河因系统化而加厚:竞争门槛已从“芯片快十倍”变成 TCO+软件兼容双重考验。 Jimmy 拆解的 AI factory 包含 energy、infrastructure、chip、model、application 五层;OEM 必须遵循 DGX blueprint,供应商还面临 double sourcing 风险,英伟达因此占据产业链绝大部分利润。
  • 英伟达力推开源模型有三重考量,同时会推动定制芯片发展。 其一是在云公司、Anthropic 和 OpenAI 之间增加 competitive pressure;其二让 Salesforce、ServiceNow 等公司只采购 server 而不是 token;其三强化 CUDA 七百万开发者的飞轮。Jimmy 判断,权重可见降低了 accelerator 门槛,CapEx 压力会推动大厂自研,市场扩大也会吸引更多 startup 做 custom chip。
  • 推理时代的硬件语法是 SRAM-centric 与 3D IC。 LPU 像出租车,“很快但载人少”;GPU 像大巴,“坐一百人但开得慢”。曹卿云提到,英伟达在 2025 年 12 月以 200 亿美元收购 Groq,并于今年 3 月将其整合进系统、发布 LPU;LPX 是整个系统,英伟达销售 192 颗 LPU、每颗配有 500MB SRAM。Cerebras 获得了 OpenAI 100 亿美元订单;推理芯片今年以来前三个月获得 30 亿美元 VC 投资,达到去年全年 60 亿美元的一半。
  • Gemini 3.0 全部 inference 和 training 使用 TPU、完全没有使用 GPU,是给自研玩家的强信号:“英伟达的芯片也可以被战胜。” Amazon、AWS 2,000 亿美元、Google 1,850 亿美元、Meta 1,350 亿美元、Microsoft 1,000 亿美元的 CapEx 合计 6,500 亿美元,其中至少 50% 花在芯片上。Jimmy 认为自研芯片是降本的一条路径,软硬件 co-design 也会推动多元化格局;UALink 是对封闭 NVLink 的开放格式。
  • Synopsys 的护城河在 AI 时代变强:IP 的核心价值是 silicon proven。 好 IP 被流片三百次、五百次才算数,不是几行 RTL code,也不是 AI 一两天可以降低的门槛。Synopsys 发布了 L4 Agentic Engineer(仅次于 L5 full autonomous),用 AI 设计 AI;Jimmy 引述黄仁勋称未来会有大量 agent 工程师使用这些工具,工具将“爆发性增长”。
  • 硬件工程师短期内不会像软件工程师一样面临同等替代压力:zero tolerance 加人才荒。 芯片有 bug 就不 work,研发成本可能达到 1,000 万美元,人的经验仍不可替代;Hopper 到 Blackwell 是 2 年、Blackwell 到 Rubin 是 1 年,同样的人要做双倍的工作。Jimmy 认为最被忽视的是 physical AI 的 sim-to-real gap:real-time 物理引擎、确定性传感处理与数字孪生都很关键,“晚一秒,杯子已经掉到地上了”。
Digest · the substance, structured for research

1. GTC 主旋律:OpenClaw 是 agentic AI 的操作系统,token 是新货币

  • Jimmy 用“春晚”形容这届 GTC。黄仁勋两小时 keynote opening 后,Jimmy 的第一点是 OpenClaw:黄仁勋称其为有史以来最伟大的软件之一,增长率超过 Linux 和 Kubernetes,定位是 “operating system of agentic AI”。开场发言还称它是“有史以来最受欢迎的开源项目”,并说“It exceeded what Linux did in 30 years”。针对最大问题——安全与隐私——黄仁勋宣布了 NemoClaw,把 enterprise security、安全和隐私构建到 OpenClaw 中供企业使用。“以后的每个 CEO 都会有一个 OpenClaw 策略,就像以前每个 CEO 都有一个 Linux 策略。”
  • 第二点是 inference——Jimmy 说黄仁勋“提了不下三十六次”,并推出针对推理设计的 Vera Rubin;他还提到,来自“Crock Three”(按口播记录)的 LPU 可以和 Vera Rubin 一起使用。
  • 第三点是 tokenomics:token 是 “currency of agentic AI”。AI factory 要和 AI factory 竞争,竞争者不是单纯比 FLOPS、TOPS,而是比 token per watt。

2. 从卖芯片到 AI 工厂:系统化如何重铸护城河、重分利润

  • Jimmy 拆解 AI factory 五层:energy(power delivery、heat exchange、热管理)、infrastructure(InfiniBand)、chip(GPU/CPU/LPU)、model(Nemotron,以及 Anthropic、ChatGPT 等模型)、application(Omniverse)。每一层都有相应的产品或布局。
  • 他点出两个相向而行的趋势:系统公司做芯片(苹果早期 iPhone 芯片由三星研发、几代后才逐渐自研;特斯拉自动驾驶芯片从 Mobileye 到 NVIDIA,再到自研),而英伟达反其道从芯片走向系统——1999 年开发第一批 GeForce 显卡、2006 年推出 CUDA、2020 年收购 Mellanox、自研 Omniverse、2024 年推出大模型 Nemotron。
  • 护城河的量化表述值得保留:“以前你出一个速度快十倍的芯片就够了。今天你要和 NVIDIA 竞争……你必须比它的 TCO 还低,必须和它的软件兼容。”
  • 利润分配随之倾斜:英伟达现在有 7 个芯片,NVIDIA Switch 相当于 networking,进入了过去由 Cisco、HP、Dell 供应的部分领域;OEM 必须 follow DGX blueprint,以前可以自己画主板,现在已经没有这个主动权;供应商利润虽高,却悬着英伟达 double sourcing 的风险——英伟达在产业链里占据绝大部分利润。

3. 英伟达亲自下场开源模型的考量——以及它如何推动定制芯片

  • 曹卿云提到,黄仁勋把开源模型称为仅次于 OpenAI 的第二大生态玩家,亲自主持开源模型 panel;他还下场做 Nemotron,并在其上做了 OpenClaw。Jimmy 给出三条考量:一是在 cloud 公司、Anthropic 和 OpenAI 之间增加 competitive pressure——每个新 model 都会带动 hardware 更新,“他最不想看到的事情就是 model 公司不推出新的 model,或者放慢脚步”,因此要把 cycle 变得更短更快;二是让 generative AI 平民化——Salesforce、ServiceNow 使用 open model 后,主要需要采购的是 NVIDIA server,而不是 token;三是借开源模型强化 CUDA 七百万开发者的 developer flywheel。
  • 主持人曹卿云追问:开源模型的进步会让芯片更通用还是更定制?Jimmy 的答案是定制化。模型开源后 weights 可见,针对这些 weights 可以做不同的 accelerator,技术门槛因此降低;ServiceNow、Salesforce 等公司的使用量增加后,会在 CapEx 压力下自研芯片;开源还会推动 market,inference 市场越大,跳进来做 custom chip 的 startup 越多。

4. 推理时代的硬件语法:SRAM-centric、LPU 与 3D IC

  • Agent 是“推理时代的开始”,推动的是 SRAM-centric 的设计哲学。HBM 很火,生产 HBM 的公司供不应求;SRAM 特别快但容量较少,而 inference 不需要处理大量数据、需要非常快地处理数据,因此更适合 SRAM-centric computing。Cerebras 获得了 OpenAI 100 亿美元订单,其芯片有 iPad 那么大,上面有大量 SRAM。
  • Jimmy 的比喻是:“LPU 像一辆 taxi,出租车很快,但载的人很少;GPU 就像一辆大巴,上面要坐 100 个人,但是开得比较慢。”GPU 强于 throughput、弱于 latency,LPU 相反;两者不是互相取代,而是适用场景不同。曹卿云提到,英伟达在 2025 年 12 月以 200 亿美元收购 Groq,今年 3 月将 Groq 整合进系统并发布 LPU。LPX 是整个系统,英伟达销售 192 个 LPU,每个 chip 上挂有 500MB SRAM。
  • 底层趋势是 3D IC:Hopper 时代还是单芯片,Blackwell 已经大到拆成 2 个芯片,未来把 SRAM 叠加在 GPU 上也会是一个趋势。Feynman 计划于 2028 年推出,采用 TSMC 1.6 纳米制程,针对 physical AI、也就是机器人设计;real-time inference 要求很高,SRAM 价值会进一步体现,很有可能需要用 3D 堆叠把 SRAM 放在其他芯片上。
  • 资金面佐证:inference chip 今年以来获得 30 亿美元投资,3 个月的投资量达到去年全年 60 亿美元的一半,增长率达到 100%,说明 VC 很看好 infrastructure 市场。

5. 格局判断:TPU 证明“英伟达可以被战胜”,未来走向多元化

  • 谷歌 TPU 是整个芯片阵营里比较成功的一款,针对 TensorFlow 定制设计;Gemini 3.0 的所有 inference 和 training 都使用谷歌自己的芯片,完全没有使用 GPU。Jimmy 称这是给所有自研玩家的强信号:“英伟达的芯片也可以被战胜。”AWS 有自己的 inference 和 training 芯片,其中 Inferentia 做得还不错;Meta 的 MTIA 目前仍处于研发早期。
  • 大厂自研的 CapEx 逻辑在加强:现在分析师问 earnings 的第一个问题不是营收增长或 EPS,而是 CapEx。Amazon、AWS 为 2,000 亿美元,Google 为 1,850 亿美元,Meta 为 1,350 亿美元,Microsoft 为 1,000 亿美元,合计 6,500 亿美元,其中至少 50% 花在芯片上。研发自有芯片前期 R&D cost 可能较高,但量产后,每颗 CPU、GPU 的成本可能低于购买 NVIDIA GPU;大厂还有自己的 model 和 software stack,可以进行 hardware 和 software co-design,以达到更高效率。
  • Jimmy 更倾向于多元化环境:model、芯片公司和 data center 都可能多元化。UALink 是针对封闭 NVLink 研发的开放格式,谷歌和英伟达都会有自己的 role。

6. Synopsys 视角:silicon proven 的护城河、zero tolerance 的工程师、sim-to-real 的缺口

  • 主持人提出两种声音:AI 工具降低 IP 制作门槛可能利空,agents 用量暴增、需要 license 可能利好。Jimmy 介绍,Synopsys 是全世界第 12 大软件公司、第 1 大 EDA 公司、第 2 大 IP 公司,以及第 1 大物理仿真公司;其 IP 排名第 2,仅次于 Arm。他的回应是,IP 的真正价值不在 RTL code 能 work,而在 silicon proven——很多 IP 已经流片 300 次、500 次,这不是 AI 用一天、两天就能降低的门槛。因此他认为 Synopsys 的护城河变强了。
  • 这次 Synopsys Converge 宣布了 L4 Agentic Engineer,L4 仅次于最高级的 L5 full autonomous,用 AI 设计 AI,并将 Synopsys 的 AI agent 与 NVIDIA AI GPU 融合,帮助各行业设计 AI 芯片。Jimmy 引述黄仁勋称,未来会有很多 agent 工程师,每个工程师都会使用这些工具,工具会“爆发性增长”。
  • 对于硬件工程师是否会像程序员一样被替代,Jimmy 认为两者本质不同:软件有 bug 可以第二天写 patch、部署到 cloud;硬件是 zero-tolerance 行业,芯片有 bug 就不 work,研发成本可能达到 1,000 万美元,人的经验不可替代。行业同时处于人才荒,迭代节奏也在加快:Hopper 到 Blackwell 是 2 年,Blackwell 到 Rubin 是 1 年,同样的人要做双倍的工作。长期看,AI 会取代部分 repetitive、manual 的工作,但岗位可能转移到更有价值的工作上。
  • 对“AI 全自动设计芯片”的边界,Jimmy 说今天让 AI 设计一个 2 纳米芯片并指定 PLL 面积还做不到,至少短期内也不会看到。AI 已经融入芯片设计约 7、8 年,architecture design、RTL verification、synthesis、后端 sign-off 等步骤都已有应用,PPA(power、performance、area)已经能改善 10% 或 15%;现在进入 agent 阶段。但“黑箱对有些行业可以,对芯片设计是绝对不可以”,因为 verification 非常重要。
  • 最被忽视的环节是 physical AI 的 sim-to-real gap。机器人系统包含 chip、model、sensor 和 actuator。仿真中用某种力度和角度拿杯子,现实中却拿不起来,就是 sim-to-real gap。三项 challenge 包括:理解 gravity 的 real-time physics engine;需要低 latency 且 deterministic 的 real-time sensor processing——“说 3 秒完成就是 3 秒,不能多也不能少”,晚 1 秒杯子可能已经掉到地上;以及在杯子掉落前进行 100 次模拟的 real-time digital twin。许多 challenge 需要通过 hardware 和 software co-design 联合解决;Jimmy 认为如果继续努力把 sim-to-real gap close,未来已经离我们很近。
Speaker 1

Welcome to GTC! OpenClaw is number 1—the most popular open-source project in the history of humanity. It exceeded what Linux did in 30 years. 以后每个 CEO 都会有一个 OpenClaw strategy,就像以前每个 CEO 都会有一个 Linux strategy 一样。

This is your AI factory. This is your revenue. There’s no question about that going forward. This is the throughput; this is the intelligence. For a given data-center power budget, the better the performance per watt, the more throughput you get and the more tokens you can produce. On this side is cost. Notice, NVIDIA has the highest performance in the world. Nobody would be surprised by that.

曹卿云 Qingyun Cao

开源模型的不断进步,会使芯片走向更加通用化,还是更加定制化?

Jimmy,欢迎来到《硅谷坐标》,和大家分享 GTC 的一些洞见。你这次参加 GTC 最大的感受是什么?

1. OpenClaw Starts the Agent Era

程暨杨(Jimmy Cheng)

谢谢青云。这次参加 GTC,我个人觉得这是一次很大的盛会。很多人用“春晚”来形容这次盛会,一点都不为过。黄仁勋一开场就用了 2 个小时做 keynote opening,我想给大家分享一下我的感受。

第 1 点就是 OpenClaw。黄仁勋这次说,OpenClaw 是有史以来最伟大的软件之一,它的增长率已经超过了 Linux 和 Kubernetes。这 2 个都是开源软件里成长非常快的软件。

第 2 点,他还把 OpenClaw 说成是 agentic AI 的 operating system。但是 OpenClaw 最大的问题是 security,也就是安全和隐私。针对这个方面,黄仁勋也宣布了 NemoClaw。NemoClaw 是把 enterprise security、安全和隐私构建到 OpenClaw 里面,这样就适合企业使用。

他认为,以后每个 CEO 都会有一个 OpenClaw strategy,就像以前每个 CEO 都会有一个 Linux strategy 一样。所以,OpenClaw 在整个 agentic AI 里处于非常核心的地位。

第 2 点就是 inference。Inference 他提了不下 36 次,同时也推出了新的产品 Vera Rubin,这是针对 inference 设计的。LPU 从 Crock Three 的也可以和 Vera Rubin 一起合作使用。

最后一点我想说的是 tokenomics,这是一个新的术语,叫 token economics。Token 是 agentic AI 的 currency。黄仁勋所说的是,AI factory 要和 AI factory 竞争。任何竞争对手都不是单纯比 FLOPS、TOPS,而是比 token per watt。

2. NVIDIA Builds the AI Factory

曹卿云 Qingyun Cao

今年可以说是 OpenClaw 开启了一个新的时代。我们也看到了,OpenClaw 对整个软件、硬件,甚至整个社会都产生了深远的影响。我们今天也想重点谈一谈,OpenClaw 的 agent 时代对于半导体行业,特别是对英伟达的影响。

黄仁勋在主旨演讲里面提到,英伟达已经不再是一家卖芯片的公司,而是一个“AI factory”。他把自己从 AI 芯片供应商的角色,提升到了系统解决方案供应商的角色。你觉得这样的转变,对它的护城河来说是加强了还是减弱了?

程暨杨(Jimmy Cheng)

这是一个很好的问题。AI factory 是一个产生 token 的 data center,它有几个层面:第 1 层是 energy,第 2 层是 infrastructure,第 3 层是 chip,第 4 层是 model,第 5 层是 application。

每一层都有相应的产品。Application 层是 Omniverse;model 层,这次它发布了 Nemotron,以及其他大型模型,比如 Anthropic 的模型和 ChatGPT。Infrastructure 层有 InfiniBand,chip 层当然包括 GPU、CPU 和 LPU。LPU 特别重要,因为它是为 inference 设计的。

Energy 层包括 power delivery、heat exchange,以及热管理等等。

曹卿云 Qingyun Cao

所以你觉得,在 GPU 和 CUDA 的生态基础上,所有这些不同的 layers,包括存储的新架构、供电、高速网络通信和液冷,是不是都增强了它的护城河,增强了它的竞争力?

程暨杨(Jimmy Cheng)

你说对了,这些方面增强了它非常大的竞争力。我们看到 2 个趋势:第 1 个趋势是芯片公司开始做系统,另一个趋势是系统公司开始做芯片。

最好的 example 就是苹果和特斯拉。早期的苹果手机芯片不是自己研发的,而是三星研发的;到了后面几代,苹果才逐渐把自己研发的芯片放进 iPhone 里面。同样,特斯拉最开始的自动驾驶芯片是 Mobileye 做的,第 2 代也是 NVIDIA 做的,第 3 代才到 N...这是系统公司做芯片的一个趋势。

NVIDIA 恰恰走的是另外一条路,也就是从芯片公司走向系统化。黄仁勋还开了一个玩笑:以前买显卡的人都是父母,现在买显卡的希望是 developers 和 researchers。

1999 年,NVIDIA 开发了第 1 批 GeForce 显卡;2006 年推出 CUDA;之后在 2020 年收购 Mellanox;它还自研了 Omniverse,2024 年推出了大模型 Nemotron。这些都是一步步走向系统化的步骤。

它的系统已经很完善,所以护城河很坚固、很扎实。一般的竞争对手如果想和 NVIDIA 竞争,现在难上加难。以前也许你出一个速度快 10 倍的芯片就够了,今天你要和 NVIDIA 竞争,不是芯片快 10 倍就够了;你必须比它的 TCO 还低,还必须和它的软件兼容。所以这种系统化造成了非常大的护城河。

3. NVIDIA Controls the Value Chain

曹卿云 Qingyun Cao

在这种新的系统架构下,整个半导体产业的利润会怎么样重新分配?议价权会往哪边走?

程暨杨(Jimmy Cheng)

现在 NVIDIA 不光是一家芯片公司,也是一家系统公司,它拥有全套系统。NVIDIA 现在有 7 个芯片,很多芯片已经开始做不同的事情。像 NVIDIA Switch,相当于 networking;这部分以前的供应商是 Cisco、HP 或者 Dell。

NVIDIA 还推出了 DGX blueprint。所有 OEM 厂商都必须 follow 它的 blueprint。以前这些 OEM 还可以自己画主板,现在这个权利已经不在了,必须 follow NVIDIA DGX 这样的方案来做事,没有主动权。

它的 suppliers 也处在很被动的局面。作为 supplier,利润很高,但也存在 NVIDIA 以后进行 double sourcing 的风险。所以在整个产业链里,英伟达占到了绝大部分的利润。

4. Open Models Drive Custom Chips

曹卿云 Qingyun Cao

我们知道,黄仁勋这一次在主旨演讲里也讲到了,现在整个开源模型已经成为仅次于 OpenAI 的第 2 大生态玩家。他亲自主持了一个 panel,把主流的开源模型放在一起做研讨会。

他自己也下场做了 Nemotron 这个开源模型,而且在上面做了 OpenClaw。他不光是要做一家软硬件公司,也在做一家系统化的公司;同时,他还在大力推广开源模型。你觉得这背后的考量是什么?

程暨杨(Jimmy Cheng)

这里面有几个原因。第 1 个,他想在 cloud 公司、Anthropic 和 OpenAI 之间增加 competitive pressure。对 NVIDIA 来说,最有益的是模型公司不停研发新的模型。每一个模型的出现,都会带动硬件更新。

所以对 NVIDIA 来说,最不想看到的事情就是模型公司不推出新的模型,或者放慢脚步。虽然 frontier models 大家都在努力往前推进,但他想把这个 cycle 变得更短、更快,这是其中一个原因。

还有一个原因,是想把 generative AI 平民化。Open source 大家都知道是免费的。如果 Salesforce 或 ServiceNow 这样的公司使用 open model,它们唯一需要采购的是 NVIDIA 的 server,而不是 token。对 NVIDIA 来说,这可以促进更多硬件销售。

还有一个当然大家都知道的,就是 NVIDIA 的 CUDA 已经有 700 万开发者。它希望通过 open-source models 进一步增强 developer flywheel,把自己的竞争力加强。所以这几点就是 NVIDIA 开发 open-source models 的原因。

曹卿云 Qingyun Cao

开源模型的不断进步,会使芯片走向更加通用化,还是更加定制化?

程暨杨(Jimmy Cheng)

这是一个很好的问题。我觉得开源模型会推动定制化芯片的发展。为什么这么说?如果把模型开源化以后,做相应硬件的技术门槛就更低了,因为模型是开源的,模型的 weights 都能看见。针对这些 weights,可以做不同的 accelerators。

这是各大公司都想做的事情。第 2 个,如果一旦开源化,像 ServiceNow、Salesforce 使用起来会很多。Token 是免费的,但它们还会从 NVIDIA 购买大量芯片和大量 server。最后,很多公司也会在 CapEx 的压力下自己研发芯片,所以自己研发芯片也会走 custom chip 这条路线。

第 3 个,开源化当然会 drive the market,因为 demand 变大了。Inference 是黄仁勋所说的一个非常大的 market。Market 越大,players 也越多,更多小的 startups 也会 jump in,开发自己的 custom chip。

5. Inference Redraws Chip Architecture

曹卿云 Qingyun Cao

刚刚也讲到,今年是 agents 的元年。你觉得这会对底层芯片架构设计提出什么样的新要求?

程暨杨(Jimmy Cheng)

Agent 是 inference 时代的开始。Inference 时代其实会推动一种 SRAM-centric 的 design philosophy。以前大家可能没怎么听过 SRAM,更多听到的是 HBM。HBM 最近很火,因为很多生产 HBM 的公司都供不应求,但 SRAM 恰恰是我们所需要的一种 memory。

SRAM 特别快,但是它的 throughput 比较少,那就是量不大,但是很快。Inference 不需要处理大量数据,但需要非常快地处理数据,所以这就是为什么它会推动 SRAM-centric computing。

我们也看到很多新兴公司,比如 Cerebras 最近获得了 OpenAI 100 亿美元的订单。它的芯片非常大,像一个 iPad 那么大,上面很多都是 SRAM。还包括 LPU,这次每个 chip 上挂了 500 MB 的 SRAM。像 LPX 是整个系统,NVIDIA 卖的是 192 个 LPU,192 乘以 500 MB,就是很大的 SRAM 容量。

这么多 SRAM 可以提高 inference 速度。还有一个底层趋势,就是我们逐渐走向 3D IC 的路线。过去从 Hopper 时代来看,芯片还是单芯片;到了 Blackwell,芯片已经太大了,所以分成了 2 个芯片。以后把 SRAM 叠加在 GPU 上,也会是一个趋势。

曹卿云 Qingyun Cao

过去 3 年,全球 VC 投出了数百家芯片初创公司,它们都想在推理市场上和英伟达抗衡。我们也看到,2025 年 12 月,英伟达以 200 亿美元收购了 Groq;今年 3 月,我们已经看到 Groq 被英伟达整合进了自己的系统,发布了 LPU 芯片。你能跟我们讲讲 LPU 是怎么样工作的?它在英伟达生态里有什么作用?

程暨杨(Jimmy Cheng)

大家知道,GPU 强于 throughput,但弱于 latency;LPU 恰恰相反。如果是 training,GPU 已经非常足够了;但对于 inference 来说,LPU 的 latency 很低,速度很快。

我可以用一个比较生动的例子来比较 LPU 和 GPU。LPU 像一辆 taxi,出租车很快,但载的人很少。GPU 就像一辆大巴,上面要坐 100 个人,但是开得比较慢,不过一次可以载很多人。

这就是 LPU 和 GPU 的相对区别。不是说一个可以取代另外一个,它们都有各自的需求,只是适用的场景不一样。

今年以来,inference chip 一共获得了 30 亿美元投资;去年全年投资是 60 亿美元。也就是说,3 个月的投资量已经达到了去年一半的水平,增长率达到 100%。这说明 VC 很看好 infrastructure 市场。

曹卿云 Qingyun Cao

比如说,在未来的 Feynman 新架构下,你觉得 SRAM 会再次起到更重要的作用吗?

程暨杨(Jimmy Cheng)

Feynman 是 NVIDIA 计划在 2028 年推出的一款 GPU,采用 TSMC 1.6 纳米制程。这个制程是针对 physical AI,也就是物理 AI 设计的,所谓物理 AI 就是机器人。

在这种场景下,最重要的是什么?是 real-time inference,也就是及时的 inference,所以要求非常高。SRAM 的价值又体现出来了,因此 SRAM 会被更多地采用。

而且很有可能因为 SRAM 需求量很大,普通芯片已经不能满足,必须用 3D 堆叠的方式把它放在其他芯片上。这也是一个趋势。

曹卿云 Qingyun Cao

如果让你预测一下未来推理芯片的市场格局,我们有英伟达、谷歌的 TPU,还有一些大厂自研的芯片,以及 Cerebras 这样的初创公司。你觉得未来的格局会是怎么样的?

程暨杨(Jimmy Cheng)

首先我讲一下谷歌的 TPU。这款芯片是整个芯片阵营里比较成功的一款。为什么这么说?TPU 是针对 TensorFlow 定制设计的一款芯片,这次 Gemini 3.0 充分体现了它的价值。

Gemini 3.0 的所有 inference 和 training 都使用了谷歌自己的芯片,完全没有使用 GPU。这对所有正在研发自己芯片的玩家来说,是一个很强的信号。也就是说,英伟达的芯片也可以被战胜,谷歌已经在证明这一点。

其他 players,比如 AWS,也在自己研发芯片。AWS 有自己的 inference 和 training 芯片,inference 芯片做得还不错,叫 Inferentia。AWS 是一个大的 player,Meta 也在自己做芯片,叫 MTIA,目前还处于研发早期。

所以各大厂都在加速自己研发芯片的脚步,而不是停滞不前。如果大家 follow 这些大厂的 earnings releases,就会知道现在分析师问 earnings 的第 1 个问题,不是你的营收增长了多少、EPS 是多少,而是问你的 CapEx。这是一个非常重要的问题。

Amazon、AWS 的 CapEx 是 2,000 亿美元,Google 是 1,850 亿美元,Meta 是 1,350 亿美元,Microsoft 是 1,000 亿美元。这些加起来,一年有 6,500 亿美元的 CapEx,其中至少 50% 花在芯片上了。6,500 亿美元是什么概念?这高于一个发展中国家的 GDP。

在这种环境下,大厂没有办法,必须降低 cost。研发自己的芯片是一条可以走的路。一开始可能付出的 R&D cost 会比较高,但一旦量产以后,每颗 CPU、每颗 GPU 的成本还是会比购买 NVIDIA GPU 低很多。

第 2 个原因是 hardware 和 software co-design。这些大厂不光要自己做芯片,它们也有自己的 model 和 software stack。把 model 和 chip 放在一起 design,可以达到最高的效率,所以大厂会继续往这个方向投入。

曹卿云 Qingyun Cao

现在推理市场的芯片里,我们看到英伟达和谷歌可以说是齐头并进的。未来你怎么看它们核心竞争力的比较?

程暨杨(Jimmy Cheng)

我个人觉得,这个问题取决于你相信未来是一个单一化的环境、英伟达一家独大,还是一个多元化的环境。其实我更加倾向于多元化,因为 model 也是多元化的,做芯片的公司也是多元化的。

不光有英伟达,也有 Nvidia,甚至 Meta 都会有自己的芯片和自己的 model。以后 data center 也可能会走向多元化。最近有一种新的技术叫 UALink,是针对 NVLink 研发的开放格式,而 NVLink 是封闭格式。

以后的趋势很可能是一个多元化的系统。谷歌和英伟达都会有自己的 role。

6. AI Reshapes Chip Design

曹卿云 Qingyun Cao

接下来想问问 Synopsys 如何看待 AI 时代。Synopsys 的护城河是变强了还是变弱了?因为我们听到一个声音,说 AI 工具让制作成本和门槛下降了,以前只有大厂才能做出来的一些复杂 IP,以后小厂也可以做出来。

还有另一个声音,说随着 agents 的用量暴增,未来这些 agents 都需要 license,所以这是有利于 Synopsys 的。你的观点是什么?

程暨杨(Jimmy Cheng)

首先我来简单介绍一下。我们公司 Synopsys 是全世界第 12 大软件公司,也是第 1 大 EDA 公司、第 2 大 IP 公司,以及第 1 大物理仿真公司。我们的 IP 排名第 2,仅次于 Arm。

AI 时代对所有生产力都有很大的促进作用,所以所有研发芯片的公司都会受益,不只是做 IP 的公司。IP 这个 business 还是很特别的。很多人对好的 IP 有一个错觉,只要有一段 RTL code 能 work 就行了。

但 IP 真正的价值不在于 RTL code 能 work,而在于 silicon proven,也就是经过验证。这个 IP 被使用过多少次,成功流片了多少次?很多 IP 已经流片过 300 次、500 次,这不是 AI 用 1 天、2 天就能把门槛降低的。

所以 IP 真正的核心价值在 silicon proven,而不是几行 RTL code。这次 Synopsys Converge,我们宣布了一个叫 L4 Agentic Engineer 的工具。它仅次于 L5,L5 是最高级的 full autonomous,L4 比它稍微低一层。

这是什么概念?就是用 AI 设计 AI,用我们的 AI agent 融合 NVIDIA 的 AI GPU,帮助各行各业的公司设计 AI 芯片。我引用一下黄仁勋在我们 Compute 大会里说的话:他非常 excited,因为未来世界会有很多很多 agent 工程师,每一个工程师都会使用我们的工具,而我们的工具会爆发性增长。

曹卿云 Qingyun Cao

所以你觉得 Synopsys 的护城河是变强了?

程暨杨(Jimmy Cheng)

对。

曹卿云 Qingyun Cao

现在的程序员都面临被 AI 替代的危机,你觉得未来芯片设计师也会有这样的考虑吗?《Fortune》的一篇文章说,最近是 40 年以来程序员就业市场最差的时候。40 年前是 1986 年,那时 PC 还没有普及,Internet 也还没有出现。程序员面临的问题,是不是 hardware engineers 也会出现?

程暨杨(Jimmy Cheng)

其实程序员和 hardware engineer 本质上有很大的区别。程序员写一个程序,如果有 bug,第 2 天写个 patch,部署到 cloud 里面就可以了。但是 hardware engineer 是一个 zero-tolerance 的行业,也就是说,如果芯片有一个 bug,这个芯片就不 work。

研发一个芯片是很贵的事情,成本可能达到 1,000 万美元。Zero tolerance 造成了 human overthinking loop,人的经验是不可替代的。

第 2 点是,我们这个行业现在还处在人才荒的阶段。其实很多 jobs 还没有办法找到合适的人。与此同时,schedule 也被推得越来越紧。

你也知道,Hopper 到 Blackwell 是 2 年,Blackwell 到 Rubin 是 1 年,产品迭代加速了。这意味着同样的人要做双倍的工作。人才荒也是为什么短期之内 hardware engineer 不会像 software engineer 那样面临同样问题的原因。

但长期来说,AI 会不会取代一些 repetitive 的 job,或者 manual 的 job?会的。但是我相信,在 hardware engineering 领域,这些 jobs 会转移到其他更加有价值的工作上,因为有 2 个主要原因:一个是 zero tolerance,另一个是我们现在的人才荒问题。

曹卿云 Qingyun Cao

未来人类设计的芯片和 AI 设计的芯片,你觉得会有什么本质的区别?未来会不会有一些设计出来的、性能很好的芯片,但其实人类读不懂?

程暨杨(Jimmy Cheng)

我觉得 AI 设计的芯片和人类设计的芯片,可以举一个简单的例子。今天如果你对 AI 说:“我想设计一个 2 纳米的芯片,这是我的要求,这是一个 PLL,面积这么大。”今天还没有办法做到这一点,AI 还没有聪明到这种程度。以后会不会做到?我个人觉得,我们不会等到这一天,至少短期内不会看到。

为什么?我们首先看一下 AI 在芯片服务业里的历史。早在 7、8 年前,AI 就已经融入芯片设计的方方面面了。芯片设计其实有很多步骤,包括 architecture design、架构设计、前端 RTL verification、synthesis,再加上后端 sign-off。

每个步骤其实 AI 都已经在发挥作用,体现在 PPA 变好了。PPA 就是 power、performance、area,是我们衡量芯片的标准。PPA 变好 10% 或 15%,这其实已经达到了。

现在我们正在进入第 2 个阶段,也就是 agent 阶段。我们推出的 L4 Agentic Engineer,可以取代很多 manual labor,以后可能会达到 full autonomous。但是要达到黑箱操作,我觉得难度非常高。

黑箱对有些行业可以,但对芯片设计是绝对不可以。为什么?因为 verification,也就是 EDA 的 verification,是非常重要的。

7. Physical AI Faces the Reality Gap

曹卿云 Qingyun Cao

这次参加完 GTC,你觉得现在整个半导体行业里,哪一个环节是最被忽视的?

程暨杨(Jimmy Cheng)

我觉得有一个环节,就是 physical AI 的 sim-to-real gap,也就是仿真到现实的距离。Feynman 这款芯片计划在 2028 年推出,是针对 physical AI 研发的。Physical AI 本质上就是机器人。

程暨杨(Jimmy Cheng)

机器人这个系统包含什么?它有 chip、model、sensor,还有 actuator,也就是传感器和执行器。为什么 sim-to-real gap 是一个大问题?我举个例子:如果你模拟说要用这么大的力度、用这个角度去拿起杯子,结果机器人用同样的角度和力度却拿不起来,这就是 sim-to-real gap。

这里面有几个 challenge。第 1 个是 real-time physics engine。如果一个球掉下来,我能知道它几分钟掉下来,这个引擎就必须了解 gravity,也就是重力。

第 2 个是 real-time sensor processing,这也非常重要。Sensor 包括 camera、LiDAR,需要进行 real-time processing,latency 很重要,还要有 deterministic,也就是确定性。说 3 秒完成就是 3 秒,不能多也不能少。为什么?如果晚 1 秒,也许杯子已经掉到地上了。

另一个是 real-time digital twin,也就是数字孪生。如果一个杯子要掉下来之前,你做 100 次模拟,把各种情况都模拟过,这非常重要。但这些工作也没有办法及时完成,很多 challenge 需要未来通过 hardware 和 software co-design,把两者联合起来解决。

那样我们就可以看到一个很好的未来。我是一个 science fiction fan,未来已经离我们很近了。我们再努力一把,把 sim-to-real gap close,就更加能够达到未来。

曹卿云 Qingyun Cao

非常感谢今天你的时间,感谢你跟大家的分享。谢谢。

硅谷坐标 x CASPA副会长Jimmy Cheng:GTC回顾-AI时代英伟达的护城河 | BidClub