泓君
哈喽大家好，欢迎收听《硅谷101》，我是泓君。每年3月份是硅谷最热闹的时候，整个科技圈都在关注英伟达的GTC大会，所以我们也举办了第一次线下播客录制，邀请各地来的朋友参与现场讨论。
今年黄仁勋站在台上说，到2027年底，Blackwell和Vera Rubin两个平台的累计订单预计会至少达到1万亿美元。“I see through 2027, at least 1 trillion dollars.” 要知道，2024年全球半导体产业的销售额也就6000多亿美元，所以这也是我看到AI产业最核心的一组矛盾：需求端是万亿美元的疯狂订单，而供给端从先进封装产能、内存到电力配送，几乎每一个环节都在遭遇瓶颈。
这期节目我邀请到了4位嘉宾，帮我一起拆解英伟达的万亿野心到底能不能落地，以及它的护城河是否正在被竞争对手围剿。这期节目分成两个部分。参与第一部分讨论的嘉宾，是大家的老朋友、Fusion Fund的创始管理合伙人张璐；还有两位新朋友，一位是AgentTrees的创始人与CEO、英伟达的研究总监Mark Ren博士，另一位是Ziflow AI的创始人与CEO肖志斌博士，他曾任Casper的主席与董事会顾问。
前半段的讨论中，有AI投资人，也有曾在英伟达内部使用AI做芯片设计的Mark，还有亲手设计过芯片的志斌。后半场还会有GPU云创业者Alex加入我们。因为Alex的母语是英文，后半部分会有大量中英夹杂，加上我们的嘉宾基本上都在硅谷工作了十几年，所以如果这期节目的中英夹杂影响了大家的理解，大家可以在B站和YouTube上搜索我们的字幕版，也请大家多多包涵。
下面就跟我一起正式进入线下录制的会场。我们先从4个数字开始。今年我也去参加了老黄的keynote主题演讲，准确地说，我大概已经去了很多年的GTC活动。我先跟大家总结一下他在演讲中提到的几个关键数字。
1. The Trillion Dollar Forecast
第一个数字是1万亿。Jensen说，到2027年，Blackwell跟Vera Rubin的订单规模累计将达到1万亿美元，去年的数字是5000亿美元。我觉得，在全球商业史上，很难有人能达到这样的销售规模。
第二个数字是7块新芯片。Vera Rubin平台一次性发布了7块新的芯片，而且已经全部进入量产，也可以说这是英伟达有史以来规模最大的一次同步发布。还有一个数字是10倍：Vera Rubin NVL72相比Blackwell，推理效率提升了10倍，每个token的成本降到了十分之一。
另外还有一个数字是35倍。今年大家很关注的一个概念就是token per watt，性能提升了35倍。我们先从第一个数字开始分析：1万亿美元的销售规模，仅仅靠Blackwell跟Vera Rubin，陆，你怎么看这个销售规模？你觉得现在市场上有这么大的需求量吗？
张璐
首先，就像你说的，这个数字其实比上次提到的上限翻了一倍。我觉得这也跟它今年的主题相关：它已经不希望大家单纯把英伟达看作一家GPU公司了，它想把英伟达打造成一家人工智能基础设施公司，一个巨大的人工智能工厂。它的产出，是对未来工作进行重新定义的生产力，也就是token。
从这个角度来讲，未来的增长空间确实非常巨大。因为它不只是说我们平时要训练一个模型，那么训练模型之后的下一步是什么？为什么现在有那么多关于推理层的讨论，也是因为我们正在讨论很多Agent智能体的应用。Agent大规模铺设之后，在推理层面的需求就会进一步增强。
我们真正去比较训练和推理的话，训练更像是一次性的成本投入，但推理其实是长期的现金流，会不停地被调用。包括现在有了更长的上下文，也会导致消耗更大。再加上Agent真正部署之后，会有低延迟、快速反应、实时在线等需求，对token的消耗也会更多。
所以从长线来看，我觉得这个预期是对的。当然，能不能很快达到这个数字，也取决于产业AI的整合，以及Agent铺设过程中能够达到多快的速度。我觉得这也是为什么今年你会看到它做了很多其他发布，希望在企业级人工智能部署层面进一步推动，从侧面加速1万亿美元目标的达成。
泓君
你刚刚提到了一个很好的点，就是推理。据你观察，比如我们现在看到的这些顶级模型厂商，他们的训练成本和推理成本，目前呈现出什么样的变化？
因为我看到，以前大家在芯片上的成本绝大部分都是训练成本，但现在看起来，推理成本正在拉平训练成本。
张璐
这个话题特别有意思。我记得大概2024年的时候，当时我跟一位应该还是微软的CTO交流，他提到说，他们自己也预计未来更多的成本会在推理层，而不是训练层。
我觉得2023年的时候，可能有70%到80%的成本在训练。现在可能已经是一半一半，推理和训练各占一半。到明年或者后年，可能最后70%到80%的成本都会在推理层。
所以从这个角度来看，推理绝对是巨大的增长点。我非常相信我刚才说的那句话：如果你看长期现金流，那一定来自推理。
泓君
2. Supply Chains Hit Bottlenecks
志斌，我们刚刚提到了1万亿美元这个经济数字，但我觉得它背后其实需要供应链支撑。我也跟大家简单介绍一下志斌。志斌是芯片架构师，也设计过阿里的含光800芯片加速器，所以他对整个芯片供应链非常了解。
从你的角度来看，1万亿美元对应了多少晶圆产能？现在TSMC 3纳米的良率，以及HBM4的产能，能跟得上吗？
肖志斌
你这个数字都非常精准。过去几年有很多人讲1万亿美元。我们是半导体协会，整个2024年的半导体产业规模是6000亿美元左右。当时大家很兴奋地说，到2030年整个半导体产业会达到1万亿美元，但这里面包括整个半导体产业、芯片供应链、半导体测试设备等。
去年11月，Lisa，也就是AMD的CEO，预测整个数据中心AI加速芯片到2030年会达到1万亿美元。今年3月，老黄又投下了一个重磅炸弹：他一家在Vera Rubin上的订单，到2027年就要达到1万亿美元。当然，这里说的已经不是单纯的芯片，而是整个系统，包括Vera Rubin的芯片、NVLink Switch、以太网交换机以及软件。
这个增长速度非常迅速，说明什么问题？其实就是需求端非常旺盛。老黄给出的这个数字，一定来自需求端。但就像泓君刚才问的，现在瓶颈已经到了供应链层面。供应链能不能在2027年做到1万亿美元，这是非常challenging的事情，包括3纳米产能和先进封装CoWoS。
以前半导体产业更像是乙方，我们是vendor。现在角色有点互换了，变成了卖方市场，半导体产能是卖方市场。所以3纳米的产能我觉得跟得上，但CoWoS的产能就很难说了。2024年到现在，台积电CoWoS的产能基本上涨了3倍，而且还在持续疯狂扩产。
HBM这一块，3月份美光和三星宣布HBM2已经量产，同时美光、三星和海力士也在做HBM4E的定制化方案。所以现在各家都在各显其能，努力在供应链上达到老黄的要求。
泓君
不知道现场是不是所有朋友都有半导体背景。很多人可能不了解，半导体行业就是这样：哪怕现在需求端非常旺盛，需要更大的产能，但你从供应链端需要存储，需要交换机，而这些东西都要先投产，需要做大量预投资。
投资之后还要建设生产线，再通过过程控制去优化。这个周期没有办法用钱直接砸出来。所以哪怕你现在说需要额外产能，也可能确实要等到1年或2年之后才能实现。等到那时，可能又有更多附加要求。
这并不像软件一样，有多大的需求，就可以马上产出多大的销售。硬件和供应链都有确定的产能限制以及生产周期。
刚刚我也说了，还有一个数字是7块新芯片。Vera Rubin的平台一次发布了7款新芯片。Mark有一个背景，他之前在英伟达内部真正使用AI做过芯片设计，所以今天我们把真正造出这些芯片的人请到了现场。
我对英伟达内部比较好奇的一个问题是，它怎么可以把芯片设计速度拉得这么快？
3. Nvidia Ships At Machine Speed
Mark Ren
我是去年12月离开英伟达的，所以我的数据不是最新的。我记得两年前Jason说过，原来是两年出一块芯片，后来变成一年出一块芯片，现在是一年出好几块芯片。
为什么速度能提升？第一个，传统上大家会去招人，组建更多团队。第二个，其实AI的帮助非常大。我们公司内部基本上100%都在使用AI，包括coding agent，工程师的效率提高了很多。内部也有很多AI for chip design的项目。
您刚才问芯片数量的问题，其实我觉得数量不是主要问题，主要还是看芯片内部做了什么优化，以及这些优化能不能在AI的帮助下做得更好。
泓君
今年大家非常关注的一个点，就是Groq推出的推理芯片。这次在英伟达大会上，它也推出了LPU。老黄提出了一个建议，未来所有数据中心都留出25%的空间给Groq和其他推理芯片。
Groq从创业开始，就一直是硅谷的明星公司。看起来现在英伟达对它的收购整合也相当成功：去年年底收购，今年3月份就直接在GTC上发布产品，而且还是一个非常重量级的产品。
我也想请现场的嘉宾给不太了解Groq推理芯片优势的听众解释一下：Groq相比其他推理芯片，优势到底在哪里？
肖志斌
4. Groq Rewrites Inference Hardware
我来讲一下。因为我从2017年开始一直在做AI推理芯片，2017年给阿里巴巴做了第一款AI推理芯片。当时还没有ChatGPT，也没有BERT，更多的是Computer Vision，所以我们当时也是纯SRAM架构。
Groq的芯片其实是一个纯SRAM架构。我不知道大家是否了解SRAM和DRAM。SRAM是静态存储，在芯片设计时使用的是逻辑工艺，所以latency非常短，大概只有1到2纳秒，访问一次就可以，而且不需要动态刷新。但是它的成本比DRAM高得多：DRAM一个晶体管就可以做一个存储单元，SRAM则需要6个晶体管。
DRAM的density可以做得非常大，但latency比较高，而且还有dynamic refresh的问题。大部分AI芯片都有DRAM，因为DRAM成本比较低、容量比较大，模型可以放得更大。但Groq剑走偏锋，完全去掉了DRAM，只通过on-chip SRAM，把模型参数和模型运行过程中产生的KV Cache结果存储在片上，再通过极致的互联扩展到更大的集群。
这样带来的好处是，对于agentic应用，它的latency非常短，也就是速度非常快，token per second per user可以做得非常好。这也是老黄在slides上讲的：对于那些对token per second per user要求非常高的应用，Groq可以把GPU的效率提升30多倍，并且让曲线保持相对平稳。
GPU其实不太适合做agentic应用。从推理应用来看，你可以把language model想象成两个阶段：一部分叫encoder，一部分叫decoder。Encoder适合high throughput的批量过程，所以非常适合GPU。Decoder则是一个token一个token地生成，每个token需要的compute并没有那么多，但中间需要大量communication。
它要把大语言模型的权值从memory里load上来，这个过程非常耗时。如果每生成一个token，都要重新把全部weight load上来，那么大部分时间其实都在抓取weight、进行communication，而不是compute。
Groq的做法是把weight放在芯片里面，这样就不需要来回抓取weight，从而减少communication的时间。未来的AI system会是hybrid，可能还会有更多芯片加入进来，取决于未来模型会怎么发展。不同芯片可能适合不同算子，比如prefill和decode就是不同算子，未来可能还会有middle layer，都有可能。
泓君
刚才两位都提到了一个非常关键的词，就是communication。刚才也提到了LPU的一个很大优势：延迟比较低，对于agentic workflow非常有帮助。
我们开始使用Agent的时候，一定希望它经常在线，而且是持续性的inquiry，不是调用一次就结束。除了低延迟之外，因为它优化了communication，所以还有一个很重要的优势，就是能耗也会降低。
很多时候我们不会讨论这一点。现在你会发现，一方面是compute的能耗，另一方面还有communication的能耗。Compute能耗在降低，但communication能耗并没有降低，而且未来它在总能耗中的比例会越来越高。
张璐
我大概在1、2个月前，正好在斯坦福参加了一场fireside chat。当时我们和斯坦福前校长John Hennessy讨论了这个问题。他有一个论断：将来communication的耗电量可能会达到compute的10倍以上。
所以，我们怎么样去解决这个问题，也是LPU潜在的一个优势。除此之外，刚才泓君提到，为什么现在英伟达可以这么快地发布芯片，我觉得还有一个很重要的原因。
传统芯片厂商其实是一家单独的芯片公司：我把芯片供应出去，客户反馈，再返回来优化，这是一个相对较长的沟通过程。但现在英伟达已经不想只是做GPU公司了，它自己也组建了一个非常大的生态系统。
这个生态系统有CUDA，线上还有很多企业级优化，所以它形成了一个非常强的自我反馈体系。这个反馈体系把我刚才提到的沟通周期和需求周期大幅缩短，也帮助它以更高效的方式决定到底应该往哪个方向做芯片优化。
这个决定非常重要。英伟达有能力同时做10件、20件事，但如何从20件事里面找到排名前3、前5、前7的最高优先级，这很关键。它这种全栈式的系统优化模式，帮助它更快确定内部优先级，再通过刚才两位提到的AI优化，以及和产业链的紧密合作，更快地进行新芯片的发布。
泓君
我以前读书的时候学的是材料科学与工程，Materials Science。当时我还在斯坦福读书，看到一些传统半导体厂商一年能发布一两块芯片，就已经非常厉害了。但现在一次可以发布7块，确实非常令人惊艳。
之前芯片创业很火，大家主要做的也是推理芯片，而不是训练芯片，因为训练芯片的难度更高。我知道很多投资人也在投推理芯片。你们觉得，现在英伟达收购了Groq，也开始进入推理市场，创业公司做推理芯片还有机会吗？
张璐
5. Startups Target Nvidia Blind Spots
我觉得任何市场都不是完全没有机会，但机会空间确实比较小。刚才我提到，英伟达现在具备全栈式系统能力，已经从整个AI基础设施层面进行优化，所以它内部的创新能力也非常强。
英伟达的好处是有很强的生态概念。比如它的Inception Program从2017年做到现在，从几百家初创企业的生态，发展到现在的2万多家，所以它是愿意支持初创生态的。
初创企业要想清楚，英伟达可以做10件、20件事，但如果其中3件或5件是优先选项，它能够投入的资源，以及提升效率的能力，都比初创企业强得多。
所以我给创业者的建议是，可以看看英伟达现在没有把哪些事情放在最高优先级，以及它的短板在哪里，去帮它补全短板。如果你能补全它的短板，当然会有收购机会；它也可能在自己的生态上和你紧密合作，把你纳入这个生态。
所以，不是说完全不能做推理芯片，但还是要评估，在这么快的迭代速度下，初创企业的竞争优势到底在哪里。比如我们去年投了一家公司，我最早也在看optical compute，但大概了解英伟达内部的进展之后，我们就去看了更多switch和interconnect。
我们今年投了一家公司叫Everdue，做的是下一代interconnect switch。现在你会看到，如果我们相信未来人工智能基础设施会快速发展，数据中心会大规模扩展，那么大规模铺设人工智能时，瓶颈其实也在interconnect switch上。这对初创企业来说，就是非常好的创新机会。
肖志斌
我一直在尝试挑战英伟达。我们从2017年开始做第一代AI芯片，当时在阿里巴巴也是纯SRAM架构，MLPerf的性能做得非常好，拿到过世界第一，老黄也非常紧张，问他们到底做了什么，为什么是纯SRAM。
但问题在于，当时单个应用并不能支持这种专用化的AI推理芯片。后面的应用一迭代，大家又回到GPU软件生态，创业公司很难keep up。
我从阿里出来以后不甘心，又做了另外一家AI芯片公司，叫DeepSparse。我们把模型做压缩，再设计执行压缩模型的AI芯片架构，这样可以降低对内存和工艺的要求。
那家公司当时在MLPerf上也beat了英伟达。在BERT测试中，我们用4块芯片对比它的1块H100，性能超过了英伟达。但它需要软硬件深度协同。后来大模型来了，需要做post-training，而模型压缩的post-training成本非常高，所以作为一家创业公司，我们很难完成这种大模型post-training，这又碰到了一个瓶颈。
当然，这家公司还在持续往前发展，包括DeepSeek和国内很多公司，大家都在做各种稀疏化尝试，用软件的方法解决硬件瓶颈。
我现在的新公司做的是系统级优化。我已经看到，未来的数据中心绝对会是异构的，包括GPU、Switch、光交换机、LPU架构。甚至现在英伟达的GPU和LPU还是分在两个机柜里。
这次英伟达在GTC上没有公布benchmark，说明它内部的软件还在持续优化，同时这个架构也不是现在最优的。后面无论是封装，还是3D堆叠能不能放进同一个package里，都还有很多整合工作。这种整合不仅是芯片，也包括软件。
所以我现在这家公司做的是AI infrastructure的自动优化，而且我们是neutral的。我们通过仿真加优化的方法来做这件事，可以仿真Google的TPU、AMD的GPU，或者英伟达的GPU。我们是一个neutral layer，kernel level交给芯片公司去做，他们做得很好，我们做上层的东西。
Mark Ren
我很同意陆和志斌的说法。整个新的industry起来以后，AI factory这种compute形式出现，从整个stack来看，会有很多机会。Inference芯片、推理芯片只是其中很小的一块。
从物理上看，整个机柜里芯片其实很小，机柜里还有大量其他设备，机柜外面还有软件。我从业时间也很长了，之前在IBM做云计算，那是一次很大的shift。在那次转变过程中，有很多startup会去找中间stack里可以优化、可以做的事情。只要做得好，就有可能被leading厂商收购。
一种方法是去看看过去几次computer革命中，创业者都在做什么，他们是怎么切入正在发展的stack、解决什么问题。现在新出现的AI computer也会有同样的问题。你想把这些问题解决掉，其实就会有机会。
泓君
整体看下来，在芯片的细分领域里，不管是不同功能的芯片，还是中间层的生态，仍然有很多机会。
我注意到，今年Jensen在keynote以及后面的open-source panel上，提到最多的一个词是OpenClaw。其实今年OpenClaw的出现，应该说帮助算力大幅增长了，因为大家调用Agent的时候需要使用更多算力。
今年他也在舞台上不断强调，已经从AI工厂的叙述，一直讲到token经济学。现场还推出了一个叫NemoClaw的软件生态。这个软件生态可以和OpenClaw打通。大家怎么看它推出的软件生态？它要做什么？包括志斌和Mark，你们都是芯片领域的创业者。这个生态推出以后，对你们自己而言，它相当于有了一个中间层，到底是合作关系、利好关系，还是竞争关系？
肖志斌
6. OpenClaw Expands The Token Economy
OpenClaw带来了token数量的巨大提升，这就是老黄说的，token使用量会提升1000倍。我每天都关注自己的token使用量，因为用Claude太贵了，所以我会混着用。我的主力模型是Kimi 2.5，因为Kimi相对于Claude便宜10倍。
阿里最近也在尝试，但对普通用户来说其实比较头痛：到底怎么样才能省钱，同时又保证性能不下降？这是一个问题。
我们公司目前也在做一个专门针对这类问题的工具，叫Token Simulator加Auto Optimize。我们马上会开源这个工具，接入到这个生态里面。用户只要plug in进去，就不用再管了，它会在后台自动规划你的行为，根据你的profile进行自动优化。
我觉得OpenClaw对我们公司做的agent for chip design项目来说应该是利好。
现在所有大厂都在推自己的cloud。从大厂的角度来讲，它们应该是希望通过cloud获得流量，因为这是一个key app。基础设施已经建设了这么多GPU，需要流量来支撑，需要把token变现，把它变成真正可用的应用。
我们做agent for distributed systems，本身也是一种变现手段，所以和这些大厂之间没有什么竞争关系。最关键的是，OpenClaw是一个适用于普通用户的系统，这个利好我觉得是在生态层面。
有了OpenClaw以后，会有很多工具去适配它。过去很多工具对Agent并不友好，有了OpenClaw之后，可能都会变得更加agent-friendly。这样我们做垂直领域的时候就会简单很多，至少有一些通用工具不用自己开发，已经有人帮你做好了。
张璐
刚才两位嘉宾也提到，各大公司都在做自己的企业级部署，其实也是在上面增加一层安全。对于英伟达做NemoClaw，我并不觉得它真的想去抓应用层的收入或机会。我觉得它更多是想确定自己在Agent deployment层面的规则制定地位。
它可以成为大家未来在这个领域进行部署时的准入层：我是一个安全的平台，你都要在我的平台上推进。大家平时用Claude多不多？我们公司里其实用Claude Code很多。虽然我也知道像你说的，token比较贵，但从企业级安全部署，以及高质量完成各种task的角度来说，我个人还是更喜欢Claude Code。
今天Claude新发布了Dispatch，这也是一个有点像对标OpenClaw的产品。我觉得对于大型企业来说，它更追求的第一层级是安全部署，第二层级是准确性和精准度。
OpenClaw我也用了。我感觉它会优化到“把这件事情做完”，但不一定会优化到“把这件事情做好”。如果真正到了产业和企业级的应用层面，对质量和完成度的要求会比较高。
我自己也用了一下OpenClaw，我觉得它接下来对很多领域的颠覆会非常大。比如在很短时间内，它就可以自己写出一个企业CRM系统。以前这些CRM可能需要跟SaaS厂商定制，但定制出来也没有那么好用，因为它不能百分之百适合你的商业模式和业务场景。
泓君
刚才讲到NemoClaw，我觉得有几个点特别好。它的隐私、安全和易用性，确实是企业级需求，跟to C的需求完全不一样。
今年Jensen在自己的演讲上也说了一个新的模式，叫agent as a service，对应之前的SaaS。所以自从Anthropic推出Claude Cowork以后，业界也在讨论：整个SaaS的商业模式会彻底改变吗？
这个问题想请陆来回答。
张璐
7. SaaS Becomes AI Labor
如果看所有科技创新，我觉得它会经历3个阶段：基础技术创新、技术应用创新、商业模式创新。
就像你提到的，如果未来真的可以很快进入一个大规模铺设Agent智能体的时代，它对传统企业级软件就是一次巨大的商业模式挑战。这可能不只是技术层面的挑战，也是商业理念层面的挑战。
传统SaaS公司提供的是什么？是标准化的软件服务，不管什么公司使用，都是同一套软件。但Agent未来可以做到的，实际上就是高度定制化和个性化。未来软件公司到底卖的是软件，还是服务？我觉得都不一定是服务。
如果你相信未来整个公司的架构会改变，那么公司不只是有人力劳动，也会有AI labor。未来做软件或做Agent的公司，可能会变成劳动力输出方，拥有成千上万的专属智能体，去满足客户各种各样的要求。
你想一想，这时候商业模式会是什么样？好消息是，现在你可能卖软件，使用的是IT预算；将来你的输出实际上是人工智能劳动力，可以使用劳动力预算，所以可能卖到更大的预算。
但这对人工智能劳动力的要求也会更高。比如你是一个公司的CEO，要去招人，你的标准是不是希望这个人能够完成这个职位90%以上的工作，同时能力超过90%以上的人？这可能也是未来对AI Agent的要求。
如果按照这个要求来看，现在Agent的能力确实还有一定距离。所以我并没有那么悲观。前段时间大家也看到，股市上一些SaaS公司的股价跌得非常惨，但我不觉得这个产业会被全部消灭。
企业级销售不只是产品，也包括售后服务、销售网络等等，它是一个集合体。但如果SaaS公司本身没有AI模型能力，未来确实大概率会消失、被替代。不过，还是有很多SaaS公司自己具备模型能力，我觉得它们仍然有机会。
另外，创业者也要考虑自己的机会在哪里：哪些SaaS公司可能会消失？它们留下的市场，你是不是可以快速占领？这也是可以探索的方向。
肖志斌
新的SaaS公司如果现在不做剧烈改变，很快就会被这些Agent平台替代。以前它是通过招人，或者把服务做上去；现在则需要购买算力，把算力和原来对行业的理解结合起来，同时采用这些Agent。
这是它们现在非常critical的一个问题。买了算力以后，可能还要做优化，也就是让算力到服务输出之间的成本和ROI达到最优。这一块原来是通过人来做，但现在要直接针对算力去优化。
所以有两件事：第一是算力优化，第二是把原来积累的经验尽快和Agent或现在的AI平台结合起来，这样才有机会。
张璐
我觉得未来每个企业都要想一想，公司的组织架构是不是会完全不同。现在可能是人才密集型产业，人才越多，公司价值越高。但未来一个公司的核心可能只有20到30个人，其他很多职能，比如HR、CFO、财务，都可以外包给各种各样的AI Agent。
这些AI Agent也不需要全职在公司工作，可能会以项目的形式、周期性的形式存在。对于未来的公司leader、CEO，包括初创企业来说，都要想清楚自己具备什么能力，去管理这样一种新型公司架构。
你不仅要管理人才，还要管理AI Agent；还要定义哪些职位以人为主、是公司的核心部门，哪些职位可以外包给AI Agent。
泓君
Jensen今年已经说了，以后的招聘除了招聘一个工程师之外，还要告诉这个工程师，除了每年的年薪是多少，还有多少token额度可以使用。也就是说，你可以管理多少个Agent实习生或员工来配合工作。
他还提到，在NVIDIA内部，很多工程师基本上都在使用Claude Code。我想跟Mark求证一下，你们平时工作中是不是已经开始用AI设计芯片、用AI写代码了？
Mark Ren
他说的是对的。我们应该是从去年年初开始，在一两个月之内，公司从没有人使用coding agent，变成了100%使用。这也不只是英伟达，其他芯片公司也已经启动了类似流程，内部大范围覆盖coding agent。
泓君
我知道你在NVIDIA内部领导用AI设计芯片的项目。你可不可以跟大家讲一下，AI是怎么做芯片设计的？
8. AI Designs The Chips
Mark Ren
谢谢这个问题。我在英伟达负责设计自动化研究团队，主要任务就是一直思考如何用GPU和AI做芯片设计。
我们团队已经做了好几年。在AI还处于CNN和GNN、图像模型时代的时候，我们就开始考虑怎么用AI做芯片设计。我们觉得，现在的language model或者Agent，是真正能够通用地解决芯片设计问题的技术。
过去如果只是machine learning，或者传统机器学习算法，即使是图像识别这样的CNN算法，也只能解决芯片设计中比较局部的问题。有了大语言模型，特别是Agent技术发展起来以后，它才真正形成了通用的设计能力。这是我们一直在探索的方向。
其实在3年前，也就是2023年，我们就发布了一个项目，叫ChipNeMo。ChipNeMo使用英伟达内部的数据，我们当时收集了200多亿个token，从内部网络中找到数据，训练了几个base model，包括Llama模型和英伟达自己的NeMo模型，然后用这些模型做芯片设计。
现在的主要趋势，第一个是让这样的chatbot能够和你的文档交互，从而理解设计需求。第二个是coding agent。因为它能写代码，所以写的不一定只是software code，现在RTL，也就是硬件代码，也可以写。
虽然现在生成代码的质量还没有那么高，仍然有一定进步空间，但未来真正的难点是怎么形成闭环：不光要能把设计生成出来，还要把它优化好。
泓君
接下来我有几个大家可能最关注的市场竞争问题。我们在GTC大概前一周刚发了一期节目，讲的是Google的TPU。现在包括Anthropic、Meta和苹果，都在使用Google的TPU训练模型，所以大家认为，未来Google的TPU会动摇英伟达在芯片领域的垄断地位吗？
张璐
9. Rivals Test The Nvidia Moat
如果未来整个产业都要进行人工智能整合，单纯靠一家英伟达去满足所有需求，也很难做到。所以英伟达现在把自己打造成一家人工智能基础设施公司，而不只是GPU公司，就是希望成为整个人工智能基础设施领域的龙头。
但在此基础上，并不妨碍其他公司提供多样化的芯片架构解决方案，TPU就是其中一种。TPU在Google内部全体系、全栈式优化的情况下，表现效果和训练效果是最好的。
Google自己使用的话，我记得训练成本可能只有ChatGPT的三分之一左右。但其他公司使用时，可能做不到这么低的训练成本，因为Google本身也做了系统优化。
英伟达这么多年作为第三方服务很多企业，它的体系不只是GPU，也包括CUDA等系统，目的是针对不同客户的需求进行效能优化。所以短期来看，它的系统优势仍然非常明显。
科技公司希望使用TPU，一方面确实是因为芯片短缺、需求量很大；另一方面，谁也不希望只有一个供应商，否则未来发展过程中可能会遇到很多挑战。
除此之外，苹果的芯片和人工智能芯片一直做得很好，它有自己的体系。还有一点，很多新的模型架构可以在CPU上比GPU运行得更高效，这意味着未来CPU的使用量也会逐渐增加。这也是为什么今年你会看到Jensen在NVIDIA的GTC上强调未来CPU市场的增量。
我觉得未来的市场会是多样化的。根据不同应用场景和应用优化系统的需求，可以选择不同芯片。英伟达的领先位置，我个人觉得仍然会比较强劲。它已经成为人工智能基础设施，就像大型电力公司一样，不管你使用什么芯片，未来可能都会用到它的基础设施层。
肖志斌
Google在2017年就发布了TPU，之后持续做了很多代。其实Google做系统和云的能力，包括互联和垂直供电能力，都超过英伟达，在这些方面比英伟达更厉害。
但Google主要是针对自己的应用场景进行优化，包括embedding处理和加速、sparse加速等，它有一些针对特定客户的定制化能力。后来Google把这部分能力开放给Anthropic和其他公司，我们也有一些朋友的公司在围绕TPU做优化，为外部公司提供服务。
第二，AI也让优化算子和层级变得越来越方便。CUDA的护城河已经从kernel level扩展到了更大的system level，但Google对外提供服务的接受度也会越来越高。
同时，Google还有Gemini模型能力、应用能力，以及YouTube等视频业务，能力是全方位的。甚至OpenAI也在做自己的芯片。对老黄来说，这些都是比较实在的威胁。
但Jensen或者英伟达也有自己的优势，就是执行力，包括用AI设计芯片，以及内部一年推出7款芯片的执行力。在硅谷，执行力特别强的芯片公司有英伟达和Broadcom，这两家公司的执行力都非常强。
还有就是老黄对供应链的控制。即使AMD接到订单，或者Google接到订单，老黄和台积电的关系也特别好，所以CoWoS产能的大部分都拿在他手上。这也是老黄另一个非常大的优势，是多年信任建立起来的结果。
泓君
可以把刚才志斌老师提到的英伟达核心护城河总结为两点：第一，快速执行的能力；第二，对供应链的把控能力。
现在我们看英伟达已经是芯片之王了，未来在哪些方向上可能面临挑战？因为市场足够大，所以即使它执行力很强，也可能会有不同应用从垂直领域去进攻英伟达，包括机器人的AI芯片，以及从数据中心到非数据中心的AI应用。非数据中心AI对芯片的需求也非常大，谁把控了非数据中心AI的入口，谁就可能为后面的数据中心引流。
肖志斌
Robotics AI芯片目前还没有converge。两年前我其实想做Robotics AI芯片，但当时市场还不成熟。机器人的芯片BOM成本可能只占整个机器人约7%到8%，不是当时的瓶颈，机器人的仿真模型也还不成熟。但这一块是有机会的。
这也是为什么OpenClaw出来以后，有点像数据中心的digital agent、digital robot。老黄很快推出了Jetson的小型box，前两天又推出了一款workstation，可以跑更大的模型。
其实老黄对边缘端私有化部署是比较担心的，所以动作非常快。
泓君
对听众来说，使用TPU还是GPU，除非你做投资，否则一般不一定有直接利益。但你可能需要考虑，未来你的AI要使用什么vendor。
如果是TPU，那肯定就是Gemini；未来Perplexity会不会使用TPU，现在还是未知数，其他大多数应用都在GPU上。所以我觉得真正应该关注的是性能能不能提升。未来如果TPU能够做到1万token per second，出现明显技术进步，那么你在创业或工作时，就会考虑是不是应该使用Gemini。
从应用角度来看，关注这些信息可能更有用。但我个人觉得，暂时不会出现非常大的性能差距。现在不管使用TPU还是GPU，对终端用户来说可能都差不多。
张璐
我觉得刚才两位讲得都非常好。我们刚才已经提到，在训练和推理层面，到底哪一部分未来成本更高、消耗更大。既然我们有一个共识，推理成本会越来越高，推理的权重也会越来越大，那么它并不只是让英伟达受益，其他CPU厂商，比如AMD，也可能受益，这可能是它短期面临的一个小挑战。
另外，刚才志斌提到的私有化部署也很重要。企业级人工智能应用和Agent部署，大部分传统行业因为监管和数据隐私要求，更偏向私有化部署。包括我们和Broadcom聊的时候，也看到高通等公司在押注边缘端人工智能。
我们一直非常看好Edge Computing和Edge AI。比如Qualcomm有NPU，重点就是如何以低能耗的方式在边缘端部署人工智能。
这些现在看起来还不是很大的市场，但一旦开始推进，增长速度可能会很快。英伟达现在还没有特别强的部署或整合方向，我觉得这些可能都是它短期会面临的挑战。
另外我还想提一点，不一定直接和技术相关。英伟达成为一家市值如此之大的企业，一方面会被资本推崇，另一方面也会被资本裹挟。当资金量和市值达到一个数量级之后，作为公司的CEO，你需要对股东和董事会负责，就要不断排优先级。
优先级第一位，可能是如何维持市值并让市值持续增长。这个时候，公司内部资源分配到底是更多优化短期收入增长，还是投入长期技术创新，权重可能都会受到影响。这不只是英伟达的问题，任何公司到了这个位置，CEO和董事会都会面临这样的压力。
泓君
我觉得大家总结得非常全面。今天我们也开放两个问题给现场观众。大家提问的时候，请指定希望谁来回答，好不好？
Christina
非常感谢各位嘉宾的分享。我叫Christina，主要做AI投资。我可以从二级市场的角度分享一下，为什么英伟达这次发布以后股价没有怎么动。因为很多华尔街投资人在之前做模型的时候，已经拆出了大概这样的数字。
我的问题想问得更细一点，主要问两位芯片领域的专家。刚才泓君也说到，英伟达的发布速度比我们想象中快很多。Blackwell主要的代工是三星，另外Intel也在说，他们的技术，特别是packaging，已经取得突破，打算为英伟达下一代产品提供服务。
我想理解一下，这是英伟达因为供需关系，被迫牺牲一部分良率去做这件事，还是Intel和三星的技术表现确实不错，以后有可能成为双代工的局面？
肖志斌
过去的叙事是compute，包括Broadcom、Google TPU和NVIDIA。去年的趋势则是compute背后的其他物理瓶颈。去年比较火的二级市场方向，要么是memory，要么是storage，要么是光。再往后还有半导体测试设备、光测试设备，反正都是物理瓶颈。
Intel的EMIB封装技术其实很好。现在大家都在考虑使用台积电的芯片，再用Intel的EMIB做封装。目前还没有人正式validate，因为商业上还不成立。可能台积电不想把自己的芯片拿给Intel封装，而Intel会说，如果要用我的封装，就必须使用我的FPGA。
商业上存在一些悖论，但业界确实在尝试。Intel的In-Memory在一些hyperscaler那里已经证明效果不错。
三星当然也需要catch up。三星有自己的HBM，良率可能比台积电差一些，但作为second source还是可以的。英伟达一年发布7款芯片，总有不同芯片的需求。现在大家都是尽可能把产能用起来，每家都有自己独特的优势，关键在于这些优势是什么，以及如何和英伟达持续迭代。
英伟达一直在对每个方案、每项技术能力进行评估，这不是今年突然想到要用三星，而是它一直很清楚每家供应商的技术能力。
Blackwell这件事，也有可能是因为没有产能。因为事情发生得很突然，可能它和台积电的订单没来得及排进去，而三星正好有产能，所以就用了三星。也许是这样，我只能猜，因为我不知道具体情况。
陈飞
我叫陈飞，做二级市场投资。我有一个最近一直困扰我的问题：从Anthropic的Claude Cowork到后面的coding agent，老黄这么多年来最大的护城河其实是CUDA，CUDA也是软件。
最近大家一直担心，CUDA会不会被coding agent或者Anthropic快速写出一个替代品，迅速接近CUDA的80%或90%。这个护城河是不是正在快速削弱？
Mark Ren
这个问题特别好，其实我也想问。今天考虑到时间关系没有问，终于有人帮我问出来了。
Coding agent确实能做很多事情，但现在它能不能写出高性能代码，还需要观察。GPU肯定需要最高的performance，它大量代码都经过优化，kernel也都经过优化，这首先就是一个技术壁垒。
CUDA是不是唯一的护城河？它现在有很多full-stack护城河。英伟达已经变成AI基础设施公司，不再只是芯片公司，所以从护城河角度来看，它的护城河已经增加了很多。
至于能不能reproduce CUDA，我记得Jensen曾经说过，甚至可以把CUDA开源，或者说过类似的话。CUDA在kernel level的护城河，根据很多大厂工程师的反馈，其实越来越弱了。大家用AI写出来的代码，基本上90%以上已经可以和手动优化达到相近程度。
但英伟达已经变成系统公司。系统公司里有很多硬件know-how、数据以及hardware knowledge，而现在的coding agent还没有这些东西。它无法自己消化这些硬件知识，去完成系统层面的优化。
肖志斌
这也是我现在这家公司要做的事情。我们会针对数据中心、GPU和AI芯片，收集大量数据，把这些数据变成壁垒，用它们对整个AI infrastructure进行仿真和优化。
而且我们不做kernel level，而是做更上层的middle layer。所以我现在有点担心，因为我们公司也使用coding agent，我们自己有很多know-how，所以会交替使用，不会把所有东西都交给Claude或Codex。有些数据还是要在私有化部署的环境里完成。
大家都应该有这种担心：你的know-how和knowledge其实一直在被学习。这就是为什么很多gaming studio在使用coding agent时会非常小心，因为这些东西是它们的核心IP。从这个角度来说，私有化部署非常重要。
张璐
刚才两位都说得很好。CUDA其实已经形成了一个完整体系，所以它的护城河仍然在那里。当然，像kernel层面的CUDA optimization，现在可能更容易做了，但其他芯片厂商也一直在做类似CUDA的系统，而且做了很长时间，也拉拢大型软件公司合作，但到现在也没有真正做出来，所以它并不是一个简单的软件层。
还有很重要的一点，CUDA已经形成了一个开发者群体，也就是community。这个community的凝聚力、向心力，以及开发环境的舒适度，也是它的一道小护城河。
这也是为什么英伟达持续大规模投入，通过Inception Program培育的不只是现在的大客户，也包括未来潜在的大客户。
我也和Google的人聊过这个问题。他们自己的观点是，部分coding agent确实可以帮忙，但从底层来看，你还是不敢把底层权限完全交出去。
泓君
好，谢谢张璐，谢谢志斌，谢谢Mark。
刚才几位嘉宾从芯片设计、投资和供应链的角度，把英伟达这次GTC发布拆解了一遍。黄仁勋所说的万亿帝国，最终还是要落在一个个真实的数据中心里。
接下来我想把一位真正正在建设数据中心的人请到我们的对话中来。他是Alex，GMI Cloud的创始人。他们为全球AI公司提供GPU算力，所以他每天都会直接面对需求端最真实的信号。
接下来我们再次进入线下会场。以下是我与Alex的对话。
我们刚刚一直在讨论老黄说的两代芯片组合，到2027年总共的销量会达到1万亿美元。所有人都觉得这个数字听起来非常夸张，但顺着这个推理，它也不是完全不可能。
作为数据中心，你的感受应该是最直接的。可不可以跟我们分享一下，今年你对大家铺设GPU和建设数据中心的速度，有什么感知？
10. Data Centers Race For Power
Alex
我觉得数据中心的铺设速度事实上非常快，可是最终的bottom line还是卡在land and power。
现在美国整个grid已经bone-dry，没有任何现成资源，不可能拿到10兆瓦以上的电。现在90%的新数据中心建设都是behind the meter，也就是on-site，使用gas gen的方式：哪里有天然气管道，就直接把天然气发电机组放上去，燃烧天然气，在现场建设数据中心。
事实上，现在所有数据中心开发基本上都在找一些旧的brownfield地产，直接改建成新的数据中心。过去用钢筋水泥建设的方式已经不存在了。以前hyperscaler可能还有一些顾虑，但现在这些顾虑基本上都没有人在乎了，全部使用container的方式。
直接用40尺海运柜，把预装好的CDU、所有fiber、HVAC和UPS一起装进去。过去至少都是以几百兆瓦、几个GW的规模建设。一个天然气发电厂的平均规模通常是300到500兆瓦，一个核电站差不多是2到4GW，事实上仍然不够。
基本上现在美国和中国的大厂都开始包下核电站：你不要卖给grid，全部给我，我就地做一个substation降压，直接建设数据中心。
回答你的问题，要达到1万亿美元营收，最终就看你多快能把整个data center建起来。所以现在大家其实是在比拼建设data center的速度。
泓君
你刚刚提到，现在建设数据中心最缺的是电。你觉得它具体缺哪一部分？是整个供应链短缺，比如涡轮发电机、变压器短缺；还是已经有电，但要并入电网，把这部分电变成工业用电和数据中心用电时卡住了？
它到底卡在哪个环节？
Alex
我觉得这是一个multi-part、比较complex的situation。美国事实上不缺电，美国有很多transmission capacity。高压电线上有330kV的电，重点是distribution，也就是把电变成可使用的电。过去是400V，现在是800V，重点就是要做到这一点。
基本上还是被regulation绑住了。因为你要建设一个变电站，影响的可能是整个德州电网的稳定性，所以当然要做很多study。
美国的grid事实上是由oil and gas people运行的，他们不是tech guys，对吧？他们的动作没有硅谷这么快，所以基本上都被卡住了。现在他们才转而说，好吧，你慢慢弄，我先直接用柴油发电机或者天然气机组上。
泓君
刚刚我们讲到了基础设施层面，因为你们一端是基础设施，一端是用户。从你的感知来说，今年企业用户在想使用GPU cloud的时候，哪一类企业增长最迅速？
Alex
我觉得可以分成两块：一个是enterprise，一个是hyperscaler。Hyperscaler事实上就是一个aggregator，它们自己可能只有几个百分点是在做大模型开发，剩下的则是卖给不同客户。不同客户基本上就是enterprise。
Enterprise大概分成几种。第一种是做不同大模型的training，也就是pretrain或post-train；第二种是gen AI里的multimedia，这一块正在增长；第三种是AI coding，增速也很快；第四种是我们才刚开始看到的，整个OpenClaw真正的agentic落地。
这还只是苗头，但发展速度非常快。我觉得中国已经意识到这个东西了，但美国可能还没有中国这么快。
我记得今年老黄在open-source panel上说，中国已经开始“赛龙虾”了，美国的速度还没有中国快。
泓君
在OpenClaw这件事情上，从你们的体感来说，一旦接入OpenClaw，它烧token的量、消耗速度，和传统Agent或者我们刚刚说的coding agent相比，你会有一个直观感受吗？
Alex
我觉得现在还是蛮难估的。我可以做一个比较简单的预判：history doesn’t repeat, but it definitely rhymes。
过去的数据中心事实上也是从个人或企业内部的server开始的。现在大家拿Mac mini或者DGX Spark来玩，但还是属于early adopter中的early adopter，你需要会使用这个东西。
最后企业肯定不会给每个人发一台Mac mini，肯定是公司内部建一台server、几个机柜去做。这种方式very unscalable，不可能长期存在，最后全部都会上云。互联网的发展大家也看得出来，privacy is overrated, to be honest。真正的users和consumers其实不太在乎，他们更在乎方便。
OpenClaw现在还是developer居多。Again, I think it’s not even 1% of users who can use it。到最后，我很确定，过去几周和几个月里，已经有很多Agent公司推出了user-friendly UI，界面做得非常好，可以一键部署。
这种东西最后绝对都会用云服务的方式来做。所以对于那些非常technical、非常在意privacy的人来说，可能会自己部署一台主机；但我相信大部分用户还是会选择上云。
And that revolution hasn’t started yet。现在做cloud-based solution的公司可能还在种子轮，甚至还没到C轮。所以我觉得未来1到2年内会有更大的爆发，但现在还没有真正开始。
我们已经看到multimedia的发展非常可怕，大家可能也在期待C-drama之类的东西。It’s gonna be bananas。
泓君
多模态是不是也非常耗token？它已经开始起来了吗？你觉得从今年开始，已经大量消耗这类token了吗？
Alex
在抖音、小红书或者Instagram Reels上，可能已经能看到很多AI短剧。短剧在国内已经很火了，现在美国才开始做这个东西，中国还是比较有优势。
但美国消耗token的量也非常可怕。
泓君
从你今年的观察来看，在今年GTC的发布中，你自己印象最深的一个产品，或者说跟你的业务直接相关的产品是什么？
Alex
跟我业务最相关的，可能就是Vera Rubin和Vera Rubin Ultra。不只是老黄自己讲的，还有供应链为了求速度做出的很多改变。
现在整个data center，以及racking and stacking的modular solution越来越多，而且会越来越频繁。从土地、混凝土、电力，到数据中心的白空间、架高地板、水电和fiber，大概需要4个月。
从白地板到rack space，再把server塞进去，还需要多久，要看项目规模，可能是2到4个月。现在已经有直接模组化的solution，一上来就是container，所有线路都已经架好，这样速度会进一步加快。
过去从greenfield到serving可能需要18到20个月，现在可以压缩到6到9个月。
泓君
这是不是他说的AI工厂概念？以前可能是卖GPU，后来开始卖一组一组的GPU，现在已经开始卖AI工厂。它相当于把各种东西全部打包好，提供更多设计方案，让大家可以加速落地。
Alex
对。因为scaling也起来了，我觉得NVIDIA设定了一个很好的目标。它每年的更新都会提前和供应链沟通，供应链也会跟着NVIDIA的guidance往前走，所以节奏和速度会继续加快。
泓君
你怎么看老黄说，过去两年推理计算量增加了1万倍，使用量增加了100倍，所以过去两年的计算需求增加了100万倍？
从推理来看，你觉得现在推理在中美两边的发展情况怎么样？
Alex
我们的一个集群，基本上都有3到4家超大型公司在抢同一个集群。
中国这边，OpenClaw和coding agent的发展速度非常快。基本上所有大模型公司，比如Kimi、GLM等，现在主要的营收也都是卖token，已经开始起来了。
美国这边主要也是两块：AI coding和多模态video models。中国这边主要是coding和Agent，也就是OpenClaw Agent。
泓君
Coding现在主要使用哪一块芯片？今年老黄在会场上建议，未来把25%的资源留给推理。因为训练和推理同时要求高吞吐和低延迟，其实是两个完全不一样的方向，所以以后大家配置数据中心时，可能也会是完全不同的方向。
Alex
芯片方面，大厂基本上都会习惯使用算推一体。只要做好比较好的load balancing和scheduling就可以了。
主要还是N卡居多。In terms of company，在做budget planning的时候，如果一个厂做training，另一个厂做inferencing，等于要花两次钱。就算是AMD的卡或其他卡，为什么不能把inferencing和training混在一起做？所以市场上还是以NVIDIA的卡居多。
Coding的话，主要就是Claude Code，obviously，它是number one。我看GLM-5和Kimi 2.5，事实上也都是非常popular的open-source solutions，可以算是平替。
泓君
从你们现在的感知来看，市场上NVIDIA哪些产品处在比较紧缺的状态？还是说整个芯片供应都还可以？
Alex
从产能来看，我觉得power当然是a huge issue，但不同环节都有不同的bottleneck。
我们事实上是有component能力的公司。中美两边的hyperscaler基本上就是那7家，另外一个neocloud可能是Nebius，它也有component能力。它不是直接买off-the-shelf product，比如Dell gear或者Supermicro gear。
我们是直接跟ODM下单，指定每一个供应商和代理商。我们对这件事情也非常敏感，会做forward projection，锁定2027年所有的capacity。至少我们能确定，我们的capacity是有的，但价格无法确定。
现在大家都知道，memory已经非常疯狂。从去年到现在，价格已经上涨100%到200%。DDR4现在也开始紧张，CX7转向BlueField，市场上的解决方案也都是NVIDIA的，lead time不断拉长。
Overall，memory还有其他一级供应链都在紧张。因为HBM挤压了其他产品的产能，比如DDR开始缺货，现在SSD也开始缺货。根据我们和供应链的沟通，至少到2027年底，都不会有明显好转的迹象。
CX7在缺，switch gear也在缺。现在开始亮黄灯、亮红灯的，连Intel的CPU也开始缺货。不只是这些，CDU，也就是水冷方案，也开始出现缺货状况。
泓君
感觉这些东西在二级市场上都是财富密码。
英伟达财报里，其实有50%的收入来自前5大云厂商。你们也是做GPU云的，我知道你们也是英伟达的官方合作伙伴。运营一个GPU云，最核心的能力是什么？
Alex
It depends on who I am talking to。对于新创公司来说，number one，就是你要先有卡，这是最重要的事情，有卡才能上线。
接下来就是要做得非常稳定。这事实上是一个operationally intensive的问题，供应链必须很强，要能够support你。因为这些机器有超过200,000个unique parts。
在factory setting里，每个part至少有5%的工厂failure rate。然后你又把这200,000个parts连接到几千台一模一样的设备上，non-zero chance it will fail。
发生故障的时候，你能不能快速把需要到货的东西叫供应商马上发出来，才能维持你的SLA？
第二个问题是，在硬件没有损坏的情况下，你的DevOps team能不能快速排查所有问题？这事实上是一个very complex issue。你不知道是硬件坏了，不知道是光模块坏了，不知道是switch坏了，不知道是K8s坏了，或者客户很多时候其实也不知道自己在做什么。
因为 GPU 换代换得太快了。大模型公司大部分都是 researcher，very top-tier researchers，但他们不是 infra people。他们会想：“GPT-3 出来了，我需要拿到 GPT-3，这是最有效率的。”但之前没有人处理过这些问题，所以这些问题他们都丢给我们。
还有一个什么 B200 的 upgrade，这就是一个 very complex 的问题。也许从硬件到不同的硬件，再到软件 K8s，或者说不同的 solution，包含整个 firmware 的选型，都非常重要。所以 it all contributes to one objective，basically reliability and whether you can solve problems fast，最后就落到这个 SLA 上。我觉得这是 GPU 这一块。
接下来才是软件层，就是 model services，可能是像 Fireworks、Together 想要做的事情。你有稳定的 GPU 维护能力和 operation 能力，才到 model services。那你能不能做 model services 的 optimization？Actually, we're doing that too。就是说，当你量够大的时候，你事实上可以做很多的骚操作，做 P/D 和 EP，就是做一个集群化的 inferencing。那你才可以把这个 token cost 往下打，才能让客户省到钱。
泓君
对，因为你刚刚其实也一直在讲，就是你们其实已经在预订 2027 年的产能和最新款的芯片。其实这个芯片，就像 Jensen 他自己在这个演讲中说的，它的能耗在不停地降低，而且是在指数级地降低的。但是这样就有一个问题了：大家以前可能还采购了 H100、H200，然后到现在已经能做 AI 工厂了。就是说，芯片现在 GPU 的折旧率，在比如说资本市场的估算中，或者在你们自己的估算中，是按照几年去折旧的？
Alex
There's a hedge fund answer: 5 years。这就是 Wall Street 的做法。技术角度上来看的话，你就直接去 AWS 上面看，你能不能租到 A100 或者 V100？你租得到的话，good job，that's rare。
V100 是多少？是 2017 还是 2018 年出的产品，7、8 年了还在用。事实上现在使用率非常高，所以整体上它的预期使用时间会比资本市场估的那个时间还要长，主要原因是现在需求量太大了。
泓君
好，那现场的观众有没有要提问的？我们可以开放问题给大家。
现场观众
嘉宾你好，我也是做二级市场投资的，但是我其实对于咱们这个公司还挺好奇的。我看咱们定位是一个 AI 服务的 cloud service，我就想问，你们这个公司跟比如说 Google Cloud、Azure 竞争的时候，会有一些什么差异化的策略？
因为我觉得 cloud service 是一个比较需要 scale 的行业，作为 startup，你们是怎么去思考这个问题的？
That's a great question。我先讲一下 neo-cloud 和 hyperscaler 它们本质上的差异。他们主要是一个 CPU 云以及存储云，是经典的云计算。他们的做法就是用 VM 的方式来做。
可是你用 VM 的话，事实上是吃掉 10% 的 compute power。你在 CPU 的话，no one cares，一台 server 就是 2、3 万美金。可是现在 GB300 就是一栋几百万美金的房子，对吧？So you cannot afford to 用 VM 的方式来做。
我们，或者说我们这一类 neo-cloud，主要是以 K8s 的方式去做整个集群的管理，让客户直接能拿到 bare-metal 100% 的效率。所以 I think that's the very, very big difference。
我们的优势 compared to, say, CoreWeave、Nebius 等等，我觉得事实上有两块：product，以及我们的 location。我们事实上也是 NVIDIA 唯一 7 家的 RA NCP，就是 Reference Architecture NCP。那什么是 RA NCP？搞笑地讲，就是老黄的白老鼠。
我们会拿到所有最先进的 GPUs，first batch，alongside with hyperscalers。像我们就是全亚洲第一家拿到 GB300 集群的。现在事实上也在陆续上线，我们建了一个万卡集群，也是水冷方案，NVIDIA 自己内部也没有搞过。Hyperscaler 不会跟他分享经验，那我们会分享经验。
所以我们就是会拿到最新的，包含我们现在也是下了第一波的 Vera Rubin。我们事实上到今年年底会上线，Q4 也会上线第一波的 Vera Rubin at scale。这就是 what RA NCP stands for。
全球就 7 家，我们事实上是唯一一家在亚洲有集群、在美国也有集群的。我们现在 manage 差不多 9 个 data centers，另外有 3 到 4 个正在建。我觉得这主要是因为很多 regulation 或者说 data security issue，还有些企业不想在美国本土，或者说因为 inference latency，他们需要在 multiple places。For low-latency possibilities，这是第一个原因。
第二个，跟 CoreWeave 的差距就是，一家公司的背景是跟它老板的背景正相关的。CoreWeave，I think they're a phenomenal company，我觉得 they did amazingly well。他们毕竟是一个 hedge fund 出身的，没有一个所谓的 core software 核心，而是通过 acquisition。That shows in the company：他们会大量去买不同的公司，来组成所谓的 software stack。
可是我觉得我们的公司主要是以一个 product 为核心的。我就想要做出一个 vertical solution，可以让 enterprise、企业、creators、developers、YouTubers 去使用。我们有做不同的 workflow，做 studio，等等等等。所以我们不只是做整个 K8s 的 management layer，再到上面的 model services。
I think we're in a unique position。我们也做 kernel 的 optimization，就是能让客户在稳定的 GPU 上，进一步降低 token 成本 for our customers。So I think two things，right？我觉得一个是 product 的形态，那就是 one-stop shop。You can find OpenAI on us，you can find Gemini on us，you can find DeepSeek and Kimi K2.5，plus GPUs，across the world。
泓君
好的，那我们今天的时间也差不多了。感谢所有坚持到现在的朋友们，谢谢 Alex，谢谢大家，嗯，谢谢。
泓君
好，那这就是我们今天的节目，本期节目不构成任何投资建议。如果大家对英伟达的GTC有什么自己的想法，可以给我们写评论、写留言。如果大家喜欢用播客来收听我们的节目，可以在小宇宙、苹果播客还有Spotify来找到我们。如果大家希望能够看到这期播客的字幕版，可以通过B站或者YouTube搜索“硅谷幺零幺播客”来找到我们。同时，你也可以在微信视频号还有小红书上搜“硅谷幺零幺”找到我们。那我们部分节目的文字稿也会发表在我们的微信公众号“硅谷幺零幺”上。我是泓君，感谢大家的收听。