程曼祺 Manqi Cheng
欢迎收听晚点聊，我是曼琪。AI算力现在是中美都最关注的AI底层竞争力。约一个月前，华为推出了由384块昇腾910互联而成的超节点AI集群Cloud Matrix 384。华为超节点发布后不久，我邀请有二十多年芯片从业经验的徐凌杰来一起聊一聊这项算力底层的新变化。自两千年代中期，徐凌杰先后在英伟达、AMD和三星参与设计GPU架构，后来他加入阿里云领导了GPU云计算基础设施的搭建。2019年他与张文等人联合创立国产GPU公司壁仞科技，2024年他开始新创业成立模型智能，专注算力集群产品设计和优化。超节点本身就是一种从拼单芯片性能到优化整个节点和机架的算力思路变化，徐凌杰的从业经验正好匹配了这一趋势。本期节目的第一部分我们聊了华为Cloud Matrix 384是什么，它和英伟达2024年重磅推出的集群方案NVL72的异同。不止英伟达、华为把节点做得越来越大，从集群芯片数量提升性能，以网络能力来弥补计算和存储的瓶颈，已经成为算力市场的一个共识性趋势。在第二部分，我们主要讨论了超节点的趋势对英伟达、对华为之外的其他国产芯片厂商、对整个AI算力市场的可能影响和一个经典的问题：下一个改变算力格局的变量可能是什么？节目录制后不久，华为超节点开始出货。据金融时报报道，一套完整的Cloud Matrix 384的售价约为800万美元，是售价约300万美元的NVL72的两倍多。但要注意，这并不是华为的官方价格信息。5月7日，华为盘古大模型团队又在预印本平台arXiv上发表了一篇论文，称在6000多块昇腾芯片组成的超大集群上实现了7180亿参数的MoE模型的长期稳定训练。这篇论文的地址我贴到了show notes的相关链接部分。节目中涉及的一些术语在show notes附录部分有介绍。下面我们就正式进入本期节目吧。
4月10日，华为云发布了一项重要的AI算力新成果，就是CloudMatrix 384超节点技术。简单来说，它是让384张昇腾910 AI处理器互联，形成一个大机架的方案。
今天《晚点聊》很高兴邀请到资深芯片和计算机行业从业者徐凌杰老师，和我们一起聊聊这项对AI发展至关重要的底座型技术。徐老师，您可以先和听友打个招呼，简单自我介绍一下。
徐凌杰
好的，曼琪，各位《晚点聊》的听众大家好，我是徐凌杰，大家可以叫我凌杰。我是一名芯片和云计算行业的老兵，之前在北美的英伟达、AMD、三星都做过GPU芯片架构设计。
后来在阿里云GPU业务起步的时候，我负责过阿里云的AI云基础设施。2019年底、2020年初，我联合创办了一家AI芯片公司壁仞科技。到2024年，我又创立了一家新公司，叫模型智能，英文名是Magic Compute，专注于服务器集群和算力优化。
程曼祺 Manqi Cheng
因为您有20多年的从业经验，所以这次我们也会从华为的新进展聊起，后面可能还会延展到整个AI计算的发展和优化趋势。
我们先从CloudMatrix 384开始。徐老师，您可以和听友解释一下，CloudMatrix 384超节点大概是什么东西吗？我觉得可能不是所有人都注意到了这个发布，但实际上它对行业非常重要。
1. Huawei's Scale Out Supernode
徐凌杰
好的。华为的CloudMatrix 384，我认为可以称为高密度、横向扩展的算力集群。
从算力组成来看，它由12个机柜组成。每个机柜有4台8卡服务器，8乘以4再乘以12，就是384颗AI芯片。整个机柜分成左、右两部分，各有6个机柜。中间有网络交换机，以及6912个400G光模块；顶部可以看到3168根光纤，把整个系统互联起来。
从定位上讲，CloudMatrix 384和目前全球最强、最主流的英伟达NVL72进行了对标。它的总算力达到了300P，比英伟达NVL72整体提升了67%；在网络互联和内存总带宽方面，相比NVL72也实现了翻倍。
我们从集群数据倒推，基本可以得到单颗芯片的16位浮点算力，也就是FP16或者BF16算力，大约是780T FLOPS。HBM容量应该是128GB，单颗封装芯片应该有8个400G互联出口。
从静态指标来看，它基本达到了英伟达上一代旗舰芯片H200大约80%的性能。曼琪刚才用了一个很有意思、最近也比较火的词，叫“超节点”。我想，CloudMatrix 384的出现，继NVL72之后，进一步点燃了业内和媒体对超节点概念的讨论。
华为在重重困难之下，能够在芯片上持续突破，在集群上用数量换算力总量，在新的产业和国际形势下给中国趟出一条新路，非常值得肯定。但在这里我也想抛一个观点：华为这套系统或许还不能称为真正意义上的超节点。
如果把超节点分为横向扩展和纵向扩展，也就是scale-out和scale-up，那么华为的方案更像是横向扩展集群，而NVL72更多是scale-up，也就是纵向扩展集群。
程曼祺 Manqi Cheng
可以请您解释一下横向扩展和纵向扩展是什么吗？我觉得也可以把NVL72稍微介绍一下。它是英伟达在2024年GTC上由黄仁勋重磅发布的方案，但因为比较底层，可能也不是所有人都很了解。
2. Scale Up Versus Scale Out
徐凌杰
我先介绍一下scale-up和scale-out的区别。Scale-up从字面上讲是纵向扩展，定义上是通过增强单个服务器、单个硬件的能力，提升整个集群的能力。Scale-out则是通过增加集群中服务器的数量，让更多机器共同分担任务，也就是让更多机器一起工作。
举个例子。假设一家咖啡店或者奶茶店原来有一台小功率搅拌机，客人多了以后发现机器不够用，于是把这台小功率搅拌机换成一台功率更大、容量更大的机器，一次处理更多杯饮料，这就类似于scale-up，也就是增强单个机器的能力。
Scale-out则是任务多了以后，再买几台同样的搅拌机，用更多机器共同满足客户需求。这是两种不同的扩展方式。
去年GTC的时候，英伟达重磅发布了NVL72。从字面上讲，NVL72是在一个数据中心机柜里，让72颗芯片实现完全互联。这是业界非常重要的里程碑，也意味着计算范式从一颗芯片扩展到一台服务器，再扩展到整个机柜。
刚才讲到，华为的机器更多是scale-out。我们看到它一侧有6个机柜，总共有12个机柜；而英伟达的NVL72是在一个机柜里囊括全部72颗芯片，并且实现点对点全互联。
程曼祺 Manqi Cheng
简单来说，scale-up就是单个服务器里的这些卡全部相互互联。华为所说的超节点则不是这样，它发布时就是12个不同的机柜。
我看图片上，一个机柜里有4台服务器；英伟达的NVL72也类似，在一个机柜里有18台服务器，通过交换网络形成72卡之间的高速全互联。
我们也可以把AI算力的整体结构讲得更完整一些。刚才我们提到了服务器、机柜、单颗芯片，以及互联光纤、交换机等。整个AI算力的物理结构大概是怎样的？大家听得最多的是GPU，但整个系统肯定不只是GPU这一个核心模块。
3. The Data Center Becomes The Computer
徐凌杰
GPU或者AI芯片确实是系统中最重要、也最贵的组成部分。但如果要把AI算力基础层搭建好，甚至真正用好，还是要关注更多元素，特别是当我们要解决的问题变得更大以后，它已经不再是一个GPU或者一台服务器的问题。
我们会用data center as a computer，或者data center as a GPU的方式来思考和解决问题。随着系统变大，曼琪刚才提到的交换和互联会越来越重要，未来的冷却和散热也会成为非常重要的问题。
举个例子，假设把72个芯片简单堆叠起来，用普通服务器和网卡连接，那么和72个芯片全部连在一起相比，效果会差很多。随着英伟达GPU不断演进，更重要的是它的NVLink和NVSwitch互联、交换能力。
这也是综合能力和长期主义的体现。英伟达在2019年、2020年左右收购了Mellanox，把互联和交换能力收入囊中。这也是英伟达从一家GPU公司变成数据中心公司的起点，是今天我们看到的综合能力的体现。
程曼祺 Manqi Cheng
您当时在英伟达工作的时候，已经在做这方面的储备了吗？那是哪几年？
徐凌杰
我在英伟达的时候已经是很久远的事情了。2008年、金融危机之前我就在英伟达了。那时候英伟达的整体业务主要还是PC和显卡，我们作为架构设计团队，也会涉及高性能计算以及CUDA相关业务。
但那个时候英伟达还是这个行业里的nobody，和今天完全不能相比。
程曼祺 Manqi Cheng
它的股价和整体业绩起飞，可能是在2014年、2015年之后比较明显。2008年的时候，深度学习还没有真正兴起，确实还是很早的时候。
所以NVLink、NVSwitch这些技术，是英伟达后来慢慢积累起来的，但可能比行业里的其他公司积累得更早。它是通过这些东西把芯片连接起来，对吧？
徐凌杰
是的。如果我记得没错，应该是在2017年V100那一代，英伟达就有了NVLink。那时候的NVLink还比较简单，也没有实现全互联。
后来通过收购Mellanox，英伟达极大增强了通信和交互能力。在通信能力之上，NVSwitch还结合了网内计算，也就是一边传输一边计算的能力，大大提升了集群化的通信效率和计算效率。
程曼祺 Manqi Cheng
您刚才也提到，之前是用网卡来连接。它从网卡转向NVLink、NVSwitch这样的技术，是为了满足上层什么样的计算需求？
徐凌杰
从英伟达架构变化来看，最主要的驱动是模型的大小。模型变得越来越大以后，首先我们需要更多显存来存储这些参数。
比如最近最火的DeepSeek，参数量是671B。按照8位计算，就是671GB显存，再加上KV Cache以及其他必要运算所占用的显存，往往要达到1000GB以上。
单台服务器或者单个芯片就不够了。以主流的H100为例，单颗芯片是80GB显存；一台标准服务器往往是8卡服务器，8乘以80就是640GB。也就是说，DeepSeek最简单地要把参数存起来，至少需要两台服务器。如果要更高效地运行，往往就需要更多服务器连接在一起。
随着模型变大、上下文变长，KV Cache也占用越来越大的空间。在这种情况下，英伟达作为全球主流芯片公司，向更大规模集群化方向发展，是非常自然的事情。
程曼祺 Manqi Cheng
我们之前有一期节目聊过注意力机制、线性注意力和非线性注意力，也讲到了KV缓存。随着上下文变长，KV缓存会越来越大。我们当时和算法从业者讨论时也提到，未来如果模型的上下文越来越长，按照现在Transformer的结构，KV缓存可能最终还是会爆掉。大家也可以去听听那一期。
再说回芯片价格。刚才说的是GPU之间的互联，现在行业里还经常提到“总线”。华为发布CloudMatrix 384时，官方描述是这些卡通过新型高速互联总线连接。总线是什么？总线和NVLink、NVSwitch是什么关系？
徐凌杰
我觉得不必拘泥于具体名词。今天我们讲AI芯片、GPU、GPGPU或者NPU，虽然叫法不同，但指向的是同一个市场，解决的是同类问题。
无论叫总线还是高速互联协议，本质上都是解决芯片之间如何通信、如何协同工作的问题。以英伟达的NVLink为例，它更重要的伙伴是NVSwitch。NVSwitch把多条NVLink连接在一起，形成点对点的高速互联协议。
NVLink采用类似网状的结构，把多个设备连接起来，提升传输效率和可扩展性。通过支持多个NVLink连接，再结合大规模交换的NVSwitch技术，可以构建多颗、甚至上百颗芯片的互联系统。
最近的GTC也发布了路线图，未来至少会有144颗GPU互联起来，而且是全互联。这样更快的通信速度，可以让GPU在并行计算的同时，更快地完成同步、数据共享和交换，提升整体计算性能。
所以无论叫什么名字，首先要把目标搞清楚。
程曼祺 Manqi Cheng
总线和高速互联协议，是不是已经涉及算力层的软件？它不完全是硬件，对吗？GPU肯定是硬件，但总线好像不是单纯的硬件。
徐凌杰
计算和互联在今天的环境里越来越分不开。计算需要和其他芯片形成非常好的通信，计算和网络之间，一方面是速度问题，另一方面是协议问题。
刚才也讲到，包括英伟达，以及我认为未来华为的系统里，很多计算不会只发生在GPU本身，也可能发生在交换芯片上。比如很多计算结果分布在不同GPU或者AI芯片上，需要把这些结果聚合起来。
如果只是简单聚合，就要把数据传到某个芯片或者某些芯片里，再进行层层累加，效率会比较低。如果能在中心节点，也就是交换芯片上进行网内计算，英文叫in-network computing，就可以简化整个计算过程。
从这个维度来看，计算和互联是非常有效地结合在一起的。
程曼祺 Manqi Cheng
这种交换芯片是一种新的芯片类型吗？
徐凌杰
如果类比的话，它类似于网络交换机里的交换芯片。数据中心里有服务器，服务器通过网卡再通过交换机进行交换。数据中心通常以太网为主，而NVSwitch里面更多是内存语义的交换，方式可能不太一样，但芯片本质上更像交换芯片。
程曼祺 Manqi Cheng
我有一个挺好奇的问题。您当年做壁仞的时候，那一波还有很多新的芯片公司。有些公司做CPU，也是要用在AI数据中心；还有一类是DPU，DPU有一段时间特别火。
我印象中，DPU是为了取代传统网卡，提供更高效的互联能力。这些东西现在在目前的结构里实际用到了吗？
徐凌杰
您问了一个很有意思的问题。DPU和我之前的一份工作还挺有渊源。2020年底，英伟达完成对Mellanox的收购之后，我也在积极布局，希望把计算和通信连接起来。
2021年初，我们第一轮投资了一家做DPU的公司，叫云脉星联。这家公司现在应该已经有RDMA网卡产品，也在市场上销售。
今天互联的需求越来越高，这一类公司从DPU转型到RDMA网卡的过程中，我想也会有很大的机会。
程曼祺 Manqi Cheng
您是个人投资的吗？
徐凌杰
第一轮不是我个人投资，是公司投资。
程曼祺 Manqi Cheng
是当时壁仞投资的？
徐凌杰
对，是我推动壁仞投资的。这个投资本来是战略投资，后来可能变成了财务投资，也是在公司历史上比较成功的一次退出，后面还赚了钱。
程曼祺 Manqi Cheng
壁仞作为一家初创公司，已经通过投资赚到钱了，你们的眼光可能比很多投资机构都好。
我们回到算力结构。刚才说的可能更多是硬件部分。我知道模型智能现在做的是硬件更上一层的优化，把软件、芯片和AI基础设施的算力结构再延展一下，可以吗？
4. AI Infra Goes Beyond Chips
徐凌杰
今天市场上有很多公司在做AI infra，也就是AI基础设施。我们可以把AI infra分成狭义和广义两种。
狭义的AI infra，往往是指在软件层面优化模型，让模型运行得更快、成本更低。但我们认为，广义的AI infra更值得重视。它可能覆盖从芯片之上到应用之下的所有中间环节：如何把应用在最底层的芯片上高效运行起来，这些都属于infra。
从服务器到机柜，再到多个机柜组成的超节点，今天我们讨论的就是AI infra里偏硬件的环节，而这些领域往往还存在大量技术空白。比如英伟达的NVL72，从去年推出到今天落地并不顺利，因为连接、散热、冷却都有巨大的工程要求，也有很大的工程空间。
我也介绍一下模型智能在做什么。刚才一开始介绍时，我说模力智能专注于服务器集群和算力优化。我们确实在开展服务器集群硬件方面的工作，也会有产品向客户销售。
作为一家初创公司，我们的定位是一家软硬件结合的AI基础设施公司。我们既有自己的高密度超节点产品和设计能力，也有软硬件结合的系统优化能力。
这和我们两位主要创始人的背景有关。我自己更多是芯片和服务器背景，另一位创业伙伴金琛更多是软件和系统算法背景。团队里还有很多在这两个方向有深入研究和实操经验的同事，大家一起推进这项事业。
程曼祺 Manqi Cheng
硬件结合的AI infra，芯片原厂自己也在做。这个领域对第三方创业公司的机会是什么？
徐凌杰
芯片原厂需要严格定义。做GPU的公司可能不太理解互联，做互联的公司又可能不太懂计算芯片。今天我们看到的英伟达，可能是全球少数既懂计算芯片、又懂互联芯片的公司。
即使是英伟达，在NVL72落地时也遇到了很大困难，这和我们这个时代的要求有关。举几个简单的例子：过去一台服务器可能是10千瓦，NVL72一个机柜已经达到120千瓦以上，明年可能推出300千瓦的机柜，之后还会有800千瓦甚至上兆瓦的机柜。
这种集成度，以及对冷却、散热和互联提出的要求，是从量变到质变。这里面有很多技术能力和技术工作，是初创公司可以掌握先机的地方。我们和芯片原厂不是竞争关系，而是互补关系。
程曼祺 Manqi Cheng
英伟达少有地同时把计算、互联和软件都做得比较好，国内的华为看起来也在往这个方向发展。
像你们这样做AI infra、偏硬件系统优化的第三方公司，主要客户是其他AI芯片公司吗？比如寒武纪、壁仞、摩尔线程？
徐凌杰
我们当然可以和芯片原厂合作。同时，基于这些芯片，我们也可以做一些非公版设计。当然，公司现在还处于比较早期的阶段，具体商业模式等有了产品之后，我们可以再交流。
程曼祺 Manqi Cheng
可以透露一下吗？你们会自己设计芯片吗？
徐凌杰
我们现在不做芯片。我们在海外和国内都有业务，首先会基于国外芯片做一些不同的设计，把更多芯片集成在一起。未来也希望和国产芯片合作，去做大规模集群。
程曼祺 Manqi Cheng
比如用国外芯片，主流可能是英伟达的芯片。你们是觉得可以做一些设计，让它在某些场景里比英伟达提供的标准化方案更有优势？
徐凌杰
公版确实要好，是OK。
程曼祺 Manqi Cheng
好。我们回到超节点。判断一个超节点或者计算集群好不好，哪些指标比较重要？刚才最开始介绍CloudMatrix 384时，您说了总算力、容量、互联等指标。如果拆解一下，主要看哪些指标？
5. Training And Inference Need Different Things
徐凌杰
硬指标包括显存带宽、支持的数据格式和精度、显存容量、芯片制程、功耗、发热以及散热系统。这些都是客户需要考虑的问题。
最终判断一个产品好不好、适不适合客户，和客户的需求密切相关。就像我们每天看到的汽车，不同的车满足不同需求。有些人喜欢跑车，要最快的速度和最炫的外形，实用性可能不是最主要的；对他们来说，最快到达终点很重要。
另一类客户看重性价比和空间，关心性能、车里有没有大屏幕、有没有冰箱。我们今天看不同场景，如果先分成训练和推理，它们在不同阶段有不同需求。
对于训练集群，我认为客户最主要是希望在稳定预期下达到训练结果，也就是追求稳定性和算力规模，对功耗和成本可能相对没那么敏感。
去年Llama 3比较火，DeepSeek出来之后则是DeepSeek最火。我们当时看到一篇论文，Meta有一个大集群，如果没记错，可能是大约1.5万张以上H100组成的集群。在训练过程中，大约两个月出现了几百次意外，也就是说每两三个小时就会发生一次故障。
发生故障后，就要恢复到checkpoint，重新加载。对于这样的集群来说，规模越大，对稳定性的要求就越高。超节点也是一样。
对于推理集群，用户可能更看重推理服务的收益，也就是TCO，total cost of ownership，总体拥有成本。训练往往是CapEx，也就是资本性投入；推理往往是OpEx，也就是经营性支出。
客户会关心单位token成本能不能达到最低。这里既有机器本身的成本，也有电力和运维成本，综合考虑之后，才能得出答案。
程曼祺 Manqi Cheng
说到推理成本，前段时间DeepSeek做了一个开源周，开源了一些infra框架和工具，最后总结了它自己的推理优化情况，提到545%的成本利润率。我不知道您有没有研究过DeepSeek V3？V3和R1在你们的优化下能跑到什么程度？和DeepSeek自己做的优化相比，是什么情况？
6. DeepSeek Changes Cluster Optimization
徐凌杰
DeepSeek确实有非常强的优化能力。您刚才问了一个很有意思的问题：我们现在到底能优化多少？
和DeepSeek不同，我们是在H20机器上进行优化，而不是H800。H20有不同的算力和通信比，因此需要不同的优化策略。现在我们已经能够在H20机型上，针对DeepSeek满血版达到不错的效果，实现API业务盈利。
未来也希望有更多合作伙伴和我们一起合作，在这片星辰大海上一起赚到钱。
DeepSeek使用了大规模分布式的专家并行系统，用几百张卡运行decode部分，以达到最好的效率。这是今天非常明确的产业趋势。
无论是最近发布的Llama，还是录节目当天早上发布的通义千问Qwen3，都在朝这个方向发展。也就是说，一个大型模型里有很多小的专家，在专家激活时也不是一次性全部激活，而是每次只激活一小部分。
如果只是把模型勉强跑起来，集群利用率会比较低。把专家打散，每张卡上只放若干个专家，再通过高并发把整个集群利用率提升起来，我想这就是DeepSeek能够达到高利用率和高利润率的来源。
今年2月，DeepSeek也把它的部分“秘密”公开了。现在很多创业团队和互联网大厂都在模仿DeepSeek，希望借鉴它的经验，在系统上取得更好的效果。
我可以透露的是，我们现在也在几十台、数百张H20上调试。这个结果每天都有进步。
程曼祺 Manqi Cheng
我问一个技术问题。模型推理时，对第三方公司来说，做推理优化是不是要针对每个模型分别适配？因为每个模型的尺寸不一样。
以Qwen3和DeepSeek为例，Qwen3目前开源的旗舰版本总参数是235B，激活参数是22B；DeepSeek总参数是671B，激活参数是37B。参数不同，会不会导致每次适配模型时，都需要重新修改推理方案？如果想做到极致效率，还是有一个标准方案可以把不同模型都优化好吗？
徐凌杰
在我看来，方法论非常类似。刚才讲到，模型结构里有很多专家，每次都是稀疏激活。总体方向就是把专家打散，每张卡上只放若干个专家，再通过高并发让每张卡都达到较好的利用率。
具体算子可能不一样，专家比例、专家大小以及其他参数也可能不同，但方法论是类似的。一般来说，我们会先做理论推导，通过理论推导得到一个相对较好的配置起点。
再通过实验和一些比较好的经验值，就有机会在不同模型上快速调出较好的结果，前提是这些模型属于同一个方向。
程曼祺 Manqi Cheng
刚才您在讲如何判断超节点或计算集群时，把训练和推理分开来说。现在行业里有一个趋势，至少英伟达在推动这个趋势，就是希望训练和推理统一到相同的芯片和硬件上。
比如B200，黄仁勋会说这是训推一体的芯片。对需要使用AI算力的企业或开发者来说，这实际吗？如果买一个NVL72很贵，可能要花300万美元。现在大家实际使用时，训练和推理会用一样的卡吗？
也可以顺便讲讲，目前训练和推理主流的GPU分别是什么。
徐凌杰
实际使用中，如果有合规的H800，大家可能还是愿意用英伟达芯片做推理。训练方面，因为可靠性、确定性、稳定性、口碑和生态等因素，主流选择会毫不犹豫地是英伟达。
推理的第一选择可能也会是英伟达，但今天更多是供给问题，而不是需求问题。未来一段时间，无论是其他品牌的国外芯片还是国产芯片，只要在某一类模型上达到比较好的效果，通过性价比方式替代英伟达，都是有机会的。
程曼祺 Manqi Cheng
所以现在实际使用中，训练主要用H800，推理可能用H20，是这样吗？
徐凌杰
推理事实上经过测算，H800的性价比可能还是比H20更好。
因为专家打散之后，问题从原来的容量限制，也就是capacity问题，变成了算力限制的问题。在大规模分布式场景下，H800算力大约是H20的5到6倍，而价格可能只有两三倍。在这种情况下，单位算力成本还是H800更好。
今天中国芯片从算力本身来看，我认为还有很大的空间需要追赶。
程曼祺 Manqi Cheng
所以大家实际使用时，确实像黄仁勋说的，训练和推理用同一个芯片，性价比最高。他不是说NVL72买得越贵、买得越多，最后单个token的成本反而越低吗？
徐凌杰
大致方向是这样的。对于云上的大规模训练和推理，您说的方式应该成立。
但如果是线下场景，优先级会不一样。线下并发没有那么高，预算可能只有200万或300万元，只能买一两台服务器，这时优先级就不一样了。对于云上场景，刚才说的方式应该成立。
程曼祺 Manqi Cheng
我们延展聊聊，是什么趋势导致大家开始追求超节点？刚才已经讲到一个原因，就是模型越来越大，所以互联技术越来越重要。
具体到今天这个规模，还有哪些行业趋势？除了英伟达和华为，谷歌其实也在做类似方案。
7. Google Started The Supernode Race
徐凌杰
您提到了一个非常好的名字：谷歌。最早做超节点、以Pod形式组织集群的，确实是谷歌。
2016年谷歌发布第一代TPU时，也激励我从芯片原厂进入云公司，因为我看到了更大的机会。
程曼祺 Manqi Cheng
可以讲讲这个过程吗？您当时是从三星去了阿里云？
徐凌杰
对。2016年5月、6月，谷歌发布第一代TPU，对我的冲击很大。那个时间点，在硅谷湾区，很多人都接触过AI，但大多数人把AI当作玩具。
谷歌真正投入芯片、做TPU以后，让我们意识到AI要登堂入室了，真正能够产生生产力。第二，计算范式也可能发生变化，从PC到手机，再到数据中心。那时候硅谷很多人都很敏锐，希望抓住这个机会。
对我来说，也是那个时间点有机会从芯片设计公司进入阿里，开始从事云计算基础设施相关工作。
程曼祺 Manqi Cheng
谷歌当时是怎么开启超节点实践的？
徐凌杰
谷歌那时的芯片开创了一个时代。到TPU v2时，我们看到它已经以Pod形式出现，不再是单台服务器的形式。
如果没记错，Google TPU v2是256卡；后面每一代都有很大跃升，v3是1024卡，v4应该是4096卡。与此同时，在v4、v5时，谷歌也把网络用到了极致，采用了OCS，也就是Optical Circuit Switch，可以动态配置网络。
谷歌在这方面走得比较前。谷歌走在前面之后，英伟达作为两大巨头之一，也推出了NVIDIA SuperPOD。真正让大家在这一轮生成式AI浪潮中关注到严格意义上的scale-up集群，是去年英伟达在GTC发布的NVL72。
从模型发展趋势来看，我再总结一下：更大的问题需要用更大的系统来解决。模型参数变大、上下文变长，无论是原本上下文变长，还是深度思考对上下文的要求变高，都会形成显存压力。
显存也在不断增加。从A100最初的40GB到后来的80GB，再到H200的144GB，以及未来系统可能达到192GB到288GB。今天芯片的成本结构也在发生深刻变化。
过去我们认为计算是主角，但现在芯片成本已经从以芯片和晶圆为主，变成以显存为主。在上一代H100架构里，显存成本大约占40%到50%；到新一代B200架构，显存容量越来越大、价格也居高不下，占比达到50%到60%。
要高效利用显存，就需要更多集群通过高速网络连接起来。再结合DeepSeek的要求，众多MoE需要稀疏激活，通过大规模集群才能达到最好的推理效果。这样我们才能真正看到，超节点无论用于训练还是推理，都能带来很好的性价比提升。
程曼祺 Manqi Cheng
显存的全球主要供应商是谁？这里面没有中国公司吗？
徐凌杰
目前主要的HBM供应商包括韩国的三星和SK海力士，以及美国的美光。之前三星比较领先，但这两代SK海力士领先得更多。
其他内存芯片，比如LPDDR，国内已经有几家公司基本实现替代。这也是需要解决卡脖子问题、急需追赶的领域，因为HBM事实上已经被美国对中国实施禁运。
程曼祺 Manqi Cheng
华为自己做不了HBM，对吧？
徐凌杰
这个我不能评价。
程曼祺 Manqi Cheng
说不定人家正在研究。
还有一个问题。华为的CloudMatrix 384，是用更多数量换取总算力提升。它选择这个方案，是因为中国本土制造技术的限制，导致单颗芯片性能没办法进一步提高，所以找到了绕过去的方案；还是说相比优化单颗芯片性能，把更多芯片连接起来本身就是更好的方式？
8. Huawei Trades Efficiency For Scale
徐凌杰
我们先从数据看。华为CloudMatrix 384能够在整个集群上提供300P算力，几乎是英伟达NVL72理论值的两倍；内存容量大约是3倍以上，内存带宽是2倍以上。
事实上，从集群能力来看，它已经和英伟达平起平坐，甚至更高。它付出的代价是功耗。基于外媒推测，它的潜在功耗可能是英伟达的4倍左右。
华为这套方案也给中国厂商指了一条路。无论是AI应用厂商还是基础设施厂商，都可以通过搭积木、垒部件来构建系统能力。虽然每个部件、每颗芯片没有那么强，但通过更强的集群和系统能力，也能搭建出整体效果。
成本可以分成CapEx和OpEx。以中国使用英伟达GPU的情况来看，电力成本在OpEx里每年大约占10%，有些西部城市可能更低。中国要解决的实际问题和国外不一样，中国的电力目前不是特别大的问题；海外数据中心则面临更大的电力和电价压力，所以成本结构不同。
基于这个事实，华为做出了这套系统。虽然它的交换能力不如英伟达，集成度也没那么高，也没有把所有东西放在一个机柜里，但从实际效果来看，这是一条美国厂商没有走、中国厂商可以通过系统能力构建核心竞争力的道路。
华为有了这个能力之后，对其他国产芯片厂商来说，如果未来没有超节点能力，没有把几百张卡连在一起、共同协作并获得更高性价比的能力，就会落后。英伟达可能并不可怕，华为更可怕。
程曼祺 Manqi Cheng
我以为您要说，如果它们没有这个能力，可以来找你们。
徐凌杰
对，后面就是广告嘛。
程曼祺 Manqi Cheng
刚才这个总结特别好。华为功耗更高的方案，也许是在中国环境里因地制宜的路线。就像您说的，中国电费相对便宜很多。
徐凌杰
我觉得这是成本结构的考量。我们刚才讲怎么评价一个系统，无论怎么样，系统都要跑得快，这是大家公认的目标。
要跑得快，根据今天的模型特性，必须在几百张卡上实现高度并行化处理。在跑得快的前提下，华为的劣势其实没有外媒分析的那么大。通过成本结构，可以掩盖相当一部分设计和芯片制程上的劣势。
程曼祺 Manqi Cheng
不是所有GPU或AI芯片设计厂商都能把这么多颗芯片互联起来。这里面需要什么技术？华为为什么能做到，和它过去哪些技术积累有关？
徐凌杰
如果让其他芯片厂商通过网卡和交换机系统搭建出CloudMatrix 384这样的能力，很多公司其实都有这个能力。主要看芯片上有多大的交换接口，以及有没有合作伙伴帮助搭建集群。
如果要进一步做到真正的scale-up集群，像英伟达NVL72一样，就需要更强的能力，也就是我们一开始讲到的NVSwitch能力。
目前国内厂商基本都还没有布局NVSwitch，未来两三年可能也不会有类似产品。没有NVSwitch，就通常需要通过网卡加交换机扩展。但网卡和交换机是一种互联方式，受限于交换能力、交换速率、网络速度和整体互联拓扑，通常不会是全互联，效果在某些应用上会打折扣。
总结来说，做类似华为CloudMatrix 384这样的集群，很多厂商其实有能力。我认识的好几家国产芯片厂商都在做类似352卡或者384卡的集群，也在大集群上进行性能调优。
程曼祺 Manqi Cheng
刚才也讲到，华为目前的方案还是用了交换机。它的交换机和华为过去做电信通信的交换机，是同一个东西吗？
徐凌杰
从大方向上说，应该不是同一个东西。大学里，电信方向可能更接近麦克斯韦和香农定律；计算方向则更多是冯·诺伊曼架构，通常也是不同教授讲授的课程。
华为过去在网络处理器，也就是NPU，英文是network processing unit，而不是我们今天说的神经网络处理器上，有过十几年、二十年的积累。无论是技术积累还是人才积累，都能提供很大帮助。
可以这么说，在成为另一个英伟达之前，华为其实已经是一个Mellanox。英伟达是从GPU芯片公司，通过收购Mellanox，把网卡和交换机芯片纳入进来，成为数据中心硬件公司。
而华为在这之前，可能已经拥有网络和交换能力，后面又发展出计算能力。这样的结合，使它的综合能力在国内、甚至全球都比较强。
程曼祺 Manqi Cheng
所以和这件事相关的积累，主要是华为过去做网络相关业务的积累，而不只是大家最先想到的通信业务。
那NVSwitch的难点是什么？为什么英伟达能做，其他人不做？它看起来对英伟达生态很有好处，好像大家都应该去做。
徐凌杰
NVLink和NVSwitch，我认为是CUDA之外第二重要的生态能力。它可以把系统高效连接起来，系统越大，能够销售的产品价值也越高。
核心能力是高速SerDes，也就是高速接口芯片和接口IP。高速接口IP往往又和先进制程节点联系在一起，所以这也是国内生产制造方面的短板。
除了生产能力，还有生产关系。英伟达自己的计算芯片可以和自己的网络芯片互联。对绝大部分中国公司来说，如果没有华为这样既懂网络又懂计算的能力，再自己做计算芯片、网络芯片和交换芯片，难度很大。
要把两者结合起来，既需要很强的设计能力，也需要先进制程才能达到结果。理论上，华为当然可以做NVSwitch，或许已经在做了。
程曼祺 Manqi Cheng
高速接口IP是英伟达自己设计的，还是市场上可以买到公版，再进行开发？我知道新思科技和ARM也有一些接口类IP，但不知道是不是这种接口。
徐凌杰
有的。谷歌做TPU芯片时，也利用了博通的高速能力。博通本身也给谷歌做代工。
如果有厂商想发展这项技术，确实可以找到合作伙伴共同建设能力。但对英伟达、华为这种既掌握网络技术、又掌握计算技术的公司来说，做这件事最有优势。
徐凌杰
是的，是的，是的。对中国公司来说，未来这些高速接口可能也会受到限制。最近H20受到限制，主要原因之一就是带宽太高。无论是HBM带宽还是互联带宽，都超过了美国的限制线。
程曼祺 Manqi Cheng
接下来我们想从华为超节点延展到大家比较关注的AI算力基础市场，包括不同厂商进展带来的竞争格局变化。
一个直接问题是，华为发布CloudMatrix 384，对英伟达会有什么冲击？
徐凌杰
我个人认为，短期内对英伟达没有特别大影响，基本上是“你打你的，我打我的”。短期对英伟达来说不是需求问题，而是供应问题，产品进不来。
但对其他国产芯片的冲击很大。一旦在心智上对客户产生冲击，客户可能会认定超节点才是更好的产品。
从DeepSeek今年年初的示范效果看，我们已经看到示范效应的威力。今天很多地方可以免费尝试671B满血版DeepSeek，如果再让客户尝试更小的模型，很多人可能就不愿意了。
同样，华为有了CloudMatrix 384，可以达到较好的性价比。相比小规模集群或单台服务器，如果性价比有几倍、甚至一个数量级的优势，那么没有超节点技术储备，或者架构不适合扩展的芯片公司，就容易被淘汰。
从长期看，对中国市场的意义比较深远。我们刚才讲用数量换算力总量，也就是在芯片制程还不够先进、先进制程产能又不足的时候，通过系统扩展，结合系统能力和优化方式，提升整体算力。这可能是现阶段中国算力产业保持竞争力、不掉队的重要路径。
程曼祺 Manqi Cheng
如果这件事短期对英伟达没有太大影响，还有一个问题是H20是否会被禁。它原本就是英伟达为了绕开此前禁令、面向中国市场做的特供版，而且英伟达此前也下了一些订单。
如果美国政府重新划线，把H20也禁运，会不会短期影响英伟达业绩？因为原来的订单或库存可能在美国、东南亚或者欧洲，而这些市场可以使用性能更高的GPU。
徐凌杰
这件事已经对英伟达造成了实时影响，股价在当天已经反映出来。英伟达计提了55亿美元。
具体到芯片，黄仁勋的“刀法”是，H100、H800、H200总体上是同一个芯片，在同一个芯片上做不同切割，形成不同配置。
这些芯片能不能通过其他方式，从计提的write-off里变废为宝，变成其他产品，我想英伟达可能会有办法。H20此前主要面向中国市场，在海外可以买到H200的情况下，大部分客户还是会选择满血产品。
程曼祺 Manqi Cheng
您说的“变废为宝”，是指H20可以变成H200吗？
徐凌杰
H20和H200相比，算力大约是H200的六分之一，也就是屏蔽了很多计算单元。不排除它能够继续打开一部分原本刻意屏蔽的计算单元。
当时是为了满足美国出口管制限制，要求2400个bit ops，也就是8位算力低于300T。如果有些算力单元是刻意关闭的，就有机会恢复出来。恢复之后，如果能形成合适的性价比，或许可以卖给海外客户，但和中国客户就没有太大关系了。
程曼祺 Manqi Cheng
屏蔽和恢复是硬件手段，还是软件手段？生产时需要重新生产，或者做改造，还是软件就可以？
徐凌杰
既是硬件也是软件。通常会在板级上做设置，再通过一些板级不可更改的设置，把芯片配置烧录进去。
如果fuse，也就是保险丝还没有烧断，就可以配置成不同的产品。
程曼祺 Manqi Cheng
如果我是中国客户，买一批H20回来，能不能自己魔改提升性能？这可能有点超纲，但有没有可能？
徐凌杰
H20应该不太可能恢复成满血H200。
程曼祺 Manqi Cheng
我不是说恢复成满血H200，只是做一些魔改，提升性能，有可能吗？
徐凌杰
这涉及破解很多加密部分，难度比较高。今天对我们来说确实超纲。
程曼祺 Manqi Cheng
也就是说，改这件事本身就是很高的技术门槛。
徐凌杰
技术门槛非常高。相当于要破解板子上可能存在的RISC-V内核，这些内核用来做加解密。你需要破解这些加解密单元，再反向恢复整套系统，同时还要继续对fuse做reverse。难度还是很高的。
程曼祺 Manqi Cheng
刚才讲的是芯片层面的公司。如果纵向看，超节点技术对整个产业链、对上层模型有什么影响？接下来对中国模型公司会有什么好处？
比如今天阿里刚发布通义千问Qwen3，几个小时之后华为就说支持Qwen3，可以开箱即用、零日适配。华为是怎么这么快适配新模型的？它们好像并没有提前沟通。
徐凌杰
现在这个阶段，对绝大部分AI芯片公司来说，快速适配一个模型、把它跑起来，并不是特别难。
后面的难题是，面对新发布的模型，无论是Qwen3还是DeepSeek的新模型，如果方向和类型相同，但参数有差异，如何快速、高性价比地把模型跑起来，我觉得这才是后面的竞争点。
简单把车发动起来不难，但要让它在赛道上很好地加速起来，这才是竞争点。未来要在保证每个用户每秒token数的前提下，达到多少并发，稳定服务时系统整体吞吐是多少，这会成为大家比较的核心。
模型都类似的情况下，推理最终就是拼性价比。
当然，模型质量也有差别。芯片层面有一个重要参数，就是精度。以DeepSeek为例，它用FP8，也就是8位浮点数进行训练和推理，这是满血版官方发布的方式。
很多国产芯片目前不能原生支持FP8，要么恢复到FP16或BF16，这会占用更大的带宽和存储容量，不划算；要么把FP8重新量化成INT8，也就是8位整数，这可能会有精度损失。
总会有各种软件方法降低影响，但有时我们会看到，虽然都是DeepSeek，回答质量在某些环境里可能不一样。
程曼祺 Manqi Cheng
您刚才说的精度，FP8、INT8，简单来说是GPU处理数据的格式，可以这么理解吗？
徐凌杰
它是GPU计算、处理数据以及存储数据的一种格式。今天都以8位为例，浮点数的动态精度更大，定点数的动态精度没有那么大。
有时需要较大的动态精度，有时INT8就够了；有时则需要更大的精度范围，用FP8处理。未来英伟达也会引领FP6、FP4等更低精度格式进入实际应用。
今天大部分模型都是概率统计意义上的结果，也就是做next-token prediction，下一个token的预测本来就是概率问题。计算时到底是70.1还是69.8，如果差一点对最终结果没有太大影响，那么稍低的精度也可能是可以接受的。
程曼祺 Manqi Cheng
一颗GPU支持多少种格式，是设计选择，还是有技术难点？英伟达支持的格式好像比较全面，有32位、16位、8位，而且8位又分很多种。
徐凌杰
这既是设计选择，也是对未来趋势的判断。今天跟着英伟达走，是比较安全的选择。
但对还不能确定、也不能引领业界主流的公司来说，可能不愿意投入做新格式，往往等英伟达确定以后再跟进，这样可能会慢半拍到一拍。
程曼祺 Manqi Cheng
而且确定一种格式，可能也需要上层开发者和用户配合。FP8最近比较火，我觉得也和DeepSeek以及H800比较火有关，因为H800原生支持FP8。这是一个生态关系。
徐凌杰
这是相辅相成的生态关系。今天只有英伟达这样一家全球范围内广泛使用、已经成为工业基础的公司，它引领的format才更容易被接受。
未来因为美国禁令，中国可能会出现另一种生态，也许国产芯片会产生新的机会。
程曼祺 Manqi Cheng
英伟达的优势和壁垒看起来非常强，很多地方还有正循环，随着生态变化越来越强。除了中美贸易这种非市场和技术因素，如果只看市场和技术，英伟达有什么可能被动摇的地方？它的强势地位会因为哪些原因削弱？
9. Nvidia Moat Faces Its Next Test
徐凌杰
今天来看，英伟达在全球范围内的地位，未来两三年被削弱的可能性相对较低。
一方面，它的芯片发展和路线图竞争力很强；另一方面是它的生态。刚才讲到两个生态，一个是CUDA生态，另一个是它自己闭环的互联系统，包括GPU、网卡、互联和NVSwitch。
技术层面，英伟达还有一个非常大的优势，就是全球最好的供应链围绕着它。从芯片来说有台积电；从HBM来说，有SK海力士、三星和美光。为了满足英伟达的特殊需求，供应商甚至会进行特殊设计，所以它总能更快、更早、更好地拿到最新技术。
比如从HBM2e到HBM3，带宽和容量提升都很大。能及时换上最新技术，对产品竞争力影响很大。
系统层面，它有Supermicro、富士康等代工厂合作，基本把先进制造能力都整合起来了。全球第二大的GPU公司AMD，去年8月也不得不花49亿美元，收购一家能够配合它做超节点和整机柜方案的公司ZT Systems。
英伟达的综合能力，可以用一句话概括：它贴着技术极限做整体产品设计。当然这个极限是全球范围的科技极限。
回到国内，限制条件不一样。我们看到国内也有很多芯片厂商愿意尝试向前走，和国内最新制程、节点及技术结合，这也是未来的希望。
程曼祺 Manqi Cheng
总结一下，英伟达短期、或者未来两三年的优势仍然非常明显。往上游，它有全球技术供应链提供最新技术；往下游，它通过CUDA和NVLink等互联技术连接开发者，形成了上下游紧密结合、持续领先的生态。
徐凌杰
是的。英伟达最大的威胁，其实来自客户集中。
海外的亚马逊、谷歌、微软都有自己的定制芯片。谷歌有TPU，亚马逊也有Trainium，它们会找博通这样的公司帮助设计。博通本来就做交换机，有很强的SerDes和互联能力。
今天英伟达的客户比较集中，是一个比较大的威胁。它的客户可能占到采购量的60%以上。中国市场占英伟达的比例也很高，如果未来失去中国市场，这是一个短期不确定因素，但它更多是政策因素，而不是技术因素。
程曼祺 Manqi Cheng
客户集中本身也是产业因素。它的客户都是美国大型科技公司，有人才、有资源自己做AI芯片。您刚才也提到，谷歌TPU促使您从三星去了阿里云。
但另一方面，TPU似乎并没有撼动英伟达，谷歌也不能完全解决自己的需求，还是要买很多英伟达芯片。博通和这些大公司合作做定制AI芯片，这个趋势什么时候可能显现，让英伟达的大客户减少对它的需求？
徐凌杰
北美互联网大厂，以及禁令前中国互联网大厂，都是英伟达最大的采购方，可能占它采购量的60%以上。
对这些客户来说，自研芯片一方面是成本考量。英伟达数据中心业务毛利率很高，往往达到70%甚至80%。从经济上看，互联网厂商按照自己的采购量养一支自研团队，是划算的。
另一方面，自研芯片在供应链上更安全。ChatGPT刚出来时，英伟达芯片非常抢手，货期很长。自己拥有供应链，就会更从容。谷歌TPU在那个时间点就有很大优势。
第三是英伟达的溢价空间。无论谷歌TPU、亚马逊芯片，还是微软的Maia芯片，我认为都能带来很好的议价能力。
公司和公司之间既合作又竞争。这些芯片从一开始的定位，可能就不是对外销售。要对外销售，需要付出很多努力，组织结构和团队组成都会不一样。
如果一开始没有准备成为独立芯片公司，后面就很难改变定位。这也是初始定位的问题。
程曼祺 Manqi Cheng
但它们完全解决自己的使用需求了吗？好像也没有。
徐凌杰
这要分情况。比如Google TPU早期是和TensorFlow结合，后来也能够和其他框架配合。内部使用确实解决了很大一部分供应和成本问题。
它们同时也是云厂商，所以不仅要考虑内部需求，还要考虑云上客户的需求。很多客户，比如OpenAI，想用的是英伟达芯片，因为英伟达最好用，微软就需要采购英伟达芯片。
英伟达在去年或者前年已经成立了一个半定制部门，叫semi-custom design。它接下来也会像博通一样，向互联网大厂销售自己的IP和设计能力。
现在还没有看到特别成功的案例，但这可能是英伟达破局的一种方式：继续做大型互联网公司的生意，同时进一步影响它们的自研方向，用英伟达的模块和IP解决一部分问题。
程曼祺 Manqi Cheng
它自己做半定制部门，不会左右互搏吗？标准芯片毛利率那么高，内部的人为什么有动力做半定制？
徐凌杰
半定制部门主要是解决互联网大厂的问题，避免它们自研，和它们做生意。对于芯片公司来说，半定制并不是罕见选择。
AMD做半定制已经很久了。我们熟悉的Xbox和PlayStation，里面的芯片都是AMD利用现有IP定制的，包括GPU、CPU和其他控制器IP，再和微软、索尼共同定制出来。
这种商业模式是存在的，只针对一定体量的客户做定向销售。通过特定IP，也可能绑定客户生态，比如英伟达的整体生态、NVSwitch和NVLink生态。当然这只是我的猜想，目前还没有看到事实结果。
程曼祺 Manqi Cheng
它确实想得挺全。这算一种怀柔政策吗？
徐凌杰
可能它没有想得那么全，是我们帮它脑补得比较全。
程曼祺 Manqi Cheng
您当时为什么从英伟达去了AMD？
徐凌杰
这是很久远的事情了。从英伟达去AMD，主要是因为有机会在AMD跟着它的首席架构师、公司高级院士Mike Mantor，做新一代AMD Compute Unit架构。
我跟着他做了大约一年半到两年，也算有机会跟着一位大牛直接学习。
程曼祺 Manqi Cheng
那是哪一年？
徐凌杰
2010年底。
程曼祺 Manqi Cheng
那时候英伟达和AMD在GPU市场的份额差距大吗？
徐凌杰
差不多是六四开，甚至五五开。在那个时代，AMD在芯片设计、能耗节能和面积方面的优势比较明显。
英伟达那个时代也曾经做砸过几个芯片，比如Fermi就不算特别成功。那个时间点，英伟达正在逐渐建立优势，从CUDA寻找方向，从芯片层面确立自己在某些领域的优势，但那时优势还不明显。
程曼祺 Manqi Cheng
不知道有没有人和您讨论过，如果当时一直留在英伟达，今天股票收益可能会非常多？
徐凌杰
我现在朋友圈里还有几个和我差不多时间加入英伟达的人，现在生活过得很滋润。从经济上讲，我如果一直留在那里，确实会有很大的回报。
但从产业机会发展来看，从芯片到数据中心、云计算，再到今天的超节点，我一直在创业，或者寻找新项目。
中国芯片这几年无论受到禁令影响，还是产业格局变化，已经从偏市场化竞争变成资源型竞争，或者说偏政府导向的竞争。机会可能会在芯片上下游的其他产业，这也是我们做模型智能的原因。
我们会围绕芯片，但做芯片上下游的其他工作。
程曼祺 Manqi Cheng
您觉得2010年底时，也不是特别能看出英伟达会变成今天这样的公司？
徐凌杰
那个时间点，从黄仁勋自己的决策来看，从决策结果看，他自己可能也没有预料到。
如果看2013年，AlexNet刚发布。翻英伟达当年的财报，2013年、2014年的财报，可能会看到黄仁勋把公司5%左右的股份做了可转债抵押，给了高盛和富国银行。行权价格如果没记错，大概是20美元出头，还是英伟达分股之前的价格，相当于今天价格的很小一部分。
当时高盛和富国银行应该都行使了权利，因为那时也赶上矿机热潮，英伟达股价上涨。但从真正的决策来看，我也不认为黄仁勋在2012年、2013年、2014年就看到了今天这些机会。
人生没有确定性，这也是人生精彩的地方。能够在过程中找到自己的着力点。今天的老黄和10年前的老黄，也不是同一个老黄了。
程曼祺 Manqi Cheng
您还记得2010年之前，他在公司里会说些什么吗？比如怎么描述公司、当年的目标，或者长期要做什么？
徐凌杰
我在阿里的时候，和黄仁勋有过比较多近距离接触。我觉得他整体上是一个气场非常强、眼光非常坚定的人。
从公司发展来看，他愿意长期主义，长期投入自己看好的东西。比如2004年、2005年，他投入做Tegra，也就是移动SoC，希望进入手机领域。网上现在还能看到他曾经给小米、给雷军站台的那段往事。
他看好很多事情，但由于当时的环境、自己的实力和timing，可能有些没有成功。但他是一个长期主义者，对看好的东西非常有信心，有vision，也很能鼓励大家坚持下来。
Fermi产品当时流片两次都不成功，第三次终于成功，还是有很多人愿意跟着他走。2008年金融危机时，公司历史上第二次裁员。我进公司大概3个星期就遇到金融危机，英伟达裁掉了5%的人，全公司降薪10%，黄仁勋自己只拿1美元。
我对他的领导力，以及他在危机中能够鼓舞大家的表达，印象非常深刻。
程曼祺 Manqi Cheng
所以他不仅是在内部发表一些让大家更凝聚、更有士气的话，也是在危机中带领大家走出去。
徐凌杰
对。我觉得这确实是企业家非常重要的素质。
程曼祺 Manqi Cheng
英伟达的手机GPU确实做得不成功。前几天几个同事还在讨论，因为有同事玩游戏，说现在好像只有任天堂Switch在用英伟达的移动端GPU，大家还吐槽Switch性能比较差。
徐凌杰
那只是特定的一个版本。
程曼祺 Manqi Cheng
随着后面芯片算力层变化，哪些上层变化促成了您在2023年底、2024年初看到新的创业机会？
毕竟壁仞已经是一次创业，2023年底又看到新的机会，是什么条件成熟了？
10. Building Beyond The Chip
徐凌杰
我们刚才谈到，2023年底、2024年初，中国芯片竞争格局发生了一些变化，从更偏市场化转向更偏资源型竞争。
我当时看到的是，芯片上下游和周边产业可以做出差异化，而且是一个长坡厚雪的赛道。去年3月，英伟达发布NVL72，对我们是很大的鼓舞。
我们希望围绕芯片周边的集群、优化和AI infra这个大赛道做出成绩。NVL72给我们点亮了一束光。
去年4月底、5月初，DeepSeek V2出来了。我们是当时比较密切关注DeepSeek的一批人。DeepSeek V2和V3有很大延续性，但当时大家从技术角度没有特别关注。
我们和DeepSeek、幻方之前认识的一些伙伴有过交流。从NVL72和DeepSeek V2出来之后，我们比较确定的一点是：更大的模型、更大的问题，需要用更大的系统来解决。
所以我们开始做原型机，开始在集群方面投入和优化，找到了切入点，就开始做了。
程曼祺 Manqi Cheng
另一方面，您说问题越来越大，需要越来越大的集群和系统，这会不会让产业链里一些原本存在的细分机会消失？有些变化来了之后，可能一些事情会被大公司自己做。
徐凌杰
这里面确实有很大的格局变化。我们刚才讲scale-up集群，就是在一个机柜里尽可能多地把芯片互联起来。
如果大量问题都能在一个柜子里解决，就可能不需要那么多光模块和光纤去和其他柜子交互，光模块的消耗可能会减少。
今天华为还没有类似NVSwitch的芯片，仍然通过光模块和光纤做交互互联。如果未来能用NVSwitch这种方式做scale-up，我猜未来推理场景里对光纤、光模块的需求可能会降低。
这只是一个不成熟的猜测。再往后，无论散热、冷却还是互联，整个产业链里都存在很大机会。
程曼祺 Manqi Cheng
什么公司做光模块？中际旭创这样的公司是做光模块的吗？
徐凌杰
这个我没有任何看法。
程曼祺 Manqi Cheng
我只是问一下。这个领域有很多公司。之前传播中有一种说法，大概是英伟达卡中国的脖子，中际旭创卡英伟达的脖子，不知道有没有这么夸张。
徐凌杰
确实有这种说法，这个点可以记下来，看看之后怎么变化。
程曼祺 Manqi Cheng
这个领域既有初创公司，也有上市公司。随着系统变化，大家的业务可能也会调整。
徐凌杰
另外一个机会点是，互联能力需要加强。我们已经看到英伟达在2025年GTC上发布了基于CPO的Co-Packaged Optics，也就是光电共封装，用在互联产品里。
未来如果互联要求更高、一个柜子里需要聚合更多芯片，那么CPO的可能性也一定要考虑。通过光和电的集成，可以把更多芯片更有效地连接起来。
程曼祺 Manqi Cheng
您怎么看英伟达最近收购Lepton AI？这可能反映了系统层面什么样的集成趋势？对英伟达的价值是什么？
徐凌杰
贾扬清也是我的好朋友，我们很早就认识，后来在阿里也是同事。
程曼祺 Manqi Cheng
你们是同事？
徐凌杰
对。不过贾扬清现在可能还处于静默期，不太方便评论。
我大胆猜测，可能和英伟达今年GTC发布的Dynamo系统有一定关系。Dynamo是一个开源的模块化框架，用于优化分布式、多GPU环境中的大规模AI推理任务。
它的一个关键特性是分解式服务架构，包括PD分离。P是prefill，也就是预填充阶段；D是decode，也就是解码阶段。它可以把两个阶段分开，实现独立集群的最优解。
Dynamo是在TensorRT推理框架之上产生的一个新框架。对英伟达来说，未来做AI服务，包括给客户提供增值服务，会越来越重要。贾扬清具体承担什么任务我不知道，但可能会参与这类项目。
程曼祺 Manqi Cheng
英伟达做这些事情，和它的云业务有关吗？它大概两三年前也启动了自己的云计算业务。
徐凌杰
英伟达一直会基于云计算业务布局，因为云计算是主要的客户入口。谁和用户距离更近，谁就更有粘性。
今天英伟达是整个计算行业里具有标杆意义的企业，基本上已经成为工业基础。如果未来它要降低谷歌、Meta以及其他大型互联网厂商对它的影响，往上游走，可能是它防守型的策略，甚至是进攻性抓手，可以获得更多高质量收入。
程曼祺 Manqi Cheng
但它的云计算业务实际上做得也不怎么样吧？启动以来似乎没有大规模开展云计算。
徐凌杰
它之前和云计算相关的业务更多是游戏，比如GeForce NOW，在云上做云游戏。
所谓DGX Cloud，更多是to B业务，和云计算厂商有一定互补。比如甲骨文买了一批英伟达GPU，然后返租给英伟达。低毛利的机器运维交给甲骨文，英伟达基于这套集群给客户提供更高价值的服务。
这可能是之前的一些尝试。大公司通常会多点布局，但布局并不代表一定会做出来。它和客户之间既是合作关系也是竞争关系，因为这些Hyperscaler自己也做芯片，同时又是英伟达客户。
如何保持分寸，既有警觉性，又有进攻性，是一个很有意思的平衡。
程曼祺 Manqi Cheng
最后一个问题，想问一个更长期的问题。按照现在的演进路线，发展到什么时候，或者出现什么信号时，可能会出现下一代主流计算芯片结构？
英伟达的方案可能会持续到什么阶段，什么时候会发生大的改变？芯片领域已经有很多新方向，比如存算一体，以及更加接近人脑、模拟神经网络的硬件结构。这些方向现在能看到什么迹象吗？
11. Energy Sets The Next Computing Limit
徐凌杰
这是一个很有意思的话题。经常有投资人和我交流存算一体，我的孩子也对生物感兴趣，想了解人脑和认知科学。
回到这个问题，英伟达今天最大的软肋，我认为是人类的可持续发展。现在数据中心可能占全球电力的2%到3%，但按照未来趋势，无论是每个行业都需要AI，还是集群不断扩大的趋势，它占用的比重都会越来越高。
超节点看起来很耗电，但从单位token、单位输出文字来看，它的单位成本其实是在下降的。无论如何，它的总耗电量非常高。即使电力在总成本中的占比不高，对人类社会的可持续发展来说，仍然是很大的问题。
我们需要供应足够的电，稳定支持这些集群，还要把热量散出去。一方面，这是数据中心运营必须解决的问题；另一方面，也涉及社会责任。
回到今天谈的超节点。未来大规模应用AI，需要更高性能和更低单位成本。超节点可能是我们在机柜和数据中心层面延续摩尔定律的唯一可能性。我们也可以通过各种方式降低对能源的依赖，提升运营效率。
举两个例子。可以采用高压直流供电，比如800伏或1600伏。直流供电可以减少AC到DC的转换环节，显著降低能量损耗，提升整体运营效率。电压更高，电流就更小，可以减少线路损耗，适合长距离传输，也更符合GPU和AI算力设备高密度、集中化的供电需求。
再比如，液冷未来一定会成为主流。如果采用相变冷媒液冷，集中回收废热，就能让数据中心更加绿色。
当然，这一切都需要服务器、集群和超节点在设计上进行端到端调整。整个集群里，有一部分计算是否可以offload到更高效的算力上，包括今天讲的类脑计算，也写入了中国“十四五”规划。
类脑计算采用不同方式，通过脉冲神经网络进行计算。它和今天的Transformer范式还有很大差别，但从可持续发展角度看，这些都是值得投入和研究的方向。
如果人类没有电，或者能源被完全控制，可持续发展就会面临很大问题。
程曼祺 Manqi Cheng
我们录节目的时候，欧洲正好发生大规模停电，葡萄牙、西班牙以及法国、意大利少部分地区都受到影响。
徐凌杰
这个问题对中国来说，因为基础设施比较好，没有那么尖锐。但对国外确实是很大的问题。
程曼祺 Manqi Cheng
您刚才提到脉冲神经网络硬件。今年GTC上，英伟达CEO和杨立昆也有一场对话聊到这个方向。
里面有个细节挺有意思。杨立昆说，他在20世纪80年代于贝尔实验室工作时，那里就有一个团队在做神经网络模拟硬件。但他不太看好这个方向，因为研究了很久，之前看起来也不是特别有效。
技术领域的发展很有意思。有些东西几十年前就出现了，经过很长时间后又获得新的生机、发挥新的作用。强化学习也出现了很久，神经网络本身也是很早就出现的，中间还经历过几次低潮。
徐凌杰
历史会不断重复，只是以不同方式呈现。不要低估任何一种技术的可能性。有时是量变到质变，有时是突变。
包括今天看到的DeepSeek，之前其实也能找到蛛丝马迹。它此前发布的一些新闻，以及去年发布的V2模型，都有迹可循。但对很多人来说，最后呈现出来还是一次突变。
未来要解决计算效率问题，对于各种新型计算范式，我认为都需要持续关注。因为哪一天它颠覆你的时候，你就来不及了。
好。好，那今天非常感谢徐凌杰做客晚点聊，分享了对华为Cloud Matrix 384超节点的解读。当然华为自己把这个叫超节点，然后徐老师也是一开头就说了，其实可能严格意义上来说它还不是一个超节点。我们也从这个新的超节点延展聊到了AI算力基础层是怎么构成的，以及这个领域可能会有哪些新的趋势和变化。像英伟达作为这个领域最强势的一个玩家，它接下来短期长期可能会面临什么样的情形？那今天的节目就到这里，感谢各位的收听，大家再见，拜拜。晚点的听众们再见。本期联简呈现，分享两个和之前节目的呼应。一是，一百零三期聊大模型注意力的那一期，我们聊到了transformer结构的大模型，在把上下文做得更长时的限制就是GPU的显存大小和计算能力。Flash Attention等系统层的优化，稀疏注意力和线性注意力的探索，都是在解决GPU的这些硬件瓶颈。长期看，随上下文继续变长，显存可能是比计算更大的问题。一个数字是从2021年英伟达发布的A100到2025年发布的B200，GPU算力增长了64倍，而显存的大小只增长1.2倍。这期节目中也聊到GPU的成本结构也在以用于计算的晶圆为主变为以显存为主，超节点某种程度就有利于弥补显存的问题，比如通过NVLink连接的GPU可以合并显存。一百零三期节目中关于注意力发展的讨论也很好反映了徐凌杰在这期中总结的AI算力演变的主线，就是更大的问题需要更大的模型来解决，而更大的模型需要更大的算力系统来支撑。二是对于一些想补充芯片基础信息的朋友，推荐晚点聊的两期老节目，一个是三十二期，我们与B站芯片科技UP主谈三圈聊了他了解的芯片行业，他曾在德国的一家汽车芯片厂商工作，那一期我们以汽车芯片为例，讲了芯片产业的分工、芯片制造环节。另一个是四十九期，嘉宾是芯片简史的作者汪波老师，我们从一些对芯片行业的常见误读开始聊，介绍了摩尔定律串起的芯片进化史，CPU、GPU等主流计算芯片的崛起和沉浮，以及美日等芯片大国的历史发展经验，感兴趣的朋友可以找来听一听。本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果Podcast等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。