泓君
2025年，当谷歌的 Gemini 3 登顶 AI 性能排行榜的时候，训练它的不是英伟达的 GPU，而是谷歌自己的芯片 TPU——the Tensor Processing Unit，TPUs。TPUs are awesome。
从搜索、翻译到地图，甚至是 AlphaFold 2，TPU 驱动了谷歌几乎所有的核心产品，而如今它正在向整个 AI 产业渗透。2024年，苹果发表论文称，Apple Intelligence 全部使用 TPU 训练；2025年，Anthropic 拿下一百万颗 TPU，价值数百亿美元，用来训练下一代 Claude；2026年刚开年，Meta 就签下了数十亿美元的协议，租用 TPU 来运行 Llama。
过去我们说，整个市场都认为未来 AI 芯片的机会在于推理芯片，英伟达在训练芯片上的地位是难以撼动的。但是我们看到，现在在越来越多的顶级模型公司中，谷歌的 TPU 正在成为英伟达的替代方案。你觉得现在谷歌的 TPU 可以挑战英伟达在 GPU 领域的垄断地位吗？
Henry
在某些限定条件下，TPU 是完全可以挑战 GPU 的。很多人都在讨论 TPU 和 GPU 之间的区别、孰优孰劣，但我觉得未来肯定是两者并存的。
泓君
今天我们来聊一聊谷歌的秘密武器 TPU。跟我一起的是谷歌前 TPU 工程师 Henry。Henry，你好。
泓君你好。首先给大家自我介绍一下，我叫 Henry，很高兴受到《硅谷101》的邀请。我也是你们忠实的听众和粉丝。
我之前的上一份工作是在谷歌 TPU 组，深度参与了三代 TPU 的研发。最近发布的 Ironwood v7 是我做的第二台 TPU，v8 是我离职之前参与的最后一代 TPU。很开心今天能跟大家分享一下我对 TPU 的一些理解。
首先我想说，TPU 是一个上下游产业链非常复杂的产品，牵扯到很多软件、硬件，包括代工生产。这里面有很多技术细节，也是一套非常庞大的工业体系。所以我希望今天只是根据我的理解，帮助大家进一步了解 TPU，揭开它神秘的面纱。
泓君
你刚刚提到，你参与了 v7 和 v8 的开发。据我了解，这其实是谷歌开始适应大模型预训练之后，最核心、也最有竞争力的两代芯片，也是最新的两代芯片。
因为你刚刚提到，它可能涉及软件、硬件以及代工生产，所以今天我们可以从硬件、软件、生产环节入手，把每个环节都详细剖析一遍，包括现在谷歌的 TPU 与 Anthropic、Meta 之间的合作，以及它将如何影响未来的英伟达生态。
1. TPU Versus GPU Architectures
最开始的第一个问题是，很多人并不清楚，我们说的 TPU 和英伟达现在的 GPU，比如 GB200 或 H100，到底有什么不一样。我们可以先简单给听众介绍一下 TPU 和 GPU 的不同之处，尤其是在预训练方向上的差异。
首先，TPU 和 GPU 本身的架构完全不一样。GPU 大家可能更加了解一些，因为它最开始是做游戏显卡的，所以里面会用到一个术语，叫作 SIMT，也就是 Single Instruction, Multiple Threads，是一种多线程、单指令的架构。
你可以把它理解成一个厨房里同时安排了很多大厨。每个人都有自己的独立思考能力，可以独立地从冰箱里把东西拿出来，做好菜，然后上菜。他们可以独立完成一件事情，所以安排很多大厨的话，并行计算能力就会非常强。这就是 GPU。
泓君
如果我们同样用做菜来比喻 TPU，你觉得它的流程跟 GPU 有什么不一样？
TPU 和 GPU 最大的区别就是，TPU 是针对机器学习的加速器。我们知道，机器学习的任何算法，从最开始的 CNN，到现在的 Attention、Transformer，再到未来的各种架构，核心都是矩阵计算。
矩阵计算是非常 compute-bound、非常 computing-intensive 的工作。TPU 针对矩阵计算专门做了定制化的加速器。
所以你可以把它理解成做饭时的一条流水线。我们知道今天要做哪道菜，TPU 相当于不需要安排那么多大厨，而是把大厨安排在每一个步骤上，告诉每个人具体要做什么。第一个人从冰箱里取出食材，第二个人直接加工第一个人做完的中间结果，再传给第三个人。
这有点像心脏泵血：每泵一次，就把血液传输到身体的各个角落。这样一来，中间需要的调度和控制就少很多，能够保证每一个计算单元的使用率更高。
泓君
所以我理解，GPU 更像是并行计算，每一个环节独立运行；而 TPU 更像是一场接力赛。
在模型训练上，这两种不同的架构各自有什么优势和缺点？
我觉得现在无论是预训练还是后面的 inference，我们都在慢慢从 compute-bound 变成 memory-bound，所以对内存的要求非常高。
SIMT 架构的一个缺陷是，因为每个线程都需要独立完成计算任务，所以有时候会一直等待数据搬运。在这个过程中，就会出现一些闲置的 idle period，导致矩阵计算的利用率没有那么高，utilization rate 会下降。
TPU 就是根据这个特点来弥补缺点。我们之后可以具体聊一下软硬件协同的效果。它会保证芯片在满功率下运行，不需要等待数据搬运：要么利用本地缓存，把提前搬运过来的数据重复使用；要么把带宽跑满，让 memory utilization rate 也达到峰值。
泓君
如果整体上用一句话来总结，你觉得 TPU 和 GPU 在模型训练上谁更强？能优化多少？
2. The System Level Advantage
从预训练上来讲，目前 GPU 和 TPU 最大的区别是，GPU 现在也开始往 system level 的方向发展，但 TPU 一直做的是一个大的计算集群，而不是单卡、单芯片的预训练。
GPU 可能很长一段时间都是单张卡的性能非常好，但它没有一个完整的网络。TPU 一直主打 TPU Pod，也就是由几千张卡协同训练的系统。里面牵扯到很多通信，包括 ICI，也就是 Inter-Chip Interconnect，芯片与芯片之间的通信，还有 3D torus 的拓扑网络。
它可以让几千张芯片在用户的感觉中像是一张卡，中间的训练效率非常高，这样成本也能降下来。
泓君
我看新闻报道说，谷歌 v7，也就是你参与研发的 Ironwood，它在物理参数上已经非常接近 GB200 了。如果真实工作中训练同一个 Gemini 模型、同一代模型、同样的参数量，用 GPU 和谷歌的 TPU，谁更省钱？
我觉得，针对自家定制的大模型，比如谷歌的 Gemini，如果未来谷歌给其他大公司或者 Frontier 大模型定制，我认为 TPU 的性价比会更高。
这里的性价比指的是 TCO，也就是 Total Cost of Ownership，总拥有成本会更有优势。当你知道自己的 workload 是什么，就可以针对 workload 做一些定制，无论是物理芯片层面的定制，还是软件层面的定制。
虽然它可能有点像黑盒，但相当于所有 assumption、所有已知条件都已经确定下来。在现实条件下，TPU 的训练效率和 TCO 都会比 GPU 更有优势。
刚才我也提到，TPU utilization rate 更高，原因主要有两点。第一是它的 FLOPs，也就是单位时间内进行多少次浮点运算。TPU 的主要架构是矩阵计算，所以软件和硬件可以保证每个计算单元在每个时间点都有任务。
软件相当于在告诉硬件：“我不会让你闲下来，每个时间点都给我工作。”至于具体做什么，是软件告诉你的，不需要硬件精准预测。
所以在硬件层面，TPU 不需要加入很多控制单元。这和 GPU 有很大的区别：TPU 不需要很多 prediction，prediction 那一层的复杂度相当于都在软件层面实现了。
也就是说，你把硬件变得更“蠢”一点，让它进行机械式的劳作，而软件负责处理所有复杂度。
Ironwood 主要有两大进步。一个是它的 peak FLOPS，在数值上和 GPU 更接近了；另一个非常重要的进步是 memory bandwidth 有了巨大提升。首先，它使用了更大的 HBM，保证了一定的带宽；其次，HBM 的带宽能够被软件充分利用。
泓君
更高性能的 HBM，现在在市场上好找货吗？
3. The HBM Supply Bottleneck
非常难找。HBM 有点像被垄断了，一共三家公司在生产，应该是 SK 海力士、三星和 Micron。英伟达一直是 HBM 最大的客户，而 TPU 相当于一直是 secondary customer。
所以要跟这三家公司确定订单，需要有良性的合作关系。之前 TPU 一直没有办法获得那么好的 HBM，或者说那么大的订单。
泓君
现在谷歌 TPU 的产量是多少？
具体数据我不是非常清楚，但我觉得它还处于慢慢爬坡的过程中。谷歌 TPU v7 之前一直有产能问题，我觉得这是很多因素共同导致的。
毕竟在 v7 之前，TPU 没有对外生态，更多是针对内部的部署和使用，所以没有办法和 Broadcom、TSMC，或者刚才提到的 HBM 厂商锁定很大的订单。产能通常要提前一到两年锁定，没有那么大的客户或需求时，临时调整会比较困难。
第二点是 CoWoS，也就是 TSMC 的封装产能。现在的芯片和以前完全不一样，我们做的是 co-design：HBM 内存芯片和计算芯片是两块独立的芯片，通过 2.5D 封装整合成一块芯片。
这件事谷歌自己做不了，Broadcom 也做不了，只能依赖 TSMC。TSMC 给你分配多少产能，你一年就能达到多少产量。
泓君
TSMC 分配产能时，也可能会看谷歌需要的量是多少。如果你的量大，比如英伟达的量就很大，它是不是可能会优先做英伟达的订单，某种程度上还是订单量说了算？
对。CoWoS 是整个封装环节中的一部分。
如果整体总结一下，刚才提到的 CoWoS 和 TSMC，解决的是封装产能；另一块是 HBM，也就是高带宽内存的供应，这可能也是瓶颈，由三大厂商控制。所以现在产能主要卡在这两块。
还有一点是良率。良率意味着 TSMC 生产出一片 wafer 之后，上面有多少芯片是合格的。
GPU 和 TPU 的制造理念不太一样。TPU 更强调通信，强调芯片与芯片之间的通信，这会导致中间的失败率比 GPU 更高。一旦失败，因为 TPU 要保证整个系统里每张芯片的性能大致一样，如果性能参差不齐，整个系统运行的效率就不会高。
GPU 可能不存在太大的这个问题。我们都知道 GPU 有不同的规格，比如 H100、A100，所以一旦良率不好，也可以降级使用。
泓君
但 TPU 也有 v8、v7、v6，不能降级吗？
很难。因为 TPU 是定制芯片，价格也不一样，不是通用芯片。一旦某一款芯片良率不够，这款芯片基本就相当于报废了，产能没办法一下子提上来。
泓君
所以这就是生产环节。生产环节又取决于订单量。Anthropic 曾经跟谷歌说要采购一百万颗 TPU，这应该也是一个很大的量级。英伟达现在的 GB200 或 H100，可能也是百万到千万级别。
所以我觉得，谷歌现在看起来已经在蚕食这一块市场份额了。
我觉得 TPU 和 GPU 很难放在同一个维度上考量和评价。Anthropic 这个订单确实很大，但我觉得里面有很多因素。
第一，Anthropic 和谷歌是一种相对内循环的关系。Anthropic 很多投资方也是谷歌，所以双方是深度合作关系。如果是 Meta 或者其他公司，我不确定它的成本、TCO 到底能不能压下来。
第二，Anthropic 工程师的技术能力非常强，所以他们能够用 TPU 部署自己的模型。我们之后可以详细聊一下，为什么 TPU 的部署对于一般的 external third-party customer 来说那么难。
但目前 Anthropic 处在谷歌生态中，具备这样的条件，所以它拿下这个订单，我觉得也是多种因素共同作用的结果。
泓君
那我们顺着 Anthropic 继续讲。它是不是跟谷歌的软件生态有关？因为我们说，在 TPU 上要搭一层软件。我听说，Anthropic 很多员工最开始就在谷歌工作，所以他们非常了解 TPU 上这套软件生态和部署方式，因此可以用 TPU 训练模型。
4. XLA Is The Secret Sauce
回答这个问题之前，我们可以先简单聊一下 XLA。我觉得 XLA 也是谷歌的一个黑盒，或者说 secret sauce。
XLA 和 CUDA 最大的区别是，XLA 是一个静态编译器。所谓静态编译，就是当你的 workload 已知或者给定时，它可以在整个 TPU Pod、system level 上做全局优化。
优化分很多层面。比如内部会做很多算子融合：一个 kernel 里面有很多计算，可以把一些计算合并到一个算子里，从而更好地利用 systolic array 的矩阵计算能力。中间态结果也不需要反复存入内存再读出来，XLA 会自动完成这类优化。
它还会做很多内存管理，知道 TPU 如何从内存中读取数据，怎样分布内存。这些都和硬件架构以及具体细节高度相关。XLA 通过一个黑盒帮你完成优化，但问题是，你很难对它进行调试和控制。
泓君
开发者很难直接使用 XLA 这套系统。它用的是什么编程语言？
XLA 是一个编译器。它的上层是 PyTorch、JAX 和 TensorFlow。开发者可以使用这些框架，之后通过 XLA 把代码转化成 TPU 的 assembly code，也就是 TPU 指令。它中间做的是翻译加优化的工作。
泓君
如果对应到英伟达，它对应的就是 CUDA 的整个生态体系？
对。
泓君
刚才我们提到，Anthropic 有工程师懂 XLA 这套体系，而且现在应该已经用谷歌 TPU 训练出了一些模型。GPU 训练模型时，工程师经常会遇到这样的问题：有一个 bug，需要在软件编译器或者 CUDA 生态中定位问题并解决。
如果现在用谷歌 TPU，出了问题，而 XLA 又是一个黑盒，那要怎么解决？必须找谷歌工程师，还是他们自己就可以解决？
你可以理解成，XLA 是黑盒，但里面有很多帮助 debug 的工具和函数。问题在于，你需要对硬件有一定了解，才能更好地分析。
因为 XLA 会把很多算子做融合，也会管理内存，所以它处理的不是一个单独的计算，而是一整条链路、一个计算图。这样调试起来，对工程师的要求会更高。
它不是不能 debug，而是对工程师的要求更高。
泓君
所以 Anthropic 找你们了吗？在训练过程中，一旦发现 XLA 的 bug，就必须让谷歌工程师来分析和解决吗？如果真的是 bug，外部开发者很难独立处理或修复，不像 CUDA 那样有一个很好的生态。
那谷歌卖 TPU 给 Anthropic 之后，大概会有多少工程师团队支持他们，解决项目中遇到的各种 bug？
我是做硬件的。谷歌有很多软件组，专门对接不同的外部客户。之前包括苹果、Midjourney、Anthropic，他们都会提出很多 request。我离职之前听说，这些软件团队都非常忙。
泓君
我昨天听说，使用谷歌 TPU 最大的团队其实不是 Anthropic。虽然 Anthropic 下了一百万颗 TPU 的订单，之前也在模型上使用过 TPU，但最大的团队其实是苹果。
苹果是因为庞若明之前在谷歌，后来去了苹果，相当于把谷歌的一整套东西带了过去，直接用 TPU 训练他们的大模型。
这里也牵扯到软件栈的迁移。你要使用 TPU，就必须把原来的一套软件栈迁移到 JAX 加 XLA 上。如果不迁移，当然也可以运行，但就利用不到 TPU 的性能和 TCO，没办法把性能榨干。
泓君
因为目前 TPU 相比 GPU 最大的优势，就是成本控制得很好，而这更多依赖软件。你觉得谷歌的 Gemini——现在应该是市场上最好的模型——它的训练结果跟 TPU 的关系有多大？TPU 能占决定性因素吗，还是算法本身更重要？
算法当然很重要。现在训练，特别是 pre-training，算力成本非常大。算法方面，DeepMind 有非常前沿的算法。
TPU 能帮助你做的是：当你有一个很好的算法之后，提前和 TPU 组沟通，说明你的算法和 workload，谷歌就可以为你定制加速器。这样可以让你用更短的时间、更快地迭代和测试这套算法。
我觉得这是非常重要的一点。如果训练效率很差，你需要更长的周期去验证一套算法是否有效。TPU 如果能把训练时间压下来，迭代速度就会更快。
泓君
定制这样一款芯片大概需要多久？
5. Designing For Future Workloads
这也是任何芯片公司的痛点，包括 TPU 和 GPU。很多时候，芯片公司都在预测未来市场的变化，包括未来模型的变化。
比如 MoE，其实很早就有这个想法。但很长一段时间里，MoE 在 TPU 和 GPU 上运行的效果都不是特别好。后来 TPU 和软件一起增加了针对 MoE 的优化。
泓君
那是哪一年？
应该是 v4、v5 的时候就已经很早了，具体是2022年、2023年，大概是模型刚开始出现的时候。
泓君
可以详细介绍一下，为什么之前 MoE 一直在 TPU 上跑不起来？
因为 TPU 是一个 2D torus 的架构，每个 TPU 芯片主要只能和相邻的 TPU 芯片通信，它不是 all-to-all 的通信。
MoE 有一个 routing 阶段，需要把不同的 token 路由给不同的专家，而不同专家分布在不同的芯片上。如果没有 all-to-all connection，就像你要找一个朋友，中间要经过很多环节，过程中会产生大量浪费和拥堵。
后来在 v4 的时候，TPU 推出了 3D torus，并使用了 OCS，也就是一种光纤交换机。它是一个 software-programmable、可配置的交换机，可以通过软件改变 TPU 集群之间的通信路径。
这样一来，MoE 的痛点就被解决了。之后 MoE 在 TPU 上运行，效率就明显提高了。
泓君
所以这个迭代是以年为单位计算的，因为设计出来之后还要量产。
量产一般需要多久？半年能做出来吗？
半年做不出来。
每家公司的 philosophy 不一样。TPU 一直主打旗舰训练芯片或旗舰推理芯片，所以对快速迭代的要求会非常高。每一代芯片都会塞进很多 request。
整个流程是，设计完成后先做验证，再交给 Broadcom 做通信方面的设计，然后在 package level 做验证，最后交给 TSMC。我觉得整个流程最快也要两年到两年半，甚至三年。
泓君
我们现在看到谷歌已经更新到 v7、v8。也就是说，这一款芯片在设计上可能两年以前就已经开始了。
但模型更新以及模型核心算法的方向，最近可能每6个月就会变化一次。也就是说，你要在两年前预测两年后的模型会往哪个方向走。现在看起来，谷歌押对了吗？
6. The Transformer Bet
目前来看，v7 应该是押对了。这也可以解释，为什么之前 TPU 芯片和 GPU 在纸面参数上有比较大的距离。
之前 TPU 的主要 workload 是内部的 recommendation 和 ranking 系统算法，可能没有想到 GPT 出现之后，会有这么大的算力需求。这和 recommendation、ranking 完全是不一样的 workload。
我之前参与设计时，还做过一个模块，叫 sparse core，也就是稀疏计算单元。它专门针对 recommendation 的 embedding layer 算法做了优化。这个优化里没有很稠密的矩阵计算，更多是稀疏矩阵计算，所以我们针对它做了很多算法设计，牺牲了一些矩阵计算的算术密度。
那时候发布出来之后，大家会觉得 GPU 做矩阵计算好像比 TPU 更好。
泓君
那是 v4、v5 的版本？
对，v4、v5。之后 TPU 开始把核心性能转向大模型预训练。是哪一代开始的？
泓君
应该是 v6 开始的。v6 开始，我记得做了两个版本，一个专门做训练，一个专门做 inference。
训练和 inference 本质上使用的是同一套架构。Inference 可以理解成训练芯片的一个子集：它可以有更小的运算单元，也可以有更小的内存。相比 training，inference 不需要做 backpropagation，也就是反向传播，不需要存储那么多中间副本。
大概也是两年多、三年以前开始调整这个方向的。
GPT 在2020年就发布过一个版本，当时是 GPT-3。谷歌那时候应该已经意识到，这是一个 next big thing，并开始做芯片和 TPU 方面的调整。
谷歌很早就开始了。因为 Transformer 也是谷歌提出的，所以谷歌很早就知道 Transformer 这套架构。芯片组也知道要针对这套架构做优化，包括 Attention kernel，这些很早就已经在内部展开了。
泓君
我突然想起来，谷歌 TPU 到现在能在整个模型预训练中表现优秀，可能也是因为 Transformer 这套架构是谷歌发明的。从 TPU 诞生开始，它就一直沿着这条路径发展。
所以我们也可以把 TPU 理解成一款针对大模型预训练和推理的 ASIC，这样说对吗？
没问题。
泓君
ASIC 就一定要押对方向。TPU 押中了 Transformer。
对。我们有一点 insider 的优势：我们更早知道 Transformer 模型大概是什么架构，比行业外更早知道这种模型的 workload，也更早知道它会如何变化。
但问题在于，ASIC 和 GPU 本质上是通用性好和通用性不好之间的区别。即使我们有一手信息，一旦 ASIC 确定下来，就没办法改变。
GPU 的优势就在于通用性。现在模型迭代周期非常短，都是以月为单位，所以一旦芯片架构固定下来，算法出现新的动态变化，就很难在 TPU 上实现。
即使有先发优势，后面的竞争也会越来越激烈，先发优势可能会慢慢被蚕食。我觉得有一个阶段，GPU 因为通用性好，在 GPU 上运行模型的迭代速度会比 TPU 更快。
泓君
那现在是哪个阶段？TPU 更快了吗？
目前 v7 感觉已经和 NVIDIA Blackwell 旗鼓相当。
v8 我目前不能透露，技术细节肯定不能透露。但我刚才提到 MoE 这个架构，TPU 已经在芯片、通信和 system level 上解决了相关问题。
我担忧的一点是，这套架构的 scalability 到底有多强。如果将来出现一个完全不同的范式、完全不同的模型，而 TPU 没办法针对它做优化，GPU 却可以，那么 TPU 团队和 GPU 团队又不是一个规模，无法快速迭代，性能差距可能就会被拉大。
所以我觉得，这也是我对 TPU 的一个担忧：万一将来出现不同的范式，它要怎么跟上 GPU 的步伐？
泓君
我们刚刚提到，如果整个大模型的训练范式变了，就会影响 TPU 的销量。你说的“范式变化”，指的是多大的调整？
比如，如果整个以 Transformer 为底层架构的范式变了，我理解 TPU 就没用了，对吗？
不完全准确。Transformer 的核心还是矩阵计算。如果新的架构核心仍然是矩阵计算，那 TPU 依然有价值。
泓君
如果出现不同于 Transformer 的新架构，TPU 就不一定有 GPU 表现好。
但如果是在模型层面，比如 MoE 的新方法，或者基于 Transformer 的微调，你觉得 TPU 未来还会持续占优势吗？现在大家还很关注用 RL 的方式训练 Agent，或者训练模型，RL 对 TPU 的影响会大吗？
肯定会是不同的 workload，当然会有影响。
我觉得 TPU 现在的策略，是让芯片变得更加通用，也在往这个方向发展。它的矩阵单元可以处理各种 workload 的矩阵计算，同时也有专门负责稀疏矩阵计算的单元。
你可以理解成，TPU 正在把很多硬件计算和内存模块化，以适应未来不同的范式。从某种意义上说，这也是向通用性做出的妥协。
泓君
我觉得过去几代芯片设计得没有那么激进，也有现实层面的考虑。如果设计得非常激进，可能在某个模型上能提升30%到40%的效率，但万一模型发生变化，就会非常痛苦。
对，我觉得这是一种基于现实的 compromise。
泓君
我们刚刚提到，芯片需要从设计层面适应新的算法方向。除此之外，我觉得谷歌最近也在软件层面加大投入，让中间的软件适应更多开发者。
我最近看到一条新闻，说谷歌和 Meta 有 TPU 采购协议，谷歌向 Meta 提供 TPU 托管服务。它的核心目标可能是把 PyTorch 变成 TPU 的中间层，类似谷歌的 CUDA 生态，让大家在开发和编译时可以通过 PyTorch 使用 TPU。
7. PyTorch Tests The Ecosystem
我有了解，但具体细节还没有公开。现在所有模型基本都是用 PyTorch，这一点大家应该都知道。
但 PyTorch 和 TPU 的生态并不是特别兼容，所以很难像 Anthropic 那样深度使用 TPU 的软硬件生态。目前来看，Meta 可能更多是依托 Google Cloud 获得算力。
Meta 今年股价不是特别好的原因之一，就是 CapEx 实在太大了。特别是预训练这一块，成本支出和算力需求非常大，已经把市场上能买到的算力都买来做这件事情了。
所以 TPU 目前相当于帮助 Meta offload 一部分算力压力。软件方面，PyTorch 很早之前就和 TPU 团队接洽过，希望能够更好地支持 PyTorch，从而方便研究和开发。
我离职之前也知道，谷歌有很多团队在做 PyTorch 和 XLA 的结合，包括在 XLA 和 TPU 上支持更多原生的 PyTorch library、并行库和算子。
现在 PyTorch 的算子实在太多，可能有几千个。如果硬件不能原生支持这些算子，性能表现就会比较差。
泓君
所以大家如果直接使用 Google Cloud，当然可以。但问题是，使用 Google Cloud 相当于把 TPU 托管了，没办法做很多底层控制。
如果想挖掘每一分性能，使用 Google Cloud 就很难做到，会有浪费。
对，会有浪费。
泓君
这个浪费大概是多少？比如50%是不是非常大的浪费，10%会小一些？
这就是我刚才说的 model utilization rate。如果软硬件结合得非常好，几乎可以满状态达到 peak FLOPS 或 peak memory bandwidth。
但如果通过 Google Cloud 运行，很有可能只能达到50%到60%的 utilization rate，而你仍然要支付同样的费用。
泓君
区别还是挺大的。
现在 Meta 和 Google 的合作，据新闻报道，应该是在 Google Cloud 上运行，对吗？
对。目前我知道，直接购买 TPU 机架、直接从 Broadcom 购买的，应该只有 SRPIC [?]。其他客户目前还是通过 Google Cloud。
苹果和 Midjourney 也是在 Google Cloud 上运行的。
泓君
那这样也简单，直接从谷歌招工程师过去。
对，人才也在流动。所以谷歌的工程师现在应该还挺吃香。
如果未来有更多第三方加入，特别是 JAX 加 XLA，这其实是一个技术壁垒非常高的工作。之前在 Google 有相关经验的人，能够更好地迁移过去。
泓君
一个工程师要多长时间才能学会？
还是挺难的，因为既需要了解硬件，也需要了解软件，是一种复合技能。
泓君
我们看到，今年以及之前，很多开发者调用大模型 API 时，谷歌 API 的成本最开始大概只有 OpenAI 和 Anthropic 的十分之一。
同时，Anthropic 最近的 Claude 4.5，API 价格大概下降了67%。有媒体把其中一部分功劳归因于它使用谷歌 TPU 训练。这两者是直接相关的吗？
在推理成本上，确实有关系。
8. Inference Costs Favor TPU
Google 现在的推理芯片成本确实会比 GPU 高不少。刚才没有提到一点：GPU 集群用的是 NVLink、NVSwitch 这样的通信协议，这其实是一种 infrastructure tax。
你需要向很多不同厂商购买交换机，然后部署在数据中心里，这是很大的成本开支。Google 使用了不一样的拓扑架构，芯片之间可以直接通信，使用的是铜连接，只有在某些节点上使用少量光学交换机，也能实现相同的通信效果。
所以在基础设施支出上，Google 会比 GPU 更有优势。
泓君
所以我理解，数据中心建设这一环的成本已经拉开了。NVIDIA 的主要成本是交换机。
我了解到，他们搭建整个芯片集群时，还要铺很多铜线，是不是都用这种铜线连接起来？
谷歌的主要成本是什么？是液冷吗？
液冷是其中一部分。其实谷歌和英伟达也差不多，主要成本还包括 SerDes。SerDes 相当于把信号从一个芯片准确无误地传输到另一个芯片。
相比 GPU，TPU 更依赖 SerDes 的稳定性，所以这部分资本支出也很高。
泓君
你们和 Broadcom 的合作会持续多久？
还是取决于量。如果量足够大，谷歌可能会自己做。
目前市场上有两家公司做这类代工，一家是 Broadcom，另一家是 Marvell。Broadcom 和 Marvell 最大的区别是，Broadcom 更像是 to B 的业务，锁定几个最大的客户，与他们做深度合作和定制。
Marvell 可能更多服务中型公司或初创公司，提供 IP solution，不一定根据客户的模型深度定制硬件，但可以做规模化的方案。
Broadcom 的优势是能够帮助最大客户争取最大的 TSMC CoWoS 产能。所以一直以来 TPU 都和 Broadcom 合作。我不觉得这一点会有很大改变。
但不好的地方是，Broadcom 的议价权会越来越大，TPU 能保留的 margin 也会越来越少。
泓君
如果非常依赖 Broadcom，又没有 backup，就像 TPU 和 GPU 的关系一样。一直以来，TPU 作为 GPU 的 backup，也有议价权方面的考量。
如果没有 backup，成本就很难控制下来。这也是未来值得关注的一点。
谷歌可以直接和 CoWoS 这部分议价吗？决定产能的核心要素是什么？
CoWoS 主要还是和 HBM，也就是内存封装有关。
我的理解是，Broadcom 是中间环节，会把所有东西铺设好，然后交给 TSMC 量产。所以第一步需要拿到足够好、足够大的 HBM capacity，再通过 Broadcom 去和 TSMC 争取好的 CoWoS 产能。
泓君
我听说现在整个 HBM 的产能基本被英伟达垄断了。
对。我们刚才也提到，HBM 正在变得越来越重要，因为我们慢慢从 compute-bound 变成 memory-bound。
特别是现在的 Attention kernel，核心就是如何更快地把数据从内存中搬运出来。KV cache 里有很多数据搬运，未来几年的方向可能就是 HBM 决定你的上限。
如果买不到好的 HBM，训练效率就会大打折扣。
泓君
所以 Broadcom 的核心作用是在这一块？
Broadcom 的核心作用主要是做通信，也就是 ICI，Inter-Chip Interconnect。它还会做很多后端工作。
TPU 团队主要设计前端，相当于把一张图纸画出来；Broadcom 再把不同芯片在物理上连接起来，最后交给 TSMC 进行生产。
Broadcom 主要负责信号连接、布局，以及整个拓扑网络的设计。这是非常核心、技术壁垒也非常高的一个环节。
因为现在一旦信号出现问题，整个集群就不能使用。你可以把它理解成脏活、累活，但它也非常依赖经验，技术壁垒很高。
而且 Broadcom 做的是 mixed-signal，也就是模拟电路和数字电路的结合。TPU、GPU 本身主要是数字电路，但这一部分是 mixed-signal，所以对经验的要求更高。
泓君
如果用一句话总结，你觉得现在谷歌的 TPU 可以挑战英伟达在 GPU 领域的垄断地位吗？或者至少阻挠英伟达在这个市场上的绝对定价权？
9. TPU Needs Scale To Win
没有绝对的答案，但我的结论是，在某些限定条件下，如果满足这些条件，TPU 完全可以挑战 GPU。
第一个限定条件是大规模部署，因为 TPU 主打的是走量。TPU 不太擅长针对单个用户，比如 Agent。它的延迟会比较高。
泓君
所以推理芯片也不行？
现在已经有所提升，但相比 Groq、相比英伟达，TPU 的可塑性没有那么强。它必须在非常大的吞吐量下，有很多用户同时调用接口、同时使用 Gemini 或 ChatGPT，才能把成本分摊开来，获得很好的吞吐量。
所以在大规模部署、模型相对稳定、不需要频繁变化的情况下，TPU 的整体成本相比 GPU 有很大优势。
我的总结是，如果模型相对固定，不需要频繁改变，形态也比较静态，TPU 非常适合大规模部署。
比如已经训练好一套模型，只需要做 inference，TPU 的 system-level 优化能力以及软硬件协同能力，就能把这套模型的成本控制在很好的范围内。这是 TPU 最大的优势。
但它有一个前提：必须有非常大的用户规模。它不太适合本地部署，更适合在云上使用。比如 Gemini、ChatGPT、Claude 这类每天有 millions of users 的服务，可以把成本分摊到每个用户身上。
泓君
如果用 TPU 做推理，它的延迟大概是多少？和普通 GPU 相关的 Agent 相比怎么样？
大家可以看官方 documentation，TPU 的延迟做得也非常不错。但文档里没有写的是，它需要足够大的用户量。
内部会有一个 batch，你可以理解成每秒有多少 requests。如果每秒没有足够多的用户，TPU 就没办法通过软件把请求打包成一个很大的矩阵计算，也就没办法很好地利用矩阵计算的密度。
如果只有一个用户，成本就会很高。
泓君
所以用户规模越大，TPU 反而越快，即使在推理上也是这样？
对。对于规模非常小的创业公司，也可以使用 Google Cloud 接入，然后和其他 request 一起打包。
TPU 有两个性能指标。一个是吞吐量，市场上讨论比较多的是 tokens per second，也就是每秒生成多少 token；另一个是尾部延迟，也就是 critical-path latency。
TPU 可以保证很快的响应速度，也可以让每个 token 之间的 latency 非常低。但它不太适合追求极低的单用户响应速度。
它更适合每秒产生100个 token，但不同用户的速度可能略有差异：有些用户稍微慢一点，有些用户稍微快一点，最终保证一个平均值。
泓君
谷歌 Gemini 是不是所有模型全部用 TPU 训练？还是也会加入 GPU？
v7 发布时基本上是百分之百使用 TPU。但在 v7 之前，GPU 一直是 TPU 的 backup。
原因很简单：XLA 加 TPU 是一套非常复杂、也曾经不太稳定的软件生态。很多时候容易报错，特别是在 pre-training 中，一旦报错，风险非常大。
现在我觉得这套系统已经非常 steady，也非常成熟。在过去还不成熟的时候，就需要 GPU 做 backup。所以之前一直是 GPU 和 TPU 混合训练。
这并不意味着 TPU 的训练效果没有 GPU 好，只是说明当时整个系统的稳定性还没有达到很好的状态。
泓君
我听说现在谷歌内部的 Gemini 非常缺 TPU。我有时候使用它时，会提示请求过多然后挂掉。这应该是没有卡了？
对，主要就是没有足够的卡。
泓君
这个情况会持续多久？
具体不是非常清楚。现在可能是因为很多用户从 ChatGPT 迁移到 Gemini。要满足这么大规模的用户迁移，硬件上确实需要比较长的周期。
泓君
刚刚我们提到，谷歌有独立的训练芯片和独立的推理芯片。哪个现在的量更大？
Ironwood 主要是一款针对 inference、针对推理性能优化的芯片。当然它也可以做训练，但里面很多核心技术是针对当下推理市场设计的。
相比训练，Ironwood 更强调低延迟、大吞吐量，以及足够大的 memory bandwidth。这样在运行 LLM，尤其是 decode 环节时，就不会被内存卡住。
我觉得这也是一种信号：谷歌认为未来整个市场对 inference 的成长潜力非常大。
但 pre-training 仍然是非常重要的环节。谷歌作为少数几家做 Frontier 大模型的公司，它们一直以来的 philosophy 都是，设计一款芯片首先要把 training 做好。
泓君
综上我们刚才聊到的内容，我试着总结一下 TPU 和 GPU 的优势、劣势。
整体来看，TPU 现在在性能和模型训练上，如果使用得好，可以把芯片跑满，可能达到 GPU 的性能，甚至比 GPU 跑得更好。在数据中心部署上，它更省成本；使用 TPU，也可以降低推理成本。
它的缺点首先是软件生态。XLA 仍然是一个比较难入门的门槛，不像英伟达 CUDA 那样拥有成熟生态。
另外，它在起量以及 HBM 供应链控制方面仍然比较弱。还有一个核心问题是，如果使用 TPU 的团队内部没有特别懂的人，TPU 仍然是一个黑盒，没办法通过自己的工程师调优，把性能跑满。
如果使用 Google Cloud，可能只能跑到50%到60%的性能。在这种情况下，TPU 和 GPU 谁的性能更好，其实也很难说。
整体来看，TPU 最大的核心问题是，未来如果模型在架构和算法上升级，作为一款专用 ASIC，它可能不如通用 GPU 有优势。但如果算法方向押对了，TPU 就拥有核心优势。
我的总结准确吗？
非常精确。
泓君
前面我们聊了很多 TPU。你要不要再简单回溯一下，谷歌是怎么样发明 TPU 的？它的历史是什么？中间的核心人物又是谁？
10. TPU Emerges From Search
最开始，TPU 主要是针对内部的 CNN 模型做的加速器。第一代芯片只是一款 inference 芯片，因为 inference 相比 training 更容易做，所以它相当于一个 test chip，作为进入市场的入口。
第一代芯片的架构相对简单，就是一个矩阵计算器加内存，没有其他更多模块。
最开始的初衷是，谷歌内部有很多 online recommendation system，但 inference 都使用 CPU。大家都知道 CPU 的问题，它的并行效果非常差。
那时候也没办法使用 GPU，因为当时 GPU 还没有加入矩阵计算单元，更多是做显卡、处理像素。所以谷歌就想，为什么不自己开发一款只做矩阵计算的芯片？
这就是 TPU 最开始的初衷。应该是 Jeff Dean，包括后来获得图灵奖的 David Patterson，也深度参与了第一代芯片的架构设计。
第一代芯片设计出来之后，性能非常好。第二代芯片则是一款旗舰训练芯片，包括后来我们知道的 AlphaGo、PaLM、BERT、早期 Transformer 以及后来的 Transformer，都使用了这套架构进行训练。
但那时候有一个比较大的问题：硬件先有了，软件还没有跟上。v2、v3、v4 的时候，痛点一直是，理论上硬件性能不错，但具体能部署多少还存在问题。
第一是产能跟不上；第二是软件协同效应还没有产生，所以一直在解决这些问题。中间我们也提出了 TPU Pod 的系统级拓扑网络，这奠定了现在 TPU 性能的基础。
第四代时，我们又针对 recommendation 和 ranking 算法加入了 sparse core，也就是稀疏计算单元，很好地解决了谷歌内部推荐系统的 workload。
之后 v5、v6 开始进入大模型时代，进入 ChatGPT 时代，TPU 针对 Transformer 做了很多优化。中间我们还推出了 inference 版本，因为推理市场的需求非常大，一直到现在的 v7。
泓君
Inference 版本是从什么时候开始的？
应该是 v6。我觉得那时候在 TPU 组工作也挺有意思。
最开始几年，市场没有那么大的需求，那时候还没有大模型，也没有 ChatGPT，工作相对轻松一些，因为只需要针对自家 workload，满足内部需求就可以。
泓君
你是哪一年开始在 Google 工作的？
我是2018年开始，到2024年离开。
泓君
那你基本上完整参与了很多代 TPU 的开发。
我最开始做的是另一个项目，是从 v4、v5 的时候加入 TPU 组。不能说参与了最核心的几代，最核心的当然是第一代和第二代，因为它们是奠基性的产品。
但我经历了模型快速迭代的周期。最开始大家都在做训练，后来推理市场突然变得非常火，我们就需要考虑是不是要做另一个版本的芯片。
所以整个项目一直处于非常 volatile、变化非常快的状态。
泓君
关于 TPU 刚刚诞生的时候，还有一些特别有意思的故事。
当时 Jeff Dean 是谷歌的首席科学家。大约在2013年，他在一次内部演示中展示了深度学习网络如何在语音识别上取得突破性进展。那时大家发现，需要的是 GPU，而不是 CPU。
后来他们开始在内部演示这个事情。Jonathan Ross 当时是 Groq 的联合创始人，现在应该已经是英伟达的副总裁了，因为英伟达收购了 Groq。
他当时做内部演示时放了两页 PPT。第一页是：“GPU 真的能工作，这是好消息。”第二页是：“这是坏消息，我们付不起这个钱。”
他们当时算过，如果所有用户都给谷歌发送3分钟语音，谷歌整个数据中心的成本会增加一倍，大概是数百亿美元。这是一个非常大的量，也成为谷歌开始研究 TPU 的起点。
接下来的故事到了2015、2016年，AlphaGo 击败围棋冠军李世石。当时谷歌已经在使用 TPU，而且据说在 AI 算法里放了4张 TPU。这个时候应该是第一代、第二代，还是第二代、第三代？
应该是第二代或第三代。第一代不做 training。
泓君
刚才你提到，大模型出现以后，谷歌是从第六代开始调整方向的。前面一些代际主要服务谷歌的搜索、广告推荐算法，所以 v5 到 v6 相当于发生了一次巨大的方向转变。
方向上的转变，更多是根据 LLM 在现实中的 workload 调配重心。理论上讲，就是计算资源需要变得更大，因为之前没有那么大的 workload，也没有这样的 use case。
泓君
软件团队是什么时候加入的？XLA 那边的团队。
从一开始就有这样的团队。
泓君
那谁是 TPU 组的核心人物和灵魂人物？比如 Jeff Dean，他在推动这件事情的早期肯定发挥了作用。后期呢？
相比过去，现在软件团队的规模已经远大于硬件团队。软件组在整个生态中扮演非常重要的角色，不仅要和内部团队打交道，也要和外部客户打交道，所以现在软件组的话语权会更重一些。
泓君
你觉得软件更大众化了。那灵魂人物呢？比如 Jeff Dean，后期是谁在推动？
后期我觉得还是 Jeff Dean，包括 DeepMind。你可以理解成，DeepMind 是一个深度参与的大脑，决定下一代 TPU 往哪个方向发展。
泓君
他们决定方向，具体落实到硬件组。
对，具体落实是硬件组。
泓君
我们刚刚提到了 Jonathan Ross。要不要再讲一下 Groq？英伟达也收购了它。Groq 最开始出现时，性能表现和技术方案在业界都让很多人很感兴趣。
11. Groq Targets The Fast Lane
我当时也和 Groq 内部团队聊过。我觉得他们被英伟达收购，是踩准了每个时代的红利。
第一个时间点是 inference，第二个时间点是 ASIC，第三个时间点是今年，也就是 Agent 的元年，智能体开始爆发。Groq 最好的应用场景就是 Agent。
Agent 对延迟的要求非常高。如果延迟很差，完成一个任务的链条就会被无限拉长，对于单个用户来说非常痛苦。Groq 就能很好地解决这个问题。
Groq 的芯片之所以这样设计，是因为 Jonathan Ross 最开始就在 TPU 的 compiler team，是 TPU compiler 团队的创始成员之一。他带着非常成熟的 TPU compiler 和 XLA 经验共同创立了 Groq。
所以你可以把 Groq 理解成一家 compiler 公司，而不只是一家芯片公司。它的硬件更多是为软件 compiler 服务的，可能比 TPU 更单一，也没有那么“智能”。
它的 compiler 在某种程度上决定了一切：LPU 里每一个时间点、每一个计算单元具体做什么，都可以精准到每一个 cycle，通过 compiler 预先确定。这是一种确定性非常高的架构。
泓君
你刚刚提到，Groq 精准踩中了每一轮时代的红利：第一轮是 inference，第二轮是 ASIC，第三轮是 Agent。
这三个时间点对芯片的要求有什么不一样？
Inference 方面，Groq 最开始就主要做 inference，不做 training。它的软件和硬件架构决定了它做不了 training。
第二个是 ASIC。ASIC 的成本更加可控，Groq 主要针对低延迟设计 ASIC。
泓君
所以现在 Agent 对推理芯片还有硬件层面的提升需求？虽然我们觉得现在使用 Agent 时，延迟已经很低了。
这就回到刚才讨论的吞吐量问题。
谷歌 TPU 比较好的原因，是有海量客户同时使用 inference 服务，吞吐量会很高，但它不太在乎尾部延迟。尾部延迟指的是单个用户使用时，响应有时快、有时慢一点，相信大家都会有这样的体验。
但 Groq 一旦使用起来就会非常快。它的原理一方面是使用 SRAM，另一方面是一个用户会占用非常多的 LPU 资源，而不是和很多人共享资源。
泓君
Agent 和 ASIC 的区别又是什么？我们刚刚讲到了第三个逻辑。
Agent 和 ASIC 没有太多关联。Agent 主要是 Groq 很适合提供服务的一个场景。
第一个是 Agent，第二个是实时语音，还有一些高频交易。这些场景对延迟的要求更高。
泓君
现在 Groq 的客户主要是什么类型？比如刚刚提到的高频交易商，还有直播，或者和大模型相关的实时直播？
大家可以去了解一下 Groq 这一年和哪些客户、哪些厂商签了订单。一个是中东的数据中心，另外还和 IBM 合作，搭建当地部署的计算集群，只针对本地用户使用。
它有点像在你家搭建一个局域网，或者说一个私有云，使用起来会更受信任。
泓君
所以它卖的是什么？它是和 IBM 签数据中心合同吗？我开始以为它是卖给 Agent 创业公司的芯片或解决方案。
具体细节不是非常清楚。但我觉得它主打的是市场差异化。
现在主流市场都是大模型的推理和训练，Groq 可能针对小规模部署的计算集群，优化低延迟性能。
泓君
你觉得未来整个 Agent 应用中，推理芯片会是百花齐放的格局，还是依然以英伟达 GPU 为主导？
自从去年 DeepSeek 出现之后，大家突然发现，在推理端如果能把成本打下来，端侧和本地部署的需求非常大。
所以我觉得市场会有很多不同层次，以及不同层次对应的指标需求。Google 和 TPU 肯定会占据最高层，也就是最大规模的部署，包括运行大模型的推理。
中间和下面的层次会有更多玩家和参与者进入。
Groq 这类芯片如果运行参数量非常大的模型，成本其实很高；但如果是小规模部署，成本就可以控制。
泓君
所以未来芯片市场在推理端也会分层，按照应用场景划分。
对。最大量的需求可能还是来自大型科技公司。
如果你是一家初创公司，基本不可能说要做下一家英伟达，因为英伟达的护城河实在太深了。你只能服务一些尾端客户。
很多人都在讨论 TPU 和 GPU 的区别、孰优孰劣，但我觉得未来肯定是两者并存。
现在很多大厂都在自研芯片，无论是推理还是训练。我不认为 GPU 或 TPU 会一统江山。这个生态是健康的：既有定制环节，也有通用环节；既有通用场景，也有定制场景和垂直场景。
所以未来会是一个百花齐放的格局。一旦产能和供应链问题得到解决，对用户来说都是好事。成本一旦降下来，能做的事情就有无限可能。
泓君
大家都需要有人出来打破垄断。
对。目前 TPU 可能是一个很好的挑战者。
泓君
接下来就看它的生态到底能布局到什么阶段。如果它能搭建出像 CUDA 一样的软件生态，对 CUDA 和 GPU 也是一件好事，能够带来同行之间的激励和鞭策。
今天这个话题可能会受到很多人的关注。比如从华尔街的视角，他们会非常关心谷歌 TPU 未来能抢走英伟达多少市场份额，这会成为计算估值时非常重要的因素。
对大模型厂商来说，除了我们刚才提到的 Anthropic 和 Meta，我看到 xAI，甚至 OpenAI，也表达过未来可能和谷歌进行 TPU 合作。对模型厂商来说，这既是提高模型能力的方式，也是降低数据中心成本的重要决策。
再往下看，TPU 还会涉及整个供应链，包括 HBM、液冷，以及数据中心的布局差异。谷歌 TPU 的发展，未来可能会影响产业链中很多细分环节和厂商。
感谢 Henry 来到我们的播客，和我们分享这么多技术细节。我觉得这些内容对大家做决策会有很多参考价值。
不过需要声明，今天我们讨论的所有观点都是你的个人言论，不代表公司观点，也不构成任何投资建议。
最后补充一点，很多 TPU 的布局都发生在高层。谷歌具体想把 TPU 打造成怎样的产品，底层工程师其实了解得比较少。
所以我主要是根据自己在 Google 工作的经历，以及和同事聊天时了解到的一些只言片语，把它们拼凑成一个故事。
泓君
谢谢 Henry。
谢谢，谢谢。好，那谢谢 Henry，感谢大家收听我们这一期的播客。如果大家对 TPU 有什么想法，可以给我们写评论、留言。如果大家对我们的播客感兴趣，可以通过苹果播客、Spotify 还有小宇宙来关注我们。如果大家喜欢我们这种视频播客的形式，也可以在 B 站还有 YouTube 上搜索硅谷101播客关注我们。我是泓君，感谢大家的收听。