E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

Hello，大家好，欢迎来到《硅谷101》，我是泓君。过去几年，我们通过播客与视频，讨论最值得关注的公司、技术还有人。今年我们会继续把讨论带到线下，也把那些真正身处在变化中心的人带到大家的面前。今年 10 月 10 日到 11 日，《硅谷101》会在硅谷的 Sunnyvale 举办我们第三届 Alignment 2026 年度大会。我们也会在现场聊一聊日常创作节目中的一些花絮，期待与大家线下见。报名链接我已经放在 Shownotes 中了，感兴趣的听众欢迎通过 Shownotes 报名。

1. Groq和Cerebras的技术路径选择

今天我们来聊一聊推理芯片。随着 Token 经济的发展，推理消耗的 Token 在过去几年涨了几个数量级。这一集我们就聊一聊推理芯片到底是什么，以及像 Groq 还有 Cerebras，它们不同的技术路径和各自的优缺点是什么。我们的录制是在今年的 6 月 24 日。巧的是，在那天 OpenAI 发布了他们第一颗推理芯片，而它在存储上的选择和我们今天的两位嘉宾判断不太一样。这一点我们会在节目最后专门去拆解。

2. 为什么训练看算力，推理看带宽

本期嘉宾自己也在做 AI 推理芯片的创业，只是还在更早的阶段。所以我们今天聊到的这些公司，对他们来说既是研究对象，也是参照系。其中 Mark 是英伟达首席科学家 Bill Dally 的学生。Bill Dally 是现代 GPU 并行架构最重要的奠基者之一。我们也会通过 Mark 的视角，聊一聊这位芯片大师是怎么看问题、拆解问题的。下面就请收听我们今天的节目。

3. 国内优势：供应链+基础设施+开源生态

今天跟我在一起的两位嘉宾，一位是负责推理芯片硬件和系统架构的 Mark。Hello，Mark。

你好，Hello，大家好。

还有一位是子扬，子扬负责软件和编译器方向。

Hello，大家好，我是子扬。

因为我们今天要讲推理芯片，大家要不要先简单介绍一下自己的背景，以及自己跟芯片的关系？

4. 为未来AI补齐强逻辑

我在 2017 年去 Stanford 读 PhD，方向是 EE，也就是电子工程，导师是 Bill Dally。Bill 在英伟达从早期的 GPU 显卡芯片，到现在 AI 芯片的发展过程中，参与了非常多技术方向和决策。

所以我读 PhD 的时候，就对 AI 计算，尤其是 GPU 怎么做，有相当多的了解。不过我读 PhD 时更多关注的是，面向一个大型 CPU 集群，其中的内存语义、调度、控制、通信，以及很多系统层次的架构设计。

PhD 毕业之后，我在国内的芯片大厂做了 3 年左右，主要从事通用 GPU 类芯片的研发。我做的硬件比较多，是因为当时更多是从芯片架构设计，一直到几百个芯片组成的、类似超节点的系统设计。

也请子扬介绍一下自己过往的工作经历。

我上一段工作是在亚马逊的 Annapurna Labs，负责 Trainium 芯片上的软件栈，角色是科学家，所以会看一些更前瞻的东西。

从最底层算子的编译优化，一直到上面的算法和模型切割，包括怎么把模型确定地放在大集群上，我都做了很多工作。

我本科时正好赶上上一波语音和图像识别的发展，当时就在做云端和边端的一些整合。本科毕业论文做的是端侧和边侧语音识别的加速工作。本科在爱丁堡交换时，我还做过语言模型的一些前期工作，不过和现在的大语言模型没有太大关系。

博士是在普林斯顿读的，做过一段和 AI 相对没有太大关系的工作，主要是多核上的并行计算，把单线程的任务放到 500 多个 CPU 核上运行。这和现在 AI 系统中需要做的加速有一些关系，不过当时的 workload 本身是传统的 CPU workload。

我可以简单理解为，Mark 一直在研究芯片硬件怎么搭，包括芯片和内存、通信之间的关系；子扬在亚马逊的工作，主要是从和芯片结合的软件层来做这部分工作。

没错。

大家要不要先跟听众简单介绍一下？大家通常会说，大模型需要 GPU，但 GPU 也有分类。比如有一部分是训练芯片，现在可能更多的是推理芯片。那么训练和推理对芯片的不同要求是什么？为什么可能需要两种不一样的芯片？

我觉得这个问题有两个层面，不光是技术科普。从商业模式上，大家需要这个系统来做什么，本身也有比较大的区别。

一个是大家有多关心成本，另外一个是技术上大家更关心带宽，而不是算力。

从成本的角度看，我觉得这是商业模式决定的。在训练的时代，大家没有办法依靠训练本身获得任何商业上的回报。训练本身是一个没有直接回报的事情，所以当大家开始计算训练成本时，这个东西是不可量化的。

大家的期望都是：我要赌一个最强大的训练集群，让我拥有最强大的模型。这个最强大的模型，未来可能会在推理场景下，帮助我把之前训练投入的成本都收回来。

但推理从商业角度来讲，是一笔很容易、很清楚算明白的账。用户愿意为每 100 万个 Token 付多少钱，我的推理系统生成这 100 万个 Token 需要花多少成本，成本可能包括购买 GPU 的成本，也包括推理时消耗的电。

所以推理从商业角度来讲，追求的是性价比，而不是极致的性能，会更多地把成本考虑进来。

比较有意思的一点是计算密度，英文叫 arithmetic intensity，也叫 AI。

本质上，训练时有海量的数据，可以把多出来的算力充分利用起来，有足够的并行度。

但推理时，语言模型大家认为是一个强逻辑的事情，这个逻辑需要按照一定顺序完成。比如我说一句话，可能必须先说第一点，再说第二点，而第二点可能要基于第一点说了什么来展开。

这就导致现在整个语言模型 Token 生产的过程，在推理时是严格意义上线性的，或者说是严格意义上的自回归。必须知道当前 Token 推出来的结果，把这个结果作为输入喂给模型，它才能告诉我下一个 Token 应该是什么。

这种模式和训练或者 prefill 阶段的特征不一样。Prefill 阶段有很多 Token 可以并行处理，但到了 decode、真正产生 Token 的时候，就变成必须一个一个地产生。

可是每次产生一个 Token 的代价，其实是把整个这么大的模型，比如 1.6T 的模型，都从存储介质读到计算单元里。所以这就本质上改变了推理，尤其是 decode 阶段，对算力和带宽的需求。

我可不可以理解成，GPU 在训练部分要核心解决的问题是算力，在推理部分要核心解决的问题是内存带宽？

应该说，训练或者推理可以分成两个阶段。Prefill 阶段有大量并行度，所有 Token 都是已知的。利用大量并行度，读取一次数据以后，可以同时做非常多的计算。

GPU 硬件需要你同时做非常多的运算，才能把它的硬件资源用满。在这种比例下，它的带宽其实是不足的。

我们给用户一个更形象化的解释。比如我给大模型问了一个问题：“请你列出今天采访的提纲。”当用户把这样的提示词输入给大模型，然后它开始写提纲时，会用到多少 GPU 或者推理芯片？

用 GPU 和用专业的推理芯片，产生结果的延迟和成本会有什么不一样？

这是一个比较好的例子。在 prefill 阶段，它可以并行处理刚才这句话里的所有 Token，把整句话同时喂给模型，让它推理出提纲的第一个词。比如它的回答可能是“好的”，这个“好的”是在接收到完整信息之后吐出的第一个 Token。

刚才说的 prefill 部分有充足的并行度。它只要把模型从 GPU 的 HBM，也就是高带宽存储器，读到计算单元里一次，就可以把刚才那句话里的，比如 10 个 Token 同时处理完。

当然，刚才只是 10 个 Token。实际输入很可能还包括一些文章，这些内容可以带来足够多的并行度，让 GPU 的算力充分利用起来。

但是到了 decode 阶段，比如它要说：“好的，下面是我为你准备的一份采访提纲。”这句话里的每一个 Token、每一个词，都意味着你需要把模型从存储介质里重新读上来一遍。

这样在读取模型的次数上，大家就能很清楚地感受到：是一句话读一次，还是一个词读一次，读取的量都是整个模型的权重。

实际过程中，GPU 不能接受把模型从 HBM 读到计算单元里之后，只处理一个用户的 Token。所以它真正做的，是 batching，也就是批量化处理。

它要收集 1 万个用户的不同推理任务。虽然对一个用户来说，必须按顺序一个词接着一个词地推理，但它可以并行处理这 1 万个用户的所有第一个词、第二个词、第三个词。

所以从用户角度，他会感受到：为什么我推一个 Token 这么慢？核心原因是，如果用 GPU 做这件事，你不只是在等 GPU 推理完你自己的这一个 Token，还在等 GPU 算完和你同一批的其他 9999 个用户的这一个 Token。

GPU 这种大的算力密度，需要 HBM 提供非常昂贵的带宽。于是用户体验下来，现在不管是 Agent 场景，还是 reasoning、模型自己思考的场景，大家对推理速度都有比较强的限制。

那如果用推理芯片呢？

我觉得“推理芯片”其实是一个分得非常多、非常泛的词。

因为推理本身也是一个足够复杂的任务，要分 prefill 和 decode。Decode 里面还要分 attention 和 FFN。

我们希望未来的推理系统里包含很多种不同的芯片，能够把实际 decode Token 的过程做得足够便宜、足够快。这可能就是现在需要打破 GPU 传统架构、做一些更有针对性的新架构，以及使用不同于 HBM 的其他介质的意义所在。

我知道你们也在做这个方向。从现在市面上已经出来、声称自己在做推理芯片的公司来看，你觉得做得最好的是哪家？比如 Groq 怎么样？

我觉得 Groq 和 Cerebras 都是在这条技术路线上。我觉得大家看到了正确的问题，也确实已经把东西做出来了。

像 Groq 现在和英伟达的合作关系，确实是我们设想中比较理想的形态：比如 GPU 处理哪一部分任务，再由 Groq 处理哪一部分任务。

所以从整体方向上，尤其是在英伟达收购 Groq 之后，如何更好地做异构推理系统这个角度来讲，我现在比较看好 Groq 的技术路线。

可以展开聊一下吗？

我觉得最关键的是两个点。

一个是怎么提供刚才说的高性价比带宽。包括我们最初想做现在这个项目，也是因为看中了某种介质。它的带宽性价比远比 HBM 好，可能高两三个数量级。

这种介质的关键其实不在介质本身，而在于你要关注局部性的问题，提供比 HBM 更高一层的局部性。

HBM 之所以能做到很高的带宽，是因为它把存储和计算放到了一个封装里。但我们希望把这个“高”放到下一个层次，也就是把存储直接放到计算芯片里面。

带宽的核心是连线的密度以及频率。当你把线从封装内的走线，变成计算芯片内部通过光刻形成的线，这两种线在密度、成本和能耗上都有本质差别。

如果有某种介质，能够让我把模型权重放到计算单元或者计算芯片上，那就是质的提升。这是解决最本质带宽问题的方法。

5. SRAM、DRAM、HBM的优劣

SRAM 只是目前这个阶段最成熟、最可靠，能够让你有机会把存储放到计算芯片里的方式。

现在 Groq 是这种方式吗？我知道你们也要做这样的方式。

是，Groq 也是这种方式。

另外一个点是异构。我之所以觉得 Groq 比 Cerebras 做得稍微好一点，其实就在于它能和 GPU 更好地结合。

我们刚才聊到，推理不是一整块完全一样的任务。里面有算力密集的部分，当你同时处理 prompt 的第一部分时，有机会把它做得很算力密集，而这部分 GPU 也做得很好。

如果未来的系统能把异构做到比较极致，那么在芯片之外的系统层次，我觉得会有更大的优势。

我们刚才的讨论都围绕云端推理芯片。推理芯片是一个非常巨大的市场，其实还有端侧推理芯片。云端、边侧和端侧各有侧重，我们这里会更深入研究云端推理芯片是什么样子。

大家都要获得相对低廉的带宽，但在端侧可能有其他限制，比如物理空间上的限制。它是一个小设备，没办法放入足够多的内存带宽。

还有功耗上的限制。这就导致端侧可能会出现其他思路，比如 3D DRAM。很多思路都在提供更高、更便宜的带宽。

包括现在听到的所有以 HB 开头的词，HBM、HBF，也就是高带宽闪存，都是希望把原先的介质做到更高带宽，同时也希望它能更便宜。

我先花一点时间解释一下这一集会频繁提到的 3 个词：SRAM、DRAM 和 HBM。

最简单的理解方式是，它们都是存储数据的地方，区别在于离干活的地方有多远。

DRAM 是电脑里的内存条，能装很多，但离得远，来回取数据要花时间。HBM 是把 DRAM 搬到了计算芯片旁边，而且开了很多条通道，所以容量大、速度也快。现在英伟达的高端 GPU 用的就是它。

它的代价是贵，而且全球产能非常紧张。

SRAM 不一样，它可以直接做在计算芯片里面，所以是最快的方案，快很多。但它有一个致命缺点，就是太占地方。存同样多的数据，SRAM 需要的芯片面积是 DRAM 的几十倍、上百倍。

所以可以总结为：DRAM 便宜但慢；HBM 快但贵，而且抢不到货；SRAM 最快，但装不下。

子扬，你继续。

在云端场景，我们对整个系统铺多大没有那么大的限制。只要它能提供足够多的吞吐，我们会从物理介质的角度去考虑，在这个限制条件下，什么样的介质能提供最密的连线和最高的带宽。

所以我们找到的是 SRAM。

另外补充一点，Groq 和 Cerebras 这两家公司本质上的速度和可能的性价比，并没有特别强调这一点，但其实都来自 SRAM。

不仅是它们，现在其他一些美国 AI 推理芯片创业公司，包括 d-Matrix、MatX，也都是往 SRAM 方向走。包括大厂的 TPU、Trainium，如果去看现在发布的芯片，会发现每一代的 SRAM 都变得越来越大。

在每个具体的云端推理解决方案里，大家使用 SRAM 的方式不同。比如谷歌可能会更多地用 SRAM 存 KV cache，至少它的 blog 里是这么说的。其他公司也有各自的设想。

但本质上，大家都是希望用好这种大带宽介质，让整个系统的访存更快、更廉价。SRAM 和现有其他存储介质相比，无论是带宽绝对值，还是每块钱能买到的带宽，性价比都非常高。

所以我们能看到，大家都在往这个方向收敛。

因为刚才提到了 trade-off，大家可不可以先用一句话总结一下 Cerebras？

它相当于在一块巨大的晶圆上做一整块芯片设计。它的优点和缺点是什么？和 Groq 相比，它们各自的优劣势以及 trade-off 是什么？

我觉得可以用一个更统一的视角来看大家做的这些事情。

以 Cerebras 和 Groq 为例，我觉得大家在 Transformer 还没有出现之前，就看到了未来可能有一部分 AI 系统对带宽有非常大的需求。

大家都经历了刚才这个思想过程：怎么把带宽做得更便宜、更高。最后都发现 SRAM 是一个比较好的介质。

但做这件事会有 trade-off，也就是要跳出局部最优，必须损失一些东西。

SRAM 损失的东西其实就是单芯片容量。DRAM 用一个晶体管和一个电容存储一个比特，而 SRAM 本质上需要 6 个晶体管。这意味着存储一个比特的面积成本更高，单个芯片能做的容量会很低，可能比 HBM 低两个数量级。

大家都发现了这一点，于是要想办法提升容量。最简单、最直接的方式，就是把整个系统做大，做几百个、几千个芯片，单纯为了把所有模型权重都放进由 6 个晶体管构成的 SRAM 里。

大家会发现，只要系统足够大，模型总能放下。但问题是，光放下还不够。如果权重只是存在那里，并不能产生 Token，还要用另一种方式把它读出来并进行有效计算。

当系统足够大之后，很多计算或者整个系统的效率瓶颈，就会变成如何进行通信。

Cerebras 和 Groq 在这一步产生了分歧，使用两条不同的技术路线来解决大集群通信调度的问题。

Groq 的思路是，实际调度如果在运行时完成，开销往往会很大。所以它希望把实际调度放到运行之前，也就是编译器阶段，把未来整个芯片系统里可能进行的所有计算和通信都提前想清楚。

哪个时钟周期做什么计算，哪个时钟周期开始通信，它都提前排布好。这样实际运行时就没有调度问题，在某种程度上缓解了集群变大后调度成为瓶颈的问题。

Cerebras 的方式更简单粗暴：之所以集群通信有代价，是因为你要用一个机柜里的几百个芯片来做这件事，芯片之间总有物理距离。

如果把一个机柜的事情塞进一块大的晶圆上，自然就能缩短物理距离，能提供的线的带宽也会更好。

但在它们做出这个技术决策的时间点，没有足够的信息支撑它们判断未来需要针对哪一种 workload 优化，因为那时候 Transformer 还没有出现。

Cerebras 最后可能面临的较大技术挑战，是如何控制整块晶圆的良率和成本，这可能是它最大的挑战。

Groq 的问题是，在它选择依靠编译器做完全静态的调度和编译时，没办法预先知道今天语言模型 Transformer 推理中会有如此大的动态性。比如 MoE 的产生，在原理上就和它当时做出的技术选择没有很好地匹配。

这怎么说？可以详细解释一下吗？

MoE 这样的网络有非常多专家，每个 Token 在推理时只激活其中一小部分专家，而这一小部分是在运行时决定的。

比如在 128 个专家里选择 8 个，无法在编译时预测，因为不同 Token 会选择不同的专家。

当我们考虑单颗 SRAM 能放下的容量时，它无法放入整个网络，所以一定会出现有些专家在一部分芯片上。这样就产生了调度问题：我要把这个 Token 送到哪一颗芯片上？

这件事本身有一定动态性。

如果想用静态方式解决动态性，一种思路是非常保守，把 Token 都送过去，但这样有些芯片就会空转。另一种方式是换一种方法切分模型。

但我们推演后发现，如果不按照专家来切分，当前模型的大小很难通过其他维度切得干净、高效。所以刚才说的动态性，就变成了静态调度的一个很大问题。

我印象中，MoE 是在 DeepSeek 发布之后变得非常主流，引起了大家强烈关注的。但英伟达对 Groq 的 acqui-hire 应该是在 2025 年底。我觉得他们应该也能看到这些问题。

它当时为什么会做出收购的决策？大家有没有相关消息或推理？

从比较保守的方式去想，芯片空转只会影响性价比。

对。

但它依然是当下除 GPU 之外比较好的选择。也就是说，市场还是需要一款推理芯片。

这里就说到 Groq 和 Cerebras 在市场上的定位：它们首先是快。性价比没有被放到台前讨论那么多，更多讲的是低延迟。

如果我做的推理比别人快几倍，比如我能做到每秒 100 个 Token，而 Cerebras 能做到每秒 750 个，甚至 2000 个 Token，那么我可以为此付出非常多的溢价。

所以 Cerebras 和 Groq 谁更贵？

我觉得是 Cerebras，Cerebras 更贵。我们待会儿可以聊为什么。

从这个角度讲，即使 SRAM 有一些芯片空转，也不影响它做到很快。

另外，SRAM 和 HBM 相比，在性价比上其实有两到三个数量级的优势。所以在整个系统里，我们可以浪费掉一个数量级。

为什么要浪费掉？你换取了什么？

它首先有三个数量级的优势。牺牲掉一个数量级以后，仍然可以比 HBM 更好。

牺牲掉的部分，其实就是为了解决 MoE 而做出的技术 trade-off。

所以即使现在使用 SRAM 的多卡系统没有充分利用所有 SRAM 的带宽，从带宽角度来说，性价比还是更高的。

对。从商业角度来讲，当你能做出一个比别人更快、而且更便宜的东西时，你不会告诉别人你的成本其实更低。因为如果别人愿意为更快买单，你当然会保留这个空间。

Jonathan Ross 是 Groq 的创始人，也是谷歌 TPU 的奠基人和创始人之一，对不对？他在设计这两套架构时，主要思想和关注点有什么区别？

Groq 的整个思路其实是围绕编译器展开的。Jonathan Ross 本身也是编译器团队的 leader。他出来做这件事的思路，就是先做确定性的编译，再围绕编译去设计硬件。

所以它从静态编译和静态调度出发，重新设计了硬件。

刚才说的静态调度是一点，另一个点是 determinism，也就是确定性。

比如我们想从某种存储介质里读出数据，它可能在 100 纳秒之后出来，也可能在 300 纳秒之后出来，会有抖动。DRAM 的抖动更加明显。

Groq 使用 SRAM，再加上芯片设计，把确定性做到极致，也把静态时钟同步做到极致。一切都是围绕着最终能让编译器看到整个系统，并为系统做安排。

但它创业的时间点也有一些特性。Groq 在 2016 年成立，最开始想做的很多事情和图像、语音有关，但一直想做的是推理。

那个时代的模型和今天的 Transformer，包括 MoE 出现之后的模型不一样，动态性以及需求都不同。

如果我在那个时间点做决策，也会觉得围绕编译器设计硬件是很有意思的思路。到今天它仍然是有意思的思路，但可能需要用一些方法解决现在遇到的问题。

我们刚才讲到，Groq 和 Cerebras 都有一些时代局限性。它们创业时，生成式 AI 和大模型还没有出现，但深度学习已经是业界比较主流的方向，只是当时不知道是不是会以 Transformer 为主。

Groq 在事前预测上和 MoE 有一点不匹配。那 Cerebras 为什么成本比 Groq 还要高？包括它当时创业，以及现在 2026 年、将近 9 到 10 年之后，它又站到了大家关注的焦点上。你觉得这中间它调整了什么，又做对了什么？

我先回答第一个问题，为什么我刚才第一反应是 Cerebras 的成本会比 Groq 高。

首先从技术路线来讲，它需要以 wafer scale，也就是整个晶圆的规模去生产产品。这会遇到芯片生产过程中非常关键的一个参数：良率。

按照传统方式，现在单芯片尺寸的极限大概是 800 平方毫米。这样一块晶圆可以切出四五十个，或者三四十个类似的芯片。良率会影响这三四十个芯片中有多少是好的、有多少是坏的。

比如良率是 50%，可能切出来 20 个好的芯片。

但如果单个芯片或者单个产品的尺寸就是整个 wafer，那么只要这个 wafer 上超过一定比例的部分有瑕疵，就会影响整个产品。

Cerebras 很大的工程技术壁垒，就在于如何接受这样的良率。比如它可以接受芯片上 30% 的点是坏的，但仍然让整个产品可用。但其实你是没有这么多个晶圆，可以让你切出 30% 的这个良率水平的。

你是想说 30% 的良率，还是 70% 的良率？

这里其实有两个良率概念。

正常芯片如果不做 Partial Good，也就是部分良品设计，好就是好，坏就是坏。我刚才说的 50% 良率，是可以生产出 20 个好的芯片。

但 Cerebras 会做很多事情，让芯片上 30% 的点坏了，产品仍然能用。

不过即使如此，正常情况下晶圆上的坏点很可能达到 40% 或 50%，这和它需要的良率并不匹配。而且它的坏是一旦整个晶圆达不到它对良率的要求，整块晶圆就作废了。

这意味着，要制造出一个成功的、好的晶圆级产品，成本极高。

这个成本能达到多少？

这里要区分两部分。一次流片的成本，和整个芯片的成本，不是同一个概念。

如果出货量足够大，流片成本可以被摊薄。比如做一个玩具，一个玩具可能只要 1 元、2 元，但要先找玩具厂开模。

也就是更上一层的掩模成本，或者首次流片成本，是开模的成本。

对。它不会直接影响开模后每生产一个玩具的成本，这是两个概念。

但 Cerebras 的问题是，模开完之后，每生产 10 个，可能有 9 个都不能用。这影响的是实际生产时的成本。

除了良率和怎么使用的问题，它还有一个系统层面的挑战：整个系统要为这种和其他芯片完全不同的设计做改变。

刚才说过，整块晶圆上可能有几十万个小 core。坏了哪些部分，我能不能绕过去？如果坏在关键部分，要怎么处理？这些事情以前都没有针对这样的系统研究过。

它首先要解决软件问题：如何在软件上绕过坏掉的部分。然后还要解决系统怎么插进机柜，也有很多额外的问题需要自己处理。

因为它可能是现在唯一一个比较有名的晶圆级生产商，所以这个问题非常复杂。

我们捋一下这个逻辑。

当我们说实际成本时，大家最关心的是 Token 成本。Token 成本其实和我们刚才反复强调的带宽成本有关，因为每推理一次 Token，都意味着把整个模型从存储介质，比如 SRAM 里读上来。

但最终大家关心的 Token 成本，回到数据中心本质上有两个部分：一是采购系统的成本，二是实际运行中的电费，也就是能源消耗。

大家的计算方式可能是：我有一款新芯片，要建一个新的数据中心，计划服务 3 年或 5 年。在这段时间内，我能推理多少 Token，除以需要投入的硬件成本和能源成本。

Cerebras 刚才提到的由于良率导致的高成本，都是硬件成本高。这部分会在某种程度上摊薄它在实际带宽上获得的收益。

比如，如果是没有良率问题的简单芯片，单芯片成本可能做到英伟达的 1/10，带宽做到英伟达的 10 倍，类似 Groq 的形态。

但由于 Cerebras 制造部分的成本太高，它很可能是带宽达到英伟达的 10 倍，但成本是 HBM 的 3 倍。这样带宽的实际性价比就要打折扣。

这和 Groq 要为确定性打折扣类似，Cerebras 要为复杂的良率成本打折扣。最终这个折扣会体现在 Token 成本上。

我记得在 1980 年代，也有人想做这种晶圆级芯片，但失败了。为什么现在是做芯片的好时候？

之前做各种奇怪的芯片实验，包括 Intel 的 Itanium，也就是安腾芯片，曾经有一个灾难性的、后来被放弃的芯片架构。

现在做异构芯片或者全新芯片，如果对软件栈有新的依赖，主要有两件事。

第一是经济性。做一款芯片，需要投入研发成本和新的生产设计成本，这些投入需要被摊薄。

在过去，我们没有看到一个单一的大应用，能像今天的 AI 一样，很容易地把摊薄这件事说清楚。现在 AI 各种系统的开销里，流一次片的几百万美元、上亿的研发成本，好像都不算一个很大的数字。

所以今天做新芯片，经济上的难度降低了。

第二是今天做软件栈的难度大大降低了。

尤其是推理芯片，它面对的是一个相对单一的大应用。过去 Intel 可能要面对几百家重要公司、几千款应用，每一代 CPU 设计出来后，都要在几千款应用上做 benchmark，不能和上一代相比让任何公司、任何应用掉队太多。

过去做芯片和软件优化，要考虑如何把几千个应用都做好。

今天其实只有一个大的应用，甚至这个大应用里只有一种比较大的模型分类，也就是 Transformer。它本身是“大力出奇迹”的，结构相对简单。现在的模型可能只有几十层，几乎都是结构一样的层，所以分解来看，应用简单了很多。

第二，随着 AI 的编程能力不断提高，软件，尤其是推理 Kernel、算子的优化，也可以被 AI 大大加速。

新的模型出现后，如果新需求和之前模型的差别不是很大，AI 自己就可以解决。所以软件栈的入门门槛被降低了。

英伟达为什么要花 200 亿去 acqui-hire Groq？英伟达最看重的是什么？

我觉得这很直接。确实，我会和 Bill 讨论很多技术需求，是 GPU 架构无法很好解决的，核心就是推理带来的新型大带宽需求。

6. “推理时代，Cuda一定会被绕过”

从英伟达的角度看，CUDA 的护城河对于它来说既是很强的优势，同时在某种程度上也是创新的包袱。

但我觉得 Jensen 很清楚地意识到，未来推理中算力不一定是唯一需求，还需要补充带宽方面的技术能力。综合各种原因，acqui-hire 一家有这种能力的公司，我觉得是非常好的决定。

英伟达肯定能看到趋势，也知道自己的短板。它其实也可以内部做，只是很难吗？

Bill 在 NVIDIA Research 里会做非常多架构层面的创新，而且很早就开始做。CGRA，也就是粗粒度可重构架构，相关论文其实也发了很多。

但在一个成熟公司里，如何把 research idea 颠覆式地推给产品团队，难度还是非常大的，即使是英伟达这样的公司也是如此。

不如直接 acqui-hire 一个和之前团队没有太多关系的新技术团队。

现在如果我们做推理芯片，或者做芯片，英伟达很大的护城河是 CUDA 体系。你觉得多大程度上可以绕过 CUDA，或者建立一套全行业通用的软件体系？

从推理芯片角度，我觉得绕过 CUDA 是百分之百会发生的。

事实上，几家大厂的推理芯片，比如 TPU、亚马逊的 Trainium，都没有要兼容 CUDA，但大家依然会觉得 TPU 的软件系统难用。

为什么 Anthropic 能大量采购 TPU？我听到的一种说法是，它有很多工程师来自谷歌，大家知道 JAX 在 TPU 上怎么用。

但如果让一个从来没有做过软件编译器的工程师去做这些事情，还是会觉得难。TPU 在软件层依然是一个黑盒，除非是非常懂的人，或者谷歌自己的人。

关于“本身难”这件事，其实刚才的问题很好回答。

只要它不是很多个难问题，而是一个难问题，那么把这个问题解决掉，事情就解决了。只要把 Transformer 里的所有算子都在新芯片上写出来，Transformer 就能跑，商业逻辑也就通了。

第二，有了 AI 加持，现在针对算子和整个运行时的开发已经大大加速。

我先说一个结论：大家认为推理芯片绕过 CUDA 是一定会发生的事情。

再解释一下原理。用 TPU 的软件、AWS 的软件，包括华为的软件，确实都比较难用，这一点我不否认。

核心在于，训练时代和推理时代，大家愿意为软件好用付多少钱，相比于愿意为 Token 成本绝对下降付多少钱，发生了本质变化。

有些软件很难用，但如果难用能带来更好的性能和性价比，那么在推理时代，大家的天平可能会更多地向性能和性价比倾斜。

我们看到了很多已有做法。比如 DeepSeek 虽然使用 GPU 芯片，但它更愿意直接写底层 PTX 和汇编代码，做非常底层的优化。

这就是为什么我们觉得，推理时代 CUDA 一定会被绕过。

我们一直在说成本。现在来看 Groq、Cerebras，还有你们未来做的芯片，性能和性价比相比市场上的主流 GPU，大概是什么量级？

刨除所有技术因素，包括刚才说的正面和反面，从现在综合的性价比来看，我们从很多原理分析的角度认为，未来更理想的推理系统，有机会在速度上做到比现在 GPU，或者通用 AI 芯片加 HBM 的架构，至少高两到三个数量级。

也就是从几十个 Token per second，提高到 1000 个，甚至 1 万个 Tokens per second。对单用户推理速度会有这样的提升，性价比也有机会提高大约 10 倍。

那你要不要讲一下，你们的 SRAM 解决方案是什么？你们做推理芯片的方案是什么？

我们刚才说到，SRAM 本质上有性价比优势，但还有一个 trade-off，就是容量。

所以我们希望，在 SRAM 相比 HBM 有两到三个数量级芯片层面性价比提升的情况下，最终把它变成整个系统层面的优势：即使使用上千颗芯片，也能有 10 倍、一个数量级的性价比提升，以及一到两个数量级的速度提升。

单颗芯片能放多少 SRAM，是公开信息。单颗芯片可能只有几百 MB 的 SRAM。现在的模型大概是 1T，如果用 FP8 量化，也差不多是 1TB 的量级。

把这两个数字相除，大概需要上千颗芯片，才能在容量上放下整个模型，进行相应推理。

我们要做的事情，就是如何用某种拓扑把这上千个芯片连接起来，使中间每颗芯片之间的连接不成为推理瓶颈，同时让每颗芯片的 SRAM 带宽得到充分利用。

肯定会有一定损失，但最终折算下来，整个系统的成本和带宽要能提高 10 倍的性价比。

从技术上说，单颗芯片可能有 500MB 左右的 SRAM，用来放模型参数。整个 Token 的 hidden state，会一点一点穿过我们的芯片网络，从一边走到另一边，最后产生结果。

还有一个重要的点是异构。我们的芯片和系统不会做整个模型的所有事情，因为我们相信应该用最合适的硬件去做对应部分的应用。

整个模型会被区分成 attention 一边和非 attention 的 FFN 一边。我们会比较类似 Groq，但也不完全一致地去做后半段，也就是非 attention 的部分。

这里可以解释一下，为什么本来有三个数量级的成本性价比提升，最后变成了 10 倍。

这是因为 Amdahl's Law，也就是阿姆达尔定律。我们做的是异构系统，解决了 90% 的问题，但保留了另外 10% 的问题给 GPU 解决，所以最多系统能提升 10 倍。

虽然我们可能以 1000 倍的提升效率解决了那 90% 的问题，但剩下 10% 的部分会限制整体提升。

我觉得现在整个中国，不管训练还是推理，芯片都供不应求。我们甚至不说产业链，从芯片层面也供不应求。

从你们现在开始做，到完整芯片出来，大概需要多长时间？

这是一个非常好的问题。我们也在不断更新对这部分的认知。

传统上做一款芯片，从开始设计、从用户端反推，一直到流片和测试，大概需要 1 年半到 2 年。

7. Jalapeño：通用芯片，低能耗，9个月流片

但我们也看到，OpenAI 发布自己的芯片时，号称 9 个月完成流片，当然其中有其他原因。

我们确实认为，在足够聚焦且 AI 可以赋能的情况下，流片节奏可以更快地迭代。

迭代节奏可以加快很多。真正制约我们的，当然还有物理设计和流片部分，但剩下的部分会慢慢更像一家软件公司。

Mark，你刚才一直在说，你们是用一套全新的架构去解决供应链问题。这是一个更底层的创新，还是微创新？

全新的架构肯定可以顺便解决一部分供应链问题，但最本质的问题还是 Token 的速度和 Token 的成本。

相比现有推理芯片，你觉得这是颠覆式创新，还是微创新？

这是架构层次上的颠覆性创新。

芯片造出来以后，有很多物理问题要解决，比如光刻怎么做，或者现在国内很多公司、包括英伟达都希望解决的 3D 堆叠问题，这又是另一个层次的问题。

但我们希望作为一家 AI 芯片设计公司，在芯片设计和系统设计的角度，做真正颠覆式的东西，提供更好的产品竞争力。

你们觉得怎么判断一个推理芯片是不是好的？评价框架是什么？

比如每个 Token 的产出成本、推理速度、每个 Token 的耗电量、芯片算力利用率，以及软件和编译器。哪些方向最重要？

我觉得在推理时代，前 3 个最重要。

成本、速度、耗电量？

对。第四个利用率会影响第一个，也就是利用率会影响成本。但最终大家关心的肯定还是成本。

未来整个系统是异构的，所以单个芯片不能只根据算力、带宽和容量，让大家形成对整个系统的综合认知。未来衡量芯片好坏，一定要在系统层次衡量。

还要强调一下，我们说的是云端 AI 推理芯片。

如果是一个盒子，或者放在手机上的芯片，每个 Token 的成本可能不是最重要的。它更重要的可能是：我最多花 100 美元购买这颗芯片，这 100 美元能达到某种速度的推理，那么它就能卖出去。

所以端侧 AI 芯片考虑的是完全不同的事情。

但从云端角度看，最终成本会被分解成每个 Token 的成本。我们会第一优先级考虑 Token 生产成本，第二优先级考虑速度。

速度也是未来非常重要的指标，是 AI Infra，也就是 AI 基础设施的核心指标。

至于用电量，从云端角度看，在今天总持有成本里，电费占比还比较小。

国内和美国在这一点上有比较大的区别。

对，主要是美国缺电、缺能源。

这个比例可能是倒过来的。国内我们了解到，大概 1/3 是电，美国大概 2/3 是电。

这会影响大家更关心 Tokens per watt，还是 Tokens per dollar。

你刚才提到能源占 1/3 的成本，具体是什么意思？

比如电费。刚才提到 TCO，里面分两部分：CAPEX 和 OPEX。

CAPEX 是买芯片、买机房的成本，是一次性投入。OPEX 是计划这一代数据中心运行 5 年，这 5 年里的功耗乘以时间，再乘以电费，包括散热等对应的能源消耗。

如果你们在国内做，可能对耗电量的关注就会小一点。

不是我们关注得小一点，而是客户关注得会小一点。

我是在想芯片之间怎么做性能和成本的平衡。长远来看，芯片成本是钱的问题，钱可能不是最本质的限制，但能源是。

如果你们遇到同行，或者看一家芯片公司，你们会怎么判断它行不行？如果用一个问题去问这家芯片公司，你们觉得应该问什么？

我觉得你刚才说的 3 个问题都是很好的问题，但我们比较关心的其实是两个问题：你的 Tokens per second 能做到多快、多便宜。

如果站在芯片角度，很多实际做推理芯片的公司可能根本没有这个数字。

对。从用户端理解，就是由这款芯片组成的系统，每个 Token 的价格，以及它每秒对单一用户的推理速度。

这两个是我们关心的最核心问题。

推理速度现在会是一个核心制约瓶颈吗？从我作为用户的体验来说，我觉得现在速度已经够用了。

这是一个非常好的问题，也是我们思考很多的问题：做快本身有多大的意义？

先从今天的商业逻辑说起。自从 Agent 开始大规模爆发以后，现在大量语言模型产生的 Token，其实并没有被人阅读。

这里有两个点。一个是在 Agent 之前，有一个东西叫 chain of thought，也就是思维链。它产生 Token 的过程，其实不是给用户看的，而是模型自己产生，用来得到最终结论。这个部分速度快一些会更好，因为最后是模型自己看的。

Agent 产生的内容也不一定是给人看的，而是给其他 Agent 读的。

所以人阅读 Token 的速度的确没有那么快。我们可能做到每秒 100 个 Token，人就已经读不完了。所以现在很多 GPU 或者其他系统，在推理时都是往每秒 100 个 Token 发展，甚至可能低一些，比如每秒 50 个。

但对于 Agent 系统，我们认为这个速度在一定程度上没有上限，越快越好。

更核心的可能是 AI 长期发展中的两个制约，一个是能耗，一个是时间，也就是单位时间里能解决多少事情。

这本质上就是要用系统的单用户速度来解决。

我刚才提到一个很好的点：我觉得现在已经够快了。

它一定会让你觉得够用了，但它会在别的地方实现这一点。

比如它知道用户不能接受一个问题要想两天，甚至一个小时可能都不能接受。所以本质上，它限制了在一天或者一个小时之内能生产多少 Token 来解决用户的问题。

推理速度更快，并不意味着要把你从一分钟的思考到最后的交互速度变成 1 秒，而是在交互速度都是 1 分钟的情况下，模型可以用 10 倍更多的 Token 做更多内部思考，提升智能水平，或者用 Agent 的方式做更多实验来回答问题。

我看到答案的时间可能是一样的，但背后可能是模型只思考了一遍，还是思考了 10 倍于这个问题的内容。

是的。所以推理芯片做得好，可以让模型在相同时间里变得更智能。

你看老黄演讲的 PPT，纵轴是每瓦特 Token 数，或者每瓦特每秒 Token 数，讲的是 Token 的成本。横轴其实讲的就是推理速度。

Bill 喜欢把它叫作 interactivity，也就是交互性。但老黄 PPT 里横轴的标注是 Smarter AI。他认为推理速度更快，意味着整个 AI 可以变得更聪明。

所以有时候我看到一些应用很快给我答案，可能只是因为 AI 思考得少。

对，这很有意思。

我们甚至觉得，之后大部分 Token 会更大程度地在 AI 自己的系统里运行，为你产生最终的智能。

如果有一天 AI 系统足够聪明，我对它说“你去解决癌症”，它可能会在那里慢慢解决。大部分 Token 都在它自己内部运行。

这些内部运行的 Token，至少思维链部分的速度当然是越快越好。剩下的部分可以用并行度来换，但有一些逻辑思考越快越好。

如果你问一个问题，它用了 100 年思考，那可能对我们意义不大。我们希望它在有限时间里解决问题。

比如让 AI 系统判断明天的股票市场，如果它用两天时间思考，那回答就没有任何意义。

所以时间是非常重要的本质约束。世界不会为了 AI 而慢下来。很多事情需要在确定的时间点之前得到答案，比如等一个小时就已经不耐烦了，需要在 1 分钟之内得到答案。

我们希望在确定的时间节点里获得更多智能，这就翻译成“快”。所以对 AI 芯片的速度确实有要求。

现在模型在训练、预训练、推理以及 Agent 互联上都有很多创新。比如刚才提到的思维链，可能会影响 Groq 的工作原理。

现在大家也在提 RSI，也就是递归自我提升，还在提强化学习。同时 Agent 市场也在变化。

大模型预训练领域里发生的这些变化，会影响芯片设计吗？比如你们在设计一款芯片时，会往前看 1 到 2 年，甚至 2 到 3 年吗？

先回答最后一个问题，我们肯定要向前看。但向前看时，要寻找一些本质上会影响芯片设计的东西。

首先，模型结构本身一定会影响芯片。

比如视频生成、图像生成。生成模型里很大一部分是 diffusion model，也就是扩散模型。这种模型和现在 Transformer 的方式不同。

所以我们要做两个选择：第一，芯片做不做这件事，这是异构的选择；第二，如果要做，在芯片上怎么做。

Diffusion 在技术上是计算非常密集的任务，适合的硬件可能是另一种范式。

另一个问题是 Transformer 本身会怎么变化，也就是我们想瞄准的部分会不会发生很大变化。

我们先要看整个模型大规模变化的是哪一部分。算法上还没有收敛的是哪一部分，已经收敛的是哪一部分。

一家公司应该优先解决已经收敛的部分，把它做成芯片。

从模型结构来说，Transformer 里的 attention 机制在算法上还有很多革新。每个新的实验室都会发论文，提出新的思路。

但后面的 FFN 自从变成 MoE 以后，已经变成相对不变量。

刚才说到的强化学习，其实没有本质影响模型结构。如果模型结构不变，尤其 RL 发生在后训练阶段，更不会影响模型结构，那么对我们来说，它就不是那么重要。

所以你们现在主要做 Transformer 模型。Diffusion 的推理现阶段还没有考虑？

更多是从这个角度考虑：未来 AI 系统不管是什么模型，本质上都会有两部分需求。

现在比较明确的是算力需求；我们看到现在解决得不太好的，是带宽需求。

我们希望找到一个最贴近当前带宽需求的、从芯片到系统的解决方案。

未来它不一定绑定在具体模型上。虽然我们现在判断，等芯片出来时，大概率仍然是 Transformer 更适合运行在我们上面，但图像生成、视频生成这些算法未来还有很大的变化空间。

它们可能也会变成自回归式，甚至变成两种方式的结合。如果变成这样，我们可能可以很好地支持；如果没有变成，它天然就不是我们想解决的问题。

现在有很多国产芯片，甚至英伟达的芯片，都会宣传一个纸面算力值。但大家实际使用时，会觉得算力没有跑满，有时甚至连一半都达不到。

中间消失的算力去哪了？为什么达不到理论算力？

我觉得有两部分。

如果单纯讲算力浪费，现在很多 workload，包括一些 attention 机制，它们计算和访存的比例没有长在英伟达 GPU 的甜点上。这是算力用不起来的一个重要原因，因为卡在带宽上。

计算机体系结构里有一个 roofline model。

少量 Token 的情况下，如果是带宽瓶颈，算力显然就用不起来。

另外，推理是由很多快速、细小的算子组成的。每秒已经有两三百个 Token 时，每个 Token 对应的计算任务就会变得非常细碎。

相比训练时的大矩阵乘法，这种细碎的计算会造成调度损失。

这是使用者的问题、芯片设计的问题，还是软件层的问题？

这 3 个都有。

刚才 Mark 说的算力和访存比例不匹配，更本质地说，是硬件设计和现在使用的 workload 不匹配。

再技术一点，现在经常会说芯片在等数据从别的芯片传过来。这意味着它卡在互联上，数据没有及时到达需要计算的一边。

可能是本地 HBM 带宽不够，读取时间太长，计算单元空转；也可能是要从其他地方传输数据，导致空转。

最后就会导致计算单元在做矩阵乘法时无法持续工作。现在模型里最大的计算通常是矩阵乘法，我们计算 MFU，也就是模型算力利用率，基本只计算矩阵乘法这一部分。

所以一旦矩阵乘法空转，最后得到的 MFU 就比较低，于是会说芯片没有被很好地利用起来。

8. 消失的算力：为何芯片利用率跑不满

回到 roofline model，在推理，尤其是追求高单用户推理速度的场景里，还有另一个指标叫 MBU，也就是 Memory Bandwidth Utilization，内存带宽利用率。

所有利用率如果都达到 100%，当然就没有问题。但如果带宽利用率达到 100%，并不意味着芯片被百分之百利用了。

芯片至少有两个单位：一个是访存带宽是否用满，一个是算力是否用满。

如果设计时带宽很小、算力非常大，那么即使带宽吃满，算力可能依然空着。

所以这是一个综合问题。

你们自己设计推理芯片时，会把理论利用率和实际利用率考虑进去吗？怎么避免实际执行过程中的调度摩擦，减少利用率损失？

会考虑。这也是我们能更多在芯片设计上优化的地方。

给听众科普一下：如果要设计一整套芯片，完整流程是什么样的？

一开始肯定是架构设计，但其实更前面是需求分析：这款芯片定位是什么，要解决什么问题，哪些问题是技术问题，哪些是客户问题。有些客户可能要求安全性，这肯定是第一步，要先梳理需求。

围绕这些需求，会有具体的高层架构设计。这个架构不光包含芯片本身，未来实际交付的可能是服务器，甚至是一个集群。

集群会被拆解成系统需求，比如芯片间互联、服务器间互联，以及每一颗芯片的需求。

从系统架构层面，要想清楚未来支持的场景，以及围绕这个场景定义实际的芯片架构。

架构定义之后，会有微架构定义。比如芯片里的计算单元怎么设计，计算单元里的矩阵单元怎么设计，向量单元怎么设计，使用什么指令集，存储放在哪里。

比如我们想用 SRAM，SRAM 放在哪里。确定这些之后，会形成非常详细的 feature list，具体指导 RTL 编码时每一个模块怎么实现。

大家都说做芯片要 1 到 2 年，但实际 RTL 编码可能只需要两三个月。大部分时间会花在前期需求和架构上。

RTL 编码之后就是验证。传统意义上，大家说做大芯片、流片成本非常高，所以希望流片时不要有功能问题。

因此流片前会做非常充分的代码验证。比如代码有没有 bug，要么靠很多复杂的测试用例，要么靠形式化验证，从数学上进行证明。

这又回到我博士时做的数理逻辑工作，也就是形式化证明。

验证充分之后，会有很多后端工作。前面确定了每个晶体管怎么连接，后端要尝试把它们排布在可行的物理空间里。

比如芯片布局布线，线怎么绕，不同计算单元摆在哪里，存储单元的长宽高比例，都需要后端制作具体图纸，最终变成光刻信息：在哪一块刻什么样的晶体管。

这个过程中还有很多 SDC，也就是设计约束检查，要根据 Fab，也就是晶圆厂的信息做重复检查。

最终要保证流片时不要出现大的问题。

这些做完之后就可以流片。流片本身是生产掩模，也就是 mask。通常第一次流片会有这个成本。如果设计没有问题，后续量产时就不用对掩模做太大改动。

第一代芯片量产回来后，还有很多封装和测试工作。

大家看到英伟达的芯片好像很大，快有半个手机大了，但真正光刻出来的部分占比比较小。更多工作是在比较大的封装里，把非常细的光刻线引到实际产品的电路板上。

测试也和良率有关，需要有一套完整的方法，判断生产出来的一批芯片哪些是好的、哪些是坏的，这本身又是一个很大的课题。

真正交付时，如果交付的是复杂系统，还涉及 PCB，也就是印刷电路板怎么设计。芯片只是系统的一部分，板上可能还有控制芯片、交换芯片、网口和其他接口。

再往上，还要设计整个集群的供电、散热和公网连接。

听到这段话，我的感受是，Mark 你太厉害了。

芯片创业是一个门槛很高的事情。每个环节都要解决无数技术挑战，同时成本很高，需要很多钱去设计、流片，还要承担各种流片风险。

量产后还要控制良率，同时解决供应链问题。现在包括谷歌、英伟达在内，大家做芯片时，整个供应链的各个环节都在缺货。

硬件是很难的事情，但赔率足够大。

对，而且我们不是一个人在战斗，尤其是后端，需要和很多合作方一起配合。

我们更多是把用户和模型想清楚，明确怎么设计这款芯片。后面会有很多和供应商沟通、互相帮助的阶段。

你们现在在整个设计、流片过程中到哪个环节了？到最后量产时，供应链会是一个问题吗？

供应链会是非常关键的问题。

我们认为，国内整个芯片市场未来两三年可能都会长期处在供小于求的状态。所以未来能否成功，不一定取决于芯片设计得多好，很可能取决于能不能造出足够多的芯片。

但在这一点上，我们反而有一些优势。

正因为设计上有很多大胆创新，我们对最先进制程的要求可以放松。我们有机会把大家可能用不起来、或者已经认为淘汰掉的成熟制程用好。

制造出来的芯片可能使用成熟工艺，但在最终关心的 Tokens per second、Tokens per dollar 上，可能比先进工艺做出来的系统还要好。

所以是通过架构创新实现的。

对。但供应链上依然会面临很多挑战。

你们为什么要回国创业？Mark，我觉得以你的背景，即使在美国创业也会很成功。

我当时回国不是因为创业，而是毕业后有一些国内比较好的工作机会，我也很感兴趣，所以已经回来了。

我在国内待了大约 3 年。在这个过程中，因为很多 PhD 同学和导师还在美国，所以每年也会去几次硅谷，和大家继续交流。

虽然国内在先进制程的技术上有一些限制和约束，但我觉得从长远看，在更具挑战的成本控制、性价比以及供应链解决方面，国内的环境有更大优势。

主要是供应链比较完善，供应商也比较多。即使在美国，可能也经常要回来处理硬件环节。

更本质一点，是搭基础设施的能力。我们要搭建的是推理基础设施，涉及数据中心在哪里、怎么建、用水用电等问题，中国有很强的优势。

另外，中国也是一个很大的市场，整个市场可以完全转起来。

还有一个角度。当时 Groq 和 Cerebras 做得比较艰难，是因为美国最主流的模型不是开源的。

当你做一款新芯片时，要让不懂你芯片的人去适配模型，不太现实；要强行让自己适配一个自己不知道的模型，也不太现实。

做出芯片后，你更希望有一些开源的东西，可以拿来在芯片上运行并做出效果。

但当时美国的一些开源模型，比如千问、Llama，显然不是美国最主流、使用最多的模型。所以它们商业化时，短期只能看到小众的开源市场。

国内则相反。国内最强大的模型，以 DeepSeek 为代表，还有智谱，至少在架构层面都更开放。

从市场角度讲，国内可以稳定获得的最好 AI 模型 API，也主要是这些开源模型。

但千问也在做自己的芯片。是不是模型厂商也在做自己的芯片？你们怎么竞争？

如果已经是开源模型，模型厂商做自己的芯片，和我们做芯片相比，并没有本质优势。

做这个系统需要把系统其他部分想清楚。模型厂商可能有更先进、但没有完全开源的模型；同时在设计模型时，它的软硬件团队可以协同。

比如谷歌的 TPU，在模型向前发展时，就可以同时考虑芯片应该怎么设计。

模型厂商可以分几类。

一类是传统互联网大厂。国内大厂做芯片时，因为同时有模型和训练需求，模型也多种多样，比如字节有 Seedance 相关模型的需求。

当它开始投入资源做芯片时，会希望这款芯片不要只对部分需求有效，而是更好地兼容所有 AI 业务，包括训练、各种图像生成以及 Transformer 推理。

我们看到，实际大家做的可能还是更多地替代现有通用 AI 芯片。

训练偏多，或者通用性偏多。

对。实际使用时推理也可能很多，但推理里可能有 prefill，也可能有图像生成、AIGC 这部分。

我觉得纯粹的模型厂商，比如 DeepSeek、智谱、Kimi，设计一个好模型的能力和设计一款好芯片的能力完全不同。

有时候把完全不同的能力整合进同一家公司，不一定是好事。这件事本身也需要异构：更适合算法设计的公司做模型，更适合芯片设计的公司做芯片。

把所有东西都融合在一起，不一定是非常好的事情。

Mark，你去 Stanford 读 PhD 时，Bill Dally 已经很有名，是英伟达首席科学家。也可以说，他是 GPU 领域的奠基人之一。他通过在斯坦福做的流处理研究，推动了今天 GPU 的发展。

当时你为什么选择他做导师？你和他的交流是怎样的？

你说的 stream processing，其实是他在 2000 年之前做的工作，只是后来 NVIDIA 更成功地把这件事商业化。

后来随着他和 NVIDIA 的合作，他又逐渐在产业上主导了很多类似方向。

我大四时有一个学期，和韩松有接触。他当时马上要毕业，后来做了很多成功的公司，也去 MIT 当了教授。当时是他把我带过去，想让我帮他做一些研究助理工作。

那时做的更多是围绕他的模型剪枝和压缩，也就是 pruning、quantization，继续做一些更新，以及如何让模型更高效地运行在硬件上的算法研究。

虽然当时是松哥指导我，但我每周都会和 Bill 开例会。

Bill 给我的第一印象是，他非常聪明。另一个特点是，他在 research 上关注的问题都很本质，不会去尝试解决 low-hanging fruit，也就是简单的问题。

因为那已经不是他的职业路径所需要的东西。他是很资深的教授，没有短期学术压力，不需要为了发表多少论文而工作。

所以他关注的往往是技术上真正感兴趣的、更本质的问题。这些问题通常很难，但一旦做出来，可能会对整个学界和业界产生很大影响。

这是我从那时开始就非常欣赏他的特质。

你刚才提到 Bill 看问题很本质。从你 2017 年开始读他的 PhD，到后来和他交流，有哪些他关注的主要方向，让你觉得他没有停留在表面细节，而是直接戳到了芯片设计最核心的环节？

等我真正加入他的组，认真和他做研究时，他一开始最感兴趣的点，我觉得除了他之外，几乎没有人看到。

他当时尝试做的是和现在深度学习完全不同的另一类 AI 加速，也就是完全逻辑的 AI 加速。

过去 AI 的发展有两个分支：一个是深度学习、神经网络这种偏感知的分支；另一个是强逻辑的分支。

强逻辑的分支通常会构建很大的知识图谱，建立严谨的逻辑。现在大家也会尝试用 AI 证明数学定理。

那是哪一年？

2017 年。

逻辑 AI 的发展其实已经持续了三四十年，到现在仍然有很多强应用。比如刚才说的数学定理证明，还有芯片后端布局布线，也有很强的逻辑 AI 参与。

Bill 当时感兴趣的是：英伟达已经能把偏感知的神经网络类 AI 加速得很好，但在他看来，未来的 AI 会是强逻辑和强感知的结合。

不过强逻辑那一部分，当时几乎没有人在关注，因为之前没有人做过针对性的硬件，大家更多停留在软件层面。

所以我们从头设计了一个全新的芯片架构，和 CPU、GPU 以及我们现在想做的芯片都完全不同，是一个专门用于加速这类问题的架构。

现在我知道硅谷很多创业公司也有类似想法，希望让语言模型、Transformer 更好地服务于数学和物理原理。

这部分未来可能会成为非常有影响力的一部分新芯片工作。

所以你觉得他当时和你们主导的强逻辑芯片，在今天的 AI 时代已经变成主要方向，还是仍然处于研发阶段？

我觉得还处在算法研发阶段。

解决逻辑问题的算法本身非常固定，叫 SAT，也就是布尔可满足性问题。但如何把这个问题和 Transformer 更好地结合起来，让 Transformer 把复杂的数学、物理问题拆解成强逻辑问题，我觉得是现在很多 AI for Science 公司在做的事情。

现在算法层面还没有收敛。如果未来大家发现这真的有效，科学探索的瓶颈确实在于如何更快地解决复杂逻辑问题，那么对芯片和硬件的需求就会确定下来。

Bill 对你的启发，更多是在芯片和学术方向上，还是他的思考方式、沟通方式和人格特质对你的影响更多？

我觉得是后者。

刚才提到，我和 Bill 做的第一个项目，以及后来 PhD thesis 中的很多东西，并不一定对应某个确定方向。

大家看到他现在是 GPU 的奠基人，但我觉得本质上，他并没有和 GPU 绑定。GPU 只是结果，原因是他是一个非常好的 researcher 和 architect，能够发现最重要的东西，并以最好的方式把它做出来，这才成就了今天的 GPU。

但他对我影响更大的，是芯片设计、系统设计，以及怎么做研究时需要关注的更本质的问题。

举一个例子，我们现在做很多芯片都会围绕一个点出发，叫 locality，也就是局部性。

这件事最早给我很大震撼，就是 Bill 告诉我，整个芯片设计一切都是围绕局部性展开的。他原话是：“计算机系统结构就像房地产，一切都在于 location、location、location。”

包括时间上的局部性和空间上的局部性。

CPU 里的 Cache 设计，本身就是时间局部性和空间局部性的应用。

时间局部性是：如果我使用了一段数据，那么未来一段时间内，大概率会重复使用这段数据。

空间局部性是：如果我使用了一段数据，大概率马上会使用它周围的一部分数据。

我们现在做 AI 芯片时，模型权重存在哪里？为什么想用 SRAM？就是希望 SRAM 提供最好的局部性。

因为在 AI 时代，尤其是 decode 过程，算法上的时间局部性和空间局部性都被抹平了，这些局部性不再存在。所以我们要在架构和硬件上做更多局部性设计，来弥补这一点。

我觉得他在指导如何更好地做事情，或者找到更值得做的事情时，逻辑是：找到最难的问题，找到对整个系统影响最大的点，并尝试解决它。

他会关心 trade-off。当你只做微小提升时，可以保全大局，不需要做颠覆式修改。但如果要做数量级提升，就必须清楚哪些东西可以牺牲，哪些东西是真正关键的。

只有想明白这些，才能在系统层面做出关键选择，跳出局部最优。

就像深度学习找到更大的全局最优解。

对。

这也就是说，我们不要做微创新，而是要找到最难的问题，从全局角度做颠覆式创新。

是，但这意味着失败概率很高。

你和 Bill 合作时，有没有遇到过这样的情况：你找到一个解，尝试从这个方向做，但最后失败了？

非常多。

但我刚才说的点，其实和成功失败没有关系，那是做事情的逻辑：什么事情值得做，现在我们觉得什么事情值得做。

过程中当然会有很多失败，但失败不会否定要解决的问题本身是不正确的。可能只是没有找到正确的解法，甚至这个解法可能不存在。

这段非常鼓舞人心。你回来创业，Bill Dally 给了你什么建议？

我和 Bill 会讨论很多技术细节。比如当时我有一些想法，想用 SRAM，我会和他讨论很多。

他一开始也没有非常细地看这个方向，但后来我们确实仔细计算了很多问题。他会给我很多技术建议。

我现在想做的很多东西，和我当时读 PhD、和他一起做的东西，在方法和原理上很相似。

具体创业建议的话，我想想……Bill 给我的建议是，一定不要用 PhD 写的代码，因为这是他上一次创业时的惨痛教训。

他的整个特质还是更偏科学家。

对。

我刚才还想说，Bill 给我的另一个启发是怎么做研究。但我现在发现，做研究的逻辑不一定是做公司的最佳逻辑。

我觉得研究的本质，是用最小代价获取最多知识。

比如当时很多人愿意用科研经费去流片，把芯片真正造出来，但在 Bill 看来，这完全没必要，因为在流片前已经获得了 99% 的知识。流片除了工程实现之外，不会带来额外信息。

但创业要解决的，恰恰是剩下那 1% 的工程问题，而且可能要花 99% 的精力。

工程可能不只是剩下 1%，它应该也占很大比重。

对。我的意思是，工程需要花很多精力，但它对判断这件事能不能做成的贡献没有那么大。

在不做工程之前，从设计角度可以知道技术瓶颈在哪里、能不能做；但实际工程上要解决设计、散热、供电等问题，还是要花大量精力真正把它做出来。

子扬，你要不要讲一下你在亚马逊做自研 AI 芯片时，写编译器和软件栈的经历？

我记得亚马逊也有一个很有哲学意味的思考，和 Mark 刚才说的一脉相承：不要从一个细小的点去推事情应该怎么做，而是先设计整个系统，再反推最优芯片是什么样。

你要不要讲一下亚马逊的工程哲学？

首先从系统上来说，软件是在系统最上方的，用户是从软件入手的。

亚马逊有两个哲学。一个和芯片相关，就是从系统反推硬件；另一个是 customer obsession，也就是客户至上。

我们要想的是用户最后想要什么。用户使用的软件栈，要反推前面所有东西。

另一种说法是以终为始。

比如要做一个 AI 加速器，首先要明确它要加速的 workload 是什么，是哪些模型或哪一类模型，运行的是训练、推理，还是两者都做。

这会直接影响从高层系统向下反推，最终到芯片上的具体设计。

大方向首先要掌握正确，然后从大方向一点一点有逻辑地反推回来。

芯片设计里有一个非常重要的参数，是计算带宽和访存带宽的比值。它决定读取一份数据后，要在这份数据上做多少次计算，才能同时把计算和访存都利用起来。

这个比值会直接影响哪些模型或应用最适合在这款芯片上运行。

所以设计下一代芯片时，要明确最终 workload 是什么，系统由多少节点组成，完整系统是什么样。

首先要考虑这些节点在物理上能不能装下模型，能不能被系统接纳，再反推到最后，把这个比值定在多少。

硬件确定之后，也会直接影响不同软件的优化方式。

所以整体方向上，首先要知道用户想要什么。这不一定是用户今天使用的东西，也可能是芯片制作出来时，用户未来两三年会想要的东西。

因为芯片是一个长周期的事情。

今天是我们在节目发布前的一次补录，来聊一聊 OpenAI 的推理芯片。

OpenAI 在我们录制当天，也就是 6 月 24 日，和博通发布了第一颗自研推理芯片 Jalapeño。

子扬，你们这几天有没有研究 OpenAI 的推理方案？它和你们的思路有什么不一样？

我们在 Jalapeño 发布之后，认真研究了公开资料，包括它们在 Hot Chips 分享的一些内容。

首先，它是一颗 AI 推理芯片，但更准确地说是一颗通用 AI 推理芯片，和 GPU 比较接近。

它的通用性体现在可以运行各种模型，甚至一些游戏也做了 demo。

我们看下来，有几个侧重点和我们的方案不同。

最重要的是电效率和资金效率。OpenAI 对电效率非常敏感，因为现在美国数据中心缺的不是资本和空间，而是电力供应。

所以它非常需要用同样的电力产能，产出更多 Token，产出更多智能，也意味着更多收入。

我们看到这颗芯片在功耗上做了很多工作。它每瓦或者每兆瓦能产出的 Token 数，大于英伟达对应的 Rubin 架构。

另一个特点是通用性，这里面包含很多含义。

首先，它把之前讨论过的一些异构部分，包括 prefill、decode、attention、FFN，都放在一颗芯片里完成。

它在设计上加入了对小维度矩阵乘法的支持，所以 batch size 比较小时，性能也能做到比较好。

还有一些公开信息提到，它下一代可能支持训练。所以它在通用性上，和我们、Groq、Cerebras 的系统级异构思路有所不同。

还有一个特点是，这颗芯片使用了很多 AI 来帮助设计。

从软件栈上看，它的 Gluon kernel 很多优化都在很大程度上交给 Codex 完成。

在芯片设计上，无论是性能优化还是 time to market，也就是从项目启动到流片的速度，都比之前的芯片项目有明显提升。

据说从项目启动到流片用了 9 个月。

对，这个速度相当快。

我有一个疑问。我们录制播客时讲到，业界推理芯片正在向 SRAM 这条路径收敛。

但 OpenAI 这颗芯片似乎没有走存储这条路，而是把 HBM4 的带宽堆到了单封装每秒 15.4TB。

它同样是在解决带宽问题，但 HBM 是一条比较贵的路。为什么他们会选择这条最贵的路？

这个“贵”其实是很重要的一点。

贵代表买对应的芯片、买存储、买存储带宽，价格会比较高。

但刚才说过，OpenAI 最本质的限制是电。它可能对资本开销、造芯片成本没有那么敏感。

这也和中美计算经济账的方式不同。中国电力成本比例比较低，大概占 1/3 甚至更少；美国则可能占 2/3，更多是电。

成本只是一部分，另一部分是供给。美国每年能提供多少新增电力产能，有比较明确的限制。

如果想在确定的电力产能内，产出更多 Token、更多智能，真正关心的是芯片把电转换成 Token 的效率。

所以 OpenAI 至少选择了相对不那么关心资金成本，更关心电效率的方向。

我们之前提到，SRAM 最本质的优势，是每块钱能买到的带宽比 HBM 高很多个数量级。这会转化成：同样的价格生产芯片，或者同样的芯片产能，我们可以得到更多 Token。

但目前来看，OpenAI 更关心的是电效率。

总结来说还是第一点：省电。

对。

反过来说，反过来说，SRAM 相对来说没那么有诱惑的一点，是 OpenAI 对这个成本没那么关心。

SRAM 带宽非常高，但容量受限，所以在芯片通用性上比较受限。包括我们的方案、Groq 和 Cerebras 的方案，都会采用系统级异构，让一颗芯片和其他芯片配合。

但 OpenAI 的选择是做一颗更通用的芯片。

这在我们上一次讨论时也说过：模型公司和云厂商业务比较多元，既有训练需求，模型也五花八门，还要运行语音、图像模型，所以对芯片的通用能力要求比较高。

做芯片本身就是 trade-off。当需求一部分对容量要求很高，一部分对带宽要求很高，就要找一个更全能、但可能更贵的方案。

在这个问题上，HBM 确实做得很好，尤其 HBM4 的带宽相比之前有很大提升。

如果是长上下文的 KV cache，HBM 方案会比 SRAM 有优势吗？

这还是涉及要不要做异构。

包括我们自己的方案，以及 Groq 和 GPU 结合的方案，都把 attention 这一部分的 KV cache 放在另一块芯片上，而不是放在大 SRAM 方案上。

至于长上下文对 KV cache 的容量需求有多大，最近几个月其实发生了很大变化。

DeepSeek 新模型发布后，它的第一张图就是每个 Token 的 KV cache 在逐代缩小，这次缩小到了原来的 1/4 到 1/8。

所以未来遇到长上下文时，KV cache 对容量有多大需求，仍然是一个变化中的问题。

但因为它的需求是动态的，随着用户数量增加、上下文变长，它会不断变大，所以对容量性价比有要求。这就落在了 SRAM 不太舒适的区间。

所以我们自己不会优先考虑用 SRAM 存 KV cache。

还有一个问题，因为 HBM 每一代的带宽提升比 SRAM 的密度提升要快，所以 SRAM 需要 6 个晶体管才能存一个比特。SRAM 路径的优势窗口，会不会在两三年以后就关上？因为芯片的周期还是很快的，比如一年半到两年，OpenAI 这个 9 个月就造出来了。

但是我们去看 HBM，它的带宽增长虽然现在已经做到了一个很好的数字，但其实也没有大家想得那么乐观。包括这一代之后，带宽增长从哪里来其实也不是很确定。第一性地去思考，你的连线还是通过某一种铜线去走，它不一定是铜线，但是它不是光刻出来的线，而是在一个带内的线去走线，所以它的密度有一些天然瓶颈。包括我们看到，HBM 一定程度上走到极限，会类似于现在还有一些厂家在做这种 3D DRAM，把边上去走线变成面上去走线。我们看到这些都是解决存储未来很乐观的一些方向，但它最后会落在整个 trade-off 空间里不同的点位上。我们现在看，在带宽这个点位上，HBM 也好，其他的 HBF 也好，很难达到 SRAM 带宽的绝对值和性价比。

上一次聊天时，你说业界推理芯片方案会向 SRAM 收敛。OpenAI 芯片出来以后，你还保持这个判断吗？

我觉得在一定程度上，系统级异构中，为了提高 Token 性价比，仍然会有很多公司向 SRAM 收敛。

但 OpenAI 的思路确实有很有意思的地方：它把异构做进了一颗芯片。芯片里有很多不同部分，它们之间是异构的。

OpenAI 提出了 Dark silicon，也就是暗硅的概念。当然这个概念一直存在。

OpenAI 认为可以接受这样的成本代价：用一颗芯片做不同的事情，在做某些事情时，关闭其中一部分，或者降低它的功耗。

这种异构和我们想的系统级异构，最大区别是它用了更多成本来购买这颗芯片，但可以做到更高的电效率。

所以从 per dollar 角度，它的方案可能不是很好。

这其实涉及不同市场条件下的限制条件不同，最后会收敛到不同的方案。

如果对带宽的要求非常高、带宽性价比非常重要，还是会向 SRAM 收敛。但如果电力是第一限制，OpenAI 这个方案也是很好的解决方案。

你们研究它的方案时，会对现在做芯片的思路有什么启发？

它验证了我们对 AI 使用的一些想法，包括软件栈可以被 AI 快速提升，比如 AI 如何帮助芯片设计和优化。

另外，异构究竟发生在系统级——用不同芯片组成异构，还是发生在芯片内部——用不同单元组成异构，我觉得还是由不同市场的限制条件决定。

看清楚这一点后，我们觉得自己的想法仍然成立。

异构发生在芯片内部，目前业界只有 OpenAI 这样做吗？

OpenAI 比较明确地展示了这种方案。

但原先的英伟达 GPU 也可以理解为芯片内部异构，只不过它是通用芯片，更强调通用性。

它没有像 OpenAI 一样，把不同需求放在一起，并通过各种方式关闭部分单元来提高电效率。这是我第一次看到这么明确的解决方案。

异构发生在系统级，包括之前讨论的 Groq、Cerebras，以及现在很多 AI 芯片，都是用多颗芯片配合来完成不同的事情。

包括 PD 分离这种大场景，以及训练和推理分离，都是系统级异构。

你觉得现在或者未来，整个推理芯片市场还会是英伟达的天下吗？整个市场格局会怎么样？

这个问题很难回答。

我们当然不希望它是英伟达的天下。因为有这么多公司在做有意思的探索，如果英伟达占据整个市场，就意味着这些公司，包括我们，都无法存活。

我们看到，以 GPU 为核心的英伟达，在做其他探索时，可能在迭代速度和方案选择上会有一定限制。

所以我们也看到很多新的方案，并不是从英伟达出发的。现在英伟达又 acqui-hire 了 Groq。

我没办法直接回答这个问题，但我们希望整个 AI 芯片市场变得更多彩，方案更多。这也符合我们对异构的理解。

感谢子扬的补充，我觉得还是解决了很多困惑的。好的好的，好了，那这就是我们今天的节目。这集节目确实比较技术，理解起来会有一点困难。如果大家不在这个行业，听不懂也没关系，因为我自己也花了一些时间去消化它。但是其实特别开心能跟这个行业里面很多有想法的年轻人去聊天。不仅仅是前沿技术的方向，每次聊到能把一个产业带起来，像 Bill Dally 的这些学术大咖们，也总能从他们身上去获得很多力量。大家听完是什么样的感受，欢迎与我们分享、留言。大家可以通过苹果播客、小宇宙、Spotify 来收听订阅我们。视频的听众也可以通过 B 站和 YouTube 搜索“硅谷101播客”找到我们。我是泓君，感谢大家的收听。