李丰
大家好，我是峰瑞资本的李丰，欢迎来到这一期的《产业观察》。最近随着国产 GPU 相关芯片公司上市，并且不管是在 A 股还是港股都获得了非常好的表现，当然也包括最近大模型公司在香港上市，这些在二级市场非常好的财务表现，带来了大家对 AI 芯片以及 AI 基础设施接下来会如何发展的好奇。
除了大家最近讨论最多的谷歌 TPU 架构的 AI 芯片之外，另外一个由不同架构打造的 Groq 芯片，也被大厂用超高的价格收购了。所以，大家对于 AI 芯片到底将来更偏向英伟达架构，还是会更多元化，也有不同的好奇心和了解的愿望。
这一期我们请到了一位创业公司的 CEO。当然，他是一位在大厂里工作了很多年的资深管理者，也是一位资深的芯片行业从业者。在过去一年创业以后，他推出了更像 Groq 这类、刚刚被大厂收购的不同架构的芯片，当然也是为 AI 推理服务的。
在今天的《产业观察》当中，我们请到峰瑞资本跟芯片、科技相关的合伙人杨永成，以及源创微的创始人、CEO 杨斌。两位杨总将一起探讨 AI 芯片的演化发展和可能的变化。
杨永成
各位听众大家好，我是峰瑞资本的合伙人杨永成。今天有幸邀请源创微的创始人兼 CEO 杨斌，我们一起讨论 AI，特别是 AI 处理器，包括 GPU、NPU，以及最新火热的 LPU。
杨斌
听众朋友大家好，我是源创微的杨斌。
杨永成
首先祝贺杨斌，创业以后在很短的时间内进入了一个崭新的、很好的阶段，完成了天使轮超亿元的一次融资，而且这次融资非常顺利，时间很短就完成了所有的认购和交割。你也介绍一下你们团队，以及你们具体做的事情。
杨斌
我们是一家半导体设计初创公司，聚焦在端侧和边侧的推理算力方向。这次融资除了产业里比较知名的一些投资机构以外，我们还有两家上市公司的产业投资资本。
杨永成
杨总，为什么这次融资比较顺利？
杨斌
1. AI进入产业下半场
我觉得背后可能有两个原因。第一个，当前无论是创业者还是头部投资公司，我觉得大家对 AI 产业的发展已经形成了一个共识。大家可能都认为，AI 产业到今天为止进入了下半场。
上半场可能更加以模型能力的竞赛为主，我们都看模型参数的大小、上下文的长短、benchmark 分数的高低，以及它能解决多少问题。大家在看这件事情，其实是在衡量模型能力的天花板。
到此刻，我觉得模型已经具备了一定的商用能力，所以进入了下半场。下半场本质上是应用，实际上是对所有模型进行价值兑现的问题。因此，在下半场围绕应用展开的过程中，AI 推理算力一定是一个非常关键的核心赛道。我觉得这也是峰瑞和其他一些投资者形成的共识。
第二点，还是大家比较信任我们核心团队的能力，以及我们从事的技术方向。
杨永成
杨斌可能比较谦虚，我作为投资人可以简单介绍一下。杨斌的团队是行业里非常资深的团队，基本都来自芯片行业的大厂，包括通信行业的大厂，也包括软件行业的一些资深人士。
第一个特点是，他们在同行业里都有二十多年的经验。第二个特点是，他们做的产品都是顶级大公司的核心产品，并且都大规模量产过，也服务于我们的社会和整个通信行业。
第二个原因是，这个技术团队的分工非常完整和齐全。大家知道，无论是 LPU、GPU，甚至 CPU，都属于行业里通常所说的大芯片。大芯片涉及各个技术类别的人才，需要大家分工协作才能做好。杨斌的团队有非常完善的组织架构，这也是我们在天使阶段投资源创微的一个重要原因。
当然，还有另一个原因，源创微的创业恰逢其时，正好是 AI 推理端大爆发的开始。因为我和杨斌实际上是本家，都姓杨。至少我们俩聊天的时候，我一般叫他斌总，他叫我杨总，基本是这样。
杨斌
对，对。
杨永成
2. 英伟达押注Groq路线
我们刚才提到 LPU 架构。最近有一个非常轰动的新闻：AI 处理器巨头、全球巨头英伟达，以人民币差不多 1,400 亿元收购了 LPU 的领先企业，也就是美国的 Groq。
当然，从严格的法律意义上，你可以认为它基本是收购知识产权，类似这种方式。我们必须深究这件事，但先只讨论这个事情。按美元计算是 200 亿美元，其实是一个很大的数字。
LPU 架构在众多 AI 处理器架构的行业竞争氛围内，好像突然有一天就脱颖而出，所以大家都有各种各样的解读。我们也注意到，媒体有几个比较有代表性的说法。
一种说法认为，英伟达收购 Groq，是因为 Groq 将来可能在 AI，特别是推理端，对英伟达形成比较大的竞争。所以英伟达为了保持自己的领先，把 Groq 当成竞争对手，通过收购来遏制它的发展，甚至把它扼杀在摇篮里。这在 AI 以及其他行业的技术竞争中也屡见不鲜，大家通常开玩笑叫作恶意收购，也就是收购主要是为了阻碍竞争对手。
另一种说法是，英伟达为了收购谷歌 TPU 的人才。因为 Groq 的创始人其实是 TPU 的重要技术架构师，所以有这两种说法。
斌总，您作为这个行业的资深人士，多年来一直在研究 LPU 和相应的 AI 推理处理架构，您怎么看这件事？
杨斌
我觉得这是一个非常好的话题。当然，接下来只是我的一家之谈，杨总我们随时讨论。
您刚才讲阻碍竞争对手发展这件事情，我觉得这个观点还是有局限性的，相对比较狭隘。因为有几件事，这件事情本身，正如杨总刚才还原的，英伟达花了 200 亿美元。我也去查了一下，这个数字对英伟达来说意味着什么。
可能从股价的角度不算什么大事，但是从英伟达的现金流来说，这是一个大数目。英伟达今年前三季度的现金流是 560 亿美元，全年保守一点算，这可能是它现金流的 1/3 到 1/4。所以从现金来看，这是一个动用家底的做法，是一笔大钱。
所以这件事情上，我觉得我们可能要理解得更深一点。我自己的理解是，这个收购行为——我们把“收购”打个引号，因为它有各种定义——这个事件本身恰恰反映了英伟达对产业发展的深刻认识。
我为什么要买一个推理公司，而不是买一个训练公司或者其他公司？这是它对产业发展阶段的深刻认知。第二，这件事情本身也完全符合英伟达的战略诉求。
从 2025 年开始，英伟达已经逐渐从训练侧转移到推理侧。你看，它提出了具身智能这一最大的战略，无论是智能驾驶还是机器人，我觉得这都是它公司的核心第二增长曲线。所以，这件事情完全符合它的战略定义，也完全符合它对产业发展阶段的判断。
从英伟达自身的能力来讲，我觉得它收购 LPU，完善了自己整个竞争力的版图。今天我们知道，英伟达有 CPU，也就是 Grace 系列；有非常出名的 GPU，也就是 Rubin；还有以前来自 Mellanox 的 DPU，Mellanox 同样是一家以色列公司。
这三项技术已经完整解决了云上超节点训练算力的需求。但当它真正走向端侧、走向应用侧，走向具身智能的推理矩阵时，它缺少一个板块，就是实时推理。这件事情就是 LPU 能够给它带来的极大补充。
从技术能力的角度来说，我觉得是这样。对于 Groq 来说，它被英伟达收购，是获得了再一次发展、甚至提升自身能力的机会。因为英伟达有很强的工程能力基础，相比 Groq，它强很多：有非常先进的工艺、封装技术和 IP，也有完善的产品组合。所以这件事情对 Groq 是有益的，我们可以拭目以待。
杨永成
我来理解一下，基本可以这么认为：第一，英伟达看中了 Groq 的技术路线，特别是在推理端的技术优势，以及它对未来技术的前瞻性。第二，可能也涉及英伟达对推理市场快速发展的紧迫性预期。
收购 Groq，正好是最快将双方技术强强联合的方式，最终尽快在推理市场取得和它当年在训练市场一样的领先地位，远远把其他玩家抛在后面。
杨斌
我补充一下。我们研究处理器架构，其实花了很长时间。我们不是因为 Groq 这件事才开始创业的，之前基本上把整个产业界所有的计算体系结构都看过一遍。可能每个体系结构都有自己的历史使命，待会儿我们可以接着讨论这个话题。
但 Groq 的 LPU 技术，我可以毫不犹豫地说，在推理领域是最合适的一种架构，没有之一。待会儿也许杨总可以再深入讲。
杨永成
这件事我们以前好像是在你融资、初次接触的时候介绍过。特别是美国，因为美国代表着 AI 芯片领先的地位，尤其是在技术上。其实美国很早就有很多人在研究专门为推理优化的 AI 处理器架构，中国也有很多人在研究，不止 LPU 一项，可能还有其他几个方向，过去也出现过 IPU 等架构，但最终结果殊途同归。
你自己从市场需求和技术合理性推导出来的结果，是觉得 LPU 或者类 LPU 架构更适合推理端的技术需求，对吗？
杨斌
当然。我们也可以八卦一下，关于您提的问题，我们是不是可以认为英伟达是在阻碍自己的竞争对手？
首先，我觉得英伟达已经认为 Groq 是一个竞争对手，这本身已经是一件非常有成就的事情，是一种高度认可，这没有问题。说它是为了阻碍竞争，我觉得可能稍微有一点偏激。
就像杨总说的，本质上英伟达是认可 LPU 的技术路径，包括对 Groq 团队能力的认可。LPU，Groq 在 2024 年已经有 9,000 万美元的收入，2025 年预计应该能达到 5 亿美元。
2024 年它为什么有很多收入？因为 2023 年 OpenAI 出来以后，推理一下子兴起了。现在 Groq 的主要客户有三大类。
第一类是美国本来的大厂，比如 Meta，也就是脸书。脸书的推理云里面有大量 Groq 的产品。第二类是海外的算力中心，主要有两个，一个是沙特的国家算力中心，另一个是北欧的挪威算力中心。第三类是散户或者小企业，它在美国有 250 万注册用户，在它的云里有注册用户。
基本上它就是这几类客户来源，而且增长速度特别快。2025 年预期是 5 亿美元，我不知道现在的数据有没有变化，但这也是整个产业推动的结果。所以 Groq 的商业表现也是有一定基础的。
应该说，英伟达是非常成熟地做出了这个决定，不是一个非常冲动的决定。
杨永成
3. 中国推理市场仍是蓝海
在讨论过程中，其实我脑子里还闪过另一个问题：在推理这个行业里，还没有出现像英伟达那样的巨头，甚至还没有明确的大玩家。因为市场仍然处于偏蓝海的时期，所以现在大家都有机会，机会相对均等。
先出发者可能有更多经验，后出发者可能有后发优势，基本是这样。总体来看，推理端还是偏蓝海。但我们可以确定，只要市场需求足够拉动，最终很快就会进入红海，肯定会进行高效率迭代，最后红海会更早出现。
杨斌
但推理，尤其是在 AI 的应用侧，对创业者和后进者有一个很好的好处：AI 应用是一个非常长尾的市场。它可以小到穿戴设备，大到边缘一体机、汽车，以及未来的具身智能，范围非常广。
除了技术以外，我们完全有能力去定义一个方向，在某些垂类或者某些高价值领域里占有我们的市场，成为那个领域的领军人物。我觉得这对于做端侧创业的公司来说，可能是一个很好的机会点。
接下来在中国一定会有几家做端侧 AI 推理的优秀公司，我觉得源创微肯定是其中之一，但也会有其他公司。因为它的长尾效应太长，不可能由一个唯一的“六边形战士”解决所有问题。
就像我们做 LPU，核心理念是抛弃训练，把推理做到极致。但在推理领域，也有人可能抛弃性能，把功耗做到极致，但依然都有市场。我觉得这是一个很好的事情。
长尾效应在推理端侧芯片上，至少可能有一种表现形式，就是芯片的多元化。或者说，在某些小应用里，可能会出现一些碎片化。这个词可能不太好，但基本就是这样：会有不同的芯片涌现出来，架构也会有所不同。
当然，我们相信 LPU 架构是在边缘端更好的架构，但它的模型大小可能会有不同组合，也会有其他架构的技术产品存在。基本上，产品空间就是这样。
这个事情从另一方面说，因为它偏向应用端，而所有电子产品中国肯定是全世界最大的供应方，所以我们离供应链、离客户最近，中国的 AI 处理器芯片也离市场最近。
第二，因为它多元化又是长尾市场，所以对市场迭代速度的要求比较高，迭代方向是多元的，或者说是多维的。这也是中国公司比较擅长的地方。
杨永成
还有一个问题。关于收购的报道里有一种说法，是英伟达为了收购谷歌 TPU 的人才才收购 Groq。这个你怎么看？
杨斌
我说出来可能有点不客气，我觉得这有点蹭热点的嫌疑。
首先，Groq 的创始人 Jonathan Ross 确实是 TPU V1 版本的主架构师。通常大家说的“TPU 之父”就是 Jonathan Ross，这本身没有问题。但这件事情发生在 2016 年，已经是很早的时候了。
2016 年之后，Ross 离开了谷歌 TPU 团队，自己开始做 Groq 的 LPU 架构。所以这个时间跨度比较长，基本上已经 10 年了。假如仅仅从人的角度、从 TPU 专家的角度来看，我觉得英伟达没有必要去找 Ross，因为 TPU 也在发展。
杨永成
你的意思是，如果它要找 TPU 人才，直接去谷歌找就好了。因为 9 年过去了，TPU 已经发展到 V7 版本，现在的版本和 V1 版本也发生了很大变化。
杨斌
对，所以我觉得从人才角度来说不成立。还有另一个问题：LPU 和 TPU 是一样的东西吗？它们的继承性很强吗？
非常不一样，差距太大了。这可能也是当年 Groq 和这一批从谷歌出来的人没有和谷歌产生任何知识产权纠纷的原因。你可以把它们看成两个物种，市场方向和应用场景也不太一样。
谷歌的 TPU 有训练的使命在里面，TPU 对训练和推理都可以做。但 LPU 和 TPU 是完全不同的架构。
杨永成
我理解，这件事情可能和美国的情况也有关系。美国有反垄断法，我觉得这个解释可能更合理一些。
早年的 AMD 就是一个例子：英特尔出人、出技术、出产品去扶持它。万一 AMD 倒了，英特尔就要被拆分。英伟达可能有前车之鉴：它不能把 CPU 做好，把 DPU 做好，还把推理端的 LPU 也做好，同时又不存在另外一家推理公司，否则它可能会面临反垄断方面的问题。
所以它的策略我觉得非常好：Groq 的品牌还在，可以独立经营，也可以继续运营 Groq 的云业务，但公司的领导者已经加入英伟达。从法律上讲，依然有一家公司可以做 LPU，可以在推理领域继续发展，这是一种保护关系。
你说的这种收购具体操作方式——收了知识产权，又让核心团队去英伟达上班——我理解就是因为美国的反垄断法很严格。高通其实也有类似的例子，高通也扶持过一家很小的做 modem 的公司，那家公司的 CTO 是中国人，历史上有这样的案例。
杨斌
从这几天的信息来看，过了一两个星期以后，我们也看到了一些后续报道，包括英伟达自己披露的信息。第一个是，Groq 的很多核心团队要加入英伟达，直接加入英伟达的产品开发团队。
第二个，在英伟达的技术产品路线上，LPU 架构已经占据了非常重要的位置，特别是在推理端，基本上可以说是一个基石。它是英伟达推理端 AI 处理器的基石，并且英伟达还推出了一个新的概念，叫实时推理、实时推理芯片。
所以这个架构在推理端至少占据半壁江山，甚至更大的份额。我总结起来，英伟达对 LPU 架构可能还是真爱。
杨永成
4. 技术与市场终于共振
还有一个问题，可能观众朋友也比较关心。刚才我们讨论过程中已经提到，LPU 架构发源于 2016 年，已经有 9 年时间了。但是在近两年内，特别是一年前，Groq 开始获得比较好的融资。以前它融资也比较艰难，获得比较好的融资以后，我们才开始关注它。
作为专家，你怎么解读这个现象？为什么这么长时间一直在低谷徘徊，或者说名声不显？这是什么原因？
杨斌
这也是一个很有意思的话题。技术跟产业的结合，需要一个共振点。当你的技术远远领先于产业周期的出现时，你就会成为先烈。技术本身很厉害，但是没有办法形成商业闭环。
因为我们是商业公司，Groq 也是商业公司，不是技术研究机构。所以我们的标准来自市场对我们的评判。假如没有商业闭环，这件事情就很难成立。
我觉得现在大家对 Groq 热起来、对 LPU 热起来，本质上是产业与技术共频共振的结果。前面我们讲到，产业进入下半场，接下来就是应用，而这里面有几个非常显著的特点：一个是应用，一个是应用推理。这是它的共同点，也是它的激发源。没有这个激发源，它就振不起来。
杨永成
总结起来，你的意思是，它实际上是起早了。我们过去经常讲一句话，早起的鸟儿有虫吃；不太好听的话，叫早起的虫儿被鸟吃，是吧？但它确实也熬了很久。
杨斌
是啊，我们其实关注它很久了，至少几年前就开始关注，包括我。您作为专家，可能研究得更早。
杨永成
这个技术加推理，从技术上确实是合理的，但是可能那个时间段推理市场还没有起来，它确实有一个转化过程。
杨斌
对，但现在产业周期的特征已经起来了，进入了应用推理阶段。这里有几个显著特征。
第一，相对低成本的模型能力已经非常强了。以 DeepSeek 引发的震动为开始，现在 30B、70B 的模型已经非常广泛。我们昨天和产业方讨论需求时发现，现在所有应用的甜点大概都在 30B 到 70B 之间，但它们的能力已经非常强，基本上我们想象的事情都能做，这是一个非常好的特征。
第二，推理真正开始规模化。但凡一项技术最后变成成功的商业技术，一定是来自一个非常巨大的市场，才能把它的价值烘托出来，否则就只是纯粹的技术研究。Groq 就是这样，当推理市场起来以后，才显出它非常有远见的技术布局和技术探索。
假如这个市场今天没有起来，再熬 5 年，Groq 还是这样一个技术，依然无法大规模应用。这里实际上和 demo 式应用不一样。Demo 式应用主要是解决“有没有”或者满足大家的新鲜感，所以对吞吐量的要求没有那么高，实时性稍微差一点，等 0.几秒也没有问题，功耗大一点也没事，放一个大电池就可以。
但是一旦进入大规模应用，或者普及到千家万户、普及到每一个消费者，要求就会更高，需要一个更优化、更精准对准需求的方案。LPU 其实也需要这样一个契机。
这和 ARM 芯片历史上的低功耗、低成本和性能提升有关。ARM 最后也是等到消费电子产品兴起以后，才得到了更大的发展。
杨永成
杨总，您这个总结非常点题。早年推理需求没有那么多，用 GPU 也就可以了，单独开一摊并不划算，这个账算不过来。
今天这个账不是这么算的。那个时间段，对于服务提供方，比如 OpenAI 和国内大厂的 AI 公司来说，它们也没有跟你细算推理占的成本，或者说没有特别清楚地考虑怎么从推理上向你收费。
一个目标是锤炼技术，所以这部分钱是用投资来覆盖的，不需要那么精打细算。第二个目标是炫技，这也很重要，不需要你给钱，我给你出钱，你给我打个勾就可以。
但到了推理应用落地的时候，整个商业模式就要精打细算，最终的盈利点可能就在细节上。比如功耗高了，运营成本就会高；时延差了，用户体验就会差。
所以，LPU 这种为推理优化、能够重构，或者至少芯片大小可以变化的架构，可能就会对市场更加重要。
杨斌
我相信英伟达肯定也都分析过，因为它对各种架构都非常清楚。杨总说的 LPU 技术特点，在大的机会点市场出现的时候，它所体现出来的低功耗、低成本、短时延，非常能够命中推理市场的客户需求。我觉得这就是一种共振。
但这里我们也看到，Jonathan Ross 还是很厉害的。早期它的架构也强行去做训练。不能说 LPU 架构不能做训练，你看它在沙特也有很多云端业务，因为人家干了九十年就干训练了。
只能说它的灵活性不如 GPU。恰好这几年训练端突飞猛进，而且经历了技术路径的多次调整，GPU 在这件事情上的灵活性更好。LPU 在训练，特别是大规模变架构的形式上，可能不如 GPU 灵活，但它本身也可以做训练。
对于一个模型稳定下来的 AI 模型来说，LPU 依然有效率和实时性的优势。但模型变化时，你需要重新编译，开发者可能会多做一些工作。我觉得对开发者来说，强调的可能是开发效率，而不是部署效率。
杨永成
5. 低时延决定用户体验
刚才我们提到了 AI 处理器的一些特点，比如实时性、低时延、低功耗。可能有些听众朋友不一定很熟悉。你既做芯片、做产品，也大量直接服务市场，能不能解释一下？
杨斌
做半导体的人，命运是比较悲催的，因为我们一直在做的事情就是给别人省钱：要么省电，要么省成本。要么电费少一点，要么买的时候售价低一点。
以前我们通过工艺做到性能提升但价格不涨，比如性能翻一番，价格不变。后来工艺进步不够了，我们就靠架构一直做这件事。
但这里还有一个亮点，经常有人会忽略，就是短时延。LPU 架构的短时延不仅是绝对时延短，还有一个非常显著的特点：它可以提供长期稳定的短时延。
这件事情非常关键。比如未来机器和人交互，或者机器和物理世界交互时，就会体现得非常重要。比如今天我们聊天，对面坐的不是杨总，而是一个机器人。如果我聊过去以后发现它反应很慢，感受就会很差。
或者这个机器人一会儿反应很快，一会儿又很慢，快的时候我听不明白，整个体验也不行。它不能太慢，也不能一会儿急、一会儿慢，忽快忽慢也是致命的。
所以，这里有两个非常重要的特点：一个是绝对的短时延，另一个是长期稳定的短时延。
杨永成
我理解，这实际上是用户体验非常重要，甚至是用户用不用的问题，也关系到用户有没有粘性。您说得很对，有些场景可能根本就用不了。
比如自动驾驶，假设算力一会儿输出得很快，一会儿输出得很慢，开车的风险性就太高了。它本质上是一个“行不行”的问题，不仅是用户体验好不好，可能是需求能不能得到满足、产品能不能用的问题。
除了自动驾驶，我还想到一个例子。因为我长期也做过很多年的电子消费品。我们现在的 AI 特别擅长处理视频和图片，比如拍照时经常出现这种情况：姿态非常优美，拍完以后发现闭眼了，这很恼火。
现在如果是在 PC 上，或者在高端手机上，你可以下载一个软件，把眼睛修成睁开的。AI 实际上是在后处理中把眼睛睁开，这是后处理。
如果时延很低、实时性很好，借用英伟达“实时推理”这个词，那你就不用等后处理。只要选择睁眼模式、笑眼模式，按快门的同时，即使你闭眼了，最后也会实时生成一张睁眼、微笑的照片。
这就多了一个应用：把这个应用从 PC 和手机上的后处理，变成拍照时的实时处理。这样成本也更低了。
杨斌
对，就可以直接产生价值。
6. LPU性能开始兑现
我可以提供一个具体参数，可能更加吓人一点。Groq 在 2024 年 Hot Chips 会议上，它们的新 CTO 发布了一组数据：用 14 纳米、基于 Groq 自己架构的芯片，对比 4 纳米的 H100，也就是英伟达 2024 年比较主流的芯片。
对比结果是，Groq 的时延是英伟达 H100 的 1/6，功耗是 1/3，成本是 1/4。所以它宣称，整个能效比英伟达高 10 倍。
这几个指标都非常重要，特别是对于边缘端和消费端产品非常重要。用它做我梦中的照相机，也不是不可能。
杨永成
这个数据实际上是可以复现的，也得到了整个行业的认可。它在成本、性能和时延上都有明显优势。
我们自己的数据情况怎么样？因为我们也做了很多研究，包括实验室数据。现在可能还没有到应用量产阶段，实验数据大概是什么情况？
杨斌
我们跑出来的数据结果跟它非常吻合，在成本和时延上应该说极度吻合，因为我们已经在实验室投片了。
欣喜的同时，多少还有一点不满足。因为我们投资人的特点就是既要、又要、还要。从“还要”的角度来说，我们有机会超越它。
我们在 Groq 的架构上做了很多技术迭代，最终产品不是复刻 Groq 的架构，而是在上面做了大量提升。我个人坚信，实验室验证出来的这个量级一定是可以卖钱的，所以我们在这方面花了很多精力，也有信心比 Groq 做得更好一点。
从我们的技术体系、底层逻辑上讲，一定是没有问题的。
杨永成
我记得几个月前我们讨论这件事时，当时提到的是 LPU Plus，也就是 LPU 加上一个 Plus 的概念。
杨斌
现在从我们实验室的数据来看，已经达到了预期指标，我们非常期待。
从方法论上讲，我们基本也可以从哲学，或者说抽象的维度去理解这件事：沿着巨人的足迹，想要超越它其实比较难。更何况对方还在设置各种壁垒，包括芯片制程、历史积累下来的中间 IP 等，所以原样超过它并不容易。
我们还是从需求出发。我们积累了很多技术，毕竟大家都做了二十多年，所以我们会重新设计和优化。换到一个新的技术赛道以后，正好又遇上推理市场蓝海的巨大需求，而我们离市场特别近，超越它的机会可能更多。
我们也希望中国在推理领域有更多像源创微这样的公司出现，共同努力，在这个市场上获得更大的发展。
杨永成
7. 四种芯片架构走向分化
我们聊了半天 LPU。LPU 本质上是 AI 处理器中的一员。从技术架构来讲，LPU 的技术优势，以及这个技术架构产生的性能指标，确实非常优秀。
但和现在的 GPU、NPU、TPU 比起来，能不能简单介绍一下这个行业里几种架构大概的区别？特别是 GPU，因为 GPU 肯定是当前的主流。
杨斌
我们要把这个问题讲简单，其实不是一件容易的事。我尝试着去理解一下。我自己真正开始做处理器架构，是从 2008 年开始，一直在做这件事情。
2008 年的时候，整个产业界最火的是两家公司。处理器领域有一家公司叫 Cavium，现在可能已经不在了。另一家公司叫 RMI，RMI 后来被收购了。RMI 当年的 CTO，就是今天云豹的 CTO 和创始人。
那时候最火的概念叫多核处理器。2008 年，我们再往前看一下，多核处理器到底是什么？
在 20 世纪 50 年代冯·诺依曼出现之前，这个世界上还没有处理器的概念，甚至没有软件工程师的概念，只有硬件工程师。应该说，有了处理器，也就是通用处理器，当时叫 CPU，才有了软件行业和软件工程师。
杨永成
没错。
杨斌
冯·诺依曼的核心贡献是什么？核心贡献是把软件解耦了。同一套硬件可以做很多事情。要做很多事情，本质上有两个基本要素。
第一，算法可以变化，今天做这个功能，明天可以做那个功能，基本单元可以变化，所以它引入了指令的概念。第二，所有业务流都可以随意控制，或者说可以编排。
杨永成
能不能理解成，我们那个年代做的、基于冯·诺依曼结构的 CPU，后来包括 GPU，基本都是冯·诺依曼结构？
杨斌
没错。这个结构极大地为软件工程师和软件行业提供了便利性和灵活性。
剩下的事情就是，处理器提供的是一个纯粹的、裸的能力，它到底干什么，其实我们也不知道。包括 CPU，你让它去做 AI 也可以，只是它不够优，所以性能会比较差。但它也能处理很多 AI 模型，最早很多 AI 工作也是在 CPU 里做的。
它本质上是为软件优化的，硬件是一个非常通用的模型。冯·诺依曼结构最大的特点，就是有 5 个基本单元，其中以存储单元作为所有数据交换的中心。大家都可以交换数据，交换完以后各自拿回去处理。
2008 年的众核或者多核，本质上也是这个结构，只不过处理器太多，一上来就有几百个、几千个处理器，用一块 memory 很难做。所以它采用了多层次的 memory 结构，产生了各种 cache、仲裁、调度、buffer 等技术，但本质逻辑没有发生变化。
所有处理器把数据放到公共区域里，大家拿自己需要的数据。即便经过优化，只要还是这个结构，也只能部分避免数据交换。因为数据必须交换，信息必须交换，所以总要有数据传过去。
这种数据传输的随机性很大，未知、不可预测，这是一个典型特点。
GPU 是怎么回事？从 CPU 的角度看，GPU 的数据交换模式没有发生变化，它依然有大量多层次的 memory 结构，用 shared memory 的机制来交换数据。
GPU 相比 CPU 做了一个很大的动作，叫作计算范式的更新。黄仁勋发现，做图形处理时有大量矩阵，以及大量非线性的矢量处理，于是他把通用处理器 CPU 以标量为代表的计算模式，变成了以矩阵和矢量为代表的计算模式。
于是我们有了 Tensor Core 和 Vector Core。
杨永成
对。这里实际上是为了让听众比较容易理解：CPU 本质上是一个非常简单的计算核，除了逻辑运算以外，基本就是做加减法。
但在 AI 处理过程中，有很多非线性运算，以及大量乘法和累加运算。这些运算出现得非常频繁，也占用巨大的算力，所以 GPU 把这部分硬件化了。
因此，它的大架构仍然是 CPU 的框架，多核 CPU 框架也是以冯·诺依曼结构为基础。CPU 里叫 ALU，也就是算术逻辑单元。我的理解是，这部分被放大、增强了，基本就是这样。
杨斌
从 CPU 到 GPU，变化就是这个。那 GPU 到 NPU 是什么变化？
GPU 发现，做 AI 时，通常是把矩阵计算完成以后，再做一次线性或非线性的矢量处理。有人发现，这些数据其实不需要再频繁地到公共区域交换，于是就在两个处理器之间加了一条特殊通道。
以前我们都需要绕路，现在相当于增加了一个隧道，专门用于数据交换。也就是说，增加了一些通道，不再完全基于冯·诺依曼传统的数据交换方式，比如三总线那种方式。
另一种是 NPU。因为 NPU 和 GPU 的相似度还比较高，我们这里不深入讨论。
杨永成
LPU 和 GPU 比较起来是什么样？这是两个流派，还是仍然属于冯·诺依曼结构？
杨斌
不再是了，你可以把它们看成两个物种。
冯·诺依曼结构刚才讲得有点啰嗦，它的核心就是以公共共享 memory 作为数据交换空间，所以什么数据流都能处理，灵活性很强。
但 LPU 把冯·诺依曼结构以公共共享存储作为数据交换基本机制的这一点打破了。它没有共享 memory，所有数据完全以数据流的形式沿着一个方向流动，因此效率会更高。
所以，这是计算体系结构的变革，不再是像 CPU 到 GPU 那样的计算范式变化，也不只是 GPU 到 NPU 那样的传输范式变化。它总体上相当于从数据来源端到输出端，数据沿着一个方向流过去，和流水线有相似之处。
从 CPU 到 GPU，再到 NPU，前三代可以认为是同一个技术体系的演进，分别是计算范式和传输范式的更新。但是从 NPU 到 LPU，就产生了一个新物种，是完全不同的计算体系结构，是完全非冯·诺依曼的计算体系结构。
LPU 有两个特点。第一个，我们可以把它看成一种确定性的硬件流水线结构。
我可以打个比方。比如我们一桌人吃饭，满汉全席摆在桌上，但桌子不转。所有菜放好以后，每个人站起来用筷子夹东西。理论上每个人任何时候都可以自主、随机地取菜，但也有可能互相打架。
对每一个吃饭的人来说，他无法预测自己什么时候能夹到哪个菜；对盘子来说，也不知道哪一盘会提前空。这就是传统的冯·诺依曼结构。
非冯·诺依曼的数据流结构是什么？以前很多数据流是隐式数据流，现在是显式数据流。它有点像我们去吃回转寿司，坐在桌子旁边，不需要站起来到很远的地方夹东西，因为数据在传送带上转。你想吃的时候，想要的东西刚好就在你面前。
这就是效率，包括功耗。你不需要花很大力气，因为数据一直在生产线上流动。
杨永成
我再打个比方，便于听众理解。GPU 和 NPU 架构其实是多核架构，每个核的能力基本相同或者相似，通常由一个 CPU 给它们分配任务。
理论上，每个任务都应该能被分配给每一个核，每个拆分出来的任务大家都能做。这就像一个教授带着一帮博士生做事，给张三、李四分别分配任务，理论上可以达到最优。
但实际操作中做不到。经常会出现资源利用的不确定性。比如本来想给第一个人分配一个任务，一秒钟以后再给他第二个任务，结果他还没做完；想给第二个人分配任务，又发现他做得比较慢。
所以在调度过程中其实有巨大损耗，这也是效率和成本上的损失。而且每一个核都得有博士水平，大家的能力不能差太多，这就是多核调度型架构。
杨斌
另一类就像生产线。一个产品从第一个零件开始，比如底盘支架，经过每一个工位，每个工位的人只需要擅长一件事：有人负责打螺丝，有人负责贴标签。
这样每个环节的工作都相对简单、单一，所以效率会比较高。整个过程没有停顿，从一头直接到另一头，成品就出来了。
所以，一种架构偏向生产线、流水线，另一种架构偏向自由化的多核调度。基本就是这样：前者效率高、时延稳定，后者灵活性更好，但在时效性、成本和功耗上不一定占优。
杨永成
8. LPU架构难以复制
还有一个问题，为什么 LPU 发展了这么多年，今天才火起来？除了市场驱动，还有一个问题是，LPU 已经产生 9 年多了，但行业里跟踪这条技术路径的人并不是特别多。除了刚才说的市场原因，还有哪些因素？
杨斌
您刚才提的并不是一个小问题，而是一个比较大的问题。
LPU 之所以经历了 9 年，我觉得有几个原因。刚才我们也提到了产业节奏的问题，大的市场机会会推动一个技术快速发展，这是其中一个原因。前面没有得到这样的机会点。
第二个原因要回到 LPU 架构本身。它是一个门槛极高的系统设计，包括硬件。杨总前面做了很多比喻，我们的 LPU 是流水线结构，每个人干的活都非常极致。
相反，传统处理器不是这样。传统处理器可以由几百个处理单元做相同的事情，设计也基本相同。本质上说，在 LPU 的设计中，每一个环节都要做到极致。
GPU 和 CPU 的多核结构里，每个核实际上是一样的，设计上可以复用一个核。但对 LPU 来说，流水线的每个环节实际上都不同，所以每个环节都要精心重新设计，或者说做定制化设计。
这意味着大量的设计任务，包括优化，以及各个环节之间的衔接。硬件方面是这样，软件方面同样如此。LPU 的开发工具将来要提供给客户，客户界面一定要保持库的兼容性和极致的使用体验，让开发变得简单，但很多挑战就留给了我们自己。
杨永成
我理解，你们的编译器一方面要兼容传统的软件体系，让软件工程师，特别是做大模型和 AI 算法的人，不需要改变自己的东西。
但 LPU 架构又和 GPU 不一样，所以你们还要兼容自身硬件架构的特殊性，重新建立一套软件体系。这需要大量技术投入，也是一个挑战。
所以你可以看到，行业里既懂处理器硬件结构、又懂编译器，还懂特殊架构的人才和团队，非常难得。
总结起来，Groq 这些年的发展，一个是 timing 的问题。初期没有正好赶上推理大发展，但它现在还有一个问题，包括英伟达和其他国外厂商，因为它们离消费电子比较远，供应链太远，客户也离得太远，所以迭代和优化比较慢。这是中国公司的优势所在。
第二，LPU 从硬件设计角度看更复杂，设计的同时还要面对验证问题。第三，它的编译器以及更广义的软件开发环境也要重新做，因为 LPU 是一种新型的、自己设计的新架构。
杨斌
当然，可能还有一点。我们现在讨论 LPU Plus、LPU 加这样的构型时，有很多想法，我们下面也都沟通过。我们的架构在 LPU 架构上做了很多升级和改造。
杨永成
这也说明，Groq 在发展初期作为这条架构的先驱者，肯定趟过很多雷、踏过很多坑。但还有一个因素，刚才我提到过：因为市场还没有真正产生，在没有市场驱动和验证的过程中，它的很多技术迭代肯定会比较慢，也可能存在信息不通达的问题。
杨斌
没错，这也是它经历“9 年之痒”的一个原因。
杨永成
我看到的一些报道，以及我们以前讨论过的技术问题里，有一个行业比较关注的点：Groq 的 LPU 架构里大量使用了 SRAM，造成了功耗、成本和晶圆面积变大，行业里对此也有不少批评。
但我相信我们已经有解决方案了。将来如果英伟达进入应用市场的速度很快，它可能也会进一步提升和修改。这个行业就是这样，一直在迭代和发展。
9. 推理芯片走向实体应用
我们畅谈了很多，听众朋友可能更关心具体的应用场景和应用落地。未来是一个巨大的市场，未来有很大的空间，这就是我们的星辰大海。LPU 非常适合做这件事，我们也会和具身智能的各个产业一起发展，这是我们的中长期目标。
短期来看，杨总前面也提到了，我们现在有很好的产业投资方和产业伙伴，正在做的一件事情，简单说就是传统硬件的重构。
杨斌
背后的逻辑是，随着模型能力增长，以前所有模型的 AI 能力基本上都是分类器：我能看到这是一只狗、这是一只猫，或者这是一个人摔倒了。
未来 AI 的能力是生成器，具备内容生成能力。这就是大模型带来的巨大商业机会。所以这就是我们脚踏实地要做的事情：把存量市场全部重新看一遍。
杨永成
我理解，随着 AI 大模型的发展，以及 AI 大模型本身不断高速迭代，很多传统行业，包括电子产品行业，都会被重构和升级，或者简单说，被 AI 化。
你现在创业做 LPU 架构的处理器，不是临时起意，也不是看到 Groq 被收购以后才说“我要来干一票”。这个时间顺序肯定不是你先创业、它后来被收购，也不是看到它被收购以后才决定创业。
这件事是怎么促使你下定决心创业、决定做 LPU 技术的？你的心理历程或者过程是什么样？这可能是很多听众，特别是创业者和投资者都比较关心的问题。
杨斌
10. DeepSeek点燃创业时刻
这个问题我还真遇到了。我自己决定创业的那个 moment，那个时刻真的出现了。但它出现之前，我觉得是一个水到渠成的过程。
我可以说那个时间是什么，但在此之前我们做了很多事情：扫描了所有体系结构，它们的优点和缺点是什么，护城河是什么；在相同路径里，我们有没有可能超越其他人；我们的技术见解、团队能力，以及基础 connection 是否具备这些条件。
这件事情本身，我们应该说已经看明白了：GPU 能做什么，NPU 能做什么，LPU 能做什么。只不过，LPU 能够做的那件事情，那个 moment 一直没有出现，所以我们一直在观察这些技术。
这个时间点是 2025 年春节。DeepSeek 发布了那篇非常有影响力的论文，给我的触动是：大模型真的不是泡沫，已经可以用了。
这是我当时真正的想法：终于不是泡沫了，终于可以下场。你看，它的模型能力很强，模型的相对成本也已经降到了大家可以使用的阶段。接下来就是产业爆发周期。
所以真的有那个 moment。那天晚上我还专门把那篇论文看了一遍，觉得非常有意思。
杨永成
我理解，你一直在等这个点。你一直关注和研究这些技术，而且研究得非常深入，已经接近芯片设计本身，只是还差一步。
你一直在等机会出现，等机会出现以后，才比较容易决定具体采取哪条路径，最后判断 LPU 是最适合这个行业发展的架构。
但我相信，你在大量研究 LPU 之外的传统架构，比如 GPU，以及其他新型架构时，积累下来的研究成果，也会应用到现在做的 LPU Plus 里。包括你历史上的其他经验，也会放到这个 Plus 里面。
所以我们现在不好预期 Plus 到底增加了多少、增加了什么，可能还会继续优化。这就是技术和市场积累的重要作用。你们都有二十多年的实战经验，也有做大芯片、打大仗的经验，特别是很多成功经验，这对公司发展可能很有利。
所以，你最终也是博采众长、做一个大集成。
杨斌
我一直比较喜欢峰瑞的一句话。我们今天跟杨总谈的东西有点云淡风轻，谈的是 LPU。
LPU 确实是我们把以前的技术都看过以后，取其长处、博采众长的结果。但我更相信，LPU 是一件难但正确的事。
杨永成
感谢听众朋友，也感谢斌总，感谢大家耐心而专业的讲解。
我们也殷切期待源创微能够在技术路线上不断发挥自己的创造性和主观能动性，更快结合中国市场快速发展的推理端应用，包括电子产品的发展，既做出自己的贡献，也希望其他同行，特别是中国同行，共同努力。
最终，我们能够让多个赛道齐头并进，把 AI 处理器的发展做得更加细化、更加长尾、更加多样化，取得更好的科技领先和市场成绩。
谢谢杨斌，谢谢听众朋友们。
杨斌
谢谢杨总，谢谢听众朋友们。谢谢大家，再见。