关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

今天很开心，我们请到了之前负责字节 AI Infra 的朱亦博。现在亦博是阶跃星辰的联创和 AI Infra 负责人。亦博，先给大家简单自我介绍一下。

大家好，我叫朱亦博。我现在在阶跃星辰负责大模型的 AI Infra。在阶跃之前，我最早是在微软研究院做分布式系统相关的研究工作。大概在 2018 年的时候，我到了字节跳动，开始负责构建字节跳动的 AI Infra，做到 2023 年初离开。中间曾经短暂地在 Google 待过，但很快就出来创立了阶跃，开始做大模型。

所以基本上可以说，你是国内最懂 AI Infra 的人了。

不好意思这么说。我觉得我的实战经验算是比较多一点，但“最懂”这件事没办法比较。

大家经常提 AI Infra，但这里面有非常多的概念和定义，也有很多公司。我觉得只要不是模型、不是应用，大家基本上都可以被分到 AI Infra 里面。从你的视角来看，你怎么理解 AI Infra？

1. Defining AI Infra

我觉得硬件是一块。硬件指的就是 GPU、AI 芯片这些东西，也包括一些网卡芯片、交换机。

软件的话，我比较喜欢类比云计算，有 IaaS、PaaS、SaaS 三层。最下面的 IaaS，是说我有这些卡，然后我要把它们组装成服务器，用网络把它们连接起来，再考虑怎么运维和管控它们，这是最基础的部分。

我个人也喜欢把大规模存储系统放在这里面。所以从计算机系统的科班角度来说，其实就三件事：计算、通信、存储。Infra 最底层的 IaaS 覆盖了这三个部分。

上面的 PaaS，也就是 Platform as a Service，比较像调度平台、资源管控平台。你也可以说 MaaS，也就是 Model as a Service，是一种 PaaS。再往上是比较像 SaaS 的东西，可以说是应用。只不过在 AI Infra 里，我个人觉得框架会比较像 SaaS 这一层，包括训练框架、推理框架以及相关的优化。

所以你一上来就是做 AI Infra。我可以理解为，AI Infra 是和传统互联网 Infra 并行发展的两条线吗？

2. From AlphaGo Onward

我应该这么说：我觉得 AI Infra 这个词，在 AlphaGo 之前甚至可以认为是不存在的。那时候也许叫 Machine Learning Infra，或者 ML System。在那之前根本没有这么一个细分领域，大家做的还是比较传统、比较通用的、以 CPU 为主的 Infra。

所以你的职业生涯，正好和 AI Infra 的整个发展连接在了一起。

我觉得是。我算是第二批，第一批包括贾扬清、李沐、陈天奇，他们算是第一批。

他们其实更早。

对。贾扬清看起来也挺年轻的，但他在博士期间就开始接触这件事了。他第一个做的工作叫 Caffe，是一个框架，这个框架就是为了支持他在博士期间做算法研究而开发的。

所以，第一批所谓的 AI Infra 从业者，在那时候甚至还没有“AI Infra”这个词。他们其实都有算法背景，因为他们要做先进的算法，要把 GPU 利用起来，于是做了这件事情。

你可以认为，那个时候真正做 Infra 的正规军还没有进入这个领域。他们是从无到有把这件事做出来的，可以这么理解。

他们相当于第一批元老。那对于你个人来说，可以认为是第二批？

对，我可以认为自己是第二批。深度学习在工业界确实开始被大规模应用的时候，我基本上做的是“上规模”的事情。

第一批人当时更多关注单机。当然这么说可能也不公平，他们那时候也看了一些分布式的东西。但真正认真地上几千张卡，以这么大的规模去跑任务，是我们这一代人看得比较多的。

所以你的职业经历，刚好赶上这两年大模型出来，应该也是一个特别好的机会，一下子到了主流舞台。

3. AI Infra Finds Its Moment

可以这么说。这也是为什么我觉得一定要出来创业、一定要亲身参与其中。

对整个 Infra 来说，创业本来就是一件蛮难的事情，因为 Infra 天生是支持应用的。尤其是我们做大规模 Infra 的，你可以理解为，过去美团、滴滴刚开始做业务的时候，业务体量还很小，它们不会太重视 Infra，这是应该的。只有当业务量上来了，又遇到高并发等问题，它们才会开始专注于 Infra，或者把 Infra 相关的课补一补，这时才需要比较专业的 Infra 人才进来。

所以在过往的历史中，Infra 人才比较难参与到一个公司早期创业的过程中。但是大模型确实提供了一个非常好的机会。

上一次类似的机会是在搜索引擎时代。你可以认为，Google 做搜索引擎的时候，第一次面临海量的互联网数据，需要处理这些数据，因此需要世界一流的 Infra。Google 实际上是一家 Infra 公司，它当年的成功，就是因为 Infra 特别强。

到了大模型时代，在我眼里，它有点像是在重复上一次搜索引擎的过程。同样是有大量数据，也有巨大的算力需求，要处理的计算量和数据量突然比之前的范式高了一个、两个数量级。只不过现在处理这些数据的方法发生了变化，要用 GPU 训练模型。

这时候你想做最优秀的事情，就要有最优秀的 Infra。所以对我而言，这是一个非常重要的机会，也许十年、二十年才有一次，一个 Infra 能够扮演这么核心的角色。

把你刚才讲的几部分串起来，我能不能说，其实一切都是由数据驱动的？不同的数据形态、数据量级等等，都会带来不同的需求。

可以这么看。数据至少是非常重要的一方面。做 Infra，其实每天就是用各种技术去和数据打交道，服务于数据的处理。

今天可以说是学习数据、处理数据。我觉得大规模 Infra 基本上就是服务于这个目的。

移动互联网那套 Infra 和 AI 的 Infra，算是完全并行的两条线，还是里面有一些异同？

除了比较年轻、直接进入 AI Infra 的人以外，其实大部分人都是从传统 Infra 转过来的。所以我觉得它们有相当多的共同点，也有相当多的不同点。

从很多问题的本质来说，其实它们是一样的：我要解决一个任务如何大规模、可靠、高效地运行，怎么把计算、通信、存储有机地结合起来完成这个任务。大目标是一致的。

但到了具体实操的时候，差别就很大了。比如说，AI Infra 的绝对核心是 GPU，传统 Infra 的绝对核心是 CPU。这两种硬件有不同的特点，也导致它们对通信互联、存储等方面的要求不一样。

所以基本上可以认为，AI Infra 是为 AI 定制化的一套 Infra。在 Infra 的世界里，太阳底下没有太多新鲜事，但会在某一个方向上钻得更深、更定制化。AI Infra 在很多方面都要做得更极致。

听起来，它底层的东西和本质目标都类似，只是技术栈和使用的东西不太一样。那这种情况下，转型好转吗？你觉得未来做 AI Infra 的人，更多会是新一批成长起来的人，还是传统 Infra 的人？

其实完全可以，我觉得两类人都会有。

Infra 和算法确实不太一样。你可以看到，算法在很大程度上依赖非常年轻的人。甚至有算法朋友跟我说，算法人员只有两年的保质期：两年之后，他把自己的聪明才智发挥完了，就陷入了思维定式，新的东西反而跟不上。

但 Infra 是一个相对强调积累的事情，所以我觉得老人也会发挥重要作用。当然，新人也会带来一些新的想法。

我们和传统 Infra 的人聊，大家经常讲的是怎样提高并发之类的。理论上，AI Infra 也是类似的，对吧？在推理，也就是线上服务的时候，应该是类似的。

对，只是使用的东西不一样，运行的东西不一样。AI Infra 是用 GPU 跑 AI 模型，但最终其实有非常多类似之处。

所以你们现在核心服务的一些目标和数据指标，大概会有哪些？

4. Measuring Infra Value

其实你可以找到传统服务对应的东西。比如说，我们强调你在 Chatbot 上问一个问题，第一个字返回给你的时间，叫首字延迟。

你也可以想象，你点开一个 App，要多久才能看到第一个页面，这其实是类似的。回复你的首字延迟，以及之后吐字的速度是不是稳定、是不是流畅，这些都是线上服务要关注的事情。同时，我还要尽量以低成本做到这些。

训练那一侧，其实比较像大数据。以前大数据也是用 Hadoop、Spark，开非常多的 CPU，处理大量数据，做一些计算。现在是用 GPU 处理大量数据，然后训练一个模型。从概念上来说，它们是相似的。

但听起来，是不是只有量级很大的公司才需要用到 Infra？AI Infra 也是一样吗？

应该说，所有业务产品都要依赖 Infra。只不过你要不要自己投入人力成本、研发成本，把你的 Infra 做到领先水平，以及这个领先水平对你的产品和业务有多重要，对不同公司来说是不一样的。

以你目前的理解，不同阶段、不同类型的公司，对 Infra 的投入应该是什么样的？

这个账其实蛮好算的。

假如你有 1 万张 GPU，都是比较贵的卡，1 万张 GPU 一个月的租金可能是 1 亿元。如果你雇了一些人，把利用率优化了 10%，你就省了 1,000 万，或者说挣了 1,000 万。那你愿意为这 1,000 万一个月雇多少人？

在 Infra 领域，这个账是非常好算的。无论是在前司还是在现在的公司，基本上如果去算这笔账，Infra 对每个公司的贡献都非常可观。单从省钱的角度来说，覆盖人力成本是非常轻松的。

小一些的公司没用那么多 Infra，当然也要算这笔账：我值不值得雇 10 个人，来为我优化多少性能？如果你觉得不值得，市场上也有一个 baseline，就是去找云厂商。云厂商会给你一个比较通用的方案，如果规模不是很大，基本也够用了。

这就是现在包括 MaaS、公有云在内的价值锚点：帮助规模比较小的公司把这部分投入省掉。

现在有很多云厂商，模型厂商自己也会做很多 Infra 相关的事情，也有一些第三方公司在做。应用公司或者创业公司自己需不需要做？为什么还会有第三方公司做？因为按我的理解，这件事应该是云厂商和模型厂商已经自己做到极致了才对。

5. The MaaS Moat

我们就谈 MaaS 这个生意。每个模型厂商主要还是维护自己的模型，以自己的模型提供 API 为主。

那你说，会不会有一个像集贸市场一样的地方，让你可以随意选择各家的 API？我觉得这是这些 MaaS 厂商想要做到的事情。当然，公有云，包括阿里云、火山云，也在做类似的服务。它们除了维护自己家的模型 API 以外，也有其他家的 API。

初期当然可以通过各种活动去获得应用客户，说明需求还是存在的。但长期来说，更重要的还是回到你的问题：一个第三方公司长期做这件事，有没有独特的价值？

短期你总是可以靠各种推广活动、降价去获客，但如果长期没有独特价值，这个生意其实是不成立的。

我是这么看这个问题的：AI Infra 夹在模型和硬件之间，下面是硬件，上面是模型。如果所有人都能获得同样的硬件，也都能获得同样的模型，再去做中间这一层，那么价值相对比较小，会非常卷，最后就是恶性竞争、打价格战。

说白了，没有哪一项 AI Infra 技术能够好到拉开特别大的差距。你可能有一项技术做得非常好，领先几个月，但人家几个月之后也会追上来。没有什么技术是几个月之后别人还追不上的。

所以第三方的价值，我觉得要么是和硬件做垂直整合，要么是和模型做垂直整合。

我有时会打个比方：你为什么要买 PlayStation 5？因为它上面有独家的游戏。Steam 也有独占的游戏，它本质上是一个内容分发平台。你可以认为 MaaS 也是一个 API 内容分发平台。

除了大家都有的东西以外，让用户留在你这里的，其实是一些特色内容。比如有的 MaaS 和某些硬件厂商有非常深度的合作，可以更便宜地拿到算力和技术支持；当然，它自己也对硬件有非常独到的研究，那么它在这边就会有独特优势。

公有云是另外一头。比如它上面有自己的模型，你可以认为这个模型是它第一方独占的游戏。它还维护其他的模型，但它独占的东西才是最主要的吸引用户的内容。

我一直觉得，海外有很多 Infra 公司，很多融了很多钱，最后以很高的估值被卖掉。但在国内，大家好像一直没有那么看好 Infra，也没有特别大的估值。

国内机构的看法，可能和你刚才讲的有点类似：Infra 被夹在中间，两边都会吃掉你的份额，你又不好赚钱，技术上也没有特别强的壁垒。你其实是从本质上更同意这个观点的。

首先，我不反对这个观点。但我觉得每件事情都有两个角度。

一个角度就是你刚才说的那个角度；另一个角度，是对于我个人以及其他从业者的指导：你就不要去做夹在中间的那个人。

我选择到了模型这一侧，也有人可以选择到硬件那一侧。AI Infra 在这里其实有一个以前的 Infra 没有的独特价值：现在是模型和硬件都在追求极致的时刻。

比如说 DeepSeek。你想要做出一个在硬件上运行得非常高效、性价比非常好的模型，就需要很懂硬件，也要懂模型。真正两头都懂的人，就是中间的 Infra 人。

所以你可以反过来看这个问题：如果你愿意跨出一步，和模型做更多联合、做垂直整合、打通；或者愿意和硬件做深度合作，实际上有非常多可以做的机会。

但如果你固步自封，不考虑这些事情，硬件就是硬件，模型就是模型，我只在中间做优化，那这个空间确实会很窄。

但这里面有一个相对有挑战的问题：你和模型或者硬件绑定以后，万一选错了怎么办？

我觉得不是这么被动。你是参与者，不是被别人牵着走的人。重要的是你参与其中。

比如说，你可以影响硬件的走向，因为你比硬件的人更懂模型；或者你在模型公司里，比模型的人更懂硬件。你能够去影响模型的走向。

如果你在一个足够好的环境里，能够影响模型或硬件向着你认为好的方向发展，最后成功当然最好；不成功，那也是你自己的责任。

我们刚才讲的，主要是 Infra 做降本增效。但它实际上对模型最终训练结果的好坏，能起到多大的作用？这个怎么评判？

6. Infra Shapes Model Quality

这就是为什么大模型公司的 Infra 非常重要，因为它实际上会直接影响模型训练出来的效果。

大家都在玩同一场比赛：给定算力，怎么训练出最好的模型？所以从最终结果来说，Infra 水平确实会影响模型效果。

主要影响哪些方面？成本肯定会影响。

举个例子，我们都是 5,000 张卡，训练 3 个月。更好的 Infra 可以让我把效率提升 20%，那我就可以多学习 20% 的数据。3 个月之后大家把模型拿出来比较，因为我多学习了 20% 的数据，最后模型效果就可能比别人好，假设其他条件都一样。

所以 Infra 其实是一个能够标准化衡量好坏的事情，有些数据指标一眼就能看出来。

是的。但它又是一个复杂的问题。比如不同的硬件和不同的模型，有一个专业名词叫 MFU。

MFU 指的是硬件在做模型训练或推理时，实际做了多少次运算，这是分子；分母是它理论上能够达到的总算力。这是一个比例，比例越高，显然说明你对硬件的利用率越好。

我记得当时 DeepSeek 发布过这个指标，说它做得很好。但实际上不是这样，DeepSeek 的训练 MFU 其实是偏低的。

这件事情就体现出它是一个复杂的问题。虽然有这样的指标，但它同时和模型、硬件以及你的优化目标相关。

举个例子，DeepSeek 和其他所有人，包括我们在 2024 年的优化目标是不一样的。我们的优化目标是：给定训练算力，怎么训练出最好的模型？DeepSeek 的目标是：给定推理成本，怎么设计模型，把模型效果做到最好？

因为优化目标不一样，在 2024 年至少上半年，DeepSeek 并不比大家强。从基模来说，我们的优化目标就是针对训练：我有几千张卡，训练几个月，训出最好的模型。DeepSeek 有时候在一些榜单、公开评测中，并不排在第一名。

那这件事情在什么时候发生了改变？

到 2024 年 9 月，OpenAI 发布了 o1。你也许听说过 Test-time Scaling，指的是我在推理时多思考一些，这样最后得到的结果可能会更好。

这种 Test-time Scaling，也就是推理模型，靠强化学习训练。强化学习里很大一部分就是让模型自己推理：我让它推理一大段，然后选一个最好的答案，告诉模型这个答案应该获得 reward。

于是，DeepSeek 的模型就变成了强化学习训练最快的模型，因为它的推理成本低。它的优化目标更符合强化学习时代的需求：它不仅推理快，现在训练也快了。和其他人的基模相比，它做强化学习的速度会比我们快好几倍。

所以这才是它第一个做出 R1 的原因。你可以认为，这是大家选择了不同优化目标之后的胜利。当然，也许这里面有一些运气，因为它一开始确定这个优化目标时，大概率没有想到 2024 年 9 月之后会发生 Test-time Scaling。

但所有事情都是天时、地利、人和。所以回过来说，我们确实有很多指标，有训练效率的指标，也有推理效率的指标。但我觉得更重要的是，你要想清楚第一优先级是什么指标，以及这个指标是否符合整个行业的需求和未来技术的发展。

所以现在有一个比较通用的第一指标吗？大家的认知已经差不多了吗，还是仍然有很多不同的方案和路线？

我觉得大家的认知并没有完全统一。

从 o1、R1 和强化学习之后，我觉得最重要的指标是 Decoding 的速度，也就是 Decoding 的成本。推理其实分为两部分：一部分叫 Prefill，意思是处理输入。比如把一篇很长的文档交给模型，模型先处理这段文档；另一部分是输出，也就是吐字。

我认为现在最重要的指标，就是后面这个输出速度。第一，它是线上业务非常直接的成本；第二，它直接决定强化学习的效率。如果输出很慢，获得 reward 的速度就会比其他模型慢。

所以我觉得现在的第一指标是 Decoding，或者你可以理解为模型输出的速度。但还有人停留在上个时代，关注所谓的训练 MFU。这和每个公司训练什么模型，以及团队自身的情况都有关系。

假设你和其他做模型的 Infra 人聊几句话，应该就能聊出他们现在的认知和水平怎么样。

是的。问问他们最近在优化什么，大概能做到什么数据，其实就知道了。

那这个还挺有意思。你觉得大家会有很大的差别吗，还是其实没有特别本质的区别？

区别还是有的，但更多是方向选择上的。最重要的事情永远是方向选择。

就像我刚才说的优化目标，在我眼里，如果现在还特别关注 MFU，对当前状态的技术认知就是有问题的。

那你觉得会不会还有下一步的新指标？就像当年 DeepSeek 在做新的指标，但别人可能还没有意识到。后面还会有这种时刻吗，还是已经差不多了？

不好说，还是有可能。

从你的视角来看，做 Infra 的人是特别懂硬件和软件、处在中间的人。那算法的人怎么样？如果你们遇到不同意见，到底谁来主导？你和算法的人会怎么合作？

7. The Model Team Triangle

最简单的方式，就是像一个团队一样合作，共同完成模型训练。可能大家有不同的分工、不同的优先级，那就坐下来一起讨论，该谁给谁让步。

所有事情都有 Trade-off，都有权衡。有的事情可能会损伤一大半系统性能，但算法效果只提升一点点；有时候则是反过来。每个权衡都要两边一起讨论、一起决定。

所以实际合作过程中还好，大家通过沟通解决问题。我觉得这是小团队的优势，很多大厂很难做到这一点。

尤其是 Infra 在大厂里，往往是一个支持性的角色。很多时候是模型的人说，我设计了一个模型，你们把它优化好，把训练速度和推理速度调上去。

我觉得 Infra 其实没有反向的影响力。尤其我们刚才讲到，Infra 的核心是降本，而降本在公司里不一定是所有人最重要的目标。

所以最重要的问题是：你只是一个降本的角色，还是一个能够影响模型效果的角色？实际上，Infra 是可以对模型效果产生正向影响的。

听起来像是要发挥主观能动性，但光有主观能动性也不够。

假如你是一个 Infra 团队，有一个算法团队，你们两个团队都向同一个 Leader 汇报，但这个 Leader 只懂算法，那会发生什么？

所以很多时候最后都是组织架构的问题。

如果不是今天和你聊，我听起来也会觉得，算法是模型里最核心的人。

算法当然非常核心。

我觉得一般的认识也是这样：模型其实是一个铁三角，包括算法、系统，也就是 Infra，以及数据。这三部分都非常重要。

所以你觉得最理想的状态是，今天要优化一个东西、做一件事情，三方一起讨论，最后集体讨论出一个各有取舍的结果。

是。其实很多事情，外界的理解反而会有一些偏差。

举例来说，一个模型的算法效果并不是算法人员决定的，而是数据决定的；一个模型的效率和成本是系统决定的。

由此可以得到一个结论：因为和效率、成本最相关的是模型结构，所以模型结构应该由系统的人来设计，才能获得最好的成本。模型的参数规模和效果上限，应该由数据的人负责。

那算法人负责什么？算法人最重要的是负责训练方式。

听起来很合理。现在很多公司不就是这样吗？

当然不是。现在模型结构基本是算法人在设计，模型的参数规模也基本由算法人负责。但实际上，算法人很多时候不一定是最适合做这些事情的人。

阶跃现在基本是按照我刚才说的方式做的，这也是我认为更好的方式。更多时候，我们就像一个团队一样合作。阶跃人也就这么多，小公司能做到这一点。

大公司人多了，很难说大家都像同一个团队一样，这在管理上也非常困难。

我们最近也有类似的感受。我觉得很多大厂，或者说上个时代延续下来、继续做 AI 的公司，遇到的最大阻碍就是组织结构问题。

是。现在新的 AI 时代，虽然人还是原来那批人，但组织结构可能已经完全不一样了。

我们也发现，做应用的时候，产品经理也得懂一些技术，要参与数据相关的问题。

没错，产品经理需要更全栈。

但一个大厂做一件事情，可能一下子拉进来几十个人，大家进行非常精细化的合作，反而做得不一定更好。因为这种精细化分工，是按照大家过去的理解来区分的，不一定是适应新时代的最好分工。

是。模型结构天然落在算法组，就会导致模型结构的成本和效率不够好。

但你们是一开始就用很正确的方式做的吗，还是也踩过一些坑？

当然踩过坑。

比如说，我们对自己的算力和能力都过于自信，所以做了一个巨大的模型。我们确实也把它执行完了，但这个巨大的模型有一些额外的问题。

你们再大，也大不过 Llama 的模型吧？

比 Llama 的还大。

那真的是非常自信。

是。DeepSeek 的模型你知道，也不小。我们的模型不比它小，而且我们比它早一年做。

但这些事情回头看，我觉得还是犯了一些错误。这也是前两年大家都会犯的问题。现在我听很多做应用的创业公司，也都在反思，说那个时候不应该去碰模型，但当时很多人确实自己做了模型训练相关的事情。

但现在你们相对已经理顺了，对吧？

我觉得重要的是，我过去也是做研究、做研发的，这和做工程还不太一样。所有你下注的事情都有可能错，那也没什么。如果你一直认识到自己以前踩过坑，爬起来继续往前走就可以了。

这一局你赢了，下一局我再赢回来，就是这样的心态。

你们接下来发展的重点和方向是什么？

首先，对阶跃而言，最大的特色还是多模态比较强。在一些多模态领域，我们可以说稳居国内前二，也有相应的业务。

围绕多模态业务，我们做的是真正的多模态，也就是大语言模型和视觉等能力的融合。大语言模型部分也需要持续研发。就像我说的，我会非常关注语言基座怎么找到最高效的结构。

在我眼里，这不是一个纯粹的算法问题，至少是系统和算法五五开的一件事情，这是我现在非常关注的方向。包括后面公司也会联合一些端侧去做协同，需要考虑端上的硬件条件，以及什么样的模型、什么样的部署方式更适合这些设备。

这些都是我们接下来比较关注的事情。当然还有一些老生常谈的问题，比如强化学习的推理仍然非常复杂，还有大量工作需要解决。

对于你，或者对于所有做 AI Inference 的人来说，现在遇到的最大阻碍，或者最核心需要突破的问题是什么？

有一种阻碍，是你已经看到了路，执行就能完成；有的阻碍，是还没有一条很明确的路。

能完成的事情，比如芯片禁售、一些专利问题，以及强化学习工程本身非常复杂，要搭建各种各样的环境，但终归都有路可以解决。

更困难的是一些更具革命性的事情，只能走一步看一步。

大概是什么样的事情？

8. The Hardware Model Frontier

比如，怎么做到真正的模型和硬件 Co-design。

现在的情况是，大家的模型基本都是针对英伟达的卡做优化。Google 虽然有 TPU，也有一些自己的特色，但在最本质的计算范式上，还是和 GPU 一致。所以大家的模型其实没有发生那么大的变化，基本都是根据英伟达的卡来优化的。

最近有 H20，H20 终于可以卖进来了。

对，有一些这样的传言。

但 H20 依然是一张比较弱的卡。还有国产芯片的问题，也包括全世界范围内，是否有人能够推翻英伟达的计算范式。

你可以想象，有一种新的芯片，它的特点和英伟达的卡很不一样；然后有人利用这个芯片的特点，做出了高出所有人一档的模型。

那件事情就会非常革命性。你可以认为，图灵奖就在眼前；或者对于一个商业公司来说，你就拥有了无人可敌的壁垒。但这样的事情都非常困难。

对于模型来说，上一个大的时刻仍然是年初的 DeepSeek。但最近一直在传 GPT-5 终于快发布了，可能这期节目发布时已经发出来了，最后也不知道会怎么样。

这一波在 GPT 之后，好像也没有看到特别新的、特别大的变化。很多人也在说，是不是 GPT-6 不行了，数据是不是不够了，等等，各种各样的问题。

你怎么看未来模型量变和质变的发展？

范式革新不会那么快。你可以认为，上一次是在 2022 年，GPT-3.5，也就是 ChatGPT 出现的时候；这一次是 2024 年 9 月的 o1。DeepSeek 也可以认为是对 o1 的一种复现，本质上还是 o1 的范式。

如果大概两年发生一次范式变化，那么下一次大范式可能是 2026 年。2026 年能有一次大的范式变化就已经很好了，也许吧。

你们能看到一些大的方向吗？下一个可能会是什么？

我们觉得多模态这边还是有一些突破的可能性，尤其是通过多模态生成和理解的统一。

现在多模态的状态还比较像 2020 年纯语言模型的状态。那时候最流行的模型叫 BERT，主要做理解。

现在的状态可以认为是，还没有人真正把理解和生成统一做通。真正做通的标志是：同一个模型做理解，比只做理解的模型更好；做生成，也比只做生成的模型更好。

就像 GPT-3.5 一样，一下子把以前做翻译的专用模型、做其他任务的专用模型都替代了。我觉得多模态统一还是有希望看到一些曙光的。

最近 Google 的 Veo 3，大家已经觉得效果非常好了。

Veo 3 还是偏上一代的专用生成模型。它确实做了很多工程工作，把一些功能融合起来，比如配音乐等。

技术本质和产品，并不是一个线性、顺滑的过程。这条路还会继续走，不止 Google，其他公司也会继续走这条路。

顺便提到 Google，美国那边其实有很多专门做 Infra 的公司，规模也非常大。比如 CoreWeave，大家可能听得少一点，但它在美股今年涨了好几倍。

还有大家听得比较多的 Databricks、Snowflake。你能不能给大家大概讲一下，你怎么看这几家公司？

9. The Global Infra Landscape

这些公司实际上不完全是 AI Infra 公司，但它们现在在做一些和 AI Infra 相关的产品。

这些公司本质上都是数据管理和处理公司。比如 Snowflake，我们一般都觉得它的商业做得很好，但核心技术说起来其实很简单。

在云的世界里，有亚马逊云、微软云等不同的云服务商。Snowflake 做了一套统一的数据抽象，让你可以在不同的云上，用一套统一的管理方式管理数据。

它作为数据管理的入口，后面还可以增加其他增值服务，比如帮你处理数据、做一些计算，或者把数据展示出来。

Databricks 相对更有核心技术一些，因为它以前是 Spark 这个分布式计算框架的主导公司。但到了商业化落地的时候，它们大多也是这样的逻辑：传统企业不太知道怎么利用数据，我来帮你，用最方便的方法把数据存起来、管起来、串起来。

当然，你可以想象，当它们帮助客户把数据管理起来之后，也可以做一些 AI 的事情，因为 AI 同样是学习数据、处理数据。所以它们也在往这个方向转型。

所以在你看来，它们更偏向我们刚才讲的三部分中的数据，而不是 Infra？

不，它们是服务数据的数据 Infra。

那现在有没有第三方公司，不管是大的上市公司还是初创公司，是比较典型的 AI Infra 公司？

初创公司很多。你刚才提到的 CoreWeave 就是，云天励飞也是。国内的话，估计还有无问芯穹、路辰科技之类的。

但基本上这几家都是在做推理加速，对吧？

对。我对它们的近况不是特别了解。无问芯穹，我理解是以推理为主，但我说错了也有可能。路辰早年是做训练的，硅基流动的袁敬辉老师早年也是做训练，不过是在上一家公司做训练，这家公司主要做推理。

这和商业模式有关系。训练的商业模式，我个人觉得不太成立。

所以对于创业公司，或者这种第三方的 Infra 公司来说，还有什么别的机会吗？因为刚才讲的几家，现在基本都偏推理方向。

我觉得这和时机有关系。

现在的情况是，训练模型的主要还是非常懂行的专业人士。专业人士第一是钱不好挣，第二是我们训练模型就是为了用模型本身去竞争。这意味着，在训练过程中，无论我们做什么研发，都是自己的核心竞争力。

所以我很难在很早的时候就把这件事情告诉第三方。把训练排除之后，你就只剩推理了。

所以推理相对比较干净。

顺便问一下，现在有很多流行的开源模型。它们对 AI Infra 市场会有什么影响？

很多人觉得开源模型会促进 AI Infra 的总体技术发展，我觉得这也是有道理的。尤其是一些很火的开源模型，大家会去研究怎么把它运行好，在这个过程中确实促进了 AI Infra 的发展。

但所有事情都有两面。另一种趋势是，因为一个开源模型很火，大家就会花很多精力去优化它，反而影响创新。从更高层面来说，这也是一个问题。

比如在 DeepSeek 出来之前，很多人都在优化 Llama。优化完之后，DeepSeek 的模型和它很不一样，之前很多积累、很多时间就废掉了。

你问有没有意义，我觉得还是有一定意义的。

但我还想补充一点：这里说的 Infra，其实也包括硬件。无论是 DeepSeek、千问，还是其他模型，本质上现在都是针对英伟达的卡做优化的。

现在我们讨论国产芯片替代，会发现国产芯片不是跑不起来，但实际上性价比比不过英伟达。然后这些模型又都是开源、免费使用的。你可能也听过一体机这样的生意。

做一体机的人会发现，拿英伟达的卡做一体机，跑 DeepSeek 或千问，性价比就是比国产卡好，更有竞争力。所以最后反而会影响国产芯片在市场上的竞争力。

我觉得这是必然结果，但它确实也是国产替代，因为你确实拿不到英伟达更好的卡。

所以我在想，我们是不是能够改变一点点？比如能不能专门为国产卡设计一些模型，让它们也达到 DeepSeek 的水平，并且运行效率非常高。

把卡排除在外，你觉得国内外 AI Infra 的能力和水平差距大吗？还是说有相当大的差距？

我能理解算法上大家有差距，但我理解 AI Infra 更多是工程问题，以及方向选择、指标优化。这些理论上不应该有那么大的差距。

一个是规模的差距。谈 Infra 肯定还是要谈规模，1 万张卡和 10 万张卡，碰到的问题是不一样的。

另外还是上下游影响的问题。比如 OpenAI 也想自己做芯片，Google 自己做芯片，因为无论是资金还是人才，它们更容易把硬件和模型整套做起来。

国内有这个条件的人少非常多。

目前似乎没有真正具备这个条件的公司，可能只有个别大厂。

对，但有没有真的组织起来、形成一个好的状态，也是个问号。有一些大厂既有自研芯片，也有自研模型。

所以像 Google 这种自下而上、整套都是自己的公司，训练效率就会高非常多，还是会有明显优势的。

是的。OpenAI 一直以来最忌惮的就是 Google。Google 现在的模型确实也很强。

如果这么讲，最终是不是大家都得有自研芯片？

不见得。我只是说，这个危险是存在的。如果有哪家公司把模型和芯片的上下游统一得非常好，就会给竞争对手带来非常大的压力。

但如果拉长时间看，必然会有这样的公司。比如 Google 长期来看肯定就是这样的公司。其他公司如果不走这条路线，可能只能从其他地方突破，做差异化竞争。

听起来，国内还是任重道远。

我知道阶跃马上要发布一个新模型，这期节目发布时可能已经发出来了。能不能给大家讲一下这个新模型的情况？

10. Vision Reasoning Goes Open

这个新模型从算法角度来说，应该是国内第一个可以由第三方商用的、几百 B 规模的视觉推理模型。

如果你看最近其他模型的发布，它们大多是纯文本推理。我们是一个真正上规模、达到国际水平的视觉推理模型。

视觉推理怎么理解？

视觉推理就是根据视觉信息完成推理任务。比如图片，当然也可以是视频，通过抽帧等方式输入到模型里，模型就可以完成推理。

比如我们有时会设计一些 Case，有点像侦探：我随便拍一张照片，你告诉我照片里的地点是什么。

更现实、对产业更重要的任务是，假设你是一个机器人，我让你去柜子里拿一个东西，但这个东西可能被其他物体半遮挡。你要分析出应该一步一步怎么做，才能完成这个复杂任务。

你可以认为，机器人有小脑和大脑。小脑负责控制动作和平衡，大脑就是我刚才说的部分，要拆解一个复杂任务。

对机器人，或者其他智能设备，比如手机、汽车来说，它们都处在物理世界里，天然拥有视觉这个模态。它们要根据周边环境、根据看到的东西，决定怎么完成一个复杂任务，这就是典型的视觉推理模型要做的事情。

当然，现在互联网上更常见的应用是拍照解题，这也是视觉推理模型做的事情。

但之前有些模型也会这么讲，包括搜索类产品。拍一张图，或者从视频里截一张图，它先理解这张图，把图像转成文字，然后再做推理。

这应该不是真正的视觉推理。你们现在发布的模型是怎么做的？

我觉得这是不同的层次。现在我们不需要中间“转成文字”这一段，它可以直接看图推理。

你可以理解为，它好像真的看懂了这幅图。某种意义上，它是端到端的。

还是拿刚才的例子来说，如果我要去拿一个东西，而这个东西被其他物体挡住了，其实很难用文字描述得非常清楚。因为如果物体很多，你还要把它们全部列出来，还要描述它们在物理世界中的位置关系。

但模型可以直接看着一张图，然后说：“我应该先把这个东西拿开，再把那个东西拿开，最后拿到这个东西。”

这就是端到端的好处，因为不是端到端的话，就会丢掉很多中间信息。

当然还有一个更高层次的方向，我们是有预研的，但现在还没有做到。论文上听起来，它也许还是一些比较基本的能力，比如走迷宫。

但走迷宫其实要求你有一个在图上画草稿的过程，这就是强化学习做的事情。在文字领域，解数学题可以看作是在走迷宫；但在视觉领域走迷宫，其实还没有那么简单，因为用文字很难把视觉信息描述清楚。

我看到你们发布的是开源的方式。这个决定是怎么考虑的？

我们希望做到一种让全国上下、整个产业都能获益的方式。

我们决定给所有国产芯片一份免费商用授权，并且把模型权重等都共享给它们，尽量帮助它们适配好这个模型。

目前来看，这个视觉推理能力在几百 B 量级上是国内唯一的。国产芯片厂商可以基于它推出一些特色产品。

同时，我们把这个模型在国产卡上的推理成本做得非常便宜，这是通过一些模型架构创新实现的。所以它们确实能够和使用英伟达卡运行其他模型的方案形成竞争。

我们希望帮助国产芯片构建商业竞争力；另一方面，也希望它们帮助我们推广模型。这是一个共生关系。

我突然想到一个问题，问你可能最合适：多模态模型的成本，未来到底会以什么速度下降、下降到什么程度？我觉得现在很大的问题还是多模态太贵。

多模态理解现在并不算太贵，生成还是比较贵，尤其是视频。

但我对此还是比较乐观的。我觉得成本会下降得很快。

比如一年之后，能做到现在的十分之一吗？

十分之一不好说，但做到现在的几分之一肯定是可以的。

你做了这么多年 AI Infra。要把 AI Infra 做好，你觉得最关键的是哪几个点？

11. Building The AI Infra Workforce

对个人来说，我觉得很难成为完全的全才。但除了非常理解 Infra 本身，你还要么比较懂模型，要么比较懂硬件，这样才有可能把 AI Infra 做好。

现在整个市场上，真正能做 AI Infra 的人其实并不多。因为要达到一定量级才需要，对吗？

比起两三年前，肯定已经多了很多，包括厂商、模型公司等都在做。但最顶尖的人还是这么一点，没有特别多。

未来会不会还是拿移动互联网来比：比如一个产品有百万 DAU，就肯定需要 Infra 的人？

百万 DAU 还不太需要。现在靠云服务，百万 DAU 也可以支撑。

但大的互联网厂商里，肯定有大量做 Infra 的人，支持高并发之类的事情。未来这些 AI 公司慢慢成长起来，也会需要更多做 AI Infra 的人吧？

我觉得这个需求是必然的。

从本质来说，一方面是应用，另一方面是计算资源。GPU 的算力已经远远超过 CPU，而且两者的差距还会越来越大。

假设一个老板要招人，90% 的成本投在 GPU 上，10% 投在 CPU 上，那他应该招什么样的人？90% 的人应该是为 GPU 工作的人。

所以我觉得这件事非常明确：现在不是做 AI Infra 的人，也应该认真考虑一下，是不是应该多了解一些 AI Infra。

但像你说的，做 Infra 的人通常是在后面默默做降本的事情，会不会经常被低估或者忽视？在公司里面会有这种问题吗？

我觉得这取决于你想做什么样的事情。从某种程度上说，确实会有这个问题。

以前我们招人的时候，有些人会说，我要去做业务，不想做离业务那么远的事情。但我觉得这非常看个人兴趣。

Infra 有它自己的特色。我觉得在大模型时代，Infra 的重要性提高了非常多，它已经是模型的核心组成部分。

也有人说，DeepSeek 做得好，是因为梁文锋是做 Infra 出身的人。这个怎么讲？

为什么说梁文锋是做 Infra 的人？因为他自己研究过 Infra。他原来做量化，而量化非常强调低延迟等问题。

所以梁文锋本身就是对 Infra 有研究的人。

还是讲刚才那三块：Infra、数据和算法。你觉得梁文锋最擅长的是 Infra？

是的，这应该是业界的共识。

我听到的是，DeepSeek 的 Infra 工程师数量大于算法人数。但在很多大公司里其实是反过来的。

这和过去的业务传统有关，也和过去 Infra 的组织方式有关。

我们过去做 Infra，会以用比较少的人支持很多业务为骄傲，因为这说明 Infra 做得足够通用、影响力很大。

但在大模型快速发展的时代，情况其实反过来了。它是一个非常垂直整合的事情：你要针对某种硬件，把模型设计和优化到极致。这时就需要大量 Infra 人员来做。

所以一些大厂在过去一段时间比较挣扎，我觉得部分原因就是人才和投入力量错配了，不适合这件事情本质上的需求。

行业里还有哪些具体例子？大家做 AI Infra 时会遇到什么问题，怎么解决，或者踩过什么坑？

我可以说几个例子。

最近有一家不小的公司开源了一个模型。它会说，这个模型不大，但算法效果可以越级和更大的模型比较。实际上，由于架构设计的问题，这个模型在硬件上运行的效率非常低，甚至可能比它所谓的那个更大的模型运行效率还低。

这体现出算法人员并不真正懂硬件，也不真正懂 Infra，不知道这个模型到底应该怎么运行。

算法人员研究模型架构时，通常是画一张图：横坐标是模型尺寸或者激活量，纵坐标是算法效果。画完之后，他会说：“我在这张图上找到了一个很好的点。这个模型看起来不大，算法效果还不错。”

但实际运行是另外一回事。你真正需要的图，横坐标应该是实际运行成本或者效率，纵坐标是模型效果。你得做各种实验，把这张图画出来，然后在图上找一个好的点。

如果算法和系统团队没有打通，就做不了这件事情。

典型情况就是，算法人员只看参数量那张图，选了一个点，然后把模型交给系统去优化，最后结果却很糟糕。尤其模型还开源的话，大家都看得到。

还有一个例子是大家都听过的 MoE 模型。我觉得，做 MoE 是早还是晚，直接体现了 Infra 团队在大团队里的影响力和地位。做得越早，说明 Infra 团队影响力越大。

因为在算法人员眼里，MoE 是一个降本的事情，不是提升模型能力上限的事情。

我记得当时大家讲，MoE 可以承载更大的参数量之类的。这个说法是不是大家认可之后，再去寻找的一些理由？因为参数量太大，训练不了，训练不了其实就会回到 Infra 的问题。

不是这样。我说说当年的故事。

几年前，我们在前司复现 GPT-3。复现完之后，业务看了看 Demo，觉得这个模型确实能做一些有意义的事情，但又觉得太贵。

当时我就在想，怎么才能既做一个大模型，又不让业务觉得太贵。那时 Google 已经发布了一些 MoE 的论文，而 MoE 是这条路上相对容易实现的方案。也就是说，我可以把模型尺寸做得很大，但最后推理成本没有那么高。

所以那时候我们就开始研究 MoE 模型。那时 ChatGPT 还没有火，大概是 2022 年初。

这个真的很早，我都没想到那个时候就有 MoE 了。

而且你要知道，当时是 Infra 团队在主导训练 MoE 模型，不是算法团队。

几个月前，我见了一个老朋友。他之前负责算法，当时他就跟我说，那时候看着我们做 MoE，他觉得这不关他的事，因为他觉得这不是算法应该做的事情。

你可以这么看：我训练一个 100B 的 MoE 模型，和一个 100B 的 Dense 模型，还是 100B 的 Dense 模型更强？

所以从这个角度看，MoE 就是一个省成本的事情。只是现在大家知道，激活参数量对成本很重要，算法人员也都知道。但当年在他们眼里，同样是 100B 参数，MoE 还不如 Dense，为什么要去做？

所以，系统团队能对 Infra 团队产生影响力、也有远见，就会更早做 MoE 模型。比如 DeepSeek 一开始就做 MoE，这体现了它的 Infra 团队在模型结构上的影响力。

我们是 2023 年 12 月开始训练的，那是我们的第二代，也已经蛮早了。

你是什么时候到阶跃的？

2023 年 5 月。

如果从 2023 年初到现在，回顾这两年的模型发展，有没有哪个时刻让你觉得自己的观点或方向发生了很大的转变？

最大的一次就是 o1 出现之后，也就是强化学习。

我们之前也做强化学习，但 RLHF 只是很小的一个阶段。后来转变成大规模强化学习之后，对 Infra、各种模型设计都有影响。刚才说过，我们要以推理输出为优化目标，这样强化学习才能训得快。

基建和硬件的选择，也都会围绕强化学习来考虑。比如强化学习可以使用不同的卡型，可以采用异构架构，也可以采用更分布式的方式。

所以对于过去 AI Infra，或者大模型预训练 Infra 的一些假设，都会产生影响。这是最大的一个改变。

最后再问两个小问题。

现在美国那边的模型，有些在往 CoT 发展，有些在往 Agent 发展，有些可能在往多模态发展，但最后也可能都合到一起。你觉得未来模型会是什么样的发展路径？大家会有差异化路线，还是最后殊途同归？

从现在这个阶段来看，确实有一定的差异化。

代码就是一个明显的差异化方向。你可以看到 Anthropic 做 Claude，它的强化学习并不算特别强，但在强化学习没有那么强的前提下，它还是能把代码做得一枝独秀。

它投入大量人力去准备、构造和清洗代码相关的数据，比 Google 和 OpenAI 在这方面做得更专注，投入的力量更多，所以代码能力最强。

所以在细分领域，专门投入大量人力去打磨模型，还是可以形成特定优势的。但客观来说，我不知道这种优势能持续多久，也有风险。也许又出现一种新的训练范式，一下子就把这种优势覆盖过去了。

Agent 和模型的关系也很微妙，这也是我现在看不清出路的地方。

比如现在有一家 Agent 公司，也就是所谓的套壳公司，去调用模型 API，搭建一些工作流，在某件事情上做出很好的端到端体验。

但这件事之所以现在能做出来，说明它本来就是模型踮踮脚就能完成的事情。模型厂商看到这个应用，如果它火了，下一代模型就可能把这个能力变成原生能力。那 AI 应用公司怎么办？

但你说模型公司会做得比 AI 应用公司快吗？也不会。因为在模型能力还没达到、方向也不清楚的情况下，肯定还是这些 AI 应用公司先找到场景，再快速用工程方法让模型踮踮脚，把这件事情做出来。

所以我现在还看不清这是一个什么样的生态。我感觉它既有共生，也处在互相伤害的状态。

对于现在想转行做 AI Infra，或者正在做 AI Infra 的人，你有什么建议？

我的建议就是靠近模型、靠近硬件，这是 AI Infra 和其他 Infra 最不一样的地方。

希望你还是从心底对这个东西感兴趣，有足够的主观能动性去做各种各样的 Co-design。AI Infra 处在这个位置，就需要进行垂直联合优化，才能做出好的工具。

我最喜欢的一篇文章是 Rich Sutton 的《The Bitter Lesson》。

这篇文章当然是站在算法人的角度来看问题。它说的其实是，最终最能利用计算的方法，长远来说才是赢家。短期内做的各种奇技淫巧，其实都不本质。

我也非常希望能把这篇文章全文背诵下来。我是从 Infra 的角度来看它的，觉得它对 Infra 的指导意义也非常重大：我们怎样把硬件的计算能力发挥出来，怎样设计模型才能最好地利用计算，这才是最本质的事情。

当然，我最希望的是，也许有一天我们还能影响硬件。这里面可能要经过几十年，也会发生非常多事情。

一个典型的事情就是英伟达的 GPU 翻身了，把 x86 时代 Intel、AMD 的 CPU 的风头都抢走了。

GPU 相对于 CPU 没有那么灵活，它就是做并行计算，但它把并行计算做得特别强。本质上，它换来了摩尔定律的持续。

如果对硬件有些了解，应该知道，CPU 的摩尔定律已经大幅放缓了，可能不止十年。但英伟达 GPU 的摩尔定律还在持续，大概每两年算力还在翻番。

这其实和 Rich Sutton 的《苦涩的教训》说的一模一样。摩尔定律一开始看起来没什么，但时间长了之后，差距实在太大了，因为它是指数上升的。

你会看到，英伟达的算力是 CPU 的 10 倍、100 倍。最后就会有人问，为什么 AI 用英伟达 GPU，元宇宙也用，区块链也用？因为所有新应用想要使用大算力，都得往它上面来。

所以最重要的还是摩尔定律，以及怎样换取摩尔定律的持续。然后，怎样设计模型和系统软件，让它们能够跟随着摩尔定律，把硬件性能全部发挥出来。

这对 Infra 团队也有非常重要的指导意义。

好，感谢亦博今天的时间。

谢谢，谢谢。