81.Agent Infra，巨头都在布局的隐秘赛道｜与百度王雁鹏聊模型、智能体与 AI 基建的新动向

GPU极大的释放了算力，但是它牺牲了通用性。完成一个真实的任务意味着今天人操作的所有的基础设施、各种软件都要被agent去用了。模型的能力的边界在哪里，其实就决定了你最终的那个基建。就像一个青春期的孩子不停的在长身体，你好像没办法为他量身定做一套合身的衣服。对对对，巨头都在打造全新的agent infra，这个好像是一个特别吸睛又特别决定未来的一个赛道。模型以后会是OS，这个操作系统足够的庞大，它会形成一个新的生态，大家第一目标就会去抢这个入口，OS是大家要争夺的焦点。

哈喽大家好，我是诗洁。我们正经历从模型时代到Agent时代的过渡，底层技术正在经历怎样的演变？国内和硅谷有着怎样重要的AI趋势？为什么这是工程师最好的时代？这期节目我邀请了百度智能云AI计算首席科学家王雁鹏，一起深入探讨Agent infra这个隐秘战场。接下来是我和王雁鹏的访谈，欢迎。

欢迎王雁鹏跟大家打个招呼吧。

大家好，我是王雁鹏，来自百度智能云。

可不可以先做一个自我介绍？

好的，我是2011年来到百度的，应该算是国内第一批在互联网公司做硬件的人。当时的时间节点是什么呢？就是第一次有互联网公司采购服务器的数量超过了1万台，也得花一大笔钱去买服务器。所以我们算是第一批进入互联网工作的、具有硬件背景的人。

后来我们踏上了云时代。搜索是当时最大的一个单体应用，我们就做了整个跟硬件相关的事情，包括自己做SSD、自己做CPU、硬盘，当然还有一条最主要的线，就是GPU。

所以在我整个工作生涯里面，基本上就是针对比较重要的负载去做全栈优化，从应用到算法到硬件，全站提升效率。

照顾到我的播客听众，我可能用一些比较通俗的话语给大家翻译一下。我是这么理解Infra这个工作的：我们要让AI跑起来、运作起来，Infra就像一个大的交通基建，而您就是总工程师的角色。可以这么理解吗？

可以这么理解。Infra这个工作其实是一个很古老的工作。如果我们讲得泛化一点，Infra是什么东西呢？其实就是抽象一个层次，这个层次要有足够的通用性。

从大了讲，比如今天的台积电，你说它是不是Infra？它也是Infra，是做制造的Infra，因为它的影响面足够大。

从更狭义一点的互联网视角来讲，最早大家更关注的是操作系统。像我念书的时候，大家说到的Infra基本上就是操作系统，研究Linux；再到后面是数据库，再到后面就是云。

1. AI Infra Goes Full Stack

但这一次AI Infra确实发生了很大的变化。大家原来更多接触的是操作系统、数据库、分布式系统等等，这些都是纯软件的概念。为什么呢？因为那时候是CPU时代，芯片已经给你固定好了。CPU本质上就是一个能够跑任何应用的芯片，而且可以比较均衡地跑各种应用，你不需要为每个应用去做深度优化。

所以你可以看到，我们前一代的Infra基本上全是软件视角。这一代AI Infra会有一个巨大的区别，就是我们是以GPU为核心来构建Infra的。

GPU是什么东西呢？它极大地释放了算力，但是牺牲了通用性。原来CPU可以做任何事情，但是GPU要想用好是非常困难的。它相当于把算力堆得很高，但是在各个场景、各个算法上能不能发挥出这些算力，其实需要很多很多工作。

所以，它把原来偏软件的Infra推向了软硬一体的Infra。这是我认为在AI Infra这一层，大家看到的最大的变化。做AI Infra的人，一定要从芯片的体系结构熟悉起，然后一路做上来。

不是原来只做算法，而是更强调硬件了。

对。

明白。我先说一下，为什么我找到您作为这一期的嘉宾。

我们今年其实一直在关注Agent的进展，我觉得做Infra、做基建的人，拥有的视角是更宏观的。您刚才讲，Infra就是要做抽象，肯定要了解整体生态，了解大家的趋势动向和技术最底层的逻辑，才能够做好Infra。

所以我觉得您可以给我们提供一个非常全面的视角，帮助我们理解这个时代的技术到底进展到什么程度了。那我先问一个我最感兴趣的问题：您作为一个Infra从业者，今年已经过去半年了，您到底在想些什么？

2. Agents Start Doing Real Work

今年大家可以看到的一个最大进步，就是所谓的Agent。Agent这个概念真正火起来了，对吧？年初从OpenClaw开始，这个概念真正火了起来。

ChatGPT是一个震惊世界的时刻，但从ChatGPT出来到今天的OpenClaw，大家可以看到，它真正进入了“完成任务”的环节。

对于Infra来说，完成任务意味着，我不再只是调用一个模型API去做推理，而是要完成一个真实的任务。完成一个真实的任务，意味着我得有一个完整的环境。今天人操作的所有基础设施、各种软件，都要被Agent、被AI使用。

当然，它使用这些东西的方式和人不一样。那这个时候，我们的基建怎么做？各种工具怎么搭建，才能更适合Agent去使用？我觉得这就是当前下一阶段最重要的事情。

我感觉整个科技生态里面虽然出现了一些还不错的应用，但还没有到真正让人特别“啊哈”的状态。因为我前几期刚好跟Agent创业者聊过，大家都有一个共识：现在的Agent是可用，但还没有到好用、安全、放心使用的阶段。

所以这个阶段其实充满了机遇和挑战。过去的成功者可能特别怕跌下神坛，担心被一个新的东西颠覆；新的创业者又特别怕自己做晚了，或者做早了白做，或者做出来的东西被巨头颠覆掉。

您有观察到这种趋势吗？

对。刚才说了，第一阶段就是ChatGPT的阶段。这个阶段大家已经感受到很多了，或者说现在很多人都是直接用ChatGPT去获取信息、收集信息，而且模型也趋于Agent化。

ChatGPT已经能帮大家解决很多生活中的问题。第二个阶段就是我们说的Agent，它确实可以帮助我们完成真实世界的任务。

但是我觉得第三个阶段，就是更广泛地使用。我认为它一定要进入生产环节，进入严肃任务的环节。

其实现在大家都有一个感受：拿现在的Agent去做一个Demo很容易，但是要做一个线上系统就很难。什么叫线上系统？就是说，它是一个能够稳定运行、能够覆盖各种边界条件、能够上线运行的系统，是一个让你放心使用的系统。

这种系统现在还比较少。另外一个问题是，完成某一部分工作相对容易，但是要做某一个岗位，目前还不行。

这反映出什么呢？就是说我们的生产环境还不够成熟，现在的能力，或者大家摸索出来的范式，还不足以快速开发这些东西。比如说，我去开发一个能够替代后端研发工程师的角色，现在行不行？其实还是不太行。

现在就处于这个阶段：Agent能完成任务，大家都会很笃定地认为这件事情一定可以，但这个能力我认为还没有到蓬勃发展的临界点。不过业内的共识是，Agent可以替代岗位、形成新的组织工作流，这件事一定会发生。我认为是的。

您觉得是什么制约了我们现在卡在“不够好用、不够安全、不能放心使用”的阶段？

3. Model Limits Shape Agent Infra

我认为是模型能力的边界。模型的能力边界在哪里，这件事情其实一直都在探索。

这就是为什么你刚才提到的那些Agent创业者，心里都很忐忑：我又不敢不做，但又怕做了白做。

其实这个事情已经发生过几轮了。最早ChatGPT刚出来的时候，当时比较有名的创业公司其实是在做Prompt工程，给你做各种创意生成，提供各种Prompt模板，帮助你做广告片、海报等等。那是第一波估值比较高的AI公司。

但后来模型能力提升了一点，这些Prompt可能就没那么重要了，这一波可能就没有了。接下来大家说，我要做Context Engineering。一个复杂任务可能在同一个上下文里搞不定，需要把它拆到不同的上下文里面，要有不同的角色、不同的工作流来解决。

所以在这个过程中，模型的能力边界在哪里，其实就决定了你最终的基建。

我们刚才说Infra是什么？Infra就是抽象一层，让这一层能够很好地屏蔽下面的东西，更好地服务上面的东西。这一层的概念要对下面有很好的抽象，对上面有很好的支撑。基于这个层次，我可以做各种不同的应用，做各种开发。

但是现在这一层在哪里，其实是不确定的，因为底层在不停进化。你的模型一直在变化，它有什么能力也一直在变化，所以你到底要抽象成什么，也一直在变化。

新时代的数据库是什么？上一个时代，很多应用绝大多数都构建在数据库这一层上面。那新一层类似数据库的东西，是不是今天的Memory系统？它到底要做成什么样子？其实这些事情还处在一个快速变化的过程中。

反过来，底层在变化，大家的开发范式也在变化。我认为这件事情还没有发展到能够广泛进入工业系统的阶段。

这就像一个青春期的孩子不停地在长身体，你好像没办法为他量身定做一套合身的衣服。

对，对，对。面对这么复杂的形势，您怎么办呢？

我们刚才说的是变化的东西，但我觉得还有很多不变的东西。百度云一直说，我们坚持的理念是芯模一体，以及四层架构协同发展。我觉得这就属于不变的东西。

大家说，现在模型的智力等于算力，算力等于电力。在这个推导下，如果模型要变得更好，就必须要有更好的算力；要有更好的算力，就必须要有更好的Infra，需要让单位Token成本更低。

在这个层面上，这是不变的。这就是我们对新时代偏算力的AI Infra的定义。

但是我刚才说了，光有这个东西可能还不够。我还得有一套运行时，也就是Runtime，让它能够在生产环境里大规模使用。我的Agent得可控、得可信任。

现在大家从Demo走向生产时，还会遇到一个问题：它是不是每一次执行的结果都一样、都是可重复的？这个也很重要。

所以在基础设施层面，我需要构建一套能够快速部署、快速开发、大规模运行的系统。有些确定的、不变的部分，可以先做。对，或者说，这适合底层云厂商，或者芯模一体的厂商去思考。

今年年初的OpenClaw，紧接着又出现了Manus，一连串Agent爆火。你们是怎么理解这些现象的？

4. OpenClaw Reveals The Harness

OpenClaw出来的时候，我们当时也分析过。第一感觉是，它好像没有什么特别，因为程序员的世界里，其实已经被震撼过一波了。

在它之前几个月，大家可以看到，Opus 4.5推出之后，包括配套的Claude Code，已经真的可以完成很多原来程序员的工作了。尤其是相对固定的工作，比如前端开发、写一个网站，或者做一个功能没那么复杂的App，这些东西已经能够被它替代。

我觉得那个时候对程序员圈子来说是一个很大的震撼。所以第一眼看OpenClaw时，会觉得好像也没什么特殊，因为它整体的运行框架其实还是那一套系统，或者说今天所谓的Harness。

这一套是指什么？

这套Harness拆解开来，一个是主循环，也就是Loop；再一个是它调用的工具；还有一个就是Memory系统。

这套东西之所以让大家感到有变化，是因为它把这几个东西相对固定下来了。Loop就是驱动任务不断循环的机制，其实是相对通用的。

说白了，就是让大模型去看上一步完成了什么，分析结果有什么问题，然后再走下一步；再检查一下有没有完成目标。Loop就是我的主循环。

完成几乎90%的任务，我都可以用这个Loop，而且不需要针对不同场景做太多泛化。我让大模型调用工具去完成一件事情，然后检查它的结果，再和我想要的标准做对比，看差距在哪里，然后开始下一步。

这套东西今天听起来好像很稀松平常，但这就是Claude Code，包括原来的Manus，其实都在做的通用范式。

还有一个范式，就是它用了非常底层的工具。你会看到，它用了文件系统。原来大家会想，我的Memory到底存在哪里？每一步的东西会存在哪里？最早兴起的不是RAG吗？我用RAG去做召回。

但是RAG相对不通用。在现在的Agent设计里，大家是基于文件系统的，基于文件来完成这件事。

为什么RAG不通用，但基于文件系统就通用？

因为文件系统可以存更多、更丰富的信息。RAG是一个外挂知识库，本质上还是一个数据库，我把相关的数据片段召回。

但是文件系统想存什么就存什么。RAG的范式相对固定：给它一个关键词，它就抽取和这个关键词相关的片段。但是文件系统像一个笔记本，可以记录你所有的工作流。今天想干什么、想写什么，都可以写进去。

而且这是一套非常底层的工作范式。完成任何工作都可以使用这套范式，所以它就变成了一个通用系统。我不用为每一个专用任务单独开发一套东西。

所以这套范式我认为是在Claude Code里出现的，但在Claude Code的视角里，它主要是为Coding服务的。

OpenClaw给我的第二个反应是，它确实是一个震撼人心的东西。后来我想了想，是因为它把这套东西进一步泛化到了更大的通用场景。

大家使用OpenClaw时可以感受到，它不像Claude Code那样，是程序员使用的冷冰冰的交互接口；它有记忆，还可以提供情绪价值。你甚至可以不用知道任何上下文，今天直接说“我想做一个网页”，它马上就能帮你做出来。

原来如果不是程序员，根本不知道从哪里下手。但它的价值在于，真的让人感觉AI可以成为一个人，可以像人一样完成你的各种任务。

我觉得它其实是把Coding那套东西产品化，也可以这么说，它把它变成了一个更好用的产品。它有记忆，可以帮你抽象出各种Skill并沉淀下来；在你没有任何知识储备的时候，也可以帮你去做一个你并不了解的领域的事情。

如果它具有这些特质，是不是一个人能完成的事情，它都能完成？

对，而且我觉得它还有一个进化，其实是人际关系的进化。因为它的角色化和拟人化，我可能会对它产生进一步的信任。

对，你可以把所有权限都交给它，可以放心让它去做更多的事情。它是把Coding这个场景变成了全场景，把能力提取出来，泛化成任务。

但是从OpenClaw之后，Manus又火了一波。它是不是在这个范式上又更进一步？

5. Manus Automates Skill Evolution

我个人觉得，Manus好像没有那么大的变化，但它确实做了一件非常好的事情，就是可以自动进化你的Skills。

这确实是一个痛点，因为你的Skill太多了，也不知道哪个好、哪个不好。“越用越聪明”这件事情到底能不能做成？我觉得它在这一点上做了很好的加强。

越用越聪明，在技术层面是怎么做到的？

它会定期反思。假设你今天完成了一些任务，它可以定期抽取你完成了哪些任务，分析第一次完成时哪里做得不好，你给了什么反馈，以及它有没有把事情做得更好。

它把这些东西整理起来，就会形成一个明天可以使用的、更好的Skill。

但我们在和Claude Code、Codex交互的时候，我也可以试图让它越用越聪明。我可以给它反馈，比如让它跑一个任务，然后告诉它哪里不好，再给它一个参考，它下一次也会进步。这两个好像是一样的。

对。所以这就是刚才我们聊的：它没有帮你做一个更拟人化的Memory，没有自动化地收集你的Skill，也没有自动化地帮你整理知识，更没有把这些能力做成一个个通用组件。

所以你刚才说得对。Manus也好，OpenClaw也好，都是在产品化的某一个方面，帮你解决了一个比较重大的问题，让你觉得它更加好用。

我有几个很好奇的问题。相信在未来的窗口期内，Agent会越来越多，会出现井喷。但我自己会好奇，Agent到底是会永远越来越多，还是可能会边际递减？

也就是说，到一个范式收敛的阶段之后，Agent的数量又会受到约束，让它们以最高效的数量进行协作。您觉得会是哪一种？

我个人觉得会是Agent越来越多。

现在大家看到的这种无序，我认为更多是在探讨、摸索Agent的边界。大家有不同的开发方式，但如果往后看，当Agent的能力边界相对确定之后，现在的大模型和Agent这一套，应该会变成类似今天操作系统的东西。

它会提供一个很好的Agent开发平台，在这个平台上会长出各种不同的场景和应用，效率会比原来高很多，很可能是数量级的提升。

这个判断是基于什么？

还是回到我们刚才探讨的问题：未来是不是一个模型就能完成所有工作？这个问题大家都很关心。

我认为模型以后会是OS。它是一个大脑，是一个OS，是一个非常聪明的大脑，IQ很高。但是想要完成一个任务，你得有每个任务的上下文、每个任务的记忆，以及每个任务的工作流。

每一项任务，你可能知道自己踩过哪些坑，专业Know-how在哪里。这套东西我认为不会被大模型完全吸收进去。大模型吸收的是你的思考方式、思考方法，以及工作的范式等等。

但是每一项具体工作的Know-how、Workflow、记忆能力，以及积累下来的数据，我觉得都会是不一样的。

基于这个判断，我认为会有很多Agent出现，替代各种不同的工作，形成各种组合，最终带来生产力爆发，或者说生产力真正井喷的结果。

通用大脑就跟一个天才一样。我们假定天才可以做任何事情，但是天才不会从Day 1开始就能够做任何事情，中间有一个学习成本是无论如何都要跨越的。

我理解，这个学习成本就是在模型、在这个通用大脑之上，应用可以做的事情。

对。对于每一项具体工作，你的一二三四步到底是什么样子，怎么样让交付的结果更好，这些东西我认为不能完全沉淀到模型里面去。

如果过去一个阶段，整个Infra的主力任务是如何更好地调用模型，从这个任务要跃迁到如何更好地支持更多Agent的工作，这个进化到底是在原来的Infra系统上打补丁、做升级，还是要彻底重构一个Infra？

6. Agent Infra Rebuilds The System

我觉得是两个方面。原来的AI Infra主要是为训练和推理服务的，它交付的产品界面就是一个训练集群和一个推理集群。

到了Agent时代，从AI Infra的角度来看，我肯定需要一个更强的推理集群。更重要的是，Agent时代的上下文会特别长。

原来Chat时代的上下文比较短，每次输入的东西比较少。在Agent时代，上下文会非常长。你看看现在最先进的模型，已经支持1M的上下文了。

过去如果用Chat的形式和模型交互，无非就是聊多一点、聊少一点，但再怎么聊，本质上还是一个聊天窗口的量。

但是如果让Agent帮你执行任务，它在过程中会浏览大量网页、外挂信息，还要调用各种各样的工具。这个消耗的Token比你跟它聊天要多得多。

执行完之后，我还要把所有上下文拿回来再给你。这意味着它的输入会非常长。所以现在其实是小步快跑：完成一个任务要迭代很多轮，先给你一轮反馈，再给一轮反馈。

有时候给这一轮反馈的是大模型自己。大模型再来看反馈是什么，然后决定下一步往哪里走。所以它对AI Infra的第一个冲击，就是上下文会特别特别长。

做硬件的同学都知道，这对系统的冲击其实很大。系统设计其实就是在平衡算力、网络和存储。在这个过程中，怎么样设计系统，才能支撑更长的上下文、更多的模型，包括支持更多的芯片，这些都会成为主线。

这条主线就是降低单位Token成本。

另外一层，Agent Infra本质上是为完成各种任务提供环境。Agent要能够适应多轮迭代，要足够安全、稳定，结果还要可复现。这些能力就是现在所谓的Agent Infra要做的一系列事情。

您刚刚提到了3个关键词：算力、网络、存储，也就是Infra的3大支柱。

像您刚才讲的这种变化，首先算力肯定消耗更多了；网络会更加复杂，因为海量Agent之间还要组团协作；存储方面，我们刚才讲到记忆和上下文会爆炸。这3个挑战怎么攻破呢？

对于我们来说，就需要支持更多元化的芯片。大家现在都是拼拼凑凑的，尤其在国内，大家可能都不够，那我怎么样让国产芯片用起来？

芯片设计其实是一个非常系统化的工程，里面有很多细节和取舍。这也是为什么NVIDIA今天这么强大的原因：它构建了一整套算力系统，让现在最先进的模型都在它的算力系统上跑出来。

其他厂商构建的芯片或多或少都会有区别，这就意味着它们在模型调用、推理等方面的表现会有差别。包括网络配比、存储配比，也都会有差别。

这套东西到底能不能用好，可能是我们要解决的问题。国外的Infra相对好一点，为什么？因为他们更多是在NVIDIA一家公司的技术栈上构建的，而且没有国内这样的限制。

国内可能就要面对更多元的芯片，要更海纳百川，形成多芯的局面。能不能把所有芯片都囊括进一套系统，并且更好地用起来？我们还要思考，不同地域的算力能不能被利用起来。

所以我们要面临更多芯片、更多地域，以及更多异构环境。这些都是要解决的问题。

那存储方面有什么挑战吗？

现在AI从GPU开始，其实就需要大量存储芯片。刚才讲到要存更多上下文，可能就要用更多内存，存储需求量会增加。尤其是高端存储，比如搭配GPU使用的HBM，这些东西其实都比较短缺。

存储又是一个非常周期性的行业，扩产不太容易，也有一定滞后性。你要投资一条存储产线，到能够生产出来，可能至少要经过2年；而且投资一条存储产线需要消耗很多钱。这也是为什么现在存储会涨价。

因为现在的产能是几年前做的，但这一波AI井喷，对存储和算力的需求都爆炸了。

而且你要知道，前些年存储需求一直在往下走，存储价格也一直在往下走。原来存储最大的驱动其实是消费电子，比如手机、电脑这些东西。

但手机、电脑已经很多年没有明显增长了，曲线已经比较平稳。所以整个存储产能长期相对供过于求，存储价格前些年一直处于下行趋势。

大家没有预料到这一轮AI会这么强劲，让这个已经相对平稳的行业突然又回到了春天，带动了整个行业的趋势变化。

回到Agent这个话题，今年大家看到的一个更大变局是，原来我们主要谈CPU，但如果Agent真的能够蓬勃发展，CPU的消耗应该也会发生变化。因为原来CPU搭建的系统是给人用的，现在Agent的调用会比人频繁得多。

这意味着，原来给人使用的工具，现在要改造成给Agent使用。Agent如果真的蓬勃发展，就会调用很多工具。

刚才我们说过，要完成一个任务，先用GPU思考，思考完之后就交给CPU去执行。执行完，它再把结果告诉你，你再交给它去做下一步，而且还可以并行执行。

Multi-Agent可以并发完成1,000个人的工作。每个Agent都要调用工具，调用原来的搜索API，但这些都是CPU的消耗。

所以这是一个重要指标：如果接下来CPU消耗量大量增加，就证明Agent在生产环境中有了更高速的落地。这是一个很好的信号。

从CPU消耗量可以窥见Agent到底有没有做好工作，是不是真的在干事，而不是一直思考。调用工具的指标和CPU是强关联的。

这算是存储这一块吗？存储这一块的挑战会是什么？

存储这一块，我们要把视角稍微放大一点，它应该一下子到芯片级别。不光是现在看到的SSD、内存，大家也会为推理去设计新的芯片。

这是整个推理系统的变化，而且这个变化会非常深刻，从芯片设计本身开始，到系统设计，再到软件设计，都会发生变化。

第三个就是网络。我们现在都在说Multi-Agent，要让海量Agent能够高效协作。在这样的语境下，网络会面临什么挑战？

我觉得反而Agent对网络没有太大变化。单纯聊Agent这件事，网络现在核心追求的，其实是超节点。

NVIDIA也会推出超节点。能不能给我们解释一下，什么是超节点？

原来一台服务器基本上就是8块GPU，这也有物理限制，基本上在一台服务器里只能放这么多。在这8个GPU里面，会通过高速互联把它们连接起来。

但是现在会发现，8块GPU不够了，所以希望通过高速总线，把原来机内的高速总线扩展到更大的规模，这就是现在的超节点。

从物理上看，我可能扩展到一个机柜，甚至一个机房，都拥有超高速互联。它的核心，是把原来机内的总线扩展到集群总线上。

最终达到的效果，就是通信带宽提升10倍或者几十倍。

那为什么说对网络没有太大挑战？

超节点是一个趋势，但有没有Agent，我认为它都会做。或者说，我们现在不是也已经在做了吗？

单纯讲Agent这件事，我现在还没有看到它会带来连接范式的变化。

回到我最初的问题：我们现在肯定需要一套全新的Agent Infra。它和上一个时代的AI Infra是什么关系？是并存、打补丁，还是其他方式？

我觉得是扩展关系。上一个时代AI Infra的工作，在现在变成了一个基座，它的目的就是提供更便宜的Token。

在这个基础上，我刚才说的那套运行时环境，是为Agent设计的一套可运行系统。所以，回答你的问题，它应该是延展关系。

我们看到巨头的风向是，他们都在打造全新的AI和Agent Infra。这个好像是一个特别吸睛、又特别决定未来的赛道，是这样吗？

7. Giants Compete For The AI OS

我觉得是。为什么这一轮AI里面，Infra变成了这么重要的位置？

我们原来说的IT，更多是服务互联网的。互联网IT其实是一个成本项，服务1万个用户和服务1亿个用户，成本消耗其实差别不大，它没有太强的边际成本。

但在AI时代，这一轮AI是算力的突破，然后才让我们发现了一个通用算法。所以它天然和算力绑定，智能其实等于算力，它天然就变成了生产资料。

这也是大家在谈中美差距时，为什么一路推演到电力。大家一推演发现，哎，中国的电力好像比美国要强厉害，对，大家会发现，软件相对容易做，所以做软件的人更多；模型好像也没有那么难；芯片相对难一点，但设计一颗芯片现在其实也还可以；流片更难一点；再往下，电力就更难了。

往下推导的时候你会发现，从软件到硬件，越往下越困难。不光需要人才，还要投入大量资源，不是一天两天能够建立起来的。它越往下走，越是重资产。

所以大家都在重金投入Infra，或者对Infra给予足够关注，这就是本质原因。

硅谷现在最炙手可热的几家巨头，应该都在Infra层面有所布局。但做法好像不太一样。您有关注英伟达、Google，以及大家最关注的OpenAI和Anthropic吗？他们应该都有不同的做法。

巨头一定会往下做，也就是我们说的芯模一体、垂直整合。我觉得这是所有巨头都会走的路。

从上往下看，以模型为核心，把模型、Agent、Infra这些东西加在一起，会形成一个OS层。这个操作系统足够庞大，会形成一个新的生态。

在这个生态下面，就有机会继续往下做整合。所以现在大家的第一目标，就是争夺这个入口。OS是大家要争夺的焦点。

这个入口指的是什么？

这个入口就是，大家基于我的系统去开发应用，开发完之后还能在我的系统上高效运行。这是我认为大家现在要争夺的入口级机会。

所以实际上能够争夺入口的，还是这些大厂。

往后看可能还是这样。但每一家的做法不一样，我认为这是因为软件世界和硬件世界之间存在Gap。

你是一个软件公司，想把芯片做好，挑战其实挺大。它的工作模式和方式不一样，你投入的重点、关注的重点，以及周期都不一样。

做一颗芯片，要到2年半以后才能出来。大家经常谈垂直整合时会说，今天我知道模型往哪里走，就能够定义一颗更好的芯片。这个从逻辑上来说当然是对的，但实际操作里面有很大的不确定性。

我今天根据模型定义了这颗芯片，2年半之后芯片出来了，它还满足不满足这个模型的需求？很大程度上是不一定的。

所以我想说的是，大家都会想走垂直整合这条路，但真正走的时候，怎么保证这项整合成功？这件事情大家都会尝试，但能不能真正做好，还有很大的不确定性。这也是每家公司禀赋不同带来的差异。

为什么大家觉得今天Google做得比较好？尤其是去年GPT-5出来之前，大家都觉得它有点掉队了；但GPT-5出来之后，大家又觉得它一下子行了。

我觉得很大的一个因素，是Google的TPU已经做了快10年。它的软件栈和整个模型都是通过JAX来做的，也没有复用PyTorch那套东西。它的Infra是自己的，模型也是自己的，所以它是真正的芯模一体化。

而且因为它自研芯片，理论上芯片成本也会更低一些。所以大家就觉得它很强大，变成了AI竞争里的一个基石。

Google多年前做的整个垂直整合布局，在这一代终于奏效了。

所以Google是垂直整合派。

对。它有能力做垂直整合，天然会在这几层持续发力。你会看到它的内功比较深厚，好像每一层都没有短板。既然没有短板，就没有理由怀疑它的模型一定做不好。

但最近这两个月，Codex也追上来了，OpenAI好像聚焦之后又行了。大家又开始说，Google不行了，已经是一个老厂了。我又听到这样的声音，您怎么看？

我个人觉得，这和当年GPT-5出来之前的情况是一样的。我还是认为，Google有这么深厚的全栈能力积累，它没有理由做不好。

就好比Anthropic，它成功很大程度上是因为两年前确定了方向：我就做Coding，聚焦做这一件事。

但对于Google来说，既然我有这么强的积累和底座能力，我可能会同时支持几个方向做好。我可以稍微比你慢一点，我还是倾向于这种判断。

我看到英伟达也在做这一整层的布局。

所以NVIDIA确实是一家非常值得敬佩的公司。它是从传统芯片行业做起来的。

CPU时代其实是被英特尔那套东西锁死的。大家经常听到摩尔定律，摩尔定律背后是什么？背后就是在CPU这一层做了一个非常良好的切分：我只需要把CPU的晶体管越堆越多，CPU性能就能提升，上面的应用不需要改，性能自然就会提升。

所以大家只会听到摩尔定律。摩尔定律驱动了整个IT世界的发展，它其实把这一层锁死了。

但NVIDIA从第一天开始，就不断试图打破这个边界。当然，它也押中了AI这条路。你会发现，NVIDIA今天已经不是一家芯片公司，而是一家系统公司。

它的整个生态里，除了芯片，还有互联、网络，包括现在做CPU、超节点、整机柜。你会发现它做了一个庞大的系统。

包括CUDA、各种算子，以及针对各种模型的优化。你要知道，这些东西都很难做。

它打破了原来软件和硬件之间的边界。刚才讲过，CPU时代换一颗CPU，上面的软件不用改；但现在换每一代GPU，上面的软件都要大改，软件适配工作非常多。

当然，NVIDIA帮你做了很多。刚才聊到垂直整合，它就是一个很好的例子：从芯片做到系统，做到互联，做到存储，做到CPU，再做到软件。

这是NVIDIA今天强大的原因。你的模型从第一天开始就是在它的系统上做出来的，或者说，最先进的模型是在它提供的最先进系统上做出来的。你很难自己定义系统，只能使用它给你的系统，才能做出最先进的模型。

但我理解，这也是它现在面对一些隐形挑战的原因。大量需求只能被迫接受NVIDIA给出的产品，但它提供的产品不一定是最优解。

现在也有很多创业公司，包括博通，在围绕其他缝隙做一些新的方向和产品。

8. Inference Opens A New Front

我个人觉得，这还是挺难的。你是在它提供的系统上做出最先进的模型，而这个最先进的模型还在不断迭代，它也在不断推出新的东西。你怎么保证自己做出来的东西比它还好呢？

大家永远都在追赶。这是一个先有鸡还是先有蛋的问题：今天最先进的模型，是由最先进的硬件系统催生出来的。我觉得这是NVIDIA今天如此强大的原因。

但你说有没有缝隙？我认为有。第一个大的机会就在推理系统。

推理相对来说是这样的：模型已经训练出来了，这个时候我不一定完全要用它那套东西，我有时间再去做一颗专门用于推理的芯片。

所以我认为这是一个大的机会。包括NVIDIA自己，你看它为什么收购Groq？也是希望在推理上做更大的变革，推出一套推理系统。

今天来看，它的系统还是最强大的。但刚才讲到推理，我认为这里有机会出现不一样的玩家，或者不一样的巨头。

英伟达作为芯片厂商去做Infra，和Google全栈去做Infra，本质的区别是什么？

Google相当于有自己的一套东西，它整个系统其实是为Google自己服务的。

如果今天你是一个创业者，去使用TPU，我相信不会那么好用，因为它缺乏刚才说的软件生态。算力可能有50%被浪费了。

其实这个50%我觉得都是低估的。如果在上面算子写得不好、系统做得不好，可能80%的算力都发挥不出来。因为它不是为你做的，它只是为自己做的。

但是NVIDIA今天所有最先进的模型都是基于它做出来的，所以它的整套东西自然相对完备。你在上面可以组合出很多创新模式。

这也回应了为什么我觉得训练系统很难打破它的生态。即使Google今天做得这么好，把TPU提供给别人做训练，仍然是一件很困难的事情。

那OpenAI和Anthropic这两家明星公司，在Infra层面的思路，和前面两个巨头又有什么不同？

我个人看到的不一定全面。对于Anthropic来说，它现在的重心更多是把模型做好，把模型OS这一套系统做好。

你看它现在的Claude Code，我认为确实是领先的。这套东西大家都在追赶，Codex也好，其他产品也好，我觉得都在追赶它。

它在这一块发力比较明显，希望把入口做得更强大。Coding就是它最强大的入口，是高价值任务的底层能力。

之前OpenAI追求的也是DAU这些偏用户侧产品的指标，但现在也转向追求Token消耗，本质上也是为了往价值结果上转。

所以我认为Anthropic现在的策略还是聚焦在这个方向：帮助你完成高价值任务，建设一套Infra。这套Infra包括模型，以及模型之上的Harness。

你在这个基础上开发高价值任务，我觉得它现在更多是聚焦于此。至于下面的生产资料，它也知道很重要，所以采取的策略就是和各大厂商签订协议。

我可以让各个云厂商，包括亚马逊、Google，给我提供算力。我可以买TPU，也可以买亚马逊的芯片，保证算力供给安全。

当然，它自然也会具备使用各种芯片的能力，也会去建设相关系统。但至少现在来看，我还没看到它在自研芯片方面有明显投入。

Anthropic是刚才提到的这些公司里相对比较轻资产的。它没有投资建厂，也没有像OpenAI那样去做“星际之门”，而是通过轻资产合作的方式建立生态。

市面上还有几家云厂商可以给它供给算力，这件事短期内可能还不是生死攸关的。那它就可以更聚焦地做自己现在最想做的事情。

我猜测，同样都是训练最强大的SOTA基座模型，为什么OpenAI好像把这件事情看成生死攸关，去搞算力、建Infra？

你看OpenAI的打法，它一上来采取的各种策略，还是生态平台型打法。之前很多动作其实都想往这个方向走。大家说它更想成为Google，我认为它骨子里一开始就想做一家生态型企业。

你看它之前推出过GPTs，还记得吗？还有GPT Store，当时它想对标App Store。它的发力点，是希望先把所有人拉进这个生态。

所有人在这个生态里形成黏性之后，生态的力量自然就发挥出来了。如果按照这个逻辑，就能理解它为什么会和博通合作做芯片、投资芯片。

另一方面，生产资料也得把握在自己手里。人民用脚投票，然后形成生态。

当年OpenAI可能是希望，占据入口之后，大家越用越好用，生态就做起来了。

Google形成生态，是因为某一项长板特别好用、人民用脚投票，还是因为它整套生态打法本身就奏效了？

这两方面都有。搜索确实是一个用户产品，大家觉得好用，自然就会有黏性。

它不像微信那样有很强的联系，但又有一个技术迭代的属性在里面。为什么今天你会发现Google的四层技术都很强，每一层都很强？

因为它做搜索时，也在这些方面持续发力。它对外呈现的产品形态其实比较简单，就是一个搜索框，但背后是一个非常庞大的系统。

对于所有做Infra的人来说，英伟达3月份的GTC是一定会关注的。您从中获取到了什么风向？您觉得今年重要的是训练系统，还是推理系统？

你会发现，今年NVIDIA讲得最多的也是推理系统。

它推出了GPU和收购的Groq的LPU相结合的混合推理方案，这是它现在投入的重点之一。

另外一个重点是，如果Agent时代真的要到来，CPU的需求也会更多。所以今年它还推出了自己设计的CPU。

这是我看到的GTC释放出来的两个比较大的方向。

您有没有关注到，哪些明星独角兽在做哪些方面的创新？

具体哪一家我就不说了。从趋势上来讲，这一波大家第一个关注点就是推理芯片，以Groq为代表。Groq后来被NVIDIA收购了，但它只代表一个技术方向，在这个方向上其实有各种不同尝试。

再就是Infra本身。我觉得现在也有一些做得比较好的公司，比如Fireworks。刚才说过，要想把这些芯片用起来其实很困难。

怎么样提升Infra的效率，把每一滴算力的性能都发挥出来，这里面还有很多工作。怎样把各种芯片都发挥好，降低最终呈现给大家的Token成本，这里面也有很多功夫。

我看到一家很有趣的公司，叫Pinecone。它做的是Agent时代的记忆存储Infra，让Agent以更快的速度、更低的成本、更灵活地找到所需要的记忆，更好地实现模型经济性。这是一个挺有意思的方向。

在Agent Infra里面，可以大概分成几个部分。

一个是运行时环境：怎么搭建这个环境，包括Sandbox、沙箱等。它要能够快速启停，还要有更好的安全边界。

另一个是怎么编排。什么叫编排？我们有记忆系统、沙箱执行系统，还有大模型的思考系统，这些东西怎么样部署到环境里，让它稳定、高效、可复现地运行？这些是编排系统要解决的事情。

然后记忆系统肯定也是一个很关键的事情：我记什么，怎么样把需要的东西抽取回来？

但这一块的问题在于，开发范式还没有确定。今天的Memory系统是不是上一个时代的数据库？至少现在我们还没看到答案，也还不知道什么样的Memory能够承担这个职责。这一层到底存不存在，我觉得都还在变化，大家还处于探索期。

我们说Infra其实是一个技术时代的支撑系统。但是当底层技术还在变化、还没有到达天花板的时候，所有做支撑系统的人都要非常灵活。

可能每隔很短一段时间，就要重新Review一下过去的战略是不是正确。

做应用的人，应该找到一个痛点，快速做出产品，让产品满足一部分人的需求。但做Infra的人，更应该思考这一层抽象能不能涵盖更多需求，能不能更好地支撑大家进行各种开发。

尤其在我们今天这个时代，我觉得已经变化了好几轮。最早是LangChain，不知道您听说过没有？

听过。它做Workflow编排，那时候听起来也比较Make Sense。要完成一个任务，需要多轮调用，就需要把它编排到一个工作流里面。

但最后大家发现，用它解决不了复杂任务的问题，于是变成了Agent Loop。完成这个Loop，不需要那种非常精细的Workflow。

我听下来，今天的巨头确实都挺捏一把汗的。他们投入的赌注需要更大，但又不得不参与这场重要的游戏，可所有人都还在看天走路。

我个人觉得，以后的格局现在还不好说。但大家现在笃定的是，这一轮AI确实是一场生产力革命。

至于最后的局势到底是一家公司把这个东西全部做完，还是剩下几个寡头，我认为还不好判断。真的有可能一家全部做完吗？我也不好说，不排除这种可能。

就好比代工这件事，后来基本上是台积电一家做起来的。其他家虽然有三星、英特尔，但相对来说都少一些。

我们刚才聊了很多技术底层原理和严峻的局势，现在把目光拉回国内看一看。

我之前听到一种说法，国内的Infra环境跟海外很不一样，是这样吗？

9. China Builds Its Own Route

一方面，我们的芯片环境不一样。国外绝大多数还是在NVIDIA生态上，更统一。国内天然要考虑国产芯片，要做更多多芯适配，所以确实存在差别。

但我觉得好的方面是，现在中国的开源远远领先于美国。开源带来的好处，就是大家真的能够共同进步。

你比如说，今天大家其实不知道几家闭源模型的结构是什么样子，那我的芯片到底怎么设计？其实我是不知道的。

但国内开源生态很蓬勃。现在领先的几个模型、反响最好的几个模型，其实都是开源的。所以我知道它的架构往哪里走。

由于开源，国内模型的发展进度条是更透明的。

对。我们能知道模型架构往哪里走、怎么变化等等，这些其实更透明。

如果你做一家创业公司，到底怎么去跟随它的需求？包括刚才聊到的博通，博通怎么知道模型会往哪一步走？OpenAI告诉它可能可以，但如果ASIC做得最好，那它设计的东西可能就会有偏差。

所以中国的Infra一定会有自己的路径吗？

我认为，在芯片更多元、模型开源更开放的情况下，中国会走出自己的路径。

这意味着我们的芯片选择可能不完全一样，但做出来的东西同样能够完成目标，也能实现更低的Token成本。这些都是有可能实现的。

如果Infra的路径有可能完全是一条中国自己的路径，它会不会也影响中国的AI路径？会不会有一些确定性的轨迹可以寻找？

我觉得现在可能还没有确定的轨迹。大家都在里面寻找平衡点：国产芯片到底行不行？大家会去寻找破局点。

你看，华为前几天不是还说了“木桶定律”吗？

木桶定律是说什么？

就是说，在芯片制程受到制约的时候，可以通过芯片架构以及其他方面的设计，做出一个更强的系统。大家也在想各种方法。

在现在的情况下，我相信中国的AI市场和人才是足够的。大家会在这个形势下走出自己的路，或者想出新的方法。

在AI时代，这些积累自然会发挥更大的价值。包括我们的昆仑芯，应该是2009年或者2010年就开始做了。

当然最早没有直接做芯片，是做FPGA。

对。但我想说的是，从那个时候开始，我们的思路就是一下子深入硬件，想办法深入到底层。

当时优化的是搜索Workload，只是今天从搜索Workload变成了AI Workload。相对其他一些公司来说，我们可能在这方面有更多可以发挥的空间。

但你需要一些突破口。上一个时代，拥有超大应用的公司，本质上都会往Infra做，大家都在提供类似的服务。今天也所有人都在喊，要给Agent打造环境。

你们希望做出的特色是什么？

第一点，我就是要提供更高效的算力效率和Token效率。大家都想往下做，但不代表你能把它做好，或者能在正确的时间点把它做好。这里面还有很多事情，我们会在这上面发力。

第二点，现在云是我们一个很重要的业务出口。希望有更多客户和我们一起把这套生态做得更好，大家一起做下一代真正的爆款应用。

下一代爆款应用是不是从我们的系统、从我们的云上长出来的？包括现在的Agent，以及具身智能的客户，这些其实都是我们发力的方向。

我们希望在他们还比较小的时候就和他们合作。如果他们是在我们的云上成长起来的，那我觉得我们这套东西可能就更有竞争力。

我们可以讲得远一点。你看台积电是怎么起来的？台积电当年也是一家小公司，就是因为某一单业务——当时具体跟谁合作我记不清了——做出一款产品之后，发展到了今天。

在它还比较小的时候，就要和未来的明星公司、和未来的巨头走在一起。

现在像Groq、Browserbase，硅谷很多公司都在重新定义Infra的指标。前阵子百度的大会上，Robin也提出了一个新指标，叫Daily Active Agents，也就是DAA。你们现在是怎么定义这个指标的？

特别明确的，是Token效率指标；不那么明确的，就是我们刚才说的，要用DAA这个指标来牵引。

从底层来看，我们的效率指标是一个非常明确的牵引，指引着我们往下走，指引我们去做冰山下面那一大坨东西。

我觉得DAA这个指标，则是从上面衡量任务的一个指引。前一段时间大家都在用Token衡量，但大家会发现，Token很快就被玩坏了。我拿Token去做一些没用的事情，那Token消耗就没有价值。

所以DAA这个指标，是帮助我们指引真实完成的任务，以及任务产生的价值。你能够长时间运行这个任务，代表这个任务是有价值的。这个价值乘以数量，就是最终创造的价值总量。

再往下走，怎么样让更多Agent开发出来？第一步得让人开发得足够快；第二步得让它运行得比较顺利，不要总出错，出错了也可以自动恢复，结果还可以检查。

另一方面，从任务价值的角度，我们也会区分任务的难易和价值高低。价值高的任务，我就可以投入更多功夫去做，不能只是为了数量。

我要把高价值的任务做进DAA里面，变成Daily Active Agent，这也是指引我们的一个方向。

刚才说了，模型调用是一方面，能够使用各种不同的模型也是一方面。第一步，我先让高价值任务可用、能够运行；如果它可用了，再想办法让它使用更多模型、使用成本更低的模型。这也是一条路径。

这些云厂商也好，超级大厂也好，在过去相当长一段时间里，肯定是希望你消耗越多Token越好，因为我就是水电公司，你消耗的Token越多，我就越赚钱。

但是在你们这个指标里，不再用Token数量去绝对衡量，而是更衡量这些Token到底有没有被用好。这是一个转变吗？

首先，如果大家无脑使用Token，我们肯定很开心，闭眼赚钱。但这只是一个梦想。

大家发现Token用得不好时，谁还会持续使用？这就有点“狼来了”的意思。

现在可能大家有点恐慌。为什么要强调Harness？因为如果不界定，它可能一下子烧掉最多的钱，账单太可怕了。

对。所以不能做杀鸡取卵的事情，不能利用大家的恐慌心理，让大家都来烧Token，那肯定不可持续。

我们也清楚这一点，还是要想办法让大家真正创造价值。我觉得这才是我们一直在追求的东西。

其实这个事情已经变了好几轮。回顾一下，大模型刚出来的时候，我们说要赋能千行百业，当时的做法其实是做模型微调、做专家模型。

那时候百度云投入了大量精力去帮助大家做专家模型，因为当时觉得大模型能力不够，必须把各个行业的知识训练进去。

但今天看，那条路已经行不通了。我想表达的是，我们一直在追求提供一个平台、一个东西，帮助大家更蓬勃地把应用做起来。至于这个东西的产品功能在哪里、边界在哪里，还处在变化过程中。

10. Infra Enters Its Exploration Era

最后聊一些轻松的。还原到您个人层面，过去半年到1年，有什么事情真的让您特别兴奋、觉得特别好玩？

我觉得对做Infra的同学来说，看到这些变化，看到有很多可选项，其实就已经很兴奋了。

之前跟你讲过，CPU时代其实不会在芯片层面去想什么工作。到了AI时代，你会发现可以做很多系统层面的事情；到了Agent时代，又要做更不一样的系统。

我们刚才说到Agent OS这一层抽象。我觉得这对做系统的人来说是值得兴奋的：从原来刻板的效率提升，突然进入一个开放式的探索空间。能做的探索比原来大很多，能做的选择和判断也多很多。

而且影响更加大了，意味着束缚变少了。这个东西能让人有更大的兴奋感，所以我觉得这也贯穿了我们今天的话题。

Agent Infra之后，Infra的范围其实变得更大了，往上、往下都会走得更深入。现在是Infra的探险乐园时代。

往大一点讲，现在整个研究范式都在工程化。即使做算法，也是在用工程化的方式做算法。

现在大家都是Transformer架构，拼的已经不是灵光一闪的那个逻辑了。要把算法做好、把Infra做好、把Agent做好，都要搭建一套工程架构，都要有一套体系来驱动工作更好地完成。

对于做工程的人来说，这是一个值得兴奋的时代。传统上大家会区分做算法的人和做工程的人，但今天用工程的方法去解决更复杂、更多、更广泛的问题，对做工程的同学来说，我觉得这就是一个更好的时代。