# 从算力到规模 AI基础设施的未来｜对话 Google 工程副总裁 Bill Jia 硅谷坐标 Silicon Valley Vector · 2026-10-19 · 24 min · https://www.xiaoyuzhoufm.com/episode/6ad5ab02641ef406308dc87c ## 逐字稿 Bill Jia 未来 AI 的需求会不断增大，大家对此都有共识。因此，现在为 AI 做基础建设是完全必要的。 曹卿云 Qingyun Cao 你在 infra 这个位置上，有没有看到什么比较好的创业机会？ Bill Jia 如果我在 infrastructure 赛道里，一定会投资于 devices，以及某种能够非常高效、可扩展地做这件事的 agents。我觉得 memory 仍然会很短缺。进入 agentic era 以后，AI 对 CPU 的要求也会增加，对 memory 的要求会更多，还会需要大量的 flash 和 hard drive storage。 曹卿云 Qingyun Cao 刚刚我们的 fireside chat，你可以跟我们 recap 一下吗？今天讲了哪些核心内容？ Bill Jia 主要讲了三四点。第一，大家觉得现在主要的高科技公司都非常注重 CapEx 投入，大力加强 AI 基础算力建设。我们的总结是，这种投入非常必要，因为总体来说，AI 的发展其实还很早期。 曹卿云 Qingyun Cao 嗯。 Bill Jia 如果展望未来，AI 在 1 年、2 年、3 年、5 年、10 年、20 年后都还会处于高速发展的阶段。所以，AI 的需求会不断增大。大家都这样预测，我们也有共识：现在为 AI 做基础建设是完全必要的。 曹卿云 Qingyun Cao 嗯哼。 Bill Jia 这是第一点。第二，AI 基础建设，不管是建模型、训练、后训练，还是推理，都是一个很耗时、耗材、耗力的过程。讨论的第二个问题是，怎么通过硬件和软件优化把成本降下来。大家都很想齐心协力把这件事做好，因为过去一两年里已经做了很多硬件和软件优化，效果也很明显。 Performance per watt、performance per dollar，还有 dollar per intelligence，这些指标都在向好的方向发展，也就是说，支持 AI 训练和推理的成本在逐渐降低。我们的共识是，未来还有很多工作可以做，大家可以齐心协力把成本降下来，让 AI 更 affordable。让 AI 更 affordable 是一个小问题，关键是让大家能够充分加速 innovation。 第三，AI 还是有安全隐患的。AI 模型是大语言模型，是 neural network，设计上非常合理，运行得很好。但因为它是神经网络，所以非常复杂。 曹卿云 Qingyun Cao 嗯。 Bill Jia 从根本上说，它还是一个 black box。We don’t understand why it works this way。如果我们不明白它为什么这样运作，它的行为就很难控制。我们可以降低很多风险，但它仍然有风险。大家想讨论的是，怎么形成一个联盟来 control AI，让 safety 和 security safeguards 更容易得到落实。 我们觉得，AI 训练完成、排除故障和安全隐患之后，在推理阶段目前还不算太糟糕，至少到目前为止是这样。当然，未来可能会有更多隐患。更多隐患存在于 AI 刚训练好、我们还不知道它到底怎么运作的时候，也就是测试、评估以及在 sandbox environment 里运行的时候，它可能会有一些非常不可预测的行为。 怎么把测试、验证和评估的环境保护得更安全，让 sandbox 更加 containerized、筑起一道墙，不让它乱跑？这主要是讨论成本、模型和软硬件优化，以及如何尽可能减少 AI 的安全隐患这三个方面的问题。 曹卿云 Qingyun Cao 大家在算力这件事上，各家的 frontier lab 都投入了很多钱。你觉得 CapEx 投入还处在比较早期，而且这些公司应该持续投入吗？我们也看到谷歌的 balance sheet 都是负的，大家现在比较担心的是，CapEx 投入这么多，但 revenue 还没看到。你觉得这可能是 pacing、timing 的问题吗？ Bill Jia 我觉得主要有两点，刚才也谈到了。第一，AI 的需求还是巨大无比，未来还会增长 10 倍、100 倍、1,000 倍。 曹卿云 Qingyun Cao 嗯。 Bill Jia 如果未来 AI 的需求巨大、会激增，那现在就应该投资。因为如果我不投资，别人投资，等到以后需求上来了，自己却没有办法满足需求，而别人能满足，这就是一个大问题。所以这件事肯定要先做。 第二，投入这么多之后，怎么用更 cost-efficient 的方式去满足需求，并把它变成 positive cash flow？怎么让这个 model 质量更高、成本更低，提高 intelligence、减少 FLOPs？另外，软件方面其实还有很多优化空间，包括 networking、memory caching、compute 和 storage 等。也就是说，model 和硬件不变，通过软件优化也可以把成本降下来。 第三，硬件本身也可以变得更便宜。在大家齐心协力的情况下，我认为未来一定会有成本更低的方式来满足巨大的需求，效果更好，成本也更低，所以最终能够变成 positive cash flow。只要能继续坚持优化，暂时的 cash flow negative 是不用怕的。 曹卿云 Qingyun Cao 所以，CapEx 投入的节奏会跟 cost optimization、应用收入这些方面找一个比较好的平衡，在健康的 balance 下继续可持续地投入。你刚刚也讲到推理优化还有很多空间。如果今天你要出来创业，在 infra 这个位置上，有没有什么比较好的创业机会？特别是跟大厂相比，大家都很担心大厂有各种优势。你觉得 startup 有哪些机会可以做得更好？ Bill Jia 我觉得已经有很多很好的创业公司了，比如 Fireworks、BLM，还有创业公司 Infer Act。刚才那位邦华是一个 panelist，是 Infer Act 的创始人，也是 RedisArc（S line）这个 inference framework 的创始人。这些公司都已经做得很好。 做 inference，归根结底就是要让 model 跑得更快、成本更低，也更优化。现在其实可以 leverage AI 来做很多事情。如果做一个 AI agent，它可以把 inference 的 performance、reliability 和 scalability 做得非常好。 如果我要做创业公司，一定会投资开发一个用于 inference 的 agent。它可以根据不同硬件做优化，不管是 NVIDIA GPU、AMD GPU、Google TPU，还是 AWS 的 training；也不管是什么 model。model 和 hardware 的组合是 N 乘以 M，是一个非常大的数字。每一种组合都靠人力做优化，very, very unscalable；但开发一个 agent 来做优化，就会 very, very cheap and also scalable。 所以，如果我在 inference 赛道里，一定会投资开发这类 agent，用非常高效、可扩展的方式做 inference optimization。 曹卿云 Qingyun Cao 所以你觉得这件事不会被大厂做掉，而是会由创业公司来做？ Bill Jia 我觉得大厂也会做，但有时候大厂不缺钱，做这件事不一定会做得最好。我觉得有一些 brilliant minds，既 enthusiastic、very passionate，又 skillful、very expert，成立 startup 来做这件事，有时候会做得更快、更好。 曹卿云 Qingyun Cao 明年新增的 40 GW 算力，已经超过现在市场上所有存量算力了。你怎么看供给侧的瓶颈？你觉得明年这 40 GW 算力能到位吗？ Bill Jia 到底是 40 GW、30 GW 还是 5 GW，具体数字我也不是很清楚。但这个趋势是肯定的：明年会有很多 gigawatts 的数据中心算力上线。 曹卿云 Qingyun Cao 嗯。 Bill Jia 但具体能不能上线，我觉得瓶颈还是在电力上。现在主要还是用 natural gas、coal 和 crude oil 发电。solar 和 wind 还不够 scalable，也不够高效。要找到 natural gas、coal、crude oil 来发电，其实全世界能提供这类电力的地方都很有限。 曹卿云 Qingyun Cao 嗯。 Bill Jia 再加上现在有一些政治气候方面的因素。AI 数据中心确实会消耗很多电、产生很多热，也会有噪音，因此会引起周边社区的一些担忧。美国有些州会说：“我不欢迎你们在我州建 AI 数据中心。”所以我觉得短时间内电力会是一个瓶颈，不管从技术角度还是政治层面来说都是如此，这并不意外。 我觉得科技行业的领导者和监管机构应该坐下来，一起解决这个问题。从长远来看，如果能在太空建数据中心，那是一个 moonshot，很遥远的目标，但如果能实现就太好了。更现实一点的方案，是怎么用氢能、核能发电；这两种能源都可以非常 cost-efficient、energy-efficient，而且是 green energy。 曹卿云 Qingyun Cao 谷歌内部怎么看电力问题最后会怎么解决？ Bill Jia 谷歌内部的态度是，一定会投资。我们还是希望跟政府一起，不管是美国政府还是其他国家的政府，齐心协力解决电力问题。 曹卿云 Qingyun Cao 所以之后数据中心新增的算力，还是会建在能源丰富的地方？ Bill Jia 就像采油一样，到没有油的地方采油是没有用的。一定要到能够提供能源的地方去建这些数据中心。 曹卿云 Qingyun Cao 刚刚我们讲了供给侧。需求侧这边，我们现在看到行业算力可能一半用于训练、一半用于推理。未来需求的比例你怎么看？Coding 是一个场景，未来还有哪些场景？ Bill Jia 我觉得很难说现在是推理和训练各占 50%。有可能推理已经超过 training。当然，现在有一个大的方向叫 recursive self-improvement，也就是 reinforcement learning，它又增加了训练算力。但从长远来看，一个大趋势还是推理算力会越来越多。 Training 只是一次或几次投资，但 inference 面对的是 billions of users 和很多不同的应用，所以未来的需求主要会在 inference 上。如果现在是五五开，长期来看一定会变成四六、三七、二八这样的比例。只要应用上来、消费量上去，推理占比一定会上升。 Coding 现在在垂直领域里是一个很成功的场景，不仅在 enterprise，也有非常成功的 consumer products。我觉得以后还会有更多垂直领域的成功案例。比如用 AI 做 financial analysis、financial investments，我觉得它肯定会比 quantitative financial analysis 做得好，因为 AI 的分析能力很强。 AI 做 legal service 也会很好，因为法律这件事非常严谨。AI 做分析肯定会比人做得好。AI for medical、AI for biology 也一定会做得更好。现在 autonomous driving 也是一个很成熟的领域，比如 Waymo 和 Tesla 的 self-driving car 已经很成熟了。 所以我觉得世界上每一辆车至少配备 full self-driving function，只是时间问题。传统汽车行业生产汽车很有竞争力，但它没有 AI competency。因此，如果有公司出来提供一个 software platform，让汽车公司不需要自己开发这个功能，将来直接使用服务，我觉得这也会是一个非常大的市场。 曹卿云 Qingyun Cao 一方面，大家担心 AI 的 SOTA 模型无所不能；另一方面，我们又看到 AI 在法律、healthcare 等不同应用上百花齐放。你觉得未来是这些大模型会慢慢去做已有 startup 在做的事情，还是会百花齐放？ Bill Jia 我觉得会百花齐放。大厂和 frontier lab 还是会继续投资、训练更大的模型，让模型在各个维度、各个方面的能力都很强。这条路线一定会有人走，就像练武术、练武功的最高境界是一招胜所有招。 同时，也会有一些垂直领域的模型，比如特别擅长写 code、做 financial、做 autonomous driving 或 legal service 的模型。我觉得这也有必要。它们有 general knowledge，再用 domain knowledge 做 fine-tune，就能把特定领域做得很深、很精。我觉得应该是两条路并行，百花齐放。 曹卿云 Qingyun Cao 现在 frontier labs 还有一个趋势是训推一体，是不是有这样的趋势？如果这个东西变成一体、界限更加难以区分，会对 infra 提出什么新的需求吗？ Bill Jia 训推一体现在还太早了，因为训练和推理所用的 infrastructure 还是不一样。训练也可能有 online training。 曹卿云 Qingyun Cao 嗯。 Bill Jia 先把 pre-training 做好，这是一个 separate 的过程。然后在推理时，模型已经运行得挺好了。但它在推理过程中也可能不断获取新的 online data，进行一些 updates，再很快把这些更新用于推理，这是可以做到的。 但把 pre-training、post-training 和 inference 全部做成一体，我觉得没有必要，技术也不成熟。 曹卿云 Qingyun Cao Anthropic 今年签了一个为期 5 年、涉及 100 万颗 TPU 的协议，TPU 终于有了外部客户。我们看到 TPU 现在好像在全面跟英伟达竞争。你怎么看 TPU 和 CUDA 这样的生态，以及它们之间的竞争？ Bill Jia 我倒不觉得 TPU 是在全面跟英伟达竞争，我觉得这是相互学习。Google 和英伟达的商业模式完全不一样。谷歌决定把 TPU 提供给一些 selected companies，是基于一些合作关系。也不是说谷歌把 TPU 卖给谁，让对方像用英伟达 GPU 一样，把 TPU 作为主要算力来源。谷歌选择的是非常 selective 的 partners。 但总体来说，市场上有更多 AI hardware，会促进成本降低、性能提高，也会形成比较良性的促进。这是我的看法。 曹卿云 Qingyun Cao 嗯。今年 5 月，您在一个访谈里提到，未来很多简单任务可能会在手机端的小模型上解决，复杂任务则放在云端。但我们现在看到像 Muse 这样的产品，大部分算力还是在云端解决。我们什么时候会看到端侧算力爆发？ Bill Jia 我觉得 Muse 是最近推出的新产品，但我不太清楚它的算力到底全部在 server 端，还是有一部分在端侧。我觉得工业界的端侧和云侧 hybrid mode 其实已经在发生了。 TikTok 上图片编辑、生成这类功能就在端侧。谷歌也发布了很多 apps。比如我们对话时，假如你说 Spanish，我说 English，你继续说 Spanish，我继续说 English，完全没问题。实时翻译会把我们的讲话翻译成彼此理解的语言，这也是端侧模型。这其实可以发展得更快一点。 现在很多 attention 都集中在 server 端的模型上，端侧模型比较少被提及，可能是因为它的商业模式还不太清楚。但我觉得端侧芯片的能力会越来越强，端侧模型的能力也会越来越强，hybrid model 以后会越来越强。 比如谷歌推出的模型 Gemma，Gemma 1B 和 2B 做得很好，很多 traffic 可以在端侧处理。在谷歌内部，这是一个比较大的探索方向：看看能不能把很多 traffic 放到端侧处理。 曹卿云 Qingyun Cao AI 在 coding、数学等方面不断取得很好的成绩。大家现在在想教育问题：如果 AI 已经能解决这些问题，我们还要不要学数学、学计算机？还是说教育小朋友时，应该把精力放在 AI 目前还不能替代、或者最晚被替代的能力上？教育孩子时，资源和精力应该放在哪里？ Bill Jia 我强烈相信，虽然 AI 能够帮人类做很多事情，但人类之所以能够发明 AI， 曹卿云 Qingyun Cao 嗯。 Bill Jia 是因为人有理工科知识，也有对 arts、literature 的理解。有了这些基础，人才能创造 AI。未来要创造更好的 AI，我觉得人仍然会起到很重要的作用，人要参与其中。但如果人没有那些基础知识和理论理解，不管是数学、物理、化学、arts 还是 literature，都是做不到的。 另外，学到这些基础知识以后，人会成为一个更好的老师。学习知识会让人有很强的 competency。知识本身可能不一定有用，比如一加一等于二，学不学可能没那么重要；但学了很多数学以后，大脑会更有思维能力和再创造能力，让大脑达到一个不同的层次。 所以它会带来很多其他益处。重点不是知识本身，因为知识不需要被重复。人掌握了这些知识，就可以创造更新的知识，这是一个比较重要的过程。 曹卿云 Qingyun Cao Infra 里面我们知道很多东西都短缺，compute、networking、memory 都短缺。你觉得哪个短缺的瓶颈最严重、最难解决？ Bill Jia 我觉得 memory 还是会很短缺。以前主要是在 training 和 raw inference 阶段，对 accelerator 的需求很大，比如 GPU、TPU、ASIC，也需要 memory。 进入 agentic era 以后，对 CPU 的要求也会增加，对 memory 的要求更多，还需要很多 flash 和 hard drive storage。就像我刚才说的，未来 agent 一定会催生更好的、面向 enterprise 和 consumer 的新产品，需求会很大。所以我觉得所有这些 components 都还会比较短缺。 曹卿云 Qingyun Cao 好的，非常感谢今天的分享。 Bill Jia 好的，谢谢，谢谢。