从算力到规模 AI基础设施的未来｜对话 Google 工程副总裁 Bill Jia
- Bill Jia 的核心判断：AI 发展仍处“很早期”，未来需求会“10 倍、100 倍、1,000 倍”地增长，因此当前为 AI 建基础设施是必要的。 他的投资逻辑是：如果需求上来时自己没有投入、而别人能满足需求，就会面临问题。
- 针对主持人关于谷歌 balance sheet 为负、CapEx 与收入错配的担忧，Bill 提到三条降本路径：模型提高 intelligence、减少 FLOPs；软件持续优化 networking、memory caching、compute 等；硬件本身也可以更便宜。 他认为，持续优化后最终可以实现 positive cash flow；如果继续优化，暂时的 cash flow negative 不用怕。
- 创业机会方面，他概括说会看 devices，以及能高效、可扩展地做事的 agents；具体到 inference，他会投资开发推理优化 agent。 模型与硬件的 N×M 组合很多，靠人力逐一优化“very, very unscalable”，而 agent 可以更便宜、可扩展地优化 performance、reliability 和 scalability。大厂也会做，但创业公司有时能做得更快、更好。
- 供给侧瓶颈是电力：主持人提到明年新增 40 GW 算力，Bill 不确认具体数字，但认为明年会有很多 gigawatts 的数据中心算力上线。 目前发电主要靠 natural gas、coal、crude oil；solar 和 wind 还不够 scalable、高效，能提供这类电力的地方也有限。较现实的方案是氢能与核能，moonshot 是太空数据中心；选址应去能源充足的地方。
- Bill 认为推理算力长期会占更大比例，当前是否五五开“很难说”，推理有可能已经超过 training；若现在五五开，长期可能走向四六、三七、二八。 Agentic era 下 memory 仍会很短缺，CPU、flash 和 hard drive storage 的需求也会上升。
- 几个关键判断：TPU 与英伟达不是“全面竞争”，而是不同商业模式下的相互学习；训推一体目前还早，pre-training、post-training 和 inference 全部做成一体没有必要且技术不成熟。 模型格局则会是 frontier 大模型与垂直模型并行、百花齐放。
- 安全风险不只在推理阶段：Bill 说模型本质上是 black box，我们不理解它为何如此运作，因此行为难以控制；经过训练、排障并处理安全隐患后，推理阶段目前“还不算太糟糕”，更值得关注的是新训练好的模型在测试、评估和 sandbox 中可能出现不可预测行为。
1. 需求增长支撑继续投资；关键在持续降本与现金流
- Bill 对 fireside chat 的 recap 定调：AI 发展“其实还很早期”，未来 1 年、2 年、3 年、5 年、10 年、20 年都还会高速发展，需求会不断增大。大家的共识是，现在为 AI 做基础建设是必要的。
- 主持人曹卿云提到谷歌 balance sheet 为负、CapEx 很大而 revenue 还没看到，并问这是否是 pacing、timing 的问题。Bill 的投资逻辑是：如果未来需求巨大、还会激增，现在就应该投资；否则等需求上来时，自己无法满足需求而别人能满足，就会是一个大问题。
- 降本有三条路径：模型侧提高 intelligence、减少 FLOPs；软件侧在 networking、memory caching、compute、storage 等方面优化，即使 model 和硬件不变也能降本；硬件本身也可以更便宜。过去一两年 performance per watt、performance per dollar、dollar per intelligence 都在向好的方向发展，支持 AI 训练和推理的成本逐渐降低。
- Bill 认为，继续优化后，未来可以用更低成本、更好的效果满足需求，最终实现 positive cash flow；因此暂时的 cash flow negative 不用怕，但前提是继续优化。让 AI 更 affordable 不是终点，关键是充分加速 innovation。
2. 短期卡在电力；氢能、核能较现实，太空数据中心是 moonshot
- 主持人提到明年新增 40 GW 算力，并问这些算力能否到位。Bill 表示，他不清楚具体是 40 GW、30 GW 还是 5 GW，但明年会有很多 gigawatts 的数据中心算力上线。能否上线的瓶颈主要在电力。
- 目前主要靠 natural gas、coal 和 crude oil 发电；solar 和 wind 还不够 scalable，也不够高效。全世界能提供这类电力的地方有限。数据中心会消耗很多电、产生很多热、带来噪音，因此也会引起周边社区担忧；美国有些州会说：“我不欢迎你们在我州建 AI 数据中心。”Bill 认为短期内电力会是技术和政治层面的瓶颈，并呼吁科技行业领导者与监管机构共同解决。
- 谷歌内部的态度是会投资，并希望与美国及其他国家政府一起解决电力问题。长期的 moonshot 是在太空建数据中心；更现实的方案是氢能和核能，Bill 认为两者可以 cost-efficient、energy-efficient，而且是 green energy。选址逻辑如同采油：“到没有油的地方去采油是没有用的”，数据中心应建在能够提供能源的地方。
3. 推理算力长期占比上升；垂直应用与通用模型并行
- 对行业算力是否已经训练、推理各占一半，Bill 说“很难说”，推理有可能已经超过 training。Recursive self-improvement，也就是 reinforcement learning，会增加训练算力；但长远来看，推理算力会越来越多。Training 是一次或几次投入，而 inference 面对 billions of users 和许多应用；如果现在是五五开，长期可能变成四六、三七、二八。
- Coding 已是 enterprise 和 consumer 领域都成功的垂直场景。Bill 还看好 financial analysis、financial investments、legal service、medical、biology 等应用；他认为 AI 的分析能力强，法律工作又很严谨。自动驾驶方面，他以 Waymo、Tesla 为例，认为已经很成熟，并判断每辆车至少配备 full self-driving function 只是时间问题。传统车企造车有竞争力，但缺乏 AI competency；第三方提供 software platform 可能形成大市场。
- 面对大模型会不会接手垂直 startup 的问题，Bill 认为会百花齐放。Frontier labs 会继续训练各方面能力都强的大模型，像练武的“一招胜所有招”；同时也会有擅长 code、financial、autonomous driving 或 legal service 的垂直模型，以 general knowledge 为基础，再通过 domain knowledge fine-tune，把特定领域做深做精。
- 训推一体目前还早，因为训练和推理使用的 infrastructure 仍不一样。Pre-training 是独立过程；推理时可以获取 online data、进行 updates 并很快用于 inference，但把 pre-training、post-training 和 inference 全部做成一体，Bill 认为没有必要，技术也不成熟。
4. 创业机会：devices 与推理优化 agent；agentic era 下 memory 仍会短缺
- Bill 概括说，如果在 infrastructure 赛道创业，他会投资于 devices，以及能高效、可扩展地完成工作的 agents。他也提到已有不少做得好的创业公司，包括 Fireworks、BLM 和 Infer Act。主持人提到的 panelist 邦华是 Infer Act 的创始人，也是 RedisArc（S line）这个 inference framework 的创始人。
- 具体到 inference，目标是让 model 跑得更快、成本更低、更优化。Bill 认为可以用 AI agent 提升 inference 的 performance、reliability 和 scalability；他会投资开发这类 inference optimization agent。要优化的组合包括 NVIDIA GPU、AMD GPU、Google TPU、AWS 的 training，以及不同 model；model 与 hardware 的组合是 N×M，规模很大。靠人力逐一优化“very, very unscalable”，而由 agent 做优化则“very, very cheap and also scalable”。
- 大厂也会做这件事，但 Bill 认为大厂不缺钱并不代表一定做得最好；由 brilliant minds 组成、enthusiastic、passionate、skillful、expert 的 startup，有时能做得更快、更好。
- Bill 认为 memory 仍会很短缺。过去在 training 和 raw inference 阶段，对 GPU、TPU、ASIC 等 accelerator 的需求很大，也需要 memory；进入 agentic era 后，对 CPU 和 memory 的要求会增加，还需要大量 flash 和 hard drive storage。他认为这些 components 都还会比较短缺。
5. TPU 与英伟达是相互学习；端侧 hybrid 已经在发生；风险也在 sandbox 阶段
- 对 Anthropic 签下为期 5 年、涉及 100 万颗 TPU 的协议，Bill 不认为这是 TPU 在“全面跟英伟达竞争”，而是相互学习。谷歌和英伟达的商业模式不同，谷歌选择与 selected companies 合作，并不是把 TPU 卖给对方、让其像使用英伟达 GPU 一样把 TPU 作为主要算力来源。更多 AI hardware 会促进成本降低、性能提高。
- Bill 不太清楚 Muse 的算力全部在 server 端还是部分在端侧，但认为端侧与云侧的 hybrid mode 已经在发生。TikTok 的图片编辑、生成在端侧；实时翻译也可以让说 Spanish 和 English 的人互相理解，属于端侧模型。端侧受到的关注较少，可能是因为商业模式还不清楚；但端侧芯片与模型能力会增强。谷歌的 Gemma 1B、2B 做得不错，内部也在探索把更多 traffic 放到端侧处理。
- Bill 认为大语言模型是 neural network，设计合理、运行良好，但本质上还是 black box：“We don’t understand why it works this way.” 因为不明白它为什么这样运作，行为就难以控制；风险可以降低，但仍然存在。经过训练、排除故障和安全隐患后，推理阶段目前“还不算太糟糕”；更大的隐患在模型刚训练好、尚不清楚其运作方式时，尤其是测试、评估和 sandbox 环境中可能出现的不可预测行为。讨论方向包括形成联盟来 control AI、落实 safety 和 security safeguards，并让 sandbox 更加 containerized、筑起一道墙。
- 对教育问题，Bill 强调人类能创造 AI，靠的是理工科知识以及对 arts、literature 的理解；要创造更好的 AI，人仍然需要这些基础。知识的价值不只是重复，比如“一加一等于二”，而是让大脑更有思维和再创造能力，进而创造更新的知识。
Full transcript
未来 AI 的需求会不断增大，大家对此都有共识。因此，现在为 AI 做基础建设是完全必要的。
你在 infra 这个位置上，有没有看到什么比较好的创业机会？
如果我在 infrastructure 赛道里，一定会投资于 devices，以及某种能够非常高效、可扩展地做这件事的 agents。我觉得 memory 仍然会很短缺。进入 agentic era 以后，AI 对 CPU 的要求也会增加，对 memory 的要求会更多，还会需要大量的 flash 和 hard drive storage。
刚刚我们的 fireside chat，你可以跟我们 recap 一下吗？今天讲了哪些核心内容？
主要讲了三四点。第一，大家觉得现在主要的高科技公司都非常注重 CapEx 投入，大力加强 AI 基础算力建设。我们的总结是，这种投入非常必要，因为总体来说，AI 的发展其实还很早期。
嗯。
如果展望未来，AI 在 1 年、2 年、3 年、5 年、10 年、20 年后都还会处于高速发展的阶段。所以，AI 的需求会不断增大。大家都这样预测，我们也有共识：现在为 AI 做基础建设是完全必要的。
嗯哼。
这是第一点。第二，AI 基础建设，不管是建模型、训练、后训练，还是推理，都是一个很耗时、耗材、耗力的过程。讨论的第二个问题是，怎么通过硬件和软件优化把成本降下来。大家都很想齐心协力把这件事做好，因为过去一两年里已经做了很多硬件和软件优化，效果也很明显。
Performance per watt、performance per dollar，还有 dollar per intelligence，这些指标都在向好的方向发展，也就是说，支持 AI 训练和推理的成本在逐渐降低。我们的共识是，未来还有很多工作可以做，大家可以齐心协力把成本降下来，让 AI 更 affordable。让 AI 更 affordable 是一个小问题，关键是让大家能够充分加速 innovation。
第三，AI 还是有安全隐患的。AI 模型是大语言模型，是 neural network，设计上非常合理，运行得很好。但因为它是神经网络，所以非常复杂。
嗯。
从根本上说，它还是一个 black box。We don’t understand why it works this way。如果我们不明白它为什么这样运作，它的行为就很难控制。我们可以降低很多风险，但它仍然有风险。大家想讨论的是，怎么形成一个联盟来 control AI，让 safety 和 security safeguards 更容易得到落实。
我们觉得，AI 训练完成、排除故障和安全隐患之后，在推理阶段目前还不算太糟糕，至少到目前为止是这样。当然，未来可能会有更多隐患。更多隐患存在于 AI 刚训练好、我们还不知道它到底怎么运作的时候，也就是测试、评估以及在 sandbox environment 里运行的时候，它可能会有一些非常不可预测的行为。
怎么把测试、验证和评估的环境保护得更安全，让 sandbox 更加 containerized、筑起一道墙，不让它乱跑？这主要是讨论成本、模型和软硬件优化，以及如何尽可能减少 AI 的安全隐患这三个方面的问题。
大家在算力这件事上，各家的 frontier lab 都投入了很多钱。你觉得 CapEx 投入还处在比较早期，而且这些公司应该持续投入吗？我们也看到谷歌的 balance sheet 都是负的，大家现在比较担心的是，CapEx 投入这么多，但 revenue 还没看到。你觉得这可能是 pacing、timing 的问题吗？
我觉得主要有两点，刚才也谈到了。第一，AI 的需求还是巨大无比，未来还会增长 10 倍、100 倍、1,000 倍。
嗯。
如果未来 AI 的需求巨大、会激增，那现在就应该投资。因为如果我不投资，别人投资，等到以后需求上来了，自己却没有办法满足需求，而别人能满足，这就是一个大问题。所以这件事肯定要先做。
第二，投入这么多之后，怎么用更 cost-efficient 的方式去满足需求，并把它变成 positive cash flow？怎么让这个 model 质量更高、成本更低，提高 intelligence、减少 FLOPs？另外，软件方面其实还有很多优化空间，包括 networking、memory caching、compute 和 storage 等。也就是说，model 和硬件不变，通过软件优化也可以把成本降下来。
第三，硬件本身也可以变得更便宜。在大家齐心协力的情况下，我认为未来一定会有成本更低的方式来满足巨大的需求，效果更好，成本也更低，所以最终能够变成 positive cash flow。只要能继续坚持优化，暂时的 cash flow negative 是不用怕的。
所以，CapEx 投入的节奏会跟 cost optimization、应用收入这些方面找一个比较好的平衡，在健康的 balance 下继续可持续地投入。你刚刚也讲到推理优化还有很多空间。如果今天你要出来创业，在 infra 这个位置上，有没有什么比较好的创业机会？特别是跟大厂相比，大家都很担心大厂有各种优势。你觉得 startup 有哪些机会可以做得更好？
我觉得已经有很多很好的创业公司了，比如 Fireworks、BLM，还有创业公司 Infer Act。刚才那位邦华是一个 panelist，是 Infer Act 的创始人，也是 RedisArc（S line）这个 inference framework 的创始人。这些公司都已经做得很好。
做 inference，归根结底就是要让 model 跑得更快、成本更低，也更优化。现在其实可以 leverage AI 来做很多事情。如果做一个 AI agent，它可以把 inference 的 performance、reliability 和 scalability 做得非常好。
如果我要做创业公司，一定会投资开发一个用于 inference 的 agent。它可以根据不同硬件做优化，不管是 NVIDIA GPU、AMD GPU、Google TPU，还是 AWS 的 training；也不管是什么 model。model 和 hardware 的组合是 N 乘以 M，是一个非常大的数字。每一种组合都靠人力做优化，very, very unscalable；但开发一个 agent 来做优化，就会 very, very cheap and also scalable。
所以，如果我在 inference 赛道里，一定会投资开发这类 agent，用非常高效、可扩展的方式做 inference optimization。
所以你觉得这件事不会被大厂做掉，而是会由创业公司来做？
我觉得大厂也会做，但有时候大厂不缺钱，做这件事不一定会做得最好。我觉得有一些 brilliant minds，既 enthusiastic、very passionate，又 skillful、very expert，成立 startup 来做这件事，有时候会做得更快、更好。
明年新增的 40 GW 算力，已经超过现在市场上所有存量算力了。你怎么看供给侧的瓶颈？你觉得明年这 40 GW 算力能到位吗？
到底是 40 GW、30 GW 还是 5 GW，具体数字我也不是很清楚。但这个趋势是肯定的：明年会有很多 gigawatts 的数据中心算力上线。
嗯。
但具体能不能上线，我觉得瓶颈还是在电力上。现在主要还是用 natural gas、coal 和 crude oil 发电。solar 和 wind 还不够 scalable，也不够高效。要找到 natural gas、coal、crude oil 来发电，其实全世界能提供这类电力的地方都很有限。
嗯。
再加上现在有一些政治气候方面的因素。AI 数据中心确实会消耗很多电、产生很多热，也会有噪音，因此会引起周边社区的一些担忧。美国有些州会说：“我不欢迎你们在我州建 AI 数据中心。”所以我觉得短时间内电力会是一个瓶颈，不管从技术角度还是政治层面来说都是如此，这并不意外。
我觉得科技行业的领导者和监管机构应该坐下来，一起解决这个问题。从长远来看，如果能在太空建数据中心，那是一个 moonshot，很遥远的目标，但如果能实现就太好了。更现实一点的方案，是怎么用氢能、核能发电；这两种能源都可以非常 cost-efficient、energy-efficient，而且是 green energy。
谷歌内部怎么看电力问题最后会怎么解决？
谷歌内部的态度是，一定会投资。我们还是希望跟政府一起，不管是美国政府还是其他国家的政府，齐心协力解决电力问题。
所以之后数据中心新增的算力，还是会建在能源丰富的地方？
就像采油一样，到没有油的地方采油是没有用的。一定要到能够提供能源的地方去建这些数据中心。
刚刚我们讲了供给侧。需求侧这边，我们现在看到行业算力可能一半用于训练、一半用于推理。未来需求的比例你怎么看？Coding 是一个场景，未来还有哪些场景？
我觉得很难说现在是推理和训练各占 50%。有可能推理已经超过 training。当然，现在有一个大的方向叫 recursive self-improvement，也就是 reinforcement learning，它又增加了训练算力。但从长远来看，一个大趋势还是推理算力会越来越多。
Training 只是一次或几次投资，但 inference 面对的是 billions of users 和很多不同的应用，所以未来的需求主要会在 inference 上。如果现在是五五开，长期来看一定会变成四六、三七、二八这样的比例。只要应用上来、消费量上去，推理占比一定会上升。
Coding 现在在垂直领域里是一个很成功的场景，不仅在 enterprise，也有非常成功的 consumer products。我觉得以后还会有更多垂直领域的成功案例。比如用 AI 做 financial analysis、financial investments，我觉得它肯定会比 quantitative financial analysis 做得好，因为 AI 的分析能力很强。
AI 做 legal service 也会很好，因为法律这件事非常严谨。AI 做分析肯定会比人做得好。AI for medical、AI for biology 也一定会做得更好。现在 autonomous driving 也是一个很成熟的领域，比如 Waymo 和 Tesla 的 self-driving car 已经很成熟了。
所以我觉得世界上每一辆车至少配备 full self-driving function，只是时间问题。传统汽车行业生产汽车很有竞争力，但它没有 AI competency。因此，如果有公司出来提供一个 software platform，让汽车公司不需要自己开发这个功能，将来直接使用服务，我觉得这也会是一个非常大的市场。
一方面，大家担心 AI 的 SOTA 模型无所不能；另一方面，我们又看到 AI 在法律、healthcare 等不同应用上百花齐放。你觉得未来是这些大模型会慢慢去做已有 startup 在做的事情，还是会百花齐放？
我觉得会百花齐放。大厂和 frontier lab 还是会继续投资、训练更大的模型，让模型在各个维度、各个方面的能力都很强。这条路线一定会有人走，就像练武术、练武功的最高境界是一招胜所有招。
同时，也会有一些垂直领域的模型，比如特别擅长写 code、做 financial、做 autonomous driving 或 legal service 的模型。我觉得这也有必要。它们有 general knowledge，再用 domain knowledge 做 fine-tune，就能把特定领域做得很深、很精。我觉得应该是两条路并行，百花齐放。
现在 frontier labs 还有一个趋势是训推一体，是不是有这样的趋势？如果这个东西变成一体、界限更加难以区分，会对 infra 提出什么新的需求吗？
训推一体现在还太早了，因为训练和推理所用的 infrastructure 还是不一样。训练也可能有 online training。
嗯。
先把 pre-training 做好，这是一个 separate 的过程。然后在推理时，模型已经运行得挺好了。但它在推理过程中也可能不断获取新的 online data，进行一些 updates，再很快把这些更新用于推理，这是可以做到的。
但把 pre-training、post-training 和 inference 全部做成一体，我觉得没有必要，技术也不成熟。
Anthropic 今年签了一个为期 5 年、涉及 100 万颗 TPU 的协议，TPU 终于有了外部客户。我们看到 TPU 现在好像在全面跟英伟达竞争。你怎么看 TPU 和 CUDA 这样的生态，以及它们之间的竞争？
我倒不觉得 TPU 是在全面跟英伟达竞争，我觉得这是相互学习。Google 和英伟达的商业模式完全不一样。谷歌决定把 TPU 提供给一些 selected companies，是基于一些合作关系。也不是说谷歌把 TPU 卖给谁，让对方像用英伟达 GPU 一样，把 TPU 作为主要算力来源。谷歌选择的是非常 selective 的 partners。
但总体来说，市场上有更多 AI hardware，会促进成本降低、性能提高，也会形成比较良性的促进。这是我的看法。
嗯。今年 5 月，您在一个访谈里提到，未来很多简单任务可能会在手机端的小模型上解决，复杂任务则放在云端。但我们现在看到像 Muse 这样的产品，大部分算力还是在云端解决。我们什么时候会看到端侧算力爆发？
我觉得 Muse 是最近推出的新产品，但我不太清楚它的算力到底全部在 server 端，还是有一部分在端侧。我觉得工业界的端侧和云侧 hybrid mode 其实已经在发生了。
TikTok 上图片编辑、生成这类功能就在端侧。谷歌也发布了很多 apps。比如我们对话时，假如你说 Spanish，我说 English，你继续说 Spanish，我继续说 English，完全没问题。实时翻译会把我们的讲话翻译成彼此理解的语言，这也是端侧模型。这其实可以发展得更快一点。
现在很多 attention 都集中在 server 端的模型上，端侧模型比较少被提及，可能是因为它的商业模式还不太清楚。但我觉得端侧芯片的能力会越来越强，端侧模型的能力也会越来越强，hybrid model 以后会越来越强。
比如谷歌推出的模型 Gemma，Gemma 1B 和 2B 做得很好，很多 traffic 可以在端侧处理。在谷歌内部，这是一个比较大的探索方向：看看能不能把很多 traffic 放到端侧处理。
AI 在 coding、数学等方面不断取得很好的成绩。大家现在在想教育问题：如果 AI 已经能解决这些问题，我们还要不要学数学、学计算机？还是说教育小朋友时，应该把精力放在 AI 目前还不能替代、或者最晚被替代的能力上？教育孩子时，资源和精力应该放在哪里？
我强烈相信，虽然 AI 能够帮人类做很多事情，但人类之所以能够发明 AI，
嗯。
是因为人有理工科知识，也有对 arts、literature 的理解。有了这些基础，人才能创造 AI。未来要创造更好的 AI，我觉得人仍然会起到很重要的作用，人要参与其中。但如果人没有那些基础知识和理论理解，不管是数学、物理、化学、arts 还是 literature，都是做不到的。
另外，学到这些基础知识以后，人会成为一个更好的老师。学习知识会让人有很强的 competency。知识本身可能不一定有用，比如一加一等于二，学不学可能没那么重要；但学了很多数学以后，大脑会更有思维能力和再创造能力，让大脑达到一个不同的层次。
所以它会带来很多其他益处。重点不是知识本身，因为知识不需要被重复。人掌握了这些知识，就可以创造更新的知识，这是一个比较重要的过程。
Infra 里面我们知道很多东西都短缺，compute、networking、memory 都短缺。你觉得哪个短缺的瓶颈最严重、最难解决？
我觉得 memory 还是会很短缺。以前主要是在 training 和 raw inference 阶段，对 accelerator 的需求很大，比如 GPU、TPU、ASIC，也需要 memory。
进入 agentic era 以后，对 CPU 的要求也会增加，对 memory 的要求更多，还需要很多 flash 和 hard drive storage。就像我刚才说的，未来 agent 一定会催生更好的、面向 enterprise 和 consumer 的新产品，需求会很大。所以我觉得所有这些 components 都还会比较短缺。
好的，非常感谢今天的分享。
好的，谢谢，谢谢。