[BidClub_]
十字路口Crossing · · 32 min

「1 亿 TOKEN 俱乐部」挤爆了,AI 的燃料不够了|对谈于文渊:阿里云百炼技术负责人

于文渊

Podcast
TL;DR
  • 节目开场把 Claude Code 和 OpenClaw 的流行作为背景;于文渊说百炼上线以来 Token 增长基本按月翻倍,Open Cloud 与 Cloud Code 确实尤其在 Agent 场景加速了增长。 这些 Token 主要来自高质量、前沿模型;千问 3.5 发布仅两周,峰值 Tokens per Minute 已达到平台历史上所有文本模型从未达到的高度,AI 正从聊天工具进入生产力系统。
  • “一亿 Token 俱乐部”已不足以衡量需求,真正需要关注的是 Token 质量、峰值容量,以及以更好的体验和更低成本把 GPU 转成 Token 的能力。 0.6B 小模型、Embedding 与深度思考 SOTA 模型的 Token 并不等价;每天都有数以万计的人加入这一重度消耗群体,于文渊甚至建议把门槛提到十亿,同时关注首包延时、生成速度、削峰填谷和 GPU 利用率。
  • AI 会同时改写云的客户与架构:未来 3 到 5 年,大量今天靠人力完成的事情会交给 AI,计算、存储、网络和调度方式也会与今天完全不同。 百炼的工程使命是在保证稳定性的前提下“让每一个 GPU 不要有一秒钟闲下来”,让千卡到百万卡对用户表现成一个 API 可调用的弹性集群;未来使用云的主体甚至可能是 Agent。
  • 于文渊最激进的 MaaS 判断是“没有任何情况需要自建”,因为企业以为自建能获得的成本、安全和灵活性,恰是 MaaS 更可能解决的三件事。 每 Token 优化、GPU 填充率和多模型切换都需要持续的基础设施投入;他还说机密推理可以让平台看不到模型文件与请求、密钥由客户掌握。但他明确这是只代表百炼、不代表阿里云的个人“暴论”。
  • AI Coding 的危险不是模型不会写,而是企业把“AI 生成代码比例”设成目标,跳过工程师形成判断力所需的过程知识。 于文渊认可原型开发,却认为 mission-critical 代码“暂时 AI 还是不行”;新人若从第一天就把问题交给 AI,可能只能接受 99% 的正确,永远找不到那 1% 的问题。
  • 最容易被 AI 大幅提效的未必是与产品和用户距离近的前端工作,反而可能是操作系统、数据库和文件系统等目标可形式化、测试清楚的系统工作。 去年一篇 FAST 论文的例子是:规范足够明确时,32B 模型也能写文件系统;于文渊更认可先写清晰需求或规范、再让 AI 实现的“back coding”。与人越近、答案越开放的产品问题越难,MaaS 工程也因模型和底层资源持续变化而仍是开放问题。
  • 中国 AI 的硬约束是算力供给总量,不只是芯片单点性能,于文渊把它比作“高速公路上的车已经跑起来了,油还不够”。 他相信中国能够做到算力自主可控并把基础设施建成世界第一,但当前供给缺口会严重影响 AI 发展;终局可能是“水、电、煤气、模型”式 Utility,不会形成很强的单一模型垄断,而是由不同速度、效果和功能的 AI 组成基础设施。
Digest · the substance, structured for research

1. Token 曲线仍在抬升,Agent 只是最新一轮加速器

  • 节目开场,主持人把 Token 不够用归因于更高性价比算力仍然不足;于文渊则说,百炼的 Token 需求从上线第一天起就没有停下来过,增长基本按月翻倍。主持人提到 Claude Code 和 OpenClaw;在后续追问中,于文渊称 Open Cloud 与 Cloud Code 确实加速了增长,尤其是 Agent 场景。

  • 千问 3.5 发布两周,峰值 Tokens per Minute 已达到百炼历史上所有文本模型从未达到过的高度。即使阿里有一位对算力投入非常激进的 CEO,模型研发与客户服务叠加后依然不够用。

  • 视频生成也曾呈现同样机制:模型跨过可用门槛,从 Demo 变成真正可用于市场的产品,需求便突然跃升。因此他很难预测短期的下一个爆发场景,只笃定现在“仅仅是一个开始”。

  • Token 数本身有误导性:0.6B 小模型、Embedding 模型和深度思考 SOTA 模型的单个 Token,在算力、智能和水平上都不等价。每天都有数以万计的人加入每天消耗一亿 Token 的重度用户群体;他没有给出存量,只说这个数字每天都在增加,并认为俱乐部门槛应升至十亿。

2. 云的下一批客户可能不是人,而是 Agent

  • 于文渊给出的 3 到 5 年判断很重:大量今天靠人力完成的事情会由 AI 处理,数据中心形态及计算、存储、网络和调度系统也会与今天“完全不一样”。

  • 当主持人追问既有云格局是否会被 Neocloud 改写时,他没有下定论,只确认洗牌已露出趋势。所有云厂商都得回答同一个问题:未来云的用户是不是都不是真人,而是 Agent。

  • 在保证稳定性和安全性的同时,百炼希望把千卡、万卡、十万卡乃至百万卡的 GPU 都充分利用起来,“让每一个 GPU 不要有一秒钟闲下来”,让用户只通过一个 API 获得极致弹性与稳定性。

3. 国际化既能填平负载,也受到增长时差约束

  • 主持人提出用时区差异实现 GPU 全天运转;于文渊认同“Token 出海”非常重要,但国内外业务难以齐头并进。他举例说,国内外业务速度可能只差两个月,国际业务占比却仍可能只有个位数百分比,相比整体大盘很小。

  • 最终中台必须同时服务国内与国际市场,但地缘政治、合规等问题都要克服。他仍判断,中国厂商的 AI 出海是“大势所趋、停不下来”的方向。

  • 百炼看到的落地并不只在 Coding:某饮料厂商把机器人放进经销商群,经销商用自然语言说品类和箱数,机器人结合历史购买信息直接补货。界面不再是新系统,而是“像和一个真人说话”。

4. MaaS 的壁垒是端到端协同,而非单纯转售模型

  • 于文渊把百炼的差异化归于端到端协同:阿里云多年积累的基础设施、规模和产品线,同一实验室的兄弟伙伴提供的模型,以及平头哥芯片团队,共同围绕模型、推理服务框架和硬件进行打磨。模型上线前还会持续调试,而不是把模型当成黑盒。

  • 他的质量承诺很具体:千问所有模型 Model Card 上的分数,在百炼 API 上“一定都可以做到”。客户自行部署千问或其他开源模型时,效果、质量和速度未必能复现。

  • 主持人追问平台处在 API 中间究竟有多厚;于文渊的回答是,千问 API 本身就是百炼 API,而真正的价值在体验、成本、模型效果和容量:“算力转换成 Token,谁能转得更高效,谁有更多的算力。”

  • 百炼也不是单模型入口:除托管国内开源模型外,用户还可以用百炼的 API Key 调用 MiniMax、Kimi、SiliconFlow 的 DeepSeek API,甚至调用推理厂商的模型。平台服务的是客户需求,不要求客户只用千问。

5. “没有任何情况需要自建”是对三个常见理由的反转

  • 面对企业何时应私有化部署的问题,于文渊先承认被问倒,随后给出只代表百炼、不代表阿里云的个人“暴论”:“我认为没有任何情况需要自建。”企业采购 GPU 通常为了成本可控、安全和灵活,他认为 MaaS 反而更能满足三者。

  • 成本不能只看采购价:企业还要持续追赶模型和算法变化、优化每 Token 成本、填满 GPU,并平衡多模型的服务质量。每家公司都安排基础设施工程师持续做这些优化,“其实是很难的”。

  • 安全上,他声称云厂商看不到、也不会看用户数据;百炼还在推广机密推理,使平台看不到模型文件和所有请求,端到端密钥掌握在客户手中。这是他所说的由密码学提供的保证。

  • 灵活性同样倾向 MaaS,因为“今天最大的确定性其实是不确定明天的 AI 需要什么”。模型架构和推理效率持续变化,固定采购的 GPU 并不像企业想象得那么灵活。

6. AI Coding 的上限取决于人是否保留判断力

  • 于文渊仍建议学生学习计算机。他引用一位实验室导师转述的 1980 年代判断:“未来的人有两种:一种是被计算机使用的人,一种是使用计算机的人。”他在 2000 年代读大学时认为这句话仍然成立,今天也仍然成立。

  • 但他的反直觉建议是,新人不要让 AI 写太多代码。他借用关于实习医生的例子说明:如果一个人从接触第一个病人起就只接受 AI 结论,即使 AI 有 99% 的正确率,他也没有经验找出剩下 1% 的错误。

  • 主持人举出 Cursor 的趋势数据:无脑使用 Tab 补全代码的比例从约 20%—30% 反转到 70%—80%。于文渊说,在 Code Review 时看到代码明显由 AI 生成,自己会“很慌”。Vibe Coding 做 Prototype 已经够用,但生产代码必须理解每一行是否完成预期,以及内存泄漏、文件句柄等副作用是否可接受。

  • 他认为把 AI 生成代码比例定成企业目标“非常危险”,因为公司历史、创始人风格和过程知识无法靠几句提示词传递。更合理的叙述是:一个 AI 可以完成一个人原来需要几个工程师才能完成的事情,而不是一个 AI 替代几个工程师。使用 AI 的前提仍是自己先具备完成这项工作的能力。

  • 他更认可“back coding”:先写清晰的需求文档或规范,再让 AI 实现。这样对架构师提出了更高要求,因为必须把事情讲清楚;但今天不能指望只用两三个提示词就把复杂工作做好。

7. 形式化工作先被提效,算力最终成为“水、电、煤气、模型”

  • 主持人用宜家家具概括过程知识:买到了材料和说明书,仍不如装过许多次的师傅。即使 AI 将来做到 99.9%,程序员也要把能力建立在它做不到的 0.1% 上;于文渊认同,熟练度来自反复完成过程本身。

  • 主持人提出,真正能被替代的也许是写得最好的人;于文渊补充说,与产品和用户距离较近的前端工程师,往往需要让用户真正使用起来的 Know-how,因此更难被取代。相反,操作系统、数据库和文件系统等系统工作目标更清晰,代码库质量、测试用例和结果也更容易定义,可能更容易被 AI 大幅提效。

  • 去年 FAST 有一篇发表在顶级存储会议上的论文:当规范足够清楚时,32B 模型可以写文件系统。但于文渊强调,这不意味着只用两三个提示词就能做好;MaaS 工程在今天仍是开放问题,因为模型、底层资源和算力变化太快。

  • 中国算力问题像石油:关键不是中国能不能产石油或有多少油田,而是每天的需求和每天能够供给的石油是否匹配。他对国产算力有信心,相信中国能够做到自主可控,并把基础设施建成世界第一;但当前供给缺口会影响中国 AI 的发展,英伟达供应或断供的影响“很大,非常大”。

  • 英伟达是事实标准;平头哥是他亲自使用过、认为开发体验“非常丝滑”、效率很高的团队。摩尔线程和沐曦他个人没有用过,因此没有进一步评价。

  • 轻质油或重质油“总有人能炼出来”,关键仍是总量供给。他反问:业务明年能增长 10 倍,为什么不能有 100 倍的算力?即使给 1,000 倍算力,他也相信训练更强模型和让更多 AI 应用变便宜都能把它消耗掉。

  • 对主持人问到的 2026 年年底场景,他只敢确定 Agent 与 AI 生成会是今年最大的增长来源之一,不判断谁更多。对 Neocloud,他不特别看好直接转售英伟达或类似算力的公司,更看好屏蔽硬件与复杂性的 AI 原生服务,例如 Firefox、Together 这类做相关服务的公司,以及沙箱托管、云桌面、浏览器、搜索和 Agent 可观测性等服务;他还提到 Datadog 一类的机会。

  • 终局可能不会形成很强的模型垄断,而会类似电力系统:用户不区分核电或水电,只需要插座里的 220 伏交流电;后台则容纳不同速度、效果和功能的 AI。水、电、煤气之后,模型也会成为基础设施级的 Utility。

Ronghui

伴随着 Claude Code 和 OpenClaw 最近爆炸性的流行,我们看到全世界好像都在惊叹:Token 不够用了。Token 不够用只是一个结果,真正不够用的,还是更高性价比的算力。未来我们能不能像用水、电、煤气一样稳定地使用 AI,会决定人类智能的上限。

阿里云百炼也是中国最大的 MaaS 服务商之一,所以我们今天请到了于文渊,阿里云百炼的研发负责人。文渊,你好,欢迎来到《十字路口》,先和大家打个招呼吧。

于文渊

大家好,我是文渊,来自阿里云百炼。非常感谢 Cody 的邀请。

我们还是从快问快答开始,这是节目的老传统,可以先让大家了解一下你。文渊,你今年多大?

于文渊

我今年 39 岁。

你毕业于哪所学校?

于文渊

我本科毕业于北京大学,博士毕业于英国的爱丁堡大学。

你的 MBTI 和星座是什么?

于文渊

我是 INTP,双鱼座。

在负责百炼之前,你在做什么?

于文渊

2018 年,我做了一家小公司,后来被阿里收购了。当时我们在做图计算,之后我一直在达摩院和通信实验室做系统方面的研究。

1. Token需求开始爆发

这对你们的工作带来了哪些影响?

于文渊

Token 数量的增长基本上是按月翻倍的速度,而且都是非常高质量、非常前沿的模型 Token。大家已经不再把 AI 当作聊天机器人或者闲聊工具,而是把它融入生产力场景,这种消耗是非常夸张的。现在这仅仅是一个开始,我们相信这个增速会迅速达到一个非常夸张的程度。

一方面是 Cloud Code,另一方面是 Open Cloud,让 Token 燃烧出现了核弹级的爆发,全球都在缺算力。背后还有其他原因吗?

于文渊

2. 云计算范式正在重写

今天 AI 正在非常深刻地改变大家使用算力的方式。我非常难预测,短期内下一个爆发的场景是什么,但我非常笃定地可以说,未来 3 到 5 年,有非常多原本需要人力解决的事情,一定会用 AI 完成。

第二个变化是云计算。今天云计算的数据中心长什么样子,调度系统长什么样子,大家如何消耗云上的计算、存储和网络资源,基本上 3 到 5 年后都会和今天完全不一样。

所以,你觉得云计算的范式也会发生天翻地覆的变化?

于文渊

会发生天翻地覆的变化。

云厂商会重新洗牌吗?

于文渊

已经有一些重新洗牌的趋势了。什么叫作一个好用的云,其实今天也在变化。

为什么会有这么多蓬勃而出的云厂商?未来的云是什么样子?我们现在正处在一个发展的十字路口。其实很长一段时间,大家会认为全世界云厂商的格局几乎已经确定了,就是中国的几个巨头和美国的几个巨头。但最近 Neocloud 出现了,比如 Cloudflare 已经有规模了。你觉得这会是昙花一现,最终还是云巨头拿下这个战场,还是这些新的公司有机会跻身一线巨头的行列?

于文渊

这个我很难判断。但我觉得,每个云厂商自己也在变革和革命。阿里云是中国最大的云计算厂商,我们也在思考:未来云的用户是不是都不是真人,而是 Agent?Agent 使用云,需要什么样的计算、存储、网络和数据库,需要什么样的算力,以及我们应该怎样满足这些需求?

所有厂商都在迎接这场变革。

3. 让每块 GPU 都满载

阿里云是全世界非常重要的云厂商之一,你现在最关注的事情有哪些?

于文渊

我们第一关注的肯定还是稳定性,安全当然也非常重要。但我在这里看到的变化,是用户量、Token 量和算力需求都在白天级别内发生巨大的增长。

千问 3.5 初期当天发布,两个星期的时间里,它的峰值 Tokens per Minute 已经跃升到我们历史上所有文本模型都没有达到过的高度。我们有一位对算力投入非常激进的 CEO,但即便如此,我依然觉得算力不够用。因为我们还有很大的模型研发需求,还有很多客户服务需求,用户数增长依然不够用。

这种爆炸性的增长,是从什么时间节点开始的?

于文渊

我的感觉是,它从百炼上线的第一天开始就没有停下来过。

所以你没有觉得 Open Cloud 或 Cloud Code 加速了这种增长吗?

于文渊

它们确实加速了增长,尤其是在 Agent 场景下是绝对的加速。但从我们的历史来看,过去也有很多类似的情况。比如视频生成模型,一个模型跨过某个门槛,从 Demo 变成真正可用于市场的产品,就会迅速带来一波又一波的增长。

在这样剧烈的变化中追求稳定,是不是很难?

于文渊

很难。我们在保证稳定性的前提下,也非常希望把算力很好地利用起来。

除了安全和稳定性,面对这么快速的增长,我们还有一个巨大的限制,就是 GPU 供给非常有限。很多算法团队都在争抢 GPU:有人说需要 GPU 做训练,有人希望在某个场景中使用更强的模型,或者提供更好的服务质量。这中间有非常大的系统和工程挑战。

我们有一个非常重要的使命,就是让每一块 GPU 不要有一秒钟闲下来,让它发挥最大的作用。无论是 1,000 卡、10,000 卡、100,000 卡还是 1,000,000 卡,我们都希望把阿里云所有 GPU 的算力资源,转化为用户可以享受到的极致弹性和极致稳定性。它们看起来就像一个中国最大的算力集群,用户通过一个 API 就可以使用。

最近我们还看到一个微信群,叫“1 亿 Token 俱乐部”,要一天消耗 1 亿 Token 才有资格进群。前采的时候,你提到过,光看数量没有那么重要,应该同时关注质量。这个可以展开讲讲吗?

于文渊

Token 其实有一点误导性。一个 0.6B 的小模型或者 Embedding 小模型的 Token,和一个会深度思考的、今天处于 SOTA 水平的大模型的 Token,无论从算力、智能还是水平上来说,都不是等价的。

Open Cloud 这一波里,大家每次使用的都是非常 SOTA 的开源模型或者闭源模型。

在百炼里面,每天烧掉 1 亿 Token 的用户大概有多少人?

于文渊

我们感觉这个数字现在每天都在增加,每天都有数以万计的人加入。

所以你们的“1 亿 Token 俱乐部”可能要把门槛再提高一点,变成“10 亿 Token 俱乐部”了。

于文渊

我觉得应该变成“10 亿 Token 俱乐部”。因为 Coding Plan 的用户就是重度消耗 Token 的个人用户,1 亿已经不是一个很大的门槛了。

除了 Token,你们还关心什么?

于文渊

我们关心峰值到底是什么样的调用量,怎么样在技术上削峰填谷,怎么样做好调度,把 GPU 充分利用起来。我们也希望有更多用户进来,同时保证更好的服务质量,包括首包延时和生成速度。

但我在想,让 GPU 物尽其用,是不是还有一个点,就是让它 24 小时都运行?比如做国际化,中国白天由中国用户使用,欧洲白天由欧洲用户使用。你们会有这样的考虑吗?

于文渊

Token 出海一定是非常重要的事情。我们现在也还处在刚刚起步的阶段。对阿里云来说,我们非常拥抱国际化,希望把国际化做好。

但国内和国际业务的发展速度并不一样。可能只差两个月,你就会发现,国际业务实际上只占个位数百分比,相比整个大盘还很小。今天这两个速度很难齐头并进,但我相信最终的中台一定是国际和国内都要使用的。

当然,这里面有很多问题需要克服,包括地缘政治、合规等问题。但从整体来说,今天中国厂商的 AI 出海,我觉得是一个大势所趋、停不下来的方向。

4. AI 正在进入真实业务

在百炼,我感觉你们是不是可以拥有一种上帝视角?你能看到今天什么赛道、什么领域、什么场景消耗的 Token 最多。有没有一些你观察到的故事可以和我们分享,比如一个人在什么场景下,用大量 Token 去做了一件什么事情?

于文渊

有一个做饮料的厂商,可能会在经销商群里建立一些机器人。经销商说“补货”,然后直接对机器人说要什么饮料、多少箱。机器人可以进一步理解是什么饮料、经销商以前买过什么水饮,然后直接帮他完成补货。

这听起来确实更自然。不用再去学习一套系统,就像和一个真人说话一样,直接表达自己的需求。会不会这就是一个更加自然的未来?

于文渊

这肯定是一个自然而然的未来。大模型其实是在替代一个人,未来整个行业中的很多角色,都可能会被大模型深远地影响。

今天所有云服务厂商都推出了自己的 MaaS 服务。在外界看来,大家的产品好像都长得差不多,但从内行的角度来看,我相信它们还是有差异化的。能不能请你讲一讲,大家的差异化主要体现在哪些方面?这里面有没有一个你认为的制胜点?

于文渊

我是一个比较 hands-on 的人,也可以说是一个 hands-dirty 的工程师。我还是希望自己是一个愿意把手弄脏、真正做工程的工程师。一个公司的基础设施做得好不好、技术做得好不好,会非常影响它最终做出来的产品好不好。

阿里云本身在国内做基础设施已经很多年了,积累非常深,不管是产品线的广泛程度、规模,还是技术厚度,都有很强的基础。与此同时,我们还有同一实验室的兄弟伙伴们为我们提供好的模型。这个模型不是一个黑盒模型,而是我们和他们背靠背一起做的,模型上线前会不断地进行调试和打磨。

我们也有一个很好的芯片团队,就是平头哥。我从 CPU 时代开始就在内部使用很多平头哥的芯片,我觉得它的开发体验非常丝滑,效率也非常高。这是一种很独特的体验:从我们提供的模型,到使用的基础设施,再到算力资源的规模和自研能力,都可以端到端地进行打磨。

具体来说,在百炼上调用千问模型,和在其他平台上调用千问模型,有哪些独特优势?

于文渊

我听到过非常多的客户反馈:为什么我部署的千问模型,效果、质量或者速度没有百炼上的好?当然,这不只是千问模型的问题,也包括开源模型。

我们这么多年积累了比较完整的精度体系、稳定性体系,以及一套推理服务框架。我们可以比较自信地说,千问所有模型 Model Card 上的分数,在百炼的 API 上一定都可以做到。

今天也有一些企业,尤其是发展到一定规模之后,会觉得私有化部署、自己建设基础设施的成本更低。有没有什么情况,是你觉得企业仍然应该考虑自建的?

于文渊

这个问题把我问倒了,我想想。

我发表一个暴论,这不代表阿里云,我只代表阿里云百炼:我认为没有任何情况需要自建。真实情况就是这样。

这是不是也符合现代社会的发展规律?大家的分工越来越精细化,专业的人去做专业的事情。

于文渊

一方面我觉得肯定是这样,另一方面我觉得大家低估了这件事情的复杂性和增长速度。

客户可能会自己采购一些 GPU,我觉得无非有 3 个原因。第一个原因是觉得成本可控:不管我使用什么模型,我就只有这么多 GPU,完全知道未来几个月要花多少钱,然后自己做好优化,成本是可控的。

第二个原因可能是安全。模型是自己的,数据是自己的,请求也是自己的,不希望被别人看到,所以对 API 不太放心。第三个原因是,大家可能觉得买来的 GPU 很灵活,可以部署各种各样的模型。业务无论怎么调整,只要是英伟达的卡,可能什么都能做。

但我的暴论是,恰恰相反。如果抱着这 3 个目的,自建可能不是最好的选择,MARS 反而能够更好地解决这 3 个问题:成本可控、安全和灵活性。

首先说成本。如果把成本折算成某个模型的每 Token 成本,需要解决几个问题。第一个是在效果满足的情况下进行推理优化,但模型变化很快,算法迭代也很快。让每家公司都安排一个基础设施工程师,持续保证 Token 推理优化,是很难的。

第二个问题是,你有了自己的 GPU,能不能把它们都用好?模型越来越多,服务质量和成本如何平衡,都是非常复杂的系统问题,实际上很难解决。

从安全上来说,作为云厂商,我们是绝对可信的。这是云厂商的操守:我们看不到,也不会看用户的数据。我们正在推广一种叫“机密推理”的方式,我们看不到你的模型文件,也看不到你的所有请求,端到端的密钥都掌握在你手里。这是真正由密码学提供的保证。

第三,从灵活性上来说,mask 更有灵活。因为今天最大的确定性,其实是不确定明天的 AI 需要什么,明天的模型长什么样,架构会发生什么变化,推理效率又会变成什么样。

5. AI 时代仍要学计算机

这里插播一个问题。你本科是计算机专业,对吗?

于文渊

对。

今天你的计算机专业学弟学妹们,首先还建议大家在本科阶段学习计算机吗?如果还建议,你认为他们学习的方式方法,和你当年有什么不同?

于文渊

我的建议是,大家继续学习计算机。

我们实验室的一位导师是 1980 年代北京大学计算机专业的本科生。他说,当时他的老师告诉他,未来的人有两种:一种是被计算机使用的人,一种是使用计算机的人。

这句话在 1980 年代是正确的。

于文渊

对。后来有一篇文章,叫《混在系统里的人》。

我在 2000 年代读大学,所以那时这句话依然正确。我觉得今天它还是正确的。今天计算机专业的同学,不管未来 AI 可以解决什么问题,它实现的仍然是同一件事:物理世界中的逻辑、门电路、硅片上的设计和生产,AI 或自动化会在这些领域发挥越来越大的作用,但我们不能不知道中间的事情是如何发生的。

第二件事是,我觉得学弟学妹们一定要学习如何使用 AI。但我的建议是,不要让 AI 帮你写太多代码。

这听起来可能有点反直觉。前两天我看到张文宏的一段访谈,讨论医生到底应该怎样使用 AI。他说,如果是非常资深的医生,使用 AI 当然没有问题;但如果一个实习医生从接触第一个病人开始,就直接把问题丢给 AI,让 AI 告诉他结果,那么他就会找不到 AI 的问题。

因为他没有经验积累,没有形成对好坏、正确与否的判断。他只能相信 AI 99% 的正确性,而那 1% 的错误,他是找不到的。刚刚迈入计算机行业的同学,一定要避免自己成为和 AI 高度重合、没有真正技能差异的那 99%,而是要成为能够识别 AI 做不到的那 1% 的人。

这确实很有趣。Cursor 半年前发布过一个数据:当时使用 Tab 补全代码的人,也就是无脑补全代码的人,可能只有 20% 到 30%;但最近这个比例已经完全反过来了,用无脑补全代码的人变成了 70% 到 80%。这个趋势好像不可逆转。

你能不能想到一个具体的例子?比如你曾经手写代码,形成了自己的判断和审美,所以当 AI 解决某个问题时,你产生了不同看法,给它提出了不同建议。

于文渊

这种情况在日常工作中非常多。大家做 Code Review 的时候,如果一看代码是 AI 生成的,至少我在做 Code Review 时会很慌。日常工作中,我们经常遇到 AI 代码交进来之后又全部推倒重做的情况。

大家的 web coding 在生产 service 用中,我感觉还是差那么一点点。真正遇到压力时,你会发现很多问题都会暴露出来。做 Prototype 的话,今天 Vibe Coding 的质量已经达到那个水平了,我觉得完全没有问题;但如果是生产可用的代码,你需要知道每一行代码都能完成你想要的事情,同时它的副作用也是可以接受的,不会产生内存泄漏,也不会占用更多文件句柄。

大家做 AI 应该知道,它对上下文以及对事情的深度理解,距离真正做到这一点还很远。所以我觉得,Mission-critical 的代码暂时 AI 还是不行。但它一定可以成为你的效率工具,不要认为它完全没有用。

但这里的判断特别重要。因为所有东西交给 AI 生成之后,再去修正,永远是一件非常昂贵的事情。它不再是效率工具,而是会让你在一座无法维护的代码屎山中做事,在苦海里挣扎。

于文渊

对。相反,我觉得 back coding 就是我们认为比较好的一种方式。你需要先写非常清晰的需求文档或者规范,这对架构师的要求非常高,因为必须把事情讲清楚。

去年 FAST 有一篇很好的论文,发表在顶级存储会议上。论文让 AI 编写文件系统,把各种规范清晰地交给 AI,结果发现,当时的 32B 模型只要拿到足够清楚的规范,就可以把文件系统这种底层系统写好。

这件事给我的启发很大。如果人能够用一种偏形式化的逻辑,把自己想要的东西描述清楚,AI 肯定能把填空题做得很好。但今天我不敢说,只用两三个提示词,它就能把这件事做好。

所以我还是非常鼓励大家多尝试 AI,但前提是自己首先能够完成这项工作,然后再让 AI 去替代自己。现在有一些企业非常激进地提出,要把 AI 生成代码的比例提高到一定程度,并把这个比例当成目标。这种提法在我看来非常危险。

所以在你看来,这是一种危险的提法吗?

于文渊

我觉得这是非常危险的提法。只要对今天 AI 的算法能力和局限有所了解,就会知道这非常危险。

日常人与人之间的合作和交流中,有很多知识传递是隐式的、过程性的。你没有办法只靠几句提示词,就把很多事情讲清楚:有些地方可以这么做,有些地方可以那么做,事情并没有那么绝对。具体应该怎么做,可能还和公司创始人的风格、产品本身的历史和上下文有很大关系。

这些东西 AI 其实无法获得。不要低估 AI 的能力,也不要高估 AI 的能力,绝对不要高估 AI 的能力。但我相信 AI 应该是一个效率工具。今天更应该说的是,一个 AI 可以完成一个人原来需要几个工程师才能完成的事情,而不是一个 AI 替代几个工程师。

我最近在想,过程知识非常重要。我们把一件东西做出来,需要 3 个要素:第一个是生产要素,第二个是知识要素,第三个是过程要素。

比如我们都在宜家买过家具。我们买来了生产要素,也买来了说明书,也就是知识要素,但每次组装仍然很痛苦。可如果找一个师傅上门,他很快就能把家具装好。

于文渊

是的。他拥有的东西和你是一样的,但因为他装过很多遍,所以他拥有过程上的熟练度。

程序员非常重要的一点,就是一定要把自己的能力建立在 AI 做不到的地方。如果 AI 将来真的永远做到 99.9%,那剩下的 0.1% 也要坚守住,这是没有办法安排和替代的。

我觉得大家会发现,AI 带来的很多事情都很反直觉。看到 AI 写文件系统这件事,我的一个直觉是,AI 真正能替代的,也许是那些写得最好的人。比如写操作系统内核、数据库内核、文件系统,这些工作可能最容易被大规模提效和替代,这和很多人的想法恰恰相反。

于文渊

我觉得,像前端工程师,或者和产品距离比较近的工程师,他们做的很多事情并不是复制粘贴,而是需要一种 Know-how:怎样让用户真正使用起来。

和人距离越近的东西,可能越难被取代。系统工程师写文件系统、写操作系统,是想办法把系统的资源利用到极致,所以反而更容易被取代。因为这类代码库的质量通常很高,测试用例也非常清楚,结果同样很清楚:比如我要优化多少百分比。

这就像 AI 今天数学竞赛做得非常好、编程竞赛做得非常好,是因为这些问题足够清晰,可以定义结果。但什么叫一个好的短视频 App,什么叫好,这没有一个清晰的标准,是一个非常开放的问题。

那你觉得,MaaS 系统工程师是一个开放问题,还是一个封闭问题?

于文渊

我觉得在今天,它是一个开放问题。因为 AI 的变化太快了,我不知道明天会是什么样子。底层资源变化很快,算力情况变化也很快。在变化如此迅速的情况下,需要的是一个人的潜力,而不只是一个人的知识,是他应对变化的能力。

6. 国产算力必须补上缺口

我们今天谈到中国 AI 时,都会面对英伟达供应,或者断供的问题。在你看来,这对我们的影响有多大?

于文渊

影响很大,非常大。

但我对国产算力非常有信心。算力这个东西,在今天的市场上有点像石油。它本质上不是中国能不能产石油,或者中国有多少个油田的问题,而是中国每天需要的石油,和每天能够供给的石油是否匹配的问题。

我完全相信中国能够做到自主可控。我们有非常聪明的工程师和工业基础,大家一定能把基础设施建设成为世界第一,这一点我完全有信心。

但今天油田还没有开采出来,下游已经有了非常多的需求,就像高速公路上的车已经跑起来了,但油还不够。算力供给如果产生缺口,其实会非常影响中国 AI 的发展。

这和很多国家的情况一样,只是有些国家可能卡在电力上。电力是工业的血液,这一点可能在 100 年前就已经知道了,但不知道为什么到了今天,还是会出现供血不足的情况。

如果让我真实地说,我个人感觉,只要是能够进入市场的算力供给,对中国来说一定是只有好处、没有坏处的。

现在国产芯片里,我知道有平头哥,还有一些刚上市的芯片公司。你觉得哪些做得比较好?

于文渊

平头哥做得非常好,今天真的非常好。我觉得已经不能再说得更好了。

英伟达是事实标准。它最早在还没有 AI 的时候就开始做 GPU,大家都已经认为它非常好。它有非常强的软件团队和硬件设计团队,很多东西也都真正落地了,做得非常好。

平头哥,我个人感觉我们的团队还是非常有远见的。我们使用起来非常丝滑,也非常好用。

那现在资本市场上炒得非常热的摩尔线程、沐曦,表现怎么样?

于文渊

我个人没有用过。但今天还是这句话:我觉得 MaaS 或者 AI 算力的发展,不取决于某一个算力产品做得好不好。

这就像石油,有的是轻质石油,特别容易炼;有的是重质石油,特别难炼,但总有人能炼出来。今天关键是总量供给的问题。

你说我明年能增长 10 倍,为什么不能有 100 倍的算力?如果有 100 倍算力,我一定可以让市场把它消耗掉。即使是 1,000 倍算力,我也相信一定能够被消耗掉。不管是用来训练更强的模型,还是让更多 AI 应用变得更便宜,只要给我算力,我一定能让大家用起来。

所以我永远觉得算力不够用。

大家可能会觉得,中国的算力,包括阿里云的算力,已经很充足了。还是不够吗?

于文渊

还是不够,可以更多。

这种感觉在云计算时代是从来没有过的。以前从来不会觉得,你再给我更多云资源,我也能把它物尽其用。

于文渊

大家过去没有遇到过这么爆炸性的算力需求。历史上阿里云也曾经有过高速增长,但如果只看算力本身,这种对算力的饥渴是前所未有的状态。

7. MaaS 终局是基础设施

我们来预测一下:到 2026 年年底,你估计会有哪些场景消耗特别多的 Token?这些场景可能是今年才冒出来的,或者是大家意想不到的。

于文渊

现在我的“意想不到”阈值已经非常高了。我觉得今天 AI 做到的事情,已经没有什么是我完全意想不到的。

Agent 一定是今年最大的增量之一,AI 生成也一定会是增长来源之一。到底谁更多,我不敢说,每个厂商可能都不一样,但我相信这两个一定会是今年最大的增长点。

今天大家可以不通过百炼来调用 API。我可以直接调用 OpenAI 的 API,也可以直接调用千问的 API。你觉得百炼夹在中间提供的价值,厚度有多大?

于文渊

首先,千问的 API 就是百炼的 API。

我觉得中间的价值在于,谁能够做到更好的体验、更低的成本和更好的模型效果,同时还要有容量。不能让任何一块 GPU 一秒钟闲下来,要把这些容量转化成 Token。

今天的 mask 之争,算力转换成 token,谁能转的更高效,谁有更多的算力。

现在百炼上除了千问,还可以使用其他模型吗?

于文渊

当然可以。百炼作为一个云平台,服务的是客户的需求。中国的开源模型,我们在百炼都有托管式部署。

除此以外,国内模型厂商原厂的模型,比如 MiniMax、Kimi,以及 SiliconFlow 的 DeepSeek API,用户也可以使用百炼的 API Key 来调用这些模型,甚至还可以调用推理厂商的模型。

我们前面聊到 Neocloud。对于这些新的 Neocloud,你自己特别看好哪些?

于文渊

Neocloud 是一个比较泛的云服务简称,大家无非是希望屏蔽一部分复杂性,把复杂性留在自己这里,给客户提供更简单的使用方式。

我个人不是特别看好那些直接做资源转售的 Neocloud,也就是把英伟达的算力或者类似算力,以相对裸、相对底层的方式往上提供。

但相对来说,我更看好 AI 原生的服务,也就是把硬件和复杂性屏蔽掉的服务。比如 Firefox、Together 这种做 mask 的公司,还有一些做沙箱托管、云桌面、浏览器、搜索等服务的公司。

围绕 AI Agent 的服务,包括可观测性,也就是怎样观测 Agent,像 Datadog 这样的公司,围绕 Agent 和 AI 云相关的服务或产品,都会非常有意思。

最后一个问题。今天仍然感觉 Musk 处在激战区,对吧?外部环境变化非常快,一日千里。你有没有想过,哪一天如果这个战局确定下来,会是因为发生了什么样的变化?

于文渊

这件事本质上取决于 AI 到底会在我们未来的社会中承担什么样的角色。

我相信它会像水、电、煤气一样,成为一种 Utility,就像手机运营商、电信运营商、交通设施和高速公路一样,一定会成为基础设施级别的 Utility。

AI 的终局可能确实不是一个模型。就像电,我们不会区分核电、水电,插在插座上就是 220 伏交流电。未来一定会有非常多样、非常复杂的 AI,包括不同的速度、速率、模型效果和功能,可能不会形成那么强的垄断。

你会不会觉得,未来我们的基础设施会从水、电、煤气变成水、电、煤气、模型?

于文渊

一定是这样。它会深远地影响我们的日常生活。水、电、煤气、模型。

今天非常开心请到文渊,和我们录制这一期播客。在这个变化非常快的时代,我们也很期待半年后、一年后再见面时,看看又会有哪些新的变化影响我们的工作和生活。

于文渊

好,谢谢。

谢谢,拜拜。

于文渊

拜拜,谢谢大家。

「1 亿 TOKEN 俱乐部」挤爆了,AI 的燃料不够了|对谈于文渊:阿里云百炼技术负责人 | BidClub