【年终复盘③】用 Kimi 加速 Kimi:RSI前夜,一个AI infra人的10个Aha Moments|对话赵晨阳
- 用 Kimi 加速 Kimi,已经构成赵晨阳所说的 AI 自我迭代环路。 他尝试让 Kimi K3.1 编写自己在 B300 上的推理引擎;RSI 的雏形,是人在模型迭代中的参与比例逐步下降。他转述朋友对英伟达“5 万亿美元”、AI 产业“数十万亿美元”市值的追问:单靠卖 token、算力、保险订单和医疗订单,需要多少收入才能支撑?而自我迭代若能突破疾病等难题,可能创造另一量级的经济价值。
- 低成本、自动化的评估,是他判断 RSI 能否持续推进的核心。 他称,在明确评估约束下,一个仅 80M 的 TTS 模型两天内性能提升了 1700%;但一次 WER 评估可以低于 10 美元,一次芯片流片却数以亿计,试错能力相差悬殊。“What we can evaluate is what we can optimize”——机会取决于能否把目标变成可反复验证的标准。
- AI 把代码生产放大之后,维护者的判断和治理能力更加稀缺。 水平欠佳的贡献者过去可能每周提交两个 PR,如今可以提交一百个,逐项审查消耗维护者,不审查又可能毁掉代码库。赵晨阳因此推行 BDFL 式管理,把一致的代码偏好写成合并要求;他的判断是,“AI 是人类智力的放大器”,也会放大不负责任的行为。
- Computer Agent 已经让他从批评演示造假,转向实际交付日常任务。 看到妻子用它操作缺乏 SDK 的科研软件 Origin,是他“我投降了”的转折;随后,Agent 帮他通过三封邮件追回 75 美元物业罚款,并在两小时内导出本科时期的 Notion 笔记。但两个客服 AI 可以从下午四点谈到七点,仍没有谁愿意拍板,暴露出自动化与决定权之间的缺口。
- 交互式 AI 的落地仍取决于延迟、模块协作和输出设计。 原生双工、轮次式音频模型,以及 ASR+LLM+TTS 级联方案各有位置;级联方案的现实优势是模块能独立升级。难点在于,让面向 coding、动辄输出成千上万 token 的模型决定哪些内容值得朗读,同时避免不开 thinking 调不好工具、开了 thinking 又等得太久——“模型很聪明,又不完全聪明”。
- 语音入口与个人 context,正在改变他使用模型的效率。 赵晨阳称自己每天输出约四万汉字,语音输入法让“输出速度跟上了我的思想速度”;ASR 负责转写,LLM 利用 prompt 修正姓名等同音错误。Voxt 2.0 对他的价值还包括选中文字后直接翻译、整理,以及自行选择本地或云端模型,减少反复复制粘贴和切换应用。
- 便宜智能带来的生产力增长,并没有回答收入分配和个人自由的问题。 他期待更强模型,也担忧劳动贬值后,依赖 UBI 的人会被审查如何消费;江西低保家庭女孩赴港看演唱会的争议,是他讨论这一风险的具体例子。“如果人类靠施舍过日子,人是一定不会有自由的”——这是他的悲观判断,他没有给出成熟的解决方案。
- 组织能否长期运转,最终被他归结为权责对等和规则约束。 从《大明王朝1566》《万历十五年》到开源社区,他串起的逻辑是:权力无需负责,制度又留下权责不对等的空间,体系便会自上而下腐坏。因此,制定代码规范的人必须首先遵守:“设立制度的人是不能违背制度本身的。”
1. RSI 已经出现在旧模型优化新模型的环路中
赵晨阳先给出自己的定义:模型能主动参与本代部署或下一代训练,就是 RSI 的雏形。电力、GPU 仍需要人管理,但随着人在自我迭代中的参与比例下降,他认为可以说“RSI is here”。
他虚构的 BAI 公司说明了机制:第七代模型可以筛选训练数据、验证下一代架构,也能把第八代模型从每秒 100 token 优化到 200、300 token。推理提速既改善 RL 效率,也改善上线后的 token 服务。
Koji 追问具体时刻,他说“可能 Kimi K3 开始”,大约今年年中,环路已很明确。最近,他让 Kimi K3.1 编写自己在 B300 上的推理引擎;比喻是向阿拉丁神灯许愿:“我的第一个愿望是再多给我 3 个愿望。”
他还参与了准备推出初步雏形的 OpenRSI,并转述朋友的估值追问:英伟达“5 万亿”、AI 产业“数十万亿”的市值,要卖多少 token、算力、保险订单和医疗订单才能支撑?若相信 RSI 可能突破癌症、帕金森症等难题,才会看到他所说的巨大潜在价值。
2. 能够评估的目标,才进入可持续优化的范围
他引用前辈钟瑞奇的“What we cannot evaluate is what we cannot optimize”,再补上自己的判断:“What we can evaluate is what we can optimize。”评估在他看来是 RSI 的核心。
ASR 的 WER 是他的示范:100 个词错两个,错误率就是 2%。只要脚本正确,要求 WER 不升、性能不降,他认为“AI 一定能把这件事做好”;如果尝试让指标变差,模型就不会把该方案交给他。
他报告,刚过去的周末,一个仅 80M 的 TTS 模型在清晰评估下,两天内性能提升了 1700%。对谈提到他使用“5.5 OPUS”、UltraCode 和 UltraFast;他把结果归因于明确、自动化的验证条件。
3. 评估的成本和完整性,决定优化能走多远
好评估的条件是“自动化且低成本”,并尽量客观。他虽然是《百年孤独》的忠实读者,也承认很难定义这本书究竟好在哪里;比如评估创意写作,邀请作家评审既昂贵,也会遇到彼此不服的审美分歧。评估视频也可能需要专业影视从业者、电影学院的人甚至导演参与。
Koji 提议,把视频的美与不美拆成 100、500 个小判断。赵晨阳认可这种方向,却提醒会落入 local minima:如果评估不全面,模型可能把几个指标优化得很好,同时让其他指标彻底崩溃。
因而,约束还必须包括:不能牺牲 A 模型来提高 B 模型,不能堆出大量令人讨厌的环境变量。他说的“定义好评估”,覆盖的不只是单一性能数字,也包括方案对整个工程的影响。
一张 H200 跑一小时,WER 评估可能低于 10 美元;流片一次却数以亿计,他不敢让 Agent 一个周末尝试上千次。Koji 用 AI 制药补充:假设能从十个变成一万个,“但是猴子没有那么多”。他因此称低成本自动评估是 RSI“唯一的 bottleneck”。
4. 代码生成越快,维护者越需要明确的偏好
赵晨阳的判断很直接:“顶尖工程师和顶尖 AI 写出顶尖代码,糟糕的工程师和顶尖 AI 写出灾难性代码。”过去水平欠佳的贡献者每周可能只有两个 PR,如今一百个 PR 涌来,维护者逐项评估会耗尽时间。
Koji 认为这是开源项目共同的困境。赵晨阳的应对是成为“仁慈的独裁者”:美很难定义,但杂乱可以识别;偏好未必有唯一正确答案,只要保持一致,就能形成持续合作的框架。
他要求有 if 就有 else,哪怕需要 else pass;要求注释里不能有顿号(他的说法是顿号不是 backtick 语法,而 Python 也不是 backtick 语法),还要求注释里必须有人名。他把这些偏好写成合并要求。“突然交一万行代码”令人兴奋,但几个月后无人看懂,就会变成负担;他的目标是让框架继续活两年、三年,甚至十年。
5. 廉价智能让他兴奋,也让他担忧人的自主权
面对更强模型,赵晨阳承认,自己常用工具的智力和操作能力已经超过他。智能若像水电一样容易获得,社会将发生巨大变化;他对新模型很兴奋,也越来越关注 AI 如何进入真实工作,以及劳动贬值后人的价值在哪里。
他用江西低保家庭女孩赴香港看演唱会的争议说明担忧。女孩在中专读书,当地政府曾多次提醒她,出境可能触发高消费审核、影响低保;她最后仍然去了。赵晨阳认为,在已充分告知的情况下,出境游后低保被取消至少没有特别大的争议,但高消费是否应该取消低保,仍值得讨论。依赖救济的人,连精神消费是否合理,都可能由别人判断。
他把问题延伸到 UBI:将来会不会有人规定领取者不能喝依云、买游戏机或换新手机?Koji 问他有什么答案,他坦言“很遗憾,我只能看到悲观的未来”,并借《赡养地球》中连空气都需购买的世界,表达对财富极端集中的恐惧;他也提出,若一个极端富有的人掌握万亿美元级财富,未来可能会非常可悲。
6. 安全讨论必须容纳每个人,而不能只由精英代决
Koji 追问有没有积极的行动或倡议,他说自己曾在 OpenAI 总部门口举过十分钟“Stop AI”牌。但他随后解释,那主要出于好奇;发现对方诉求只是停止 AI,便离开了。他真正呼吁的是更深入地讨论未来。
他讲述,早期 Anthropic 在首次发布超越 OpenAI 的模型时,内部曾有争议:如果使命是给 AI 加约束,彼此竞赛领先是否反而推动加速?这是他对早期安全研究者动机的描述,他没有展开评价今天的争论。
他同时反对有效利他主义可能滑向的精英傲慢:认为自己更聪明,便拥有替全人类选择的权利。“替他人做决定是傲慢的,但不为自己做决定是不负责任的。”模型未来需要每个人认真思考。
7. 保住生活的掌控感,成为他自己的行动答案
他不愿用薪资、显卡或大厂午餐定义成功:一只鸡讨论去正新鸡排、肯德基还是麦当劳,在他看来只是选择不同养鸡场。他希望自己是“一个鲜活的人”,保留吉他、猫、写作,也不粉饰过去的错误。
从年初到录音时,他称自己瘦了约十公斤,坚持每天锻炼一个半小时。工作强度依然很大,但他开始意识到,工作上的事情很多能交给 AI,亏欠伴侣、家人和猫的陪伴,却可能无法逆转。
他卸载《英雄联盟手游》的理由是“不是我在玩游戏,是游戏在玩我”。他感觉匹配机制把胜率控制在约 50%,输了想退出,赢一局又留下;连续失败六次后再输一局,终于卸载。这是他对自身上瘾经历的解释。
一个朋友的故事让他更重视物理世界:九年前后的 AI infra 已天翻地覆,带狗去的医院却几乎没变,狗只是老了。他现在每周刻意与妻子爬山、看展、吃饭,把游戏留下的时间转向读书、历史和写作。
8. Origin 的鼠标操作,改变了他对 Computer Agent 的看法
赵晨阳过去批评 Agent 领域“礼崩乐坏”:录十个 demo,挑最好一个,不能证明系统可靠。他认为后来 OSWorld 等评估工作,以及认真改进标准的研究者,让这个领域重新焕发生机。
真正让他改观的是妻子的工作流。她做传统自然科学研究,使用老旧、缺乏 SDK 的 Origin;他看到 ChatGPT 的 Computer Use Agent 直接移动鼠标,完成原本以为很难自动化的操作:“我真是一叶障目,不识泰山。”
从推理角度,他解释截图的麻烦:字符串共享前缀可以复用计算,鼠标移动后的新图片却可能需要重算。无障碍功能把界面变成文档、字符串,再辅以必要截图,便能让 Computer Use Agent 达到接近无敌的效果;他承认自己此前低估了这些工程方法。
9. Agent 可以替用户办事,决定权仍然是另一道关口
他换银行卡交租后付款失败,一周后才收到通知,并被罚 75 美元。他让 GPT 以“没有当天通知”为理由与物业争论;三封邮件之后,第二天钱退回账户。对他而言,价值来自处理自己不愿耗时纠缠的小事。
另一个任务是保全本科日记:清华邮箱已无法登录,他担心以后失去 Notion 账号。Agent 按他的分类逐页点击 Export,保存 Markdown、CSV、PDF,两小时完成。Koji 也分享,自己用 Codex 导出了拖延数年的数千条印象笔记。
随着用途扩展到医保、预约和搬家,他却看到另一种荒诞:自己的 AI 与物业的 AI 从下午四点对话到七点,十几轮仍无法决定。他称这类系统为“宦官 AI”——不愿为决定承担责任,却把权力留在手里。
他最近还发现,Mac 上的 iPhone 镜像可以让电脑操作手机。Koji 补充,这是 Phone Use 的一种技术路径;对赵晨阳而言,Agent 的可操作范围又向生活推进了一层。
10. 交互式 AI 的三条路线仍会并存
赵晨阳把自然交互定义为持续输入:对方迟迟不答,可以补充背景;说偏了,可以打断。Google 交互模型是 native duplex 的例子:每 200 毫秒读取一次输入,再决定随后 200 毫秒的输出,语音、视频、文字都进入连续过程。
第二条是 turn-based 音频模型,能够输入、输出音频,但仍按轮次对话,打断比较生硬。第三条是级联:VAD 检测说话,ASR 转文字,LLM 处理,再由 TTS 转回语音;模块之间可以分别替换。
前两条路线高度依赖优秀模型供给,缺少新的开源模型时,社区很难推进。级联则可以独立升级 ASR、LLM、TTS;他展示的组合是 Qwen3-Omni 跑 ASR,中间调用 MiniMax M3.1 API,末端接 Qwen3-TTS。MiniMax M3.1 是 400B 模型。
Koji 问端到端与级联会不会长期共存,他回答“是的”,中间还会出现部分联合训练的过渡态。成本高于纯级联,却低于从头训练原生双工模型;他喜欢技术收敛前“百花齐放”的状态。
11. 语音助手需要决定说什么,而不能逐字朗读
一个现实冲突是,开源 LLM 大多为 coding 训练,输出常有成千上万 token:“你真的希望每一个 token 都给你 TTS 朗读出来吗?”他赞赏 GPT 的天气体验:口头说今天气温,界面另行呈现一周天气。
他的设想是 TTS as a tool:LLM 查完天气,再调用 TTS,只朗读适合说出的部分。这样既不必念所有文字,也能避免表情符号等内容被 TTS 读成乱码;语音应由模型选择,而不是机械接在文本之后。
但他发现零样本工具调用仍不够可靠:不开 thinking,参数或朗读内容容易出错;打开 thinking,又不可能让用户等十分钟才听一句话。“水面一直升高,以前的暗礁露出水面;但又会出现新的暗礁”,工程修补仍在继续。
12. 语音输入法把转写与个人语境结合起来
赵晨阳称自己每天输出约四万汉字,靠键盘不可能完成;语音输入让速度接近思考。技术方案是 ASR+LLM,类似去掉 TTS 的交互系统:前者转写,后者纠错、润色。
即使 ASR 整体准确,量化后 WER 仍可能约 5%,而姓名还存在同音歧义。他用朋友“高翼飞”的名字举例:ASR 不知道该写“翼”还是“逸”“毅”,需要在 prompt 中列出“高一飞”“高二飞”“高三飞”“高逸飞”“高零飞”等误写,再映射到指定写法。
“这个纠错很简单,把信息写在 prompt 里。”他使用 Qwen3-ASR,或用邱锡鹏团队的 MosT 模型做长语音 ASR,再交给 Kimi K3.1 处理;十秒音频可能一秒识别完,短内容使用较低 thinking,长音频则可以提高 thinking。
13. Voxt 的价值还在于把入口放到正在工作的地方
他重点推荐已使用半年的开源语音输入法 Voxt,录音前一天刚发布 2.0。开发者官伟把 ASR 换成 SGLang-MLX,目标是正确性一致、速度更快、使用更方便,并在 Mac 上尝试 speculative decoding。
LLM 可以选择 Ollama、云服务或 SGLang-MLX;他最近还用自己部署的 Kimi K3.1。他强调,如果希望掌握自己的 context、控制隐私,也可以用自己的 5090 推理润色模型;这套工作流让 ASR 与后续处理都保持较快速度。
更大的发现是“方便的产品入口非常重要”。过去翻译要复制、打开 GPT、粘贴、输入指令;如今选中文字,直接说“翻译为英文”“朴素一点”或“转成一二三四点”,便能完成,省掉反复切换的几秒钟。
14. 《大明王朝1566》让他把组织问题追溯到最高权力
赵晨阳从剧中得到的第一条判断是:“一个组织只会自顶向下烂掉。”百姓以为奸臣蒙蔽皇帝,而在他的解读中,嘉靖才是根源;严嵩父子是白手套,严嵩替皇帝背锅二十余年,底层恶劣只是体系问题的表现。
第二条是“权责不对等”:嘉靖享有最大权力、收入,可以修宫殿和道观,却把战事、国库亏空等责任推给严嵩。这使他重新理解“以身作则”的分量——当最高权力不承担责任,下面也会复制同样的行为。
15. 制度模糊,会把规则争论变成权力争夺
他高中读《万历十五年》没有读进去,工作后重读,才看见平常年份里不同人物的困境如何连成系统问题。他用一句话概括自己的感受:“这一年没有任何事情发生,但大明朝已经完蛋了。”
立储是他的具体例子:朱常洛与朱常洵之争持续十余年。在他看来,嫡长子继承虽被称为制度,仍依赖道德解释;皇帝与朝臣各持一套道德,缺少不能随意突破的规则,争论就能无休止拉锯。
他又从蒲正民的《挣扎的帝国:元与明》谈到蒙古继承:“选择贤明的人”看似合理,谁贤明却极其主观,最终容易变成谁能打服兄弟谁继位。这与主观评估的难题相通:不服标准,争端就转向力量。
朱元璋制定《大明律》《大诰》,却又借特务机关绕过制度,是他讲述的另一层问题。规则能否成立,首先取决于制定者受不受约束:“设立制度的人是不能违背制度本身的。”
16. 社区的最高权限必须附带最高责任
赵晨阳把三条线索接回自己的工作:腐坏自上而下,根源是权责不对等,而模糊制度给这种不对等留下空间。代码质量仍可能需要主观判断,但规则一旦明确,任何人都不能例外,包括制定规则的他。
在 SGLang Omni 项目里,他拥有最高权限的理由,是承担责任、建立制度。若自己写 if 没有 else 却直接合并,就失去要求别人遵守的依据;他应当成为第一个被批评的人。
贡献者也一样:社区可以为跳槽、申请学校提供信任背书,但所负责部分出了问题,就要担责。“你写了,就得负责。”他反对无限推脱,同时也强调另一半:“与此同时,你也应该尽情享受自己的权力。”权力与责任必须成对出现。
Full transcript
嗨,我是 Koji。本周我们继续年底特辑,请朋友们分享这一年里 AI 带给他们的十个 Aha moments。本周的嘉宾是赵晨阳。晨阳是 RadixArk 创始团队的技术成员,也是开源大模型推理引擎 SGLang 团队的一员。你好,晨阳,欢迎来到十字路口。
非常感谢 Koji 的邀请。我觉得,在智力成本极度降低、RSI 可能即将到来的现在,人类社会确实正处在十字路口上。所以这档播客的名字取得很有深意。
我们来个快问快答,帮助大家更快地了解你。请问晨阳你多大?
我是 2002 年 9 月出生的,现在 24 岁。
你的 MBTI 和星座呢?
我的 MBTI 是 ESTJ-A,星座应该是天秤座。
你的求学经历呢?
初中在成都市实验外国语学校,高中在成都外国语学校,本科在清华大学计算机系。之后我在 UCLA 攻读了 15 个月的博士,现在休学创业。
你在 SGLang 做得最核心的工作是什么?
我们最核心的工作就是 interactive intelligence system,接下来的访谈里会提到很多。
那我们今天直接开门见山。晨阳,你十个 Aha moments 中的第一个是什么?
今天上午刚好是 Fable 5.2 发布吧。我觉得我们可以聊聊 RSI,这可能代表着我好几个 Aha moments。
好呀,那就聊 Fable 5.2 的发布和 RSI。
1. RSI 的自我迭代
我们要讨论一个问题,肯定得先定义好。就像我今天说 RSI 即将到来,那 RSI 是什么?我需要给出自己的定义。我的定义是:当模型能够极其主动地参与这一代模型的部署,或者下一代模型的训练时,这就是 RSI 的雏形。
我举个例子。假设世界上有一家公司叫 B 公司,简称 BAI。BAI 已经训练出了第七代模型,这个模型极其聪明,会写 kernel、会做 pretraining,也懂得怎么清理数据。那么在 BAI 第七代模型推理的过程中,它就可以自己优化底层 kernel,让自己的推理越来越快。
与此同时,BAI 公司还在计划训练第八代模型。BAI 的第七代模型可以做什么呢?首先,BAI 需要收集大量的人类数据来做 pretraining、mid-training、SFT 和 RL,而这些数据有非常严格的筛选标准,第七代模型可以参与筛选。其次,假设第八代模型只能达到每秒 100 个 token 的推理速度,那么它的 RL 会很慢,上线后卖 token 的表现也会很差。如果 BAI 的第七代模型能帮第八代模型把推理引擎写好,让它达到每秒 200 个、300 个 token 的速度,那第八代模型肯定会更先进。
这就是 RSI 的一些雏形:旧有模型和人类一起优化下一代模型的设计。更不要说训练本身是一个相当复杂的过程。假设第七代模型和第八代模型不采用同样的架构,那么架构工程师或者研究者要怎么搜索第八代模型的架构?我们可能会有数十种甚至数百种参数组合,形成一个非常复杂的架构空间。那么,研究者怎么决定第八代模型要采用哪个架构?BAI 的第七代模型就可以快速帮忙做初步验证。
所以我们可以看到,从 BAI 第七代模型到第八代模型,最极端的 RSI 就是从第七代到第八代完全不需要人参与。但我觉得这种极端情况也有定义上的问题:如果不需要人参与,那训练中心、算力中心的电力需要人来管理吗?需要吧。GPU 需要人来管理吗?也需要。我觉得不可能把人完全排除出去。但是,当我们逐渐降低人在模型自我迭代过程中的占比,这就是我说的 RSI。RSI is here。
我很确定,Frontier Labs 的研究者已经大量利用旧模型迭代新模型了,开源社区也有很多很有意思的例子。比如前段时间,我尝试让 Kimi K3.1 帮我们写它自己在 B300 上的推理引擎,用 Kimi K3.1 让 Kimi K3.1 变得更快。
这有个很好玩的比喻:假设阿拉丁神灯可以让你许 3 个愿望,我作为一个聪明人,上来就会说,我的第一个愿望是再多给我 3 个愿望。用 Kimi K3.1 优化 Kimi K3.1,就是一样的道理。我用 K3.1 让 K3.1 跑得越来越快,那么它只能越来越快,我就会有越来越多的愿望。这样一来,K3.1 就是我的无穷许愿机。这就是我对 RSI 的定义。
所以这个 “RSI is here”,有一个具体的时刻吗?
可能是从 Kimi K3 开始吧,大概今年年中,我觉得这个 loop 已经有非常明确的体现了。我最近参加了一个叫 OpenRSI 的项目,也开始要推出最初的雏形了。我们意识到,可能在 Claude 5,或者说 Astro 刚出来的时候,这种感受就已经很强烈了。
OpenAI 宣布已经实现 AGI 的时候,我们认为 RSI 同期也实现了,或者说 RSI 是 AGI 的一个很大的组成部分。我甚至可以引用我朋友的一个观点:如果你不相信 RSI,就需要回答一个问题。现在英伟达的市值是 5 万亿美元,当然今天可能跌了一些;AI 产业的市值有数十万亿美元。我们究竟要卖多少 token、多少算力、多少保险订单、多少医疗订单,才能支撑这样的市值?
但是,如果你相信 RSI,相信 AI 能快速进化,把很多过去人类受限于精力和智力成本、无法快速实现的目标实现出来,这本身就有极其恐怖的经济价值。比如 RSI 攻克癌症,或者攻克帕金森症,这会带来不可估量的经济价值。
当然,我觉得是否相信 RSI 是一种 mindset,不是一个能证明与否的问题。有务实派,也有比较激进的流派。我可能算是激进派里比较务实的一个人。但不管怎么说,我觉得自己处于中间,所以 RSI 是一个非常核心的命题。
我们今天录的是年底十个 Aha moments 特别系列的第三期。前面两位嘉宾其实也都提到了 RSI,大家不谋而合。好,那我们继续到第二个 Aha moment。晨阳,你想分享什么?
2. 评估驱动模型进化
第二个观点,我继续讲 RSI。如果我们认为 RSI 是 AGI 的核心,那么 RSI 的核心是什么?是 evaluation。
我本科时有一位前辈叫钟瑞奇。他是 Anthropic 的早期成员,现在也在 Thinking Machines Lab。他是一位非常有远见、极其聪慧的研究者,我很喜欢他。我当时读过他的一篇 blog,核心观点是:“What we cannot evaluate is what we cannot optimize.” 简单来说,如果一件事情我们不能评估,就不能优化。
今年半个月前,我见到他,和他一起吃饭。我说,我想给这句话补充一句:“What we can evaluate is what we can optimize.” 我们不能评估什么,就不能优化什么;我们能评估什么,就一定可以优化什么。这就是 RSI 的伟大之处。
举个例子,我们在 SGLang Omni 上会处理很多交互式模型,有语音、视频和文字。对语音模型来说,有一个很核心的指标叫词错误率。比如我用语音转文字,这叫 ASR,它有一个核心评估指标叫 WER,也就是 Word Error Rate。假设 100 个词里有 2 个识别错了,WER 就是 2%。
只要我能把 WER 的评估脚本写对,并要求 AI 优化模型时不能让 WER 上升,只能让它下降,性能不能降低,只能提高,AI 就一定能把这件事做好。如果它发现某个方法不对、WER 上升了,就不会把这个结果交给我。只要评估足够清晰、足够自动化,让 AI 来做,就能达到难以想象的效果。
刚过去的周末,我优化了一个原生 TTS 模型。它很小,只有 80M。在清晰的评估指标下,我得到了 5.5 OPUS。我用 UltraCode 加上 UltraFast,两天之内让性能提升了 1700%。极其夸张,极其恐怖。
所以这背后也是因为有非常清晰的评估标准。
是的,评估标准是核心。当然我后面还会讲到另外两个核心。Anyway,我想说的第一个核心就是评估标准。
3. 好的评估必须低成本
我还可以补充一下。关于评估,我今年有了一些领悟,这就是第三个 Aha moment。什么是好的评估?我想给出一个观点:好的评估是自动化且低成本的。
什么不是好的评估?评估一本书写得好不好,就不是好的评估。比如我很喜欢马尔克斯的作品,在很多场合也会提到自己是《百年孤独》的疯狂粉丝,从小读这本书读到大。但《百年孤独》写得好不好,很难定义,因为审美很难定义。什么东西是美的,很难说。就像香奈儿的包,有人觉得好看,有人觉得别的包更好看,这些都是偏见,而人与人的偏见不同。美感是把有相同偏见的人聚在一起,构造出来的事物。主观评估很困难,而且如果主观评估嘈杂、复杂,就会众口难调。所以,这是我对评估的第一个定义:评估尽量要客观。如果一件事情的评估是主观的,这件事情就很难做。
所以好的评估是自动化且低成本的。但是,我们今天仍然需要对一些审美做评估。不管是视频模型生成高质量视频,还是文字模型生成更有文学性的语言,这种评估要怎么做才好呢?
这是一个非常核心的问题。现在的评估真的太难了。我有很多好朋友在顶尖 Frontier Lab 的评估部门工作。比如 Gemini 要评估创意写作好不好,真的要花很高的成本邀请作家来评估,而且这些作家彼此之间还会文人相轻。我觉得你写得不行,他觉得另一个人写得好,这个评估就众口难调。他们内部具体怎么协调,我可能不能说,但我想请大家相信,主观评估就是非常难。
有点像现在 Seedance 很火,MiniMax 的 H3 模型也很优秀。这些模型的评估,很多时候需要邀请专业的影视从业者、电影学院的人,甚至专业导演来做。
我觉得这里还有一点,就是把评估拆得足够细。比如说一个视频什么是好的,我们可以把它拆成一百个甚至五百个不同的点,放在一棵分叉树上,针对每个点判断好与不好。把一个大的“美与不美”的问题拆成一百个、五百个小问题,可能就会容易一些。
事实上是这样,但这里又会陷入一个叫 local minima 的问题。如果 evaluation 设置得不够全面,模型可能会极度优化某几个指标,导致其他指标完全崩溃。
比如我刚才说评估时要求 WER 不回退、性能尽可能好,这里面其实还有很多条件:不能为了提高 B 模型的性能而破坏 A 模型的性能,也不能添加很多令人讨厌的环境变量。这些都是评估中需要定义得很清楚的内容。所以评估是一个非常困难的问题,而且我认为评估是 RSI 的核心。
刚才我提到评估的两个点:第一个是客观。主观的东西就要想办法让它客观起来;第二个是便宜。比如评估一次 WER,可能用一张 H200 跑一个小时,成本大概在 10 美元以下。但是如果我们用 RSI 优化芯片,流片一次的成本可能数以亿计。即便流片能够全自动,人类敢让 agent 自动流片上千次吗?比如我周末让 Claude 帮我优化 TTS 模型,它可能评估了上千次。我可不敢让一个周末的模型流片上千次。
这就像现在 AI 制药,它可以提出更多假设了。一旦要到猴子身上验证,就会发现:假设可以从 10 个变成 1 万个,但猴子没有那么多。
是的,这就是我说的评估。低成本、自动化的评估是 RSI 唯一的 bottleneck。这也反过来说明,我认为人类很强大的价值,就在于人类的主观能动性所代表的评估价值非常有意义。
所以第三个 Aha moment,具体来说是某一个时刻或事件吗?
具体来说,第三点就是今年我让 agent 帮我优化模型时发现:只要我能定义好评估,模型就一定会被优化到极致。
好,了解。
4. 代码库需要仁慈独裁者
我可以顺着第三点讲讲我的偏见。我们来讲第四点:我是怎么评估自己的工作的,或者说在开源社区里,我们怎么保证代码库能够被维护下去。
我刚才提到,审美的本质是偏见。美很难定义,但丑可以定义。杂乱无章一定是丑陋的,就像大家觉得贫民窟脏乱差。乱、脏是很重要的标准。那么,如何避免我们的代码库变成贫民窟?我觉得很重要的一点就是让它不要乱。所以这是我今年的一个核心想法:我开始严格履行自己的职责,做一个仁慈的独裁者,要求大家严格按照我的偏见,以及我认同的偏见来写代码。
我以前经常举一个例子:AI 是人类的放大器。顶尖工程师和顶尖 AI 写出顶尖代码,糟糕的工程师和顶尖 AI 写出灾难性代码。以前不是这样。比如 2024 年,我们还没有顶尖 AI,人类写代码很慢。假如一个人的工程水平很糟糕,他可能一周只能提两个 PR。我看一眼就知道这个 PR 不行,就会拒绝掉。但到了现在,一个代码水平很糟糕、认知很差、不负责任的人,一周可以提 100 个 PR。如果我要一个个评估他的 PR 好不好,会非常花时间。但如果我不评估、全部拒绝,会伤害人的感情;如果全部接受,我们的代码库很快就会被毁掉。
我觉得这是所有开源项目今天遇到的一个困境。
是的,这就是我说的,糟糕的工程师和顶尖 AI 会写出灾难性代码。AI 是人类智力的放大器。我待会儿还会举更多例子,讲我们怎么通过写代码放大智慧。
但今年我越来越在意我们的代码库究竟长什么样。以前我觉得自己的偏见未必正确,但我现在想明白了,偏见本身就不存在正确与否,只要这个偏见是一致的,事情就能推动下去。我开始要求大家按照我的风格写代码。比如有 if 就必须有 else,就算是一个 if-return,也必须写一个 else pass。即便你觉得 else pass 很蠢,我还是会告诉你,这样可以减少很多 bug,而且我们的代码风格就是这样。
其次,我要求注释里不能有顿号,因为顿号不是 backtick 语法,而 Python 也不是 backtick 语法。我还要求注释里必须有人的名字。这是一种双向筛选:我用这种方式要求每个人和他们的 agents 符合我的标准。如果他们觉得我的标准不好,也不喜欢我,可以不参与这个开源项目。但通过这种方式,我确实实现了项目的连续性。从我开始强行推进这种风格之后,项目的代码质量有了很大提升,而且大家也能在这个相处框架下合作得很好。
蛮有意思的,感觉这个实践可以推广到更多地方。
是的。我刚才提到的概念叫仁慈的独裁者,学名叫 BDFL。这个说法最早是讲 Linux 的,指 Linux 项目的仁慈独裁者。首先,他得是仁慈的,初衷是让项目发展得更好;但他也是独裁者,可以拒绝任何不符合自己偏见的事情。如果他觉得某个东西不美,即使有其他利益要推动它,Linux 也可以坚决拒绝。这就是我认为的仁慈独裁者角色。需要有人承担最终的技术判断。
我也非常感谢今年和我一起做这些事情的人。我们把我的每一种偏见写成 requirements,不符合 requirements 的代码就不能 merge。这些都是大家一点点改出来的。
对我来说,大家做新工作很高兴,突然交上来一万行代码,大家都会很爽。但过几个月,如果没人读得懂这段代码为什么这么写,项目就会臃肿、混乱。如果我们还想让这个框架有两年、三年甚至十年的生命力,就需要严格推进,把我们的偏见统一起来。
我们很快就已经聊完 4 个 Aha moments 了。我记得一开始你讲第一个的时候,提到 Fable 5.2 的发布和 RSI 这两个关键词。GPT-5.2 我们好像还没怎么聊到。这里有什么想展开的吗?
5. 廉价智能冲击社会
我可能很难对 Fable 5.2 这个模型做更多评价,因为涉及一些商业利益上的冲突。但我可以讲一个非常真实的感受:我认识到,便宜的智能会给社会带来极大的冲击。这可能是 AI 安全里一个非常重要的话题。我自己也没有想清楚,但很愿意把这个问题分享出来。
当智能变得容易获得之后,我们人类该怎么办?我自己很喜欢这些工具,每天都在用。Claude Office 5.5 和 Fiber 5.1 是我最喜欢的模型,它们的智力水平都很强,远远超过我。我不可能在智力水平和操作能力上战胜它们。以后,当人类发现智能就像水和电一样,是随手可得的东西,社会会发生巨大的改变。
所以,像 Fable 5.2 这样的模型发布,我非常兴奋。但与此同时,我对研究 AI 如何进入真实工作、如何影响人、以及 AI 安全的项目越来越感兴趣。我最近经常读 Frontier Model 对 AI 安全和社会影响的讨论,比如 Hack Interface 的越狱事件、之前币安发生的重大盗窃,甚至最近 NVIDIA 有一批显卡在美国境内被盗。AI 太疯狂了:有人谈 AI 能力增长,有人谈 AI 如何让更多人受益,也有人谈能力越强之后我们应该怎么使用。但有一个很难回避的问题:当人类的智力劳动开始贬值之后,我们的劳动价值究竟在哪里?
马斯克经常有个观点,说要给全民发 UBI,也就是普遍基本收入。当 AI 替代所有人劳动时,AI 需要缴税、创造经济价值,然后分给每一个人。我可以举个例子,这也是我经常讨论的一点。
前段时间,江西有一个女孩,家里是低保户,整个家庭需要靠低保维持很大一部分生活开支。她在中专念书,去香港看演唱会,导致家里的低保被取消了。这是一个争议非常大的问题。首先,我觉得很难评价这件事,大家需要客观看待。她去香港看演唱会之前,当地政府通知过她,出境会触发高消费审核,可能影响家里的低保。当地政府多次提醒她,但她最后还是去了。她可能以为自己出境游不会被政府部门监控到,事实上却被发现了。所以在政府充分告知的情况下,她出境游后低保被取消,我觉得这件事至少没有特别大的争议。
但高消费要不要取消低保,确实很值得思考。假设你领低保,却去买 LV,去看薛之谦的演唱会,或者看 LPL 世界赛,这就很有争议。有人会觉得你可以这样消费,这是精神消费;也有人会觉得电子竞技是鸦片,你不能这样消费。我不能评价具体的政务,但我想说,如果人类靠施舍过日子,人就一定不会有自由。
如果以后人类靠 UBI 过日子,一定会有人讨论:你是不是不能喝依云矿泉水?是不是不能拿这笔钱买 PSP?是不是不能换最新的苹果手机?是不是只能买超市里的廉价食物?这些事情令人相当恐怖。所以我相信人的这种性子,一定会让接受施舍的人受到很多非议。为了不至于每个人都靠施舍过日子,我们一定要严肃考虑 AI 的未来是什么样子。
所以你在这个问题上有什么答案吗?
很遗憾,我只能看到悲观的未来。这也是为什么我愿意在这个平台分享:我认为一定要提醒大家考虑这个问题。我中学时读刘慈欣的科幻小说,里面有个故事叫《赡养地球》,讲某个星球上的造物主拥有了全部财富,以至于那个星球上的人类想呼吸空气都要向造物主申请,需要购买氧气才能呼吸。我觉得,如果人类社会不加以讨论,没有更多人仔细思考 AI 的未来,就会滑向这个悲惨的边缘。
这确实是一个发人深省的问题。
马斯克是人类社会第一个 trillionaire,掌握着万亿美元级别的财富,也在展示他的仁慈,说要给大家发 UBI。假设人类真的出现一个极端富有的人,通过智力汇集效应把大量财富聚集到自己身上,人类的未来会是什么样?会非常可悲。
所以我期待模型变得更好,我也确实从模型进步中获得了很多便利。但我真切地知道,如果不加限制,会有很多人失业。美国刚刚结束中期选举,两党的巨大争议就是 AI 数据中心和 AI 限制。我不能对未来政策做任何判断,但我想呼吁:这是每一个研究员、每一个人都需要认真思考的问题。
你有没有看到什么让你觉得比较积极的行动、倡议或者思潮?
有几天我在旧金山,路过 OpenAI 总部,看到有人举着 “Stop AI” 的牌子。我当时路过,也举了 10 分钟。所以我觉得这也是一个很大的呼吁。对。
你自己也举了 “Stop AI”?
我自己确实举过。好吧,这只是个玩笑,这件事很小。我举了 10 分钟,只是很好奇这群人的诉求是什么,但发现他们的诉求仅仅是 “Stop AI”,所以后来我就走了。Anyway,我认为深入思考 AI 非常重要。
这里也可以讲些有趣的事情。大家可能听过很多名词,比如 EA、有效利他主义、加速主义,甚至 Anthropic 的诞生,也有很多传奇般的故事:一群 OpenAI 的反叛者是怎么创立 Anthropic 这样一家颇具争议的企业。
但我想讲一件有意思的事:Anthropic 内部的企业文化很有意思。Anthropic 第一次发布出一款超越 OpenAI 的模型时,内部产生了巨大争议。因为在一些早期研究者看来,Anthropic 的使命是给 AI 加上紧箍咒。他们很担心 AI 加速会让人类彻底终结。如果 Anthropic 和 OpenAI 像左脚踩右脚一样,比谁的模型更领先,只会加速 AI,而不是实现他们所说的 AI 安全。所以 Anthropic 早期确实有一群考虑人类未来的有效利他主义者,希望自己作为聪明人,能为人类未来着想。当然现在争议太大,我只能说一些早期的事情,这些都是公开可以查到的。
话说回来,有效利他主义者可能会经常思考 AI 政策应该是什么样,要不要封禁开源模型、要不要封禁领先的显卡。这些事情我不能评价。但有效利他主义者很多时候又会陷入精英的傲慢:因为他们已经成为精英,就觉得自己比其他人聪明,有权替全人类做选择。我觉得这是一种傲慢。我首先反对替全人类做决策,但也呼吁大家认真思考这个问题,因为这是每个人都需要思考的问题。
我看到你的微信名字很有意思,是一句话,由 4 个并列的词组成:我、吉他、猫、LLM。给人的感觉是,你的生活里除了 AI、下一代模型怎么做得更大更强,以及 SGLang 怎么让它们变得更快,好像也有很多其他思考:AI 怎么让人过得更好,而不是更差;怎么让整个人类社会变得更好,而不是更差。智能被无限、免费地供给之后,我们是不是还可以有吉他、有猫,让每天过得更快乐、更幸福?
6. 活人感比完美履历重要
是的。我在 LinkedIn 上有一个很经典的言论,当然这也算是一个很火的讨论,就是优绩主义。
在我看来,分享 OpenAI 的巨额薪资、分享自己财富自由了、分享 xAI 有很多显卡、分享 Google 的午餐特别好,就像一只鸡在讨论去正新鸡排还是德克士、肯德基还是麦当劳。对我而言没有区别,这些就是养鸡场之间的区别。
我是一个很在乎自己活人感的人。你也可以从我的微信名字看到,“我、吉他、猫、LLM”。这个 idea 其实源自《爱,死亡和机器人》,我是它的疯狂粉丝。《赛博朋克 2077》也经常描绘极端资本主义、极端赛博化的世界,我觉得很恐怖。我不希望走向这样悲惨的未来。每个人都应该认真思考人类的未来是什么样子,不要替他人做决定。替他人做决定是傲慢的,但不为自己做决定是不负责任的。
说到这里,过去一年里有没有什么决定,是你为自己做的?
第一点,你会发现我经常在很多平台、很多时候讲,我们一定要认真审视加速主义的未来。如果我们不重视,留给人类思考的时间会越来越少。
其次,有很多体现活人感的地方。首先,我决定以后不想为自己辩经,也不想做一个优绩主义者,因为我认为人的一个重要价值就是给 AI 提供很好的 context。活人感太重要了。我希望自己是一个鲜活的人,不希望自己是一个履历完美的人,反正我的履历本来也不完美。我有很多困境,不想粉饰过去做得很糟糕的决定,也犯过一些糗事。这算是第二点。
那能不能讲一个糗事?
算了,小红书上都有,我从来不删任何一条帖子。
第三点,我开始严格健身。从今年年初到现在,我可能瘦了 10 公斤。
哇,这是完全靠运动,不是靠科学?
对,有很多人靠科学。你可以了解一下司美格鲁肽和替尔泊肽,在美国非常火。但我比较古法,喜欢古法编程,虽然不常用;我也比较喜欢古法锻炼身体。虽然我知道有搏击理论,但不太了解。对我来说,保持身体健康很重要。我每天健康工作,让自己活得更久,坚持到 AGI 彻底实现的那一天,那么我就会成为赢家。
但我也知道有很多人的身体会迅速垮掉。AI Frontier 公司一方面工作强度极大,另一方面经常模糊工作和生活的边界。我不得不说,我工作强度也很大,经常把工作和生活混在一起。我太太也经常被我弄得很恼火,因为我从早工作到晚。即便如此,我还是要坚持每天锻炼一个半小时。我需要向太太道歉,希望这段能播出来:对不起,我把工作和生活混在一起了。
还有些事情,比如我开始想明白,工作上的事情只要 AI 出动,很多都会解决。但如果我没有好好对待人际关系,没有照顾好我的猫、太太,或者没有陪伴家人,很多事情可能就不可能逆转了。这也是我的一个想法。
还有一件事,就是我开始不打游戏了。
这容易吗?还是其实需要花很多 effort 去自制?
太不容易了。我小学时疯狂打《英雄联盟》。上初中之后,高中压力很大,而且学校是很严格的军事化管理,也很封闭,所以其实没什么时间打游戏。我本科时也不怎么打游戏,但来了美国之后太无聊了,所以又开始玩《英雄联盟手游》。
我不得不说,这是一款有很多问题的游戏,但我是《英雄联盟》多年的粉丝。我从来不说自己是不打游戏的人。如果这个播客播出来,请一定把这段话播出来,因为我想做一个鲜活的人。《英雄联盟》很好玩。
但我为什么不打游戏了呢?因为我发现不是我在玩游戏,是游戏在玩我,太恐怖了。我觉得《英雄联盟手游》很夸张,里面的 AI 玩家实在太多了,我都不敢确定一局里究竟能匹配到几个活人。有些操作非常像真人,但另一方面,很多人也会用 AI 打游戏。
我觉得游戏公司会把我的胜率稳定在 50%,有时候甚至让我连续输 5 轮。我说打完这一轮就卸载,它让我赢一轮,我就不卸载。我就这样被游戏玩了几个月。直到有一天,我说再输一轮就不玩了。那时候我已经连续输掉 6 次了,最后那局我输了,就把游戏卸载了。恭喜 EOMM 机制彻底把我赶走,我再也不会玩这个游戏了。
所以这感觉好像也是你失去了一些自由。
是的,我觉得这是一个非常深刻的 debate。但对我来说,至少游戏这种虚拟化的东西让我非常上瘾,我希望把自己从中解脱出来。
我最近也装了一个朋友做的、还在内测的 APP,可以锁住小红书,让你每天只用 3 次、每次 5 分钟。用的时候,iPhone 灵动岛上会显示一个倒计时。我发现这也让我觉得自己好像重新拿回了一些对生活的掌控感。
是的,我觉得对物理世界的掌控感真的很重要。上次我和朋友聊天,他举了个例子:过去 9 年,他的生活发生了天翻地覆的变化,他也做 AI infra,9 年前的 AI infra 和现在完全不一样。但 9 年前他带家里的狗去看过一次病,9 年后又去了一次,发现医院没什么变化,狗狗却变老了。所以他突然觉得物理世界很荒诞。
因此,我有时会更加享受物理世界。比如每周我会刻意留出时间,和太太一起爬山、参加活动,甚至去洛杉矶看展、吃好吃的川菜。Anyway,这对我很重要。我发现不打游戏之后,还是需要消磨时间,于是培养了其他爱好:读书、研究历史,或者写作。我本科时就经常写作,现在更加享受这件事了。
我们刚才是不是已经讲了 4 个 Aha moments?下一个是第五个,对吧?
天啊,我都快忘了,刚才太投入了。
好,那我们就来吧,应该是第五个。
7. 电脑操作 Agent 走进生活
第五个,我先想想最近的工作。我来讲讲多模态,因为这是我之前和你聊好要分享的内容。这几年我对多模态有过痛苦的认识。尽管今年 6 月很多人说多模态是路边一条蛆,但这几个月,随着 Muse、Haike、国内豆包等多模态交互式助手兴起,多模态又变好了,市场也变好了,大家又上心了。多模态发生了什么本质变化?可以好好想想这个问题。
我想讲讲多模态的一种应用:Computer Use Agent,也就是 CUA。我开始用 CUA 疯狂处理生活里的麻烦事。前几期节目里,你和谷雨聊过。我和谷雨很熟,虽然他比我大五六岁,但我们交情很好。谷雨是一位非常优秀的顶尖研究者,他们公司做 agent。他们几乎是最早从 NLP 转向 agent 的人之一,因为他们意识到 NLP 已经走不下去了。
我的工作经历也类似,从 NLP 到 Swift,再到 MLC;谷雨大哥则是从 NLP、Swift 到 agents。近两年来,他们一直在研究 agents。我以前疯狂批评这个领域,觉得它礼崩乐坏,因为没有公正的标准。我可以录 10 个 demo,再 cherry-pick 一个最好的,就说 agents 无敌了,已经可以从头到尾写一个全新的 Photoshop。但这不对,不能靠 cherry-pick 来证明一件事。agents 的 evaluation 长期没做好,所以很糟糕。
但到了现在,经过这么多轮迭代,很多优秀研究者发现 evaluation 不好,改进了它,也让这个领域重新焕发生机。比如后来有了 OSWorld 这样的工作。这批华人研究者在 agent 研究上互通有无,非常优秀。相比于一些刻意 cherry-pick、破坏研究规范的人,他们都是很诚实、很强大的研究者。有些人在 Frontier Lab,有些人自己创业。无论是天宝、谷雨,还是苏昱老师,都是我非常佩服的研究者。
Anyway,我以前觉得 agents 礼崩乐坏,今年我投降了。有一天晚上,我写完代码,和太太聊天时看到她的屏幕在动来动去,才发现她在用 ChatGPT 的 Computer Use Agent。它非常优秀,非常厉害。
我太太研究的是传统自然科学,比如生物、医药。她们有些数据软件叫 Origin,很多做科学计算的人可能了解。这个软件很老,没有 SDK,很难让 agent 自动操作,甚至可能只有 Windows 版本,我都不知道有没有 Mac 版本。这样的软件,我发现 GPT 的 Computer Use Agent 竟然能拿着一个虚拟鼠标,点来点去把事情做完。更不用说 Excel、Word、Google Chrome、飞书,CUA 都做得非常好。那天我发现这东西太厉害了,就去问了问 CUA 的原理,才发现自己真是一叶障目,不识泰山,做得太优秀了。
简单来说,我做推理,Vision Language Model 的推理比较麻烦,因为图片不具有前缀性。对于 LLM 来说,string A 加 string B 和 string A 加 string C,前缀 A 可以共享,这样推理才会快。这是 KV cache 的基本原理,前缀可以共享。但如果是 A 加 C 和 B 加 C,尾缀 C 就不能共享。
图片有个特点,就是相邻的两帧图片几乎不能共享。所以鼠标挪了一个位置,严格来说,可能就要重新计算整张图片。如果 Computer Use Agent 每一步都截图操作,效果会很糟糕。但天才的想法很多,其中有个很常见的例子是无障碍功能。苹果有一个很厉害的功能,是为盲人用户设计的:苹果上的软件几乎都要能够被导出成文档,再把文档读出来。这样,软件就不再是一张图片,而成了一个字符串。字符串具有前缀性。
所以很多 Computer Use Agent 只有在最糟糕的情况下,才会真的通过截图操作屏幕。结合无障碍功能和偶尔截图,Computer Use Agent 就能达到几乎无敌的效果。我发现它很厉害之后,就开始用它做几件事。
有一次我换了一张银行卡交房租,后来扣款失败,账单上被罚了 75 美元。我当时很生气。75 美元可能不是一笔大钱,但扣款失败当天就可以告诉我,不该过一周才通知我,再让我交罚款。所以我让 GPT 去和物业公司 argue:这 75 美元不该扣我,是你们没有当天通知我。GPT 和物业公司来回发了 3 封邮件,点来点去,第二天 75 美元就退回到我的账上。
第二件事是,我本科时喜欢写作,最开始用 Markdown 存在本地,后来觉得 Markdown 很危险,电脑硬盘坏了就没了。于是我改用 Notion。后来到了美国,我发现自己已经登录不上本科时的清华邮箱了,而本科日记都在 Notion 上。如果哪天我连账号也登不上,宝贵的东西就没了,我很害怕。但我又没有时间把那些日记都下载下来。
那天我用 Computer Use Agent 告诉它:“这是我本科的笔记,这是大三的,这是大四的,这些是我觉得写得很好的笔记,这些是学习笔记,这些是日记。现在请你每个页面都点击 Export,保存成 Markdown、CSV 和 PDF,帮我存下来。”两个小时之内它就做完了。
我最近也是让 ChatGPT、Codex 帮我把印象笔记里几千条笔记全部导出来了。过去手动导出,我可能拖延了好几年,最近它一口气就帮我做好了。说回来,第五个 Aha moment,其实你想讲的是多模态,然后从多模态讲到了 Computer Use 的巨大进步,让你很震撼,对吗?
是的。而且这些 Computer Use Agent 的智力也在线。帮我处理房租都是小事,它还帮我在美国和医保公司 argue,因为我不懂美国复杂的医保条件;也帮我预约医保、体检、洗牙。这几天我可能要搬家,还要和很多物业公司 argue。我就发现 Claude 和 GPT 太强了。
更搞笑的是,那些物业公司本身也是 AI。我看到两个 AI 对话十几轮,从下午 4 点一直聊到 7 点,太搞笑了。这个事情真的让我觉得很糟糕。我觉得本质原因是 AI 没有决定权。AI 都非常保守,不愿意为任何决定承担责任。大多数 AI 都像宦官 AI,把责任都推开,只保留权力。但 AI 既然不负责任,就不敢拍板任何事情。所以我觉得用 AI 代替人工客服很糟糕。
我还可以讲一些美国很好玩的事情。Muse 有个功能,可以用 TTS 帮你打电话,你就会听到两个 AI 互相对话,非常抽象,啼笑皆非。前段时间我又发现一个更厉害的功能:以前我用 Computer Use Agent,只能操作电脑上的工作;后来我才知道,iMac 上有个软件叫 iPhone 镜像,手机锁屏之后,你可以在 Mac 上操作 iPhone。
最近 Phone Use 也出现了一批不同的产品。操作 Mac 上的镜像是其中一种办法,还有其他不同的技术方案,各显神通。
太震撼了。我想说:Agent 大哥,请收下我的膝盖。
但我理解,这和多模态原来的研究员做的事情,关系还是没那么强吧?
还是有一些关系的。总之,即便我太太他们做传统自然科学,可能用 AI 的地方不多,但整理数据、做张图、帮忙画点 PPT,都不在话下。更何况我是每天和 AI 打交道的人,我觉得自己已经被 AI 彻底征服了。
下面是第六个,对吗?第六个就是交互式人工智能。我要定义一下什么叫交互式人工智能。一个宏大的定义是,人和人的对话是连续的。比如我和你对话时,看到你一段时间没回复,我会想:是不是我的问题说得不清楚?是不是没给够背景信息?我会补充一些背景。我也可能在你说话有点偏题时打断你。人与人的交互是连续、自然的,输入也都是持续的。
有一种学术观点认为,人就是一台每 200 毫秒有一次输入的 thinking machine。很多优秀的交互式智能产品,比如 GPT Live、Thinking Machines 的交互模型、美国的 Hark,还有豆包,以及国内很多创业公司的产品,各有不同方案,但核心都是让交互变得更自然,同时不损害智力水平。
我们怎么思考这个问题?开源 AI Infra 对这些模型能做什么?我可以举些例子。主观上有三种路线。第一种叫 native duplex。比如 Google 的交互模型,每 200 毫秒读取一次输入,并决定接下来 200 毫秒的输出是什么,这是一个连续交互的过程。这就是 native duplex model,有语音、视频和文字,而且很聪明。
第二种是 turn-based。我们训练一个 audio dialogue model,可以输入 audio,也可以输出 audio。它的好处是仍然按轮次交互,有点像 ChatGPT:你问它一个问题,它输出一段文字,再用语音读出来。你要打断它,还是得生硬地按暂停键。
第三种是开源社区做的很多级联方案:通过一个语音活动检测器 VAD,也就是 Voice Activity Detection,再加上 ASR,把语音转成文字;再加一个 LLM 处理转录文字,最后把 LLM 生成的内容交给 TTS 转成语音。三种方案各有千秋,但很遗憾,前两种方案里模型的重要性太高了。如果没有优秀的开源模型,我们很难做。
Qwen3-Omni 已经是去年发布的模型了。可能千问最先进的模型已经很有优势,但没有新的开源模型供大家使用。那开源社区能做什么?很高兴的是,ASR、LLM 和 TTS 这几块都会有新的优秀开源模型出来。比如大概 3 周前,MiniMax M3.1 发布了。这个模型很聪明,有 400B,非常 elegant。我和 MiniMax 的朋友合作做了一个 demo:ASR 用 Qwen3-Omni,中间的 LLM 用 MiniMax M3.1 的 API,TTS 用 Qwen3-TTS。用起来是一个很有灵性、很聪明、很快的模型,交互也很自然。
大家也可以看我们 SGLang Omni 的 blog,里面有一些 demo,非常好看,也很聪明,中文、英文、阿拉伯语都说得很好。级联方案的一个好处是有优秀的开源模型,而且每一部分都可以独立升级。
所以你认为未来长期来看,端到端和级联这两条路线会一起并存吗?
是的,甚至中间还会有过渡态。我知道有些研究者会用级联方案,但也把 TTS 和 LLM 做得更定制化,需要一些数据的 post-training。这个成本可能没有训练 native duplex model 那么高,但肯定比级联方案高,因为级联方案不需要训练。
长期来看,任何技术方案都会并行,直到大家收敛到某一种技术方案。我很喜欢这种百花齐放的状态。
我刚才讲了 ASR、LLM 加 TTS 的流程,听起来很完美。但有个很奇怪的问题:我们现在的开源 LLM 大多数是为了 coding 训练的,coding 模型一吐 token 就是成千上万个。你真的希望每个 token 都由 TTS 读出来吗?
比如我问 GPT:“今天洛杉矶天气怎么样?”GPT 会朗读:“今天洛杉矶的天气是 72 华氏度。”但它的 app 会把这一周洛杉矶的天气渲染出来。我觉得这至少是 GPT 产品上做得很好的一个地方。
我们现在还有不足:大多数时候,LLM 会选择把每个 token 都读出来,而且 TTS 有时读不懂。GPT 有时会生成表情符号,TTS 读到表情符号就直接乱码,它不懂。总不能训练 TTS 去读表情符号吧?有很多技术细节需要打磨。
我们想写一个 TTS as a tool,也就是说,TTS 对 LLM 来说是一个必须调用的 tool,但它和查天气一样,只是一个 tool。它先调用查天气的 tool,弄清楚天气怎么样,再调用 TTS 这个 tool,让 TTS 读出其中一部分。这个方案听起来不错,但人太理想了。我发现模型很聪明,又不完全聪明。
这是我一年前在 Amazon 的 AGI Lab 时的感受。当时我们研究了很多 tool call 的训练。我以为过了一年,大家的 LLM 零样本泛化能力应该很好,结果发现并不是。我让模型在不开 thinking 的情况下调用 TTS,它还是不太会调用:要么参数给错,要么读出来的东西很弱智。但如果打开 LLM 的 thinking,让它想 10 分钟再给用户读一段话,你能接受吗?不可能吧?
所以工程上的 mitigation 还在继续。任何一个时代,模型智力水平提高,水面上升了,以前的暗礁露出水面;但又会出现新的暗礁。比如水面一直升高,珠穆朗玛峰也成了暗礁,我们还是得想办法解决。
好,这是第六个。我们继续看看第七个是什么。
8. 语音输入重塑工作流
第七个是另一个我非常喜欢的交互式系统:语音输入法。我每天可能会输出 4 万个汉字,要是打字根本不可能。语音输入法真的改变了我,因为它在某种意义上让我的输出速度跟上了思想速度。我说话有时比想得还快。
我有很多前赴后继的研究者在研究怎么优化语音输入法,比如怎么通过联想、用户 context 等方式,在用户打字时帮助写好输入法。这是输入法一个很核心的研究点。但语音输入法也需要纠错。现在主流语音输入法的技术方案很简单:ASR 加 LLM。和交互式系统很像,只是少了 TTS。
ASR 把语音转成文字,LLM 再把文字 polish 一下。举个例子,我现在用 Qwen3-ASR 做 ASR,或者用邱锡鹏老师他们团队的 MosT 模型做长语音 ASR;LLM 用的是 Kimi K3.1。ASR 本身的识别正确率很好,但就像我说的,ASR 也有 WER。比如经过量化后的 WER 可能是 5%,也就是说 100 个字里有 5 个字会错。
更可怕的是语音有多义性。比如我有个朋友叫高翼飞,你想想看,“高翼飞”的“翼”是飘逸的“逸”,还是“聚怀一心、壮士飞”的“毅”,还是“一飞冲天”的“翼”?如果我不告诉 LLM 和 ASR 我说的是哪个字,它就很难识别对。所以我还是需要纠错。
怎么纠错呢?不好意思,我又卖弄了。很简单,把信息写在 prompt 里。比如告诉 LLM:“高翼飞”可能会被识别成高一飞、高二飞、高三飞、高逸飞、高零飞,但都要映射到高翼飞这个人;他的“翼”是“一飞冲天”的“翼”,这样就完美了。
ASR 有一定的 context,也有参数可以设置一个简单 prompt,但没那么强,大部分工作还是由 LLM 完成。这样一套流程就是 ASR 很快地处理语音,10 秒钟的音频可能 1 秒钟就识别完了。当然,我们的 SGLang Omni 的 MLX 做得非常好,非常快,大家一定要体验。而且 Kimi K3 和 K3.1 模型很聪明,我开 thinking,在 thinking 不高的情况下也能做得很好;长音频可能要把 thinking 开得高一些,也能做得很好。总之,ASR 加 LLM 的语音输入法又快又准,肯定比我打字快得多。
这里我要强烈安利我们的软件 Voxt,V-o-x-t。这是我用了半年、昨天刚刚发布 2.0 的开源语音输入法。开发者是官伟老师,一位很优秀的独立开发者,有很多年软件开发经验。
我们把 Voxt 的 ASR 换成了 SGLang-MLX。这件事很厉害,因为我们向官伟老师保证,正确性一致、性能更强、易用性更好。我们甚至可以在 Mac 上开启 speculative decoding,让 ASR 更快,快得出奇。
另一点是,我告诉官伟老师,我们希望本地 LLM 换成更成熟的框架,至少不能用 MLX 原生 LLM,因为它的 prefix、KV 这些做得都不太好。我告诉他说可以用 Ollama、买云服务,也可以用 SGLang-MLX。Anyway,我后来换用了 Ollama,也用过 SGLang-MLX,最近还用了自己部署的 Kimi K3.1,效果非常惊艳。ASR 转得快,LLM 推理也快,最后打字速度比我键盘敲字快很多,简直无敌了。
录完播客我也要试一下,被安利到了。
如果你想掌握自己所有的 context,不想泄露隐私,那么用 Voxt 的理由就很充分。你想自己用 5090 推理 LLM 来润色,我觉得也完全可以。总之,这一系列工作流让我方便了很多。而且正是因为使用 Voxt,我发现方便的产品入口非常重要。
我经常要读英文文献,有时需要翻译。以前要复制粘贴、打开 GPT、敲字说“翻译为英文”,每次要五六秒、七八秒,好像没什么,但一年下来会浪费很多时间。后来我接触到了豆包插件:选中一段文字,右键,插件就会出现,提供翻译、润色、转写这几个功能。这证明了一点:豆包插件的入口比 ChatGPT 浅。
我今天发现 Voxt 的入口无敌了。比如我选中一段话,说“翻译为英文,朴素一点”,马上就翻译好了。我再选中内容,说“转成一二三四点”,它也可以做。这个入口真的太方便了。如果我要把波斯语翻译成中文,又得去调整豆包的设置。Anyway,这体现了软件易用性的好处。现在我觉得它给本地工作流带来了极大的便利。
我们最近也录了一个 demo,展示它的功能:第一是语音输入,第二是翻译,第三是 N 对 N 的语音助手。非常期待大家来体验。
聊完这个就还剩最后三个了。第八个是什么?
9. 历史揭示权责与制度
哇,我有点依依不舍,感觉还有好多想聊的。自从我放弃打游戏之后,不是做了两件事嘛,一个是健身,一个是读书。我今年主要做的事情其实是研究历史。
比较好玩的是,我读的第一本书可能不算书:我把电视剧《大明王朝1566》完整看了一遍,对我的启发非常大。因为我开始上班、接触社会了,这真不愧是国产权谋剧的第一名。当然这部剧有很多可以讨论的话题,也有很多好玩的梗,比如“大明举重冠军”。我也经常说“两京一十三省在我肩上担”。但我想讲两点主要的思考。
第一点是管理学问题:一个组织只会自顶向下烂掉。或者说,如果我们觉得一个体系腐败,底层官员很糟糕,比如一家店的服务员态度很恶劣,那肯定不是服务员、底层官僚自己的问题,一定是组织和系统自上而下烂到了末尾。
以《大明王朝》为例,百姓被宦官和官僚系统毁堤淹田,没了生计,后来海瑞去赈灾。有个百姓对锦衣卫说:“当今圣上还是好的,体恤我们这些灾民,只可惜奸党当政,严嵩和严世蕃这些奸臣蒙蔽了皇上的双眼。”这很常见:大家觉得肯定是严嵩和严世蕃不行,嘉靖才不知道底下怎么样,嘉靖肯定是个好皇帝。结果这部剧演到最后,发现嘉靖才是大明朝唯一的混蛋。大明朝只有一个昏庸腐败、贪赃枉法的人,就是嘉靖。严嵩和严世蕃只是他的白手套,或者说背锅侠。
这是第一点,很残忍。当我意识到一个组织腐败时,不要怀疑,一定是从上面出了问题。
第二点,我从《大明王朝》里学到的是,为什么组织会腐败?为什么嘉靖是个混蛋皇帝?一个词就可以概括:权责不对等。嘉靖享受大明朝最大的权力和收入,修宫殿、修道观,给自己封无数庙号,让万国来朝、向他跪拜。他享受无上的权力,却不承担任何责任,把所有责任都推给严嵩。东南打仗不利是严嵩的责任,朝廷国库亏空也是他的责任。甚至因为嘉靖把国库的钱挪到自己的私库,责任也要严嵩来背。严嵩替他背了 20 多年的锅,成了他的背锅侠。
当然,严嵩自己在别人面前也有很多过度的权力,却没有责任。大明朝出现第一个不负责任的人,把权力都抓在手里却不承担责任,整个朝廷就会出问题。大明朝最不负责任的人是皇帝,所以大明朝就完蛋了。
从《大明王朝》里我看出两点:第一,系统是自顶向下腐败的;第二,系统腐败一定是权责不对等。我从中吸取了很多经验。
我可以从这个角度继续讲,都是连贯的。这里说到一个组织最核心的问题,就是权责对等。有句话叫“以身作则”,我直到看完《大明王朝》才理解这句话的分量有多重。以身作则。
回到工作中,第二点是大明朝的权责不对等还有什么体现。这就说到我读的第二本书,黄仁宇先生的《万历十五年》。这本书我高中时看过,但当时没有真正读进去。我觉得自己见识很浅,对文言文的理解也不好,对书里这些人物的处境没有太多感受。后来我到了美国,开始工作,看完《大明王朝1566》后重新读《万历十五年》,觉得非常有启发。
我很喜欢《万历十五年》的写作方法:把几个人物在万历十五年这个平常年份里的事情串联起来。万历皇帝、张居正、申时行、海瑞、戚继光、李植,各自的处境都不一样。最后书里说,万历十五年这一年没有任何事情发生,但大明朝已经完蛋了。
大明朝完蛋的原因,一方面是权责不对等;另一方面,权责不对等有个重要体现,就是制度模糊,给人留下了权责不对等的空间。所以我重述一下:第一,一个体系只能自顶向下烂;顶上烂,是因为上面的人权力太大,却不负责任。第二,权责不对等会让整个系统快速崩溃。第三,权责不对等的原因是制度模糊,或者说道德模糊。
第三点来自《万历十五年》:不要以道德治国,要以制度、以法治治国。怎么区分道德和制度、法治呢?我可以举一个《万历十五年》和接下来要讲的第三本书里都提到的经典例子:立储争论。当时既有既定礼制和规则,也有皇帝的倾向、朝臣的主张,各方角逐非常复杂,才能决定立谁为储君。
古代中国讲究嫡长子继承制,但这东西虽然叫制度,本质上还是一种道德,没有一项制度写得清清楚楚,说一定要由嫡长子继承。明代有朱棣,我待会儿会讲到他的事,对吧?朱棣直接造反,从北到南把朝廷打了下来。清代有九子夺嫡,元朝那就更不可描述了。
《万历十五年》里,万历皇帝围绕皇长子朱常洛和宠爱的皇三子朱常洵的争论持续了十多年,直到 1960 年,朱常洛才被立为太子,朱常洵被封为福王。万历一直想立宠爱的儿子、不立长子,直到朱常洵先死,这件事才有了结论。如果朱常洵没有先于朱常洛去世,事情可能就不是这个样子。
为什么会这样?因为嫡长子继承制这种道德是模糊的。皇帝可以践踏道德,说自己代表更高的道德;朝臣又坚持另一套道德。双方拉锯了十几年,让万历皇帝比嘉靖还夸张,永远不上朝。这件事我非常在意,因为它是一个典型例子:道德具有模糊性,又没有建立严格制度,整个朝廷就会非常混乱。
我读的第三本书,是蒲正民老师的《挣扎的帝国:元与明》,这是哈佛中国史系列的第五卷。书里也谈到了继承。元代的继承比明代更加糟糕,直观来说就是选择贤明的人继承皇位。什么样的人贤明?很简单,打。谁打仗最厉害、最服众、能把兄弟都打服,谁就上。
但“贤明”是很主观的。就像我刚才说 AI 写作很主观,评估主观的问题就在这里:大家不服你的评估标准,就可能打起来。所以成吉思汗在世时,有一次把孩子们召集起来说,蒙古人打了一辈子仗,很难统一。他一生最大的贡献,就是把蒙古部落统一起来,才有强大的蒙古帝国,才能南征北战。但他快死了,担心死后蒙古又分裂,所以希望他们选择窝阔台继位。
窝阔台继承成吉思汗时,tenancy 没有发生,或者说成吉思汗指定了窝阔台,是最显赫的人。但后来,每一代蒙古大汗死后,往往来不及立遗嘱,因为有些大汗直接战死,根本没机会立遗嘱。那怎么办?底下的人就打。大汗一死,蒙古帝国很快就分裂。后来元朝是蒙古帝国的一部分,所以我觉得元朝覆灭的一个重要原因,就是继承没有制度,纯粹依赖道德标准:谁最厉害谁上。这样一来,谁都可以践踏道德。
再讲回明代。明代是汉人政权,朱元璋很强调制度。他生前颁布了《大明律》和《大诰》两部法典,希望明朝成为法治社会。朱元璋说,百姓家里有《大诰》和《大明律》,就可以免于死罪。你不识字,但有人上门要你的命,你拿出这两本书,就可以免死。
朱元璋想推行法治,却仍然践踏制度。他在公检法之外还设立了特务机关。这就像今天我们是一个完善的法治国家,有公检法,一个穷凶极恶的大坏蛋、贪官、腐败分子,不可能因为他腐败,今天抓起来,明天就地枪决。他会通过复杂的法治程序,由公检法定罪,最后才能执行审判。我们不可能像明代一样,锦衣卫把人抓起来,第二天就枪决。
这就是制度的好处。制度的核心在于以身作则,制定制度的人不能违背制度本身。朱元璋亲手破坏法制,所以明代不是一个法治社会,也不是一个制度社会。
我这里讲了一个完整的故事,有三条线索:第一,腐败自顶向下;第二,权责不对等滋生腐败;第三,没有制度就会滋生权责不对等。对我最大的启发是什么?我要用制度规范一切。我的开源社区、工作和生活都要有制度。
这个制度可以有很多种。比如刚才说的,我要求大家写代码时符合我的偏见,我自己也得符合。如果我自己写 if 不加 else,还把代码 merge 了,我凭什么要求别人这么做?在 SGLang Omni 这个项目里,我拥有最高权限,不是因为我加入得早,也不是因为我做了很多事,而是因为我承担着巨大责任、建立了这套制度,而且这套制度也约束我。如果我破坏制度,大家会群起而攻之。我写代码不符合制度,我就是第一个被批评的人。因为制度是我建立的,如果我都践踏它,谁还会遵守?
这是我今年一个巨大的启发。我看完这段明史之后,发现模糊是一件很糟糕的事。尽管有些评估就是主观的,比如写作、代码质量,但如果一件事情已经客观,就不能有人违背,连建立制度的我也不能违背。
我觉得这三点——自顶向下的腐败、权责不对等、建立制度——可能就是我的第八、第九和第十个 Aha moments。我会坦诚地告诉大家我拥有什么权力、得到了什么,同时大家也要承担责任。比如参与 SGLang Omni 的很多人,可能想跳槽或者申请学校,这是一种权力,因为这个社区可以给他们提供某种信任背书,让他们去更好的地方;但与此同时,他们也承担责任。如果他们负责的部分出了问题,就需要担责。
我刚才也提到,为什么 TTS 模型做客服很糟糕,因为它们不愿意承担责任。我经常在 Twitter、LinkedIn 上批评某些版本的 GPT,因为它太喜欢推脱责任了。哪怕只剩 1% 的不确定性,它也要说“不等于”“不表明”“不完全决定”,就是不肯下决心。这是典型的甩锅行为,就是不负责任。我们希望 GPT 能承担一定责任,但它把所有责任撇清楚,因为出了事情它不想负责。
我理解这种训练的初衷。前段时间有个新闻,一个被裁的 Amazon 程序员在 GPT 的嘱托下停掉了癫痫药,为面试做准备,这件事还被拿去打官司了。GPT 可以非常被动地推脱所有责任,比如每句话都说“不表明”“不等于”。但我不允许我们社区的人这样。代码出了问题,写代码的人一定要负起责任。你写了,就得负责;同时,你也应该尽情享受自己的权力。权力和责任永远对等。有权力的人,是因为承担了责任、得到大家支持,才获得权力。
好,我们没想到第八、第九、第十个 Aha moments 一口气就分享完了。
我可能是这个圈子里最喜欢讲明史的人,每次都能讲得唾沫横飞,因为我真的很喜欢研究这个东西。
好,今天非常感谢晨阳。祝大家新年快乐。
祝大家新年快乐。希望大家都有时间思考未来人类社会要如何与 AI 共存,也希望大家在 AI 时代更要承担起责任。还要多支持我们 SGLang Omni 的工作,试试看语音输入法,非常强。