Naomi
今年 OpenAI 其实发了 3 个 benchmark：GDPval、PaperBench，还有 SWE-Lancer。提出 benchmark 的时候，他们报告哪个模型做得最好，结果都是 Anthropic 的模型最好。
所以我对 OpenAI 的研究员有很大的尊敬。他们能够把 marketing 和 research 分开，我觉得这一点还是非常 solid 的。OpenAI 自己提出了 3 个标准，至少在最开始测试的时候，反而不是自己的模型最好，这也增强了这些 benchmark 的说服力。
Bethany
Google 内部有个部门叫 Google Labs，也是 Nano Banana 和 NotebookLM 的发源地。他们非常注重 creative 的体验。NotebookLM 不只是有工程师和 PM，还有 editor、主编和作家加入整个产品体验的开发，包括最后 demo 的呈现。
现在的 Nano Banana 也会招收一些非常擅长在网上创作爆火帖子、爆火作品的人。
程曼祺
对，或者说，你在大厂待得这么舒服，为什么要出来折腾？
戴韩俊
我觉得首先创业不能假设 AGI 已经实现了。现在模型本质上还是有多少数据，就有多少智能。
我们可能关注比较多的是强化学习这个领域。有很多公司在做 orchestrator 方向的优化，最底层的 data connector 层也有非常优秀的公司，能够把企业的数据和智能体之间建立桥梁。再一个是中间的工具层，这就是 Precur 所在的层。
我们看到的一个机会是，RL 能不能应用到工具层，使得工具不再是静态的工具，而是工具本身有状态。工具自己能够知道曾经在哪里跌倒过。
程曼祺
欢迎收听《晚点聊》，我是曼祺。本期是第 137 期 Agent 工具链节目的两位嘉宾返场，Henry 和 Naomi。他们近期刚刚和普林斯顿 AI 加速创新中心的联合主任王梦迪教授一起成立了一家新的早期 VC，Moe Capital。
这次一起做客的，还有两位此前在 Google DeepMind 和 Google Cloud Vertex AI 平台工作了 7 年、刚刚创业成立 Agent 工具层公司 Precur 的联合创始人戴韩俊和 Bethany。
我想请他们分享岁末年初在硅谷观察到的 AI 水温，OpenAI、Google 等一系列新模型进展背后的故事，以及围绕当今 Agent 创业的新机会。这是今年以来《晚点聊》关于 Agent 的第 8 期节目。我们正式进入本期讨论吧。
韩俊、Bethany，你们可以和听友简单打个招呼，自我介绍一下。
戴韩俊
大家好，我叫戴韩俊。我们现在是 Precur AI 的联合创始人。在这之前，我是在 Google DeepMind 的强化学习团队做相关研究，同时也在 Gemini 的强化学习团队参与了 Gemini 几个版本的一些工作。
Bethany
大家好，我是 Bethany，是 Precur AI 的联合创始人之一。之前我在 Google Cloud Vertex AI，也就是它的机器学习平台，负责 Gemini 模型的强化训练、知识蒸馏、LoRA 微调以及 evaluation。
我做的是一个面向所有 Google Cloud 企业客户的 customization 平台。Precur AI 正在构建的是 trainable tool，也就是为 Agent 打造可训练的工具。
工具的使用能力，是智能体和现实世界交互的一种重要方式。我们的愿景是，工具不再是静态的形式，而是在工具里面嵌入智能。尤其是在工具执行任务失败的时候，工具本身能够从失败中学习和自我迭代，变得更好。
戴韩俊
我再补充一句。我和 Bethany 之前在 Google 的这段时间合作了很久，我们一个在 research 这边，一个在 product engineering 这边，在长期的 infra 和企业端也都有很多合作。
我们也是在这个过程中，看到很多事情的变化，所以很期待以后和大家一起讨论。
程曼祺
韩俊、Bethany，你们可以和听友简单打个招呼，自我介绍一下。
Naomi
大家好，我是 Naomi。上次我和 Henry 一起分享了我们在 Agent Tooling 上看到的一些机会，以及一些投资标的。
这次我们有一个 announcement：我跟 Henry，还有另外一位 co-GP、王梦迪教授，最近出来成立了一家新的基金，叫 Moe Capital。我们是一家立足于硅谷、专注于早期人工智能投资的新锐基金。
Moe 这个名字其实有两层含义。第一层是技术层面的，它其实就是 Mixture of Experts，也是当前大模型领域非常主流的架构之一。我们也以此为喻，希望以深度研究为基础，做出集中而坚定的投资布局。
第二层比较 unique，是人的层面。我们和一群来自 OpenAI、Anthropic、xAI、Google DeepMind 等顶级 AI lab 的年轻研究员共同构建了一个活跃的社区。我们不仅一起进行早期投资，他们也会参与我们的投资决策，同时在投后全力支持被投公司的成长。
我们现在正在积极投资 AI 基础设施、应用以及 AI for science 相关方向。如果你正在做这些领域的创业，非常欢迎来找我们聊聊。
今天也特别开心请到了两位嘉宾。他们是我们非常有 conviction 的被投公司 Precur 的创始团队，韩俊和 Bethany。
Henry
大家好，我是 Henry，是 Moe Capital 的联合创始人。之前我做过 research，也做过 startup，现在和 Moe 的 expert 一起做早期 AI 投资。
很高兴今天和大家一起聊一聊 AI 最新的进展。
程曼祺
这次邀请到的 4 位嘉宾，都是硅谷的一线从业者，有大厂、投资或者创业的经历。所以我们也想从你们的亲身体验和观察出发，聊一聊近期的一些进展，尤其是你们最关注、也正在做的 Agent 与强化学习方向的创业机会，以及一些商业化应用的趋势。
1. Gemini 3 Raises The Stakes
接下来我们聊聊 Agent 需要什么样的大模型，以及模型能力的演化方向。我们可以先聊聊你们亲身经历的一些行业动向，包括最近美国核心 AI lab 发布的新模型。
我知道 Henry 和 Naomi 刚去参加了 Gemini 3 的庆祝派对。我挺好奇，Google Gemini 团队在这个活动上讲了些什么？他们在庆祝什么？
大家可能知道，最近 Google 发布 Gemini 3 Pro 以后，士气非常高涨，股价也有很好的增长。昨天他们在旧金山租了一个画廊，做了一个 Gemini 3 的 launch party。
这个 party 主要邀请了很多 Gemini 3 的用户，主要是近期硅谷最火的 startup 创始人。最近 AI Studio 作为面向开发者的入口，应该有爆炸式增长，所以他们在一周前成立了一个新的 team，由 Logan Kilpatrick 来 lead。
Logan Kilpatrick 之前在 OpenAI 负责 developer experience，之后跳槽到 Google DeepMind。最近很多 Google DeepMind 的发布，都是由他来采访 Demis Hassabis、Jeff Dean 或者其他核心团队成员。所以他相当于是 Google DeepMind 现在对外的发言人。
现在他来负责 AI Studio 这个最重要的开发者门户，可以看到之后 Google 应该会有很多市场动作。
程曼祺
比较巧的是，是不是刚好同一天 GPT-5.2 也发布了？这是为了应对 Gemini 3 的竞争吗？有一种解读是，GPT-5.2 更新得特别快，GPT-5.1 发布也没有过去特别久。
我们听到的消息是，GPT-5.2 修复了之前一个版本在预训练时的一些问题，所以能力上有很大的进步。第二个原因，肯定也是之前大家可能听说过的 OpenAI 自己的 Code Red，我觉得这也算是一个应对策略。
我看了一下这次 GPT-5.2 相比 GPT-5.1 的一些 benchmark 进展。一个是 GDPval，这是 OpenAI 自己做的测评，针对 44 类知识型工作。之前 GPT-5.1 只有 38.8% 的概率达到人类顶级专家同等或更好的水平，GPT-5.2 已经到了 77.9%，上升得特别快。
另外一个上升特别快的 benchmark 是 ARC-AGI-2，之前只有 17.6%，现在到了 52.9%。这个 benchmark 的题目，我理解主要是抽象推理，看起来特别像中国考公的题目：给你几个模式，让你推测下一个模式。
程曼祺
你们怎么看它在这些 benchmark 上如此明显的提升？
2. Benchmarks Hide The Cost
首先，看这些 benchmark number 的时候，其实有一个隐含的 dimension，就是 token 或者 cost。现在大家都知道 scaling law，或者说 test-time scaling：你在使用模型的时候，让它多想一会儿，结果就会好一点。
这件事其实像很早之前大家做暴力搜索一样。搜索时间越长，可能找到的解就越好。所以光看一个 number 本身刷得多高，包括 AIME 刷到 100 分，意义可能不是特别大。
但像 ARC-AGI 这样的 benchmark，它上面有一个横轴是 cost。大家会看到，GPT-5.2 在这方面的表现特别好：在相同 cost 下，分数提高了很多；或者说，达到同样 performance 之前可能需要几十美元，现在效率增加了很多。
这点非常 interesting，因为 GPT-5.2 的定价相对来说比较高，但它整体完成这些 task 的 cost 反而降低了。所以可以看到，它对于 token 的利用效率比之前的版本高很多。
如果大家仔细看一些开源模型的 thinking trace，会发现很多模型的 thinking 效率不是很高，一直在自说自话，可能会走很多弯路。这里面确实有很大的优化空间，我觉得这是 GPT-5.2 做得特别好的地方。
另外，GDPval 确实是一个更现实的、生产生活场景中的 benchmark。前两天 Databricks 也发布了一个叫 OfficeQA 的 benchmark。当然，具体有多少人使用这个 benchmark，它的可信度和权威性可能还有待考证。
Databricks 提到，GDPval 里面可能有一些不太 realistic 的场景。第一，它的问题分布不一定是真正客户关心的问题。第二，在真实企业场景中，你甚至不知道应该从哪个文档开始找起，所以 GDPval 的 setting 可能相对 toy 一些。
这也是 Databricks 的说法：他们的 benchmark 会更 realistic、更难一点。但即使在 OfficeQA 上，GPT-5.2 还是比之前的版本好一些。所以整体来说，GDPval 本身的 number 可能不能过度解读，但从另一个方面，也能看到 GPT-5.2 在生产生活中的 task 上有明显进步。
Naomi
我想补充一下。GDPval 是一个很有意思的 benchmark。GPT-5.2 发布当天，刚好也是 OpenAI 成立 10 周年，所以相当于是一个 10 周年模型的献礼。
这让我想起 OpenAI 在 2018 年的章程里对 AGI 的定义：一个能够高度自动化、并且比人类更强地执行大部分有经济价值工作的 AI。这是他们对 AGI 的定义。
到了 2025 年，我觉得他们其实回到了 2018 年的定义上。这可能就是他们推出 GDPval 的原因。他们专门选择了 GDP 中占比超过 5%、具有重要意义的行业，比如制造业、房地产等，然后在这些重要行业里选择了 44 个职业，一共 1,320 个任务，做成了这个数据集。
可以看到，他们真正开始测量 2018 年章程里所说的 AGI 定义之后，可能会更加务实。
不过，虽然 GPT-5.2 在很多 benchmark 上都变好了，但我觉得很有意思的是，大家还是会测试它能不能数对一个单词里有多少个字母 r。
o1 的旧代号是 Strawberry，当时它已经开始能数对。现在 GPT-5.2 的内部代号是 Garlic，但它还是不能稳定地数对 Garlic 里面有几个 r。有时候说 1 个，有时候说 0 个，有时候说 2 个。
所以 AGI 其实还有很 long way to go。
程曼祺
回到 GDPval 这个标准。它是想针对真实场景，包括这次也展示了很多用例，比如财务报表、HR 资料等。
作为用户，我会有一个比较自然的疑问：这是不是又一次说明，基础模型可能会吃掉独立 Agent 的应用？在 OpenAI 里，你已经可以在一些挺专业的场景中直接和模型交互，它就能给你一个比较完整的交付。
想问一下韩俊和 Bethany，因为你们服务的是 Agent 场景或者这些公司，你们会怎么想这个趋势？
戴韩俊
3. Models Meet The Agent Gap
我觉得你说得非常好。这件事可能有两个方面。
第一，刚才你说的这些曾经需要 Agent，也就是 code scaffolding，包括代码以及模型本身的一些东西，会不会被蒸馏到模型本身，被基础模型吸纳？这个趋势我们确实已经看到了。
原因是各大 lab 在 curate 模型训练数据集的时候，也非常注意行业覆盖率。比如刚才说的 44 个行业，就是一个非常平衡的覆盖。其次，覆盖每一个行业的时候，都会有各种各样的工具。
这些工具需要通过 mock 的方式，让基础模型有和工具交互的体验。当这些体验积累多了以后，基础模型就慢慢学会直接和工具交互，而不再需要额外的代码辅助。
所以你会看到，基础模型慢慢把这些能力内化了，像是找到了自己的 shortcut，能够自己完成这件事情，不需要外界再写很多 Agent 代码。
这是基础模型的一方面：训练数据更多，覆盖更多行业和 task，模型的能力就会更好。
但硬币的另一面是，始终存在一个 gap。基础模型可以覆盖非常广谱的能力，但仍然有一个长尾、并且是 heavy-tail 的分布。这些工作流是每个企业独有的，基础模型不一定能够覆盖得非常周全。
虽然基础模型的覆盖面不断增加，但每家公司都有自己的独特工作流，而且这些工作流通常是公司独有的，也不愿意把数据公开出来。这就导致基础模型很难用这些数据训练，所以始终有一个 gap，需要额外的能力来覆盖。
Bethany
另外，模型和 Agent 也是一个相互成就的过程。比如 Cursor 是一个非常火的应用场景。它的 coding Agent，包括帮你实现新功能、帮你 debug，这些能力会促使各大模型厂商针对性地训练。
模型厂商甚至会把自己定位成服务 Cursor 的角色，让 Cursor 或其他 coding Agent 表现得更好。所以在某种程度上，如果 Agent 拥有一个明确的场景，人们就会继续在这个场景下使用 Agent，而模型能力在 coding、debugging、multi-step 等方面的提升，反过来也会成就下游的 Agent 应用。
另外，模型和 Agent 之间的 boundary 可能也没有那么清晰。比如现在 ChatGPT 这个应用本身就已经可以算是一个 Agent。以后 API 无非是把搜索工具、文件读取工具等接上去，它本身就可能是一个 Agent。
你在 API 包装的后面，可能已经有一个能够交付大量工作的东西。所以以后大家能接触到的模型和 Agent，边界可能会越来越模糊。
程曼祺
我也想聊一下最近更火的另一个模型 Gemini 3 Pro。你们在硅谷的感受是，GPT-5.2 和 Gemini 3 Pro 发布时，声量上有明显区别吗？比如开发者讨论或者市场关注？
4. Gemini Wins The Attention War
Henry
我觉得 Gemini 3 Pro 发布时声量更大。因为在它发布之前，已经有一个很长的、逐渐建立大家预期的过程。
发布前一两个月，我们就已经听到一些 OpenAI 的朋友说最近比较紧张，因为听说 Google 下一个模型 release 会很强。当时大家的预期很高，最后出来的效果确实也不错。
我觉得这是一个非常重要的时间节点，象征着 Google 全面达到 SOTA。过去两年里，Google 做了很多很好的工作，但可能是不同方面的亮点。
比如 Gemini 1.5 的时候，第一次把 long context 做到 100 万 token。之后它一直把 cost efficiency 做得非常好，在 Pareto frontier 上 Google 的模型一般都有很多优势。去年年底发布的 reasoning with budgets，效果也不错。Google 的 multimodal understanding 一直很好，今年 Nano Banana 的效果也非常惊艳。
但 Gemini 3 Pro 感觉是把这些不同的 component 放在一起，在 across different dimensions 上都能够达到 SOTA，所以是一个比较重要的时间节点。
Naomi
我的感受也类似。我们在 Anthropic 的朋友，当时也感觉特别紧张。他们内部对 Gemini 3 的期望真的很高，在这么高的期望下还能满足大家的预期，我觉得已经很不容易了。
当然，我觉得有很多东西可以造成病毒式传播、让大家惊艳。比如生成网页，这件事市面上已经有很多成功的产品，但 Gemini 原生就能做到，审美和可用性甚至可能比已有的产品更好，这件事本身就很容易造成传播。
刚才我们讨论 GPT-5.2 时，更多是在讨论实用性的 Office 工作，或者白领工作。这些事情虽然确实很有用，但在传播和制造热度方面，可能不如直接做一个交互式应用吸引眼球。
所以这可能不是一个 fair comparison，但也代表 Gemini 在这方面确实非常惊艳。
Bethany
Google 内部其实也紧张。他们紧张的是：我们是不是 disclose 得太多了，是不是太强了，以至于让竞争对手紧张起来了。
所以他们的紧张，是因为他们可能让竞争对手经历了一次非常紧张的过程。
刚才韩俊说的传播途径确实很重要。Google 内部有个部门叫 Google Labs，也是 Nano Banana 和 NotebookLM 的发源地。他们非常注重 creative 的体验。
NotebookLM 不只是有工程师和 PM，还有 editor、主编和作家参与整个产品体验的开发，包括最后 demo 的呈现。现在 Nano Banana 也会招收一些非常擅长在网上创作爆火帖子、爆火作品的人。
他们能够抓住什么东西可以病毒式传播，所以会特意招这样的人加入自己的团队。这也是他们思考声量的一部分。
程曼祺
这个分享挺有意思。Google Labs 和 DeepMind 是分开的部门，对吧？它是一个更偏产品的部门？
对，它更偏产品。不过它的 head 也负责一部分 DeepMind 的人，所以双方有非常多合作，也有很多产品驱动的训练数据补充。
程曼祺
这个 head 是什么背景？他以前做什么？
他的产品背景非常强，最早做的是 NBU，也就是 Next Billion Users。所以他非常习惯在很难打开的市场里打开一片天。我非常佩服他，他叫 Josh Woodward。
程曼祺
我看他和 Hassabis 在 Gemini 3 发布之后一起做了一个播客分享。
对，他现在也是相关 app 的负责人。
程曼祺
Next Billion Users 是 Google 以前为了让自己拥有更多用户，专门设立的一个组织吗？
是的。它做一些非常有意思的产品，包括在印度这样的市场，思考怎么为 Google 打开 the next billion users。
程曼祺
我还有一个很好奇的小问题。Nano Banana 其实是 Gemini 2.5 Flash Image 的一个代号或者昵称，它为什么叫这个名字？为什么叫小香蕉？
我知道。当时我们办活动的时候，他们的产品负责人和 PM 都来了。一个 PM 说：“我们今天就加班到凌晨两三点，我们要 make the project name really fun。”
他说：“那我们就想一个什么样的水果吧。”然后他看了一下自己昨天做的美甲，发现美甲上是两个香蕉，于是他说：“Why not we just call it Nano Banana？”
所以他们就取了这个名字。当时我觉得，原来这个起名可以这么 random。我还特意拍了他美甲的照片。
程曼祺
可以可以，我们看看原版的小香蕉是什么样子。
说实话，这个名字对我来说非常难念，因为我分不清 N 和 L。我觉得这个名字实在太灾难了。
5. Google Rebuilds The Stack
Henry
这次 Gemini 3 的成功，可能和他们在 pre-training 上的突破有一定关系。大家可能还记得，去年 Ilya Sutskever 在 NeurIPS 的 Test of Time Award 演讲里说过，Pre-training as we know it will end，也就是我们所知道的 pre-training 会结束，一个时代可能会结束，因为数据等各方面已经不能继续 scale 了。
但那篇获奖论文的共同作者、Google 的 Oriol Vinyals，在 Gemini 3 发布以后发了一条推文，讲他眼中的 Gemini 3 的魔法在哪里。其中他提到，pre-training 这次还是有很多突破。
他还用了一个词，叫 no war in sight。意思是不只是这次有一些改进，然后改进就用完了，而是这次有改进，未来还有很多改进机会，还可以继续做下去。
所以他对这方面继续突破非常有信心。我觉得这是一个很有意思的点。
另外，TPU 对 Google 的 pre-training，或者说 large-scale training，也可能是一个 plus。当你把 large-scale training scale 到一定程度以后，问题会从 compute-bound 变成 network-bound。
TPU 一开始设计时，就以 mesh 结构作为基础，而不是像 GPU 一样，先是一张 standalone 的卡，后来才演化出网络结构。所以在大规模 training 上，TPU 相比 GPU 也有一定优势。
戴韩俊
我想补充一下刚才说的 Google 这次回归。我觉得 Google 虽然 decision-making 过程比较慢，但它一直是一个非常善于长期布局的公司。
让我一直很 impressed 的，是它的布局形成了一些 co-design，现在可能迎来了爆发。第一个 co-design 是 TPU 和 model infra。TPU 能够一路优化到非常底层，包括自己的 kernel、kernel 上面的 library，再到 JAX，再到大模型 infrastructure。
它通过不同组之间的合作进行联合优化，我觉得这是非常大的 superpower。现在大家看到各家公司，包括 OpenAI，都在 design 自己的 one-off 硬件，也是希望拥有一个完全属于自己、可以掌控的硬件和模型 infrastructure co-design。
第二个是模型和应用的 co-design。尤其在企业端，Google Workspace 已经布局很久了。Google Workspace 是一套和飞书差不多的办公环境，包括 Calendar、邮件、文档等。
这就导致 Google 有非常多办公类型的数据和应用场景，而这些数据也能够 feedback 到模型本身。最近 Google Cloud 发布 Agentspace，这些 Agentspace 收集到的数据，也能够返回到基础模型的训练和能力中。
最后一个是 data 和 hardware surface 的 co-design。Google 的 surface 非常多，有些大家可能不太注意，比如 Google 有车的 surface、Assistant 的 surface、Google Home 的 surface，也有 Project Astra，也就是眼镜的 surface，还有 Pixel 手机的 surface。
这些 surface 能收集到非常不一样的数据，数据又会返回到模型的训练数据里。所以我觉得，Google 把整套 ecosystem 的 co-design 打通了。
它布局得很远，可能之前的布局一直没有迎来爆发点，只是恰好现在这个爆发点来临了。
程曼祺
我觉得你总结得很好。这里面有好几层 co-design，是各个部分之间的协作。
一个是从芯片、infra、模型到应用的垂直链条，Google 基本都掌握在自己手里。还有企业应用、各种硬件，以及硬件和模型团队之间的协同。这确实可能是大公司布局多年、积累多年的优势。
国内其实也有字节和阿里在往这个方向发展。OpenAI 也在往这个方向发展，比如 Sam Altman 最近也放话说，很期待自己的芯片。
戴韩俊
他们的芯片设计还是非常酷的，主打低功耗，甚至做了从编译器一直往上搭的一整套 stack。我也非常期待未来在他们自己的硬件上训练出来的新模型。
新一代 Google TPU 相比前几代，在性能上也有很大的飞跃。我们自己的公司也在和 Google TPU 团队进行一些合作。一方面，能够拿到这些 TPU 本身就是优势；另一方面，我们也能从 Google 在这方面的生态布局中得到 benefit。
现在 Google 会把 TPU 用到自己投资或者孵化、扶持的创业公司上。
Bethany
对，Google 一直有对外提供 TPU。甚至对外使用的 TPU 版本还可能比内部更先进一些。
新的 TPU 造出来之后，会有很多公司购买，甚至预定还没有发布的 TPU。剩下的 TPU，内部模型训练也会使用。Precur 和 Google 的渊源非常深，所以我们会有很多合作。
Google 最新的 RL 框架叫 Tunix，是第一个 RL on TPU 的框架。因为这些合作，我们也会有一些 strategic research TPU grant。
我也在这里为 TPU 打个广告。它的延展性和稳定性都非常好，尤其是做大规模模型训练、扩展到 multi-pod 时，对开发者来说相对透明。它一层一层的抽象做得很好，也比较稳定。
程曼祺
你们用 TPU 的时候，它配套的软件是怎样的？英伟达之前很强的壁垒是 CUDA。你们之前在 Google 工作了很久，应该用得很顺手。
如果我是一个开发者，之前一直用 GPU，从来没有在 Google 工作过，现在想用 TPU，它会好用吗？
现在几个主流框架，包括 PyTorch 和 JAX，其实都支持 TPU。它们依赖的是底层叫 XLA 的东西，有点像编译器。当然 XLA 的代码可能比较晦涩，但大多数人不需要一直到这个底层去 configure TPU。
如果你熟悉 PyTorch、熟悉 JAX，基本上都可以用起来。现在主流框架、强化学习框架也都比较成熟。像比较 popular 的两个 inference 框架 vLLM 和 SGLang，也都支持 TPU。
甚至大家都不需要知道背后用的是 TPU，直接一键就可以把模型 host 起来做 inference。这一层在逐渐变得透明，大家的关注会相对少一些。
当然，JAX 可能还是更 native，包括 sharding 等功能。所以 Google 的人一般会比较熟悉 JAX 这样的编程框架。这可能是一些小的 difference，但也不是特别重要的 difference。
程曼祺
JAX 类似 CUDA 这一层吗？
不是，它更像 PyTorch，可能算是这一层。
程曼祺
PyTorch 是不是比 CUDA 更上一层？
对。你用 JAX 也可以跑在 GPU 上，用 PyTorch 也可以跑在 TPU 上，所以两者是 decouple 的。背后可能需要一些 non-trivial 的工作，才能把切换做得非常无缝，但理论上它们可以互换。
程曼祺
xAI 之前很长一段时间应该是在用 JAX？
Henry
对。xAI 现在底层是用很多 GPU。这里面确实有很多 non-trivial 的改动。xAI 的早期成员有很多是 Google 的前员工，所以他们有机会直接问 Google 的人，把 JAX 或 XLA 的问题 fix 掉。
但整个生态也在逐渐成熟。
程曼祺
JAX 和 PyTorch 其实是同一层，对吗？
严格来说也不是。JAX 有点像 NumPy。NumPy 主要在 CPU 上做数值运算，而 JAX 是一个更抽象的层，可以在 GPU、TPU 上运行。
JAX 往上一层，会有很多神经网络框架，比如 Flax。它们的命名规则也很有意思，喜欢把最后一个 letter 变成 x。
训练神经网络需要配套的工具。比如保存训练好的模型权重，有一个专门的包叫 Orbax，也是 x 结尾。Google 还有一个专门做 RL 的包叫 RLax，是围绕 JAX 构建的更高层抽象。
这些东西加起来，可能算是类似 PyTorch 的一套东西。但 PyTorch 自己已经集成了很多功能。最近 PyTorch 还有一个 TorchForge，也在不断把强化学习等内容放进整个框架里。
程曼祺
那 TPU 软件系统里，和 CUDA 更类似的是什么？
那个库叫 Pallas，大部分是开源的。当然底层有些部分没有开源，但一般来说也改不到那里。
程曼祺
你们觉得这对英伟达的生态会有冲击吗？
6. TPU Challenges Nvidia
我个人不构成投资意见，但我觉得肯定还是会有一些冲击。
我和一些 startup 聊过。有些 startup 做的是 TPU 生态相关的优化，他们说 TPU 的应用成本还是比较高，可能更适合对 Google 生态比较了解、技术上比较 native 的用户。
第一，大的 CSP 不一定会做大规模部署。第二，系统的 TCO 可能下一代会领先很多，但数据中心适配 GPU 的障碍几乎为零。如果换成 TPU，可能需要重新来。第三，JAX 现在的使用者还是相对较少。
Google 肯定也会加大投入，但目前来说 CUDA 还是王道。大的客户肯定会把 TPU 当作 bargaining power，也就是 bargaining chip。
对于 Google 来说，让别人使用 GCP 里的 TPU，和直接卖 TPU 系统之间，也会存在一个 balance。大客户肯定愿意拥有更多供应商。
现在英伟达的护城河主要在 CUDA。但越来越多大公司团队有能力从更底层的指令集进行改动，而模型更新速度也慢下来以后，大家对易用性和快速 GTM 的要求没那么高，CUDA 的护城河可能也会下降。Google 肯定会对 JAX 投入更多资源。
Google 这边可能还要解决怎么出货的问题：争取前端和后端封装的产能，把系统跑通，平衡和博通、联发科的关系。这里面肯定还有很多需要 figure out 的事情。
所以我觉得肯定会有一点负向影响，但是多少不好说。
程曼祺
这是很好的输入信息。你刚才也讲了一些条件，包括模型进化速度，肯定也会影响底层算力格局的变化。
所以投资意见就是：买博通和台积电。
我觉得可以考虑。正好博通跌了，对吧？
程曼祺
我之前听说过一个小道消息，说黄仁勋每年给 Google 付很多钱。付钱的形式大概是 Google Cloud 去买 NVIDIA GPU 的 discount，交换条件是 Google 不要那么快、那么大力地对外推广 TPU。
两三年前国内有一批 GPU 创业热潮。那个时候我们也去找美国英伟达的一些人交流过。当时英伟达美国的工程师就说，黄仁勋在内部最警惕的对手是 Google TPU。
关于 Google 强势回归，我自己比较关注它的组织层面。这么大的一个公司，要跟上这样一个一度被认为已经落后的趋势，它是怎么协作、怎么在组织层面调整的？
我想先请韩俊讲讲。你经历过 2023 年之后 Google 的变化，其中一个变化就是 Google Brain 和 DeepMind 的合并。在那之前，外界会觉得 Google 是双中心，也不知道重点是什么。合并以后，从外界来看，最终成果确实更好了。你可以讲讲自己的体验吗？
戴韩俊
7. Google Merger Changes Research
合并之前，Google Brain 和 DeepMind 各自有自己的模型训练团队，也各自推出自己的模型。
我觉得合并总体上对 Google 的效率、人才集中度和利用率来说，肯定是一件好事。Gemini 这个名字的由来，也相当于是两个组织、两个双子的合并，我觉得这是一个挺好的名字。
这个过程肯定有磨合。一开始两边使用的 infra 可能不太一样，也会有一些 politics，因为 infra 毕竟这个也能用，那个也能用，所以开始时肯定会有一些混乱。
但当技术路线明确以后，大厂的优势就会体现出来。大家一起朝着一个方向努力，在明确的方向下各司其职，后面就会越来越顺利。
程曼祺
Google Brain 更偏前沿研究，可能以前会更发散一些；DeepMind 可能更自上而下。合在一起以后，现在更偏什么方向？
戴韩俊
很有意思。我毕业去 Google Brain 之前，曾经在伦敦 DeepMind 待过一阵子，当时是实习。
我的感受确实是，这两个研究部门有自己的风格。DeepMind 更 top-down 一些，更有目的性。当然这不是说它没有自由度，但会有更明确的组织形式。
比如做 AlphaFold、打星际争霸，都是需要有组织、有纪律，甚至通过 daily stand-up 这样的形式推进项目。我觉得这种模式很适合推进语言模型这样的项目。
Google Brain 给我的感觉是，当然它也是一个非常大的组织，有和产品、YouTube、Search 结合得更紧密的部分，也有更发散的部分，做一些 Google 不一定能直接赚钱的事情。所以它的 spectrum 可能更广。
大多数时候，它有很多自下而上的探索。有些工作可能比较自嗨，后来想想，包括我自己也做了不少这样的工作，可能没太大用。但我觉得自由度还是一种取舍。
Research 需要冗余，需要一点浪费，需要一个能让你探索和突破的环境。但训练语言模型不是那么纯粹的 research，因为它需要 outcome，需要短时间 deliver。同时它又是 research，因为不是所有人都知道具体应该怎么做，也不是说这样做一定 work、那样做一定不 work。
在这种情况下，不同组织的优势就会体现出来。
另外，外界也能看到，包括 publication policy 在内，各大厂都在收紧。什么能够发表、什么不能发表，都会有更多考量。在高度竞争的环境下，肯定和以前 Google Brain 的时候不一样。
以前可能会和业界分享的论文，现在可能先自己留着。也不一定是永远不发，可能只是以后再发。
程曼祺
在高度竞争的环境下，研究员的成就感会怎么变化？以前如果有一个好的成果，可以发论文，其他同行能看到、能讨论，这应该是研究员满足感和自我认同感的来源。
如果现在要做这种无名工程，有点像去西柏坡开发原子弹的感觉，大家的心态会有什么变化？
戴韩俊
有些比较纯粹的研究员可能并不是那么 care。比如我之前的老板就是一个比较纯粹的研究员，对他来说，研究过程本身还是一个追寻自我、实现突破的过程。
这也不是说不能分享。至少在 Google 内部，有那么多 researcher，还是可以分享。可能不是直接把成果发到外面，但这不妨碍他从分享、探索未知的角度获得满足。
第二，薪水和回报也还是存在的。如果研究成果能够应用到 Gemini 或者其他模型里，带来的 impact 可能更大。以前你做一个单点 research，可能只有自己这个 domain 的人关心；现在这项工作能让全世界的人使用。
这其实是另外一种程度的满足。
程曼祺
刚才讨论了最近这些核心 AI lab 的进展，我自己的感受，包括市场里弥漫的氛围，都是超级大厂能做的事情很多，看起来特别强。
那创业公司的机会是什么？你们现在也都在创业。现在 Google 势头很好，你们又都在 DeepMind 或面向开发者的 Vertex AI 云平台这样的核心部门，为什么要自己出来创业？更小、更新的公司在这个大的生态里有什么机会？
戴韩俊
8. Startups Find Room To Win
我可以从整体创业 landscape 讲一下，包括垂直和 horizontal，也就是平台型创业。
垂直领域的创业机会还是非常多，并且和大模型能力相辅相成。比如有朋友在做生物领域的创业，非常酷，能够加速新药研发，包括临床试验的实验设计等工作。
这些事情需要一种我不能说是 T 型 profile、可能是 π 型 profile 的人才：既需要生物领域的知识，也需要计算机科学领域的知识。
创业公司能够更有效地调动产业界，包括药厂，以及学界，比如斯坦福大学的实验室，也能结合创业者自身的能力。
之所以说这些机会和基础模型发展相辅相成，是因为 Gemini、Anthropic 的模型最近都在补充很多生物和 life science 方面的数据。基础模型在这个领域变得更好，垂直创业公司则作为最后一公里的 delivery，让大家真正用上这些能力。两者是相辅相成、互相受益的。
水平、平台类领域也处于供不应求的状态。和企业沟通时，你会发现企业非常 ambitious，甚至可以说非常 formal。他们最担心的是，自己在所在领域从世界第一掉到世界第二，甚至更糟。
在这种情况下，企业的需求还是相对复杂的。我们比较关注强化学习这个领域。很多公司在做 orchestrator 方向的优化，包括怎么把语言模型，也就是智能体里的核心模型，在一系列工具上补充数据，让它非常擅长使用这些工具；或者直接利用企业数据和企业私有 use case，为企业单独训练模型。
通过强化学习把 Agent 落地到企业，再通过 orchestrator 层提供服务，已经有很多公司在做。
最底层的 data connector 层也有非常优秀的公司，比如之前提到过的 Composio，能够在企业数据和智能体之间建立桥梁。Composio 在开发者中非常受欢迎，社区运营得也很好。我觉得这就是创业公司的超能力：能够把大家调动起来。
再一个是中间的工具层，这就是 Precur 所在的层。现在 RL 在 orchestrator 层已经有很多探索，那么 RL 能不能应用到工具层，使工具不再是静态工具，而是工具本身有状态，能够知道自己曾经在哪里失败过？
工具可以把这些 failure trajectory 作为企业的核心资产，在工具层不断积累、再训练，让一把工具在不同企业中演化出非常不同的最终状态。这个自演化、自训练的过程，是 Precur 比较注重的方面。
所以，水平层的机会可以总结为调度、数据和工具这几个层次。
程曼祺
所以你们做的还是偏水平，对吧？可以服务很多场景。
戴韩俊
对，这是投资人都会问每个创业者的问题：你是指大厂之外还能做什么，还是说在大厂待得这么舒服，为什么出来折腾？
我觉得创业不能假设 AGI 已经实现，否则很多事情好像就没有必要做了，或者几年之后就没有必要做了。
创业公司需要 balance：一方面立足当下，因为还有很多没有解决的问题；另一方面也要有一些 futurism，思考未来一两年会发展成什么样，接下来一两年的重点是什么。
我觉得现在的模型还不算 AGI，因为本质上还是有多少数据，就有多少智能。Gemini 写网页这么厉害，是因为它加入了很多写网页的数据，大家都能想象到，这不是 magically happen 的事情。
Anthropic coding 能力强，或者说它专门侧重这个方向，肯定也是因为在这方面有特别的 focus。
现在很多成功的创业公司，特别是 voice 领域，也很有意思。Gemini 作为多模态模型，本身可以理解语音、生成语音，但仍然能看到很多 startup 在语音领域做得很好。
它们的 differentiation 可能是比大模型更快、latency 更低，质量也更高。毕竟它只做这一件事，而大模型需要 care 很多 dimension。光语音这件事可能不足以服务一个 general model，但这正是 AGI 实现之前，小公司可以专注的机会。
还有刚才提到的自我演化能力。现在的模型还不能直接做到这一点，包括模型怎么继续训练、所谓的 memory，也就是记忆，研究和工程层面都有很多没有解决的问题。
所以作为创业者，我们也希望在这些没有解决的问题上继续发力。哪怕相当于做一些研究，也希望是能够很快落地的研究，这个方向还有很多机会。
程曼祺
自我演化和大家现在讨论比较多的持续学习有关吗？
戴韩俊
我觉得持续学习其实是一种方法，指的是模型如何在你的应用场景里越用越好。
像广告系统、推荐系统，我觉得就是比较典型的持续学习代表。你在抖音里每刷一个视频，或者每划掉一个视频，都能贡献到整个系统里，使在线系统不断更新。
现在语言模型暂时还没有做到这个程度。之前有一个相关的例子是 Cursor，他们声称自己做到了 online RL。你每次使用 Cursor 时，是否接受自动补全，这些都可以成为即时反馈信息，再塞回系统。
这是他们 claim 的，具体做到什么程度不是很清楚，但能看到大家都在往持续学习、在线学习，或者让模型发布后自动变好的方向走。
程曼祺
你自己就是做强化学习的。刚才你说持续学习是一种方法，是自我演化的实现手段之一，对吧？现在大家主要通过强化学习实现吗？
戴韩俊
不止，远远不止。强化学习其实不是那么稳定。
在线部署过程中，你不一定清楚反馈是什么，反馈是不是可靠。强化学习本身也不是非常稳定的算法，需要很多工程和算法上的工作，才能让它变得稳定。
所以理论上存在这种可能性，但暂时还不是非常可靠。
记忆系统也是实现 lifelong learning 的一种方式。现在大家做得比较多的，可能还是基于 RAG，或者 RAG 的变形，把过去做过的事情放到所谓的 Agent memory 或者存储里。
ChatGPT 也有类似的记忆功能，这算是一些初步尝试。但我觉得自我演化远远不止这些。
程曼祺
你刚才说的这些尝试，都还没有到预训练阶段，对吧？都是模型训练好之后再加上的东西。
戴韩俊
对。像记忆外挂，特别是外挂式记忆，甚至没有改变模型本身的参数。这些可能是在 Agent system，或者说模型之上做的脚手架。
我觉得短期内会有一些效果，但个人看来可能不是最终解决方案。
程曼祺
你们要做的是 trainable tool，也就是可训练的工具。你们大概想怎么实现？Precur 做的这个给 Agent 使用的可训练工具，大概是什么产品或服务形态？能给用户带来什么价值？
9. Tools Learn From Failure
Bethany
Precur 做的是为 Agent 打造可训练的工具。之所以选择工具层，是因为工具的使用能力，是 Agent 和现实世界交互的一种重要方式。
我们的愿景是，工具层不再是静态的形式，而是随着工具使用越变越好。所谓越变越好，可能是在覆盖面上越来越广，也可能是工具质量越来越高。
工具里面很多时候可以带一个智能体、带一个模型，我们称之为 sub-agent。这个模型或 sub-agent 的质量也可以不断提升。这个变好的过程，不应该是人为干预的过程，而应该是自发发生的过程。
对我们来说，关键是如何在工具里嵌入智能。当这个智能在现实生活中被调用，尤其是执行任务失败时，工具如何从失败经历中学习、进行自我迭代、变得更好，这是我们做研究和产品的方向。
程曼祺
所以你们提供的是整个工具层系统，对吧？不是单点工具，或者说单点工具只是整个服务中的一部分。
你说得特别对。打造单点工具，是整个工具层这个 stateful platform 中的一种行为。
我们可以想象，以后是工具制造工具，工具能够自我优化。这是整个平台的发展方向。
程曼祺
你们自己正在开发的工具，具体是什么方面的？
我们开发的工具比较契合现在的趋势，是 code-driven tool，也就是和代码紧密结合的工具。
最近 Anthropic 也发布了一些这方面的工作，包括 programmatic tool calling，简称 PTC。这个思想在 2024 年的学术界就已经有一些发展，CodeAct 这篇论文就是代表作之一。
今年前几个月，工业界慢慢开始 pick up 这个 trend。它的好处是让工具调用更加 reliable、更加稳定，占用更少 context，也更不容易污染 Agent 的 context。
Agent context pollution 是 long trajectory、long-horizon task 里 Agent failure 的主要原因之一。这是开发者和 big lab 正在引领的趋势。
Precur 的工具很大程度上契合这个趋势。其实在这个趋势出现之前，我们已经 anticipate 到了，因为我们之前自己做 Agent、做研究时，就观察到了这些现象。所以在这个趋势出现前，我们就已经在往这个方向靠。现在它慢慢成为主流，我们也很开心。
具体产品形态，等我们发布时再和听众朋友分享。在发布之前，如果听众中有 Agent 开发者或者模型开发者，对这方面感兴趣、希望讨论，我们也很愿意做一个 thought partner，和大家一起讨论。
总体来说，我们的用户面向 developer，但心里更大的用户群其实是 Agent。以前有 to C、to B，现在也有人说 to A、to Agent。我们其实是 to Agent 的公司。
未来我们能预见的情况，不是有很多人使用很多工具，而是有很多人通过 vibe coding 或其他方式，制造出千千万万个 Agent，作为我们的主体用户。
所以产品设计中的很多优化，都是为了 Agent-friendly，都是为了服务 Agent。
程曼祺
虽然产品还没有正式发布，但你们肯定已经有一些早期用户在使用。用户会有什么反馈？给他们带来什么好处？
戴韩俊
最直接的好处，是让他们的 Agent 变得更可靠。
如果没有这样的 tool，Agent 可能很难达到某种程度的 coverage，特别是在数据量大的时候。我们的 tool 可以作为 Agent 非常趁手的工具，让它 achieve high coverage。
Latency 方面，它能够显著低于客户现在已有的工具。有些场景的正确率也会提高不少。
很多时候，客户自己做 evaluation，我们甚至不知道他们做的是什么 evaluation，所以对我们来说是 blind evaluation。在他们自己的测试下，这个工具比他们现有的工具好大概 12%。
这就是能够直接 deliver value to their Agent 的地方。客户也不需要更换现在的 Agent，因为我们做的是工具层，天然能够接入他们已经在使用的 Microsoft Copilot Agent 或其他 Agent 平台。
这些平台对我们来说更多是合作共赢的生态环境。我们也希望看到这样的生态，所以最近在和 Google 以及其他生态伙伴做 partnership。
程曼祺
所以在体验上，用户把你们接入已有的 Agent 或 Agent 平台后，就能得到更稳定、更低的 latency 和更高的正确率。
我听下来，你们的客户有一类是 Agent 开发者，或者想直接做 Agent 的企业；另一类是比较大的 Agent 平台。Google、Microsoft 这些大公司，也可能是你们的客户或合作伙伴，对吗？
合作伙伴除了 Google 和 Microsoft，还有很多其他公司在开发自己的 Agent 平台，提供全家桶式、一站式的服务。因为还不能点名，所以这里就不展开了。
程曼祺
沿着你刚才说的垂直和水平机会，现在围绕 RL，也就是强化学习，美国有很多新的创业公司。我想请 Henry 和 Naomi 补充一下。
你们做投资，可以看到更多公司。比如在 RL 生态里，你们看到哪些比较好玩的项目？会怎么总结这个市场的不同机会？
10. Reinforcement Learning Becomes Infrastructure
Naomi
现在 VC 看得比较多的，是 RL 相关的几个方向。Henry 可以讲讲具体的公司，以及我们从中得到的一些 insights。
Henry
我觉得模型的增长其实就是一个榨汁的过程。以前数据的果汁差不多已经榨完了，现在新的价值对象，是 RL 里的 interaction 和 reward environment。
第一个大家看得比较多的，叫 RL environment，也就是 RL 环境基础设施，有点像训练场，让 AI 进行实战演习的数字模拟器。
比如训练 AI 操作企业软件，或者处理复杂流程，就需要一个和真实世界几乎一样的虚拟环境。这个环境还必须能够精准打分和评判。
投资这个方向，相当于投资未来所有 AI 智能体的练习基地和考试中心。我们在这个方向投了一家公司，叫 Preference Model。
第二层是 RL as a Service，有点像训练班。绝大多数公司不具备自研 RL 的能力，所以这个方向的公司会把复杂技术打包成易用的企业服务。
客户可以用自己的数据，像训练员工一样，训练出专属的 AI 专员，处理销售、客服、合规等具体业务。它主要解决的是 RL 技术落地难、门槛高的问题。
第三种有点像投特种兵，就是 RL 应用，或者持续使用 RL 的应用。它们关注高门槛、高价值、复杂的领域，比如药物研发、金融交易、science discovery。
通用大模型可能在数据层面或 intelligence 层面还不够。专注这些赛道的团队，会把 RL 技术和行业深度结合，直接做出能够替代专家、创造智能突破的产品。
投资这个方向，就是投资 AI 在关键行业创造核心价值的革命性应用。比如 Periodic Labs 就属于这个方向。
程曼祺
那 Precur 比较偏向其中哪一种？你们也是用强化学习做 trainable tool，我感觉有点介于 RL as a Service 和 RL 应用之间。它现在是不是还有一重身份，就是 forward-deployed engineer？
我觉得一开始可能更偏 RL as a Service。但随着整个 infra 和 Precur 产品逐渐成熟，我相信它以后应该会变成标准化产品。
程曼祺
Thinking Machines Lab 发布的 Tinker，是不是也属于 RL as a Service？
它更多像是 infra as a service。Tinker API 实际上提供了几个 low-level training primitive，包括 forward pass、backward pass 和 optimization。
所以它还是需要懂 RL 的人使用这个 API，才能完成相应工作。
程曼祺
那 as a service 就更进一步，对吧？刚才说的那些不太会做 RL 的企业，也能够使用？
对。
程曼祺
你们可以讲讲在美国看到的、发展势头比较好的公司吗？
我可以举个例子。我们说 RL 环境时，大家可能会觉得比较抽象。
RL 环境很大一类是很多年前就有的各种游戏，比如大家比较熟悉的 Atari，AI 玩游戏，用 RL 做 training，这已经存在很多年了。
最近我们看到一些公司，会做更有经济价值的环境。去年我们遇到一家公司，当时公司的两个 founder 也住在我们那里。他们需要在一个周末内做出一个 Atlassian Jira 的复制品。
之所以做 Jira 的复制品，是因为 Jira 是大部分工程团队都会使用的工具。他们想训练 AI，让它知道如何使用 Jira、和 Jira 交互，从而帮助 Agent 自动化软件工程中的任务。
但用过 Jira 的人都知道，它是非常复杂的软件。当时他们是用 coding Agent 的方式，非常快速地做了一个复杂商业软件的复制品。这是 RL 环境的第一波。
现在做这个方向的公司越来越多，门槛也水涨船高。做一个 Jira 这样的软件复制品，已经不够成为竞争优势。现在有越来越多公司，包括我们投资的 Preference Model，会做更有门槛的环境，比如网络安全攻防环境。
你需要网络安全领域的专业知识，才能把环境做好；同时也需要强化学习知识，才能让环境和 API 设计方便研究者使用。
程曼祺
有没有专门做物理世界 AI 训练环境的公司？比如机器人、自动驾驶这些？
非常多。自动驾驶有一大波，机器人现在也有很大一波。展开说会非常多。
程曼祺
这些公司的估值或者融资额一般在什么水平？
自动驾驶之前已经有一波，可能有些已经被收购了。我知道有一家做自动驾驶虚拟环境的公司，被 Waymo 收购以后，内部的 team 叫 Sim City，用来模拟一个城市，让 Waymo 在里面运行。
程曼祺
世界模型算这个大范畴吗？
“世界模型”这个词本身很模糊。世界模型很大一部分也有 simulator 的成分，而 simulator 的定义一直很广。
Waymo 有专门做 simulation 的团队，目的是生成各种数据，augment 模型训练，尤其是现实生活中比较边角的数据，比如撞车这类数据量相对小的事情。
我之前也做过类似的工作，只是当时没有用这么 fancy 的 term。那时候叫仿真。它本身也是一个生成模型，是零售领域的模型，只不过里面的 token 是 SKU，也就是人购买的商品。
它模拟的是人的购买并发行为，以及人购买行为和时间、context 之间的交互。那时候我们叫 generative model for retail，或者 simulator。
所以仿真这个概念不算新，但世界模型本身能力更强，能够渲染出更丰富的东西。最近我也非常看好这个领域。
程曼祺
韩俊，你当时为什么要做那个模拟购物环境的项目？在 DeepMind，你们是自己想做什么就提什么，还是 Google 会把具体场景交给你们？
戴韩俊
对我们来说，我的研究方向更偏强化学习的底层，包括采样和优化算法。之前我在 arXiv 上最多的 paper，是如何用强化学习做离散世界的优化。
所以这个方向和 Bethany team 的 topic 比较匹配，也是因为这个契机，我们认识以后开始了一系列合作。
就那个项目本身而言，对我们来说可能是生成模型的一个应用，也和我们的 research interest 对齐。
我们当时在 Google Brain，组织上会相对松散一些，自由度也更大。它鼓励你发 paper，也鼓励你和不同部门合作，是一个更开放的氛围。
程曼祺
11. Agents Need More Than Performance
回到 Agent 的开发者需要什么样的模型。你们现在肯定自己测的模型很多，也接触了很多有需求的客户和开发者。
从你们的实践来看，现在的模型能做什么、不足是什么？除了性能，可能还要考虑什么？
Bethany
性能是一方面，但除了性能，第一个要考虑的是生态。这也是我们离开 Google 之后发现的一个很大的 gap。
很多企业在云上，而云本身有什么模型，会限制它能使用什么。比如 Google Cloud 里没有 OpenAI 的模型，Azure 里没有 Gemini。
这有点像屁股决定脑袋：不管 Gemini 多好，如果企业数据不能离开所在的云，暂时用不上就是用不上。这是一个 hard constraint。
程曼祺
所以对企业客户来说，模型性能好坏还不足以让它换一个云？他们对云的粘性要强得多？
对，by definition，这就是粘性。企业没有办法迁移，或者 migration cost 太高，不太现实。
程曼祺
那模型强到什么程度，才有可能让企业迁移？
这取决于数据迁移有多困难。比如一些大公司在 Google Cloud 上的数据量非常大，是天文数字。可以想象，它们历年的数据有多少在云上。
把数据迁出去，通常涉及 1 到 2 年甚至更长时间。数据迁移本身也是非常危险的操作，所以对企业 CTO 来说会相对保守，尤其是在数据方面，不会频繁迁移。
从这个角度，Microsoft 对 OpenAI 非常重要，因为 OpenAI 自己没有云。我们的客户里有很多在 Azure 上，尤其是中大型企业，对 Azure 有很强的粘性和信任。
所以这是 Microsoft 的一个非常大的先发优势，也包括搭载 OpenAI 的模型。
当然，Microsoft 最近也在大力招聘各大云厂商和各大 lab 的人才，帮助它把整个云生态和人工智能生态做好。
Anthropic 同时在 3 个云上都有部署，所以它的模型会显得稍微中立一点。
Henry
第一点就是先看客户的数据在哪个云上。
第二点可能和模型能力本身没有那么相关。不同企业从云厂商那里得到的折扣、credit 也不一样。我们得到了很多 Google 的支持，所以只要 Gemini 不太差，它天然就是我们的第一选择。
其他客户也可能不是 credit 形态，而是在云上购买第三方服务。对企业来说，这相当于不是花自己的现金，而是花云厂商给的代金券。
所以从生态角度来说，这也是一个很大的问题。企业可能暂时不会使用第三方模型或开源模型，很多 use case 会先被这两个问题主导。
抛开这两个前置条件之后，才会讨论性能、cost 和各种 trade-off。
程曼祺
抛开这两个条件后，现在有很多开源和闭源模型。你们自己、以及接触到的 Agent 开发者，比较受欢迎的模型是什么样？为什么受欢迎？各自的优势是什么？
戴韩俊
个人感觉，Claude 的模型在很长一段时间里都相当受欢迎。它的编程能力不只是写代码，它作为 Agent 的大脑或核心，在这方面也有很强的能力。
Anthropic 最近发布了一篇 blog，讲 programmatic tool calling。但这个 idea 本身并不新，之前学术界就有一篇 CodeAct 的文章，说把生成代码作为 Agent 执行 action 的一种方式。
这让 Anthropic 的模型天然在这类场景里拥有可靠性，所以 Anthropic 模型在 Agent 领域的使用量会比较多。
程曼祺
这个优势持续到现在吗？Google 和 OpenAI 后来在 coding 上也强化了很多，它现在还这么稳固吗？
Bethany
这是一个很好的问题，可以分两方面看。一个是模型本身的 coding 能力，第二个是模型厂商有没有在 Agent 生态上发力。
Anthropic 从今年 10 月开始就在 Agent 生态上发力。你能看到它发布了不少 blog，阅读受众都是 Agent developer。
最近刚发布的，是用代码去调用 MCP，也就是 advanced tool use。这就是刚才韩俊说的，Agent 用写代码的方式 take action，而不是只依赖 MCP 本身去 take action。
这对开发者、对开发范式的影响非常大。所以我们观察到 Anthropic 最近在这方面投入了很多精力。
回答 coding 能力的问题，一方面是模型本身生成代码的能力；另一方面是它和 Agent 生态的集成，使得用它实现的 Agent 在执行过程中，可以用写代码解决 action 问题。
两者相辅相成。前者更多是研究问题，后者更多是工程问题。
戴韩俊
我觉得 Anthropic 团队是真的在 Agent 上写了很多、用得很多。
一开始的 MCP 虽然有自己的问题，但不可否认，它已经带领了一波潮流，也导致其他模型需要在类似 MCP 的数据上训练，能够支持 MCP。
最近 MCP 捐赠给 Open Source Foundation 之后，Anthropic 还在沿着这个路线发展。刚才提到的 programmatic tool calling，暂时好像也没有其他模型厂商提供原生支持。
如果这个东西证明非常重要，其他模型厂商肯定会跟上。
再比如 Claude Code，它已经不只是给程序员写代码的工具了。很多人用它来做 n8n 工作流，可能比自己手写工作流方便、快捷很多。它也可以做网页、写 PPT，能力远不只是 coding，而是在 Agent 方面使用非常多。
这是我看到的一个显著 pattern。
第二个考量是 latency。模型可以长思考，想很久解决一道数学题，这确实能体现它的智力或能力。但在很多 Agent 场景中，用户不一定需要这种模型。
大家可能既要又要：既要模型有很高的 quality，也要在响应时间内把事情完成。我甚至看到一些开发者会关掉模型的 thinking 模式，但通过其他 prompt 方式让模型生成一点 thinking，不要生成太多，手动实现 quality 和 latency 之间的 balance。
所以在 Agent 场景里，响应速度也是非常重要的考量。
像 Gemini Flash 系列、OpenAI mini 系列，以及更小的模型，优势不一定是绝对能力最好，而是在响应时间内，它们可能是最好的。
程曼祺
你们自己开发 Agent，核心模型用什么？
戴韩俊
都会尝试。我们在各大云上也有部署，所以 3 家模型对我们来说没有太大粘性。除了客户和云的限制之外，没有特别大的粘性。
程曼祺
国内的模型你们会用吗？国内有很多开源模型，在成本等方面比较友好，应该也是大家会考虑的。
对。我特别佩服国内做开源模型的厂商。美国这边，unfortunately，Llama 暂时已经不怎么做了。大家可能听说过，有一家号称要做“美国 DeepSeek”的公司，但现在不知道做到什么程度了。
程曼祺
Reflection AI，对吧？Reflection AI 说要做美国 DeepSeek。
对。这是我觉得国内模型做得特别棒的地方。
当然，有些企业可能不允许使用来自中国的模型，这不是模型本身能力的问题。还有一个考量，是模型自带的意识形态，也就是所谓的 human alignment。不同价值体系可能有不同维度的考量。
其实我们也不想看到通过意识形态做隔离，但 unfortunately，现实就是这样。这也给了 Reflection AI 一个做“美国版 DeepSeek”的机会。
程曼祺
如果客户不介意这方面，你们自己试过的国内开源模型表现怎么样？你们觉得有优势、优点的是哪些模型，体现在什么方面？
我觉得 Qwen 系列模型做得挺好。
一方面，它有不同 size 的选择，给 startup 提供了 pick and choose、做各种 ablation 的机会。第二，它的 reasoning 能力让它在一些 Agent 场景里有天然优势。
当然，它在某些 benchmark 上可能表现特别好，但不一定能 transfer 到真实应用场景。不过作为开源模型，它已经做得非常不错。
还是回到 intelligence per token 这件事，它可能还有提升空间。有些开源模型完成一个任务时，会自说自话，消耗很多 token，其中一些消耗可能并不必要。
这件事很难 balance，需要更智能的东西，动态调整 thinking budget。
程曼祺
那有没有什么模型，你们用了以后觉得比较有槽点？从开发者角度，接下来模型可以在哪些地方提升？
我想说的槽点，可能还是 Google 自家的开源模型。我觉得诚意确实不够。
程曼祺
你说的是 Gemma 系列？
对，Gemma 系列可能确实有一些问题。它本身是多模态模型，但在这样的规模下做多模态，很难 balance。
多模态模型对模型 capacity 要求很高，所以使用时偶尔会看到它输出乱码，或者出现一些比较低级的错误。这一点不是特别令人满意。
程曼祺
Google 已经有这么强的闭源模型和生态，同时还做开源，对它的意义是什么？
一个意义类似于 OpenAI 做开源：不要一直被大家说是 CloseAI，终于也有自己的 open model。
对 Google 来说，赢得开发者信任和口碑本身就很有意义。开源精神本身也是值得提倡的。
当然，有些开源比较像假的开源，有些比较真诚。比如 DeepSeek，上周在 NeurIPS，有人说飞机上大概三分之一的人都在看 DeepSeek 当时发布的那篇 paper。
因为飞机上通常没有 Wi-Fi，或者 Wi-Fi 要花钱，所以大家能做的事情不多，只能看 paper。那篇 paper 里确实干货满满。
他们在强化学习里讲了如何让很多 off-policy 行为训练得更稳定。对很多 lab 里的人来说，这些可能不是新鲜事情，但能够把这些东西公开、坦诚地和大家交流，我觉得非常值得尊敬。
程曼祺
你说的三分之一乘客都在看的 DeepSeek paper，具体是哪一篇？
是 DeepSeek-V3.02，也就是它最近发布的正式版本。包括 architecture 上的改进，以及强化学习中踩过的坑，我觉得都很有价值。
对一部分人来说，这些可能不是新的东西，但能够公开出来，我觉得是非常值得大家学习的地方。
程曼祺
如果你们现在看一个新模型，会比较关注它公开 benchmark 上的哪些表现？为什么？
我们比较看重几个方面。
第一是 long-horizon task 能力，也就是多步任务。最近发布的数据集，包括 SWE-bench Pro 和 Mind2Web。SWE-bench Pro 是 coding 数据集，Mind2Web 是 Web Navigation 数据集。它们强调的都不再是两三步推理就能解决的问题，而是可能长达十几步，甚至更长。
Long horizon、long trajectory 对我们很重要，因为现实生活中的很多事情，包括我们做的 tool，本身就要分很多步完成。
步数变长以后，一方面对强化学习和模型训练是考验；另一方面，每一步的输入和输出都会占用 context。不断累积后，越到后面，原有 context 就越长。所以这也是对模型长文本理解和长文本推理能力的考验。
大家常用的 needle in a haystack benchmark，不一定是很好的 representation，因为它的 task 相对单一、简单。
在 Agent 的 long trajectory 里，模型需要看之前的 trajectory 发生了什么，plan 下一步，再 take action。这不只是 find needle in a haystack，而是要理解之前发生的事情，预判和推理接下来会发生什么。这种能力要高一个层次。
第二，是模型对 environment 本身的把控。最近有个数据集叫 τ²-bench，是 Sierra 发布的 conversational benchmark。
它的第二代加入了 user simulator。用户会根据 Agent 说的话调整自己的回复，从而形成自然、较长的多轮对话。
这考验的是：当 Agent 对环境不了解、对用户的意图也不确定时，它会怎么反应。
戴韩俊
我个人会比较偏“邪修”一点。一个 benchmark 存在时间久了，就可能越来越不值得关注，因为很容易发生信息泄漏，或者刷多之后被 hill-climb。
如果是新出来的 benchmark，还是值得至少看一眼，作为参考。
另外，每个人可能都会有一些不太寻常的 check。比如微软后来去了 OpenAI 的 Sebastian Bubeck，他自己有一个 check，让模型生成代码画一只 unicorn。
你可以看这个变化过程：GPT-3 画出来的 unicorn，可能就是两个方框加上一个奇怪的正方形；到 GPT-5.2，已经能够上色，带一个真正的角。
正常情况下，模型应该不会专门针对这类任务训练，所以这种测试很有意思。
程曼祺
但如果他发布了这么一个好玩的小东西，又是行业里比较知名的人，后面的人也可能会专门优化画独角兽的能力。
戴韩俊
有可能。画图本身是一个稍微通用一些的能力。比如给你一张 PNG，让你画成 SVG，这类能力既实用，也可能会被训练进去。
但还有一些测试，比如我们之前在 DeepMind 做过一个研究，想证明神经网络语言模型是不是一个 universal Turing machine。
这不是很有用，但属于比较 tricky 的测试，用来验证模型是不是具备这样的能力。具体做法是构造一个非常新的 dictionary 作为 input，这个 dictionary 可能很长，相当于构造一块电路板，让模型复刻这块电路板。
这件事既没有实际用途，也不是现实生活中谁会用来完成任务的东西，所以一般不会有人专门针对它训练。它能告诉你一些模型在这方面的 quality。
当然，这不是很正式的 evaluation，只是一个压箱底的考题。如果一个人刚好能答出来，你会觉得他特别聪明，有点像这种感觉。
程曼祺
这有点像，知名公开 benchmark 很像考试或者证书，可以拿去考。但招聘人才时，你可能会有一些自己珍藏的面试题。
考试分已经写在简历上了，但见到真人以后，肯定还会问一些自己的问题，看看这个人到底怎么样。
戴韩俊
对，你说得非常对。现在有句话叫：“benchmark 刷得多高，全凭良心。”
各个 lab 其实都有很多办法把 benchmark 刷高。有些容易刷，有些难刷。Long-horizon benchmark，比如 SWE-bench Pro，可能比一些 benchmark 更难刷，但其实也都有办法刷上去。
我觉得现在所有 frontier lab 还是很有操守的，因为他们知道，如果 benchmark 刷上去了，但 behavior 和 score 不匹配，就会被骂。所以目前大家还是有底线的。
Henry
还有一个比较有意思的 benchmark，叫 Generative Burrito Test，也就是墨西哥卷饼测试，测试 multimodal generation。
如果吃过 burrito，就知道它是一张玉米饼，里面包着各种馅料，比如豆子、奶油、奶酪、鸡肉和番茄。
它的 prompt 是生成一个吃了一半的 burrito，里面要有刚才说的这些馅料。你听起来会觉得，现实世界里应该有很多这样的训练数据，所以模型生成这张图片应该不难。
但事实上，直到 Nano Banana Pro 之前，很多模型都一直生成不对。网上有一个网站，会比较各个模型生成墨西哥卷饼的效果，到时候可以放在评论区。
我觉得它是一个很有意思的 multimodal image benchmark。
程曼祺
总结一下，你觉得现在大家最看重的，还是 coding 和 reasoning 能力，以及模型能不能作为 Agent 的核心。Claude 在这方面做得比较好。
另一个是使用效率，包括 latency，以及 intelligence per token，也就是单位算力消耗带来的智能。
作为 Agent 的打造者，你们希望模型接下来往什么方向发展？希望哪些能力变得更好？
戴韩俊
我希望有更多 Agent 能力强的开源模型。我们自己也会 post-train 一些模型，但都是基于已有的开源模型。
之所以 post-train，是因为我们需要改变模型的行为。如果不 train，能做的事情不是特别多，无法完全满足产品需求。
如果有一个开源模型，在训练中加入大量 Agent trace，并且在 Agent 场景下表现不错，那对开发者来说会是非常利好的消息。
我觉得模型原生支持 Agent 场景，是非常重要的方向。
一个很显然的方向，是多模态能力会继续提升。它更接近人类的认知方式，我觉得这也是 Gemini 相对领先的地方。
多模态的结合，不只是让某个模态本身变好，也可以帮助其他模态。现实世界的很多数据本来就是多模态的，如果能利用这些数据，也是一个很自然、值得继续 double down 的方向。
程曼祺
Anthropic 基本没有怎么做多模态，而 Google 现在被认为多模态能力最强，甚至可能超过 OpenAI 之前展现的 GPT-4o。
如果多模态会成为一个重要的优化方向，是不是也会影响接下来 Agent 市场里模型的竞争力？
我觉得会。很多企业数据并不是原生、干净的文本，比如扫描出来的 PDF。
现在有很多 startup 在做 PDF 转结构化数据。刚才提到的 OfficeQA，也是一个挺现实、挺真实的 benchmark。
他们的 motivation 是，现在的模型直接理解 PDF 还太难，所以他们使用 Databricks 的 parser，让模型的表现提升一些。当然他们也有卖 parser 的目的，但从另一个方面说明，在现实应用里还有很多脏乱的数据。
模型在这方面还有很大提升空间。如果能力继续增强，在真正的 Agent 场景中会有很大用处。
之前 Elon Musk 也在网上说过，要让 Grok 和《英雄联盟》职业团队比赛。电竞场景非常考验多模态能力，也同时考验 latency。
这从侧面说明，多模态对 Agent 来说也是非常重要的环节。
程曼祺
你说的多模态，更侧重多模态理解，对图片和各种模态的语义进行理解，把混合模态放在一起理解，对吗？
对。企业场景里可能更多是理解，也可能生成报表。
生成方面也有一些例子，比如给模型一张空白考卷，让它把题解出来，再把答案写回考卷，作为图片输出。这同时考验理解能力、生成能力和 reasoning 能力，是非常有意思的 example。
程曼祺
为什么 Google 在混合模态上做得特别好？Gemini 3 本身就是一个混合模态模型。
最近有一种观点认为，要想在多模态上做得特别好，核心大语言模型的基础必须特别好。再往后，一个主流方向是 VLA，但它仍然以 language model 为核心，所以大语言模型基础也必须好。
这个判断是不是进一步强化了大厂特别强的方向？你们看到的趋势是什么？
戴韩俊
Gemini 从 Day One 开始，就是往这个方向 push 的。
从 first principles 看，人类本来就是多模态生物。要全面达到 AGI level，多模态可能是一条必经之路。
第二，不同模态，特别是视频，对资源消耗和模型能力都是很大的考验。如果模型 capacity 不够，就很难在不同模态之间都游刃有余。
哪怕作为语言模型，生成语言时能不能保持语言一致，长期以来都不是百分之百可靠的。比如我跟你说中文，你回答英文，更不用说多个模态之间还要互相理解。
所以这确实还处在起步阶段，在数据等方面也有很大的挑战。
程曼祺
这是第一点，你觉得多模态优化是一个明确方向。除此之外还有什么？大家都可以补充。
戴韩俊
还有一个很自然的方向，是 long horizon。一个 task 需要更多步，模型训练范式也会发生变化。
以前是一步 RLHF，输出一次，最后给一个 reward；后来出现 agentic-native 的训练方式。现在也能看到 open-source community 不断出现 agentic RL 的 infra，都是在服务新的范式。
接下来，模型需要完成更多步，先 plan ahead，中间有很多过程。Gemini 也有 parallel thinking 等不同范式，都是为了让模型能够更长久地完成更难的 task。
这些能力可能需要先用 framework 不断迭代、反思，最后才会变成模型自己的原生能力。这是一个非常 natural 的 trend。
程曼祺
如果模型自己能完成复杂的多步任务，现在很多 Agent 厂商声称的竞争优势，是围绕模型做 context engineering 或 environment engineering。那这一层的空间会不会变少？
Bethany
我想从另一个角度看。刚才说过，模型和下游 Agent 生态是相辅相成、互相成就的。
这也是为什么很多 Agent framework 仍然具有 strategic 价值。比如 Google 发布了 Agent Development Kit，也就是 ADK。假设它有 memory support，有一个原生 memory 模块，开发者使用这个 framework 越多，就会产生越多符合 framework 的数据。
这些数据收集回来以后，再返回到大模型训练里，非常有用。因为这就是实际使用 pattern。如果一个东西在现实生活中就是这样被使用的，那么训练时把这些场景补上，模型 inference 时就能遇到并处理这些场景。
这就形成了一个 positive reinforcement loop：Agent framework 带动下游生态，下游生态又反过来给上游模型提供更多训练数据。
至于会不会挤压下游 Agent 的生存空间，我觉得更深层的问题是：这是不是一个增量市场？
模型变好以后，能够服务的范围扩大了；同时，模型本身也会吃掉一部分市场。关键是，这个 delta 是不是在增加。
从企业的反应，以及大家真正从 Agent 身上得到的实实在在的价值来看，我对这方面还是相对有信心的。这个市场的增长可能会更快。
程曼祺
今天非常感谢几位做客《晚点聊》。大家分享了最近模型的新进展，也分享了 Precur 正在做的创业项目，以及它可能如何帮助开发者更好地构建 Agent，帮助企业在自己的场景里落地智能体应用。
谢谢大家，拜拜。
Henry
拜拜。
Bethany
谢谢大家，拜拜。