ChatGPT 的最终目标是 WeChatGPT。
比如说，OpenAI 现在内部成立了一个新的叫做 Future of Work 的 team，开始加速 AI 在各种商业场景下面的落地。
我觉得一个批评的声音就是，这次 Agent Builder 其实就是和比如说 AGI 的路线可能是有分歧的。
程曼祺
欢迎收听晚点聊，我是曼琪。
今天我邀请了两位常驻硅谷的朋友，AGI House 的合伙人 Henry Yin 和 Naomi Xia，一起聊 Agent 工具链的发展趋势和这个领域在美国的创业实践。
我们第一次录制是在十一之前。不久前的 10 月 6 日，OpenAI 举办了第三次 Dev Day，也就是开发者日，发布了一系列与 Agent 相关的新工具，包括 AgentKit、New Evals，也就是新的一套评估工具。这次 OpenAI 也带来了 Apps in ChatGPT 和 Apps SDK，这是 ChatGPT 试图变成操作系统的又一次尝试。
所以本期节目分为两部分：前面我们讨论刚结束的开发者日的一些亮点，第二部分则是对 Agent Tooling，也就是 Agent 工具链的发展脉络和当前热门环节的一些梳理。两部分之间也有一些呼应，比如在 Dev Day 之前，我们就重点讨论了 Evals，也就是 Evaluation、评估这个环节，这也是 OpenAI 此次更新的内容之一。
两位可以和我们的听友简单打个招呼，自我介绍一下。
Henry Yin
谢谢曼琪邀请。大家好，我是 Henry，AGI House 的联合创始人兼 CTO。我本科毕业于清华姚班，后来到 Berkeley 读博，研究方向是 AI 系统和程序分析。读到第三年的时候，我选择了辍学创业，做了第一家公司，叫司马懿，专注于用 AI 提升开发者效率。
做工具的那几年，让我对 Agent 的开发工作流，以及开发者生态有了比较直接的体感。在 AGI House，我们聚集了一群顶尖的 AI 创业者和研究者，包括 OpenAI 的联合创始人 Andrej Karpathy，Google 的创始人 Sergey Brin、首席科学家 Jeff Dean，以及 Anthropic 的联合创始人 Ben Mann。
通过构建这个社区的过程，我更早、更深入地看到了这一波 AI 演化的流程，尤其是从模型到应用，再到如今 Agent 工具链的爆发。所以目前我会更多地专注于思考和投资 Agent 方向的工具层和应用层。非常高兴今天有机会和大家分享我们看到的一些新趋势和有意思的新项目。
Naomi Xia
大家好，我是 Naomi。我从沃顿商学院毕业之后，加入了 J.P. Morgan 的旧金山办公室，主要负责他们第一个 AI 团队，之前也负责早期投资，以及一些大型公司的融资项目。比如 OpenAI 的融资，之前也是由我负责的。
现在我加入了 AGI House，主要负责早期投资业务，目前已经投资了 20 多家公司，包括 Composio、Cartesia、LiveKit 和 LlamaIndex。今天我们也会比较深入地聊到其中几家公司。
程曼祺
接下来的一部分，是我和 Henry 在 10 月 6 日之后补充聊的 OpenAI 开发者日的一些新进展，包括 Agent 工具由什么构成、对创业生态可能产生的影响，以及从 GPTs 到这一次的 Apps in ChatGPT，OpenAI 是怎么试图变成一个操作系统的。
1. AgentKit 补齐开发生命周期
10 月 6 日，OpenAI 举办了第三届开发者日，有很多发布。其中一个比较重磅的发布就是 AgentKit，这和我们节前讨论的 Agent Tooling 趋势非常相关，所以正好趁这个机会再聊一聊，包括 OpenAI 第三次举办 Dev Day 以来，有哪些新的进展和动作。
我们可以先从 AgentKit，也就是它这套和 Agent 打造相关的工具开始聊。
Henry Yin
我觉得这次发布 AgentKit 给我的感觉是，OpenAI 自己练出了一身武功，现在想把它传授给广大的开发者。
AgentKit 涵盖了整个 Agent 的开发生命周期。首先是构建 Agent 的部分，这次发布了 Agent Builder。它实际上是一种可视化的快速构建方式，通过拖拽一些小方块来构建 Agent。发布的时候，现场还有 Christina 做了一个 8 分钟以内的 Demo，通过快速拖拽，从零开始完成一个生产级别的 Agent，还是非常好用的。
第二部分是你把 Agent 构建好以后，需要把它部署给客户。这次他们推出了 ChatKit，主要解决前端问题，终于有了一个前端 UI 的 SDK，可以很容易地把 ChatKit 的组件嵌入到 ChatGPT 这样的生态里。这对用户体验来说也是非常重要的一件事。
最后，当你把 Agent 部署给用户以后，还需要持续监控、评估和优化。所以这一部分，他们在 Eval 上推出了好几个新功能，包括 Datasets、Trace Grading、自动化的 Prompt 优化，以及后续真正改进模型的新功能——Reinforcement Fine-Tuning。整个流程相当于都跑通了，对开发者来说还是非常令人兴奋的事情。
程曼祺
它最开始做构建的部分，也就是 Builder，是不是有点像之前的 Dify、字节做的扣子？
我觉得其实非常类似。这也是为什么有一些人可能会对这次发布比较失望，因为感觉这已经是一个非常成熟的市场。OpenAI 可能确实在一些细节和 UI、UX 上做得比较好，但确实没有和 Dify、n8n 或者 Zapier 做出足够多的差异化。
程曼祺
所以它的核心逻辑也是一个 workflow，对吧？先有一个工作流，然后拖拽做成工作流，最后变成一个 Agent。
对。比如那个 Demo，第一步就是先做一个 classifier，把 Prompt 分一个类，后面接一个 if-else。如果是 if，就调用一个 Agent；如果是 else，就调用另外一个 Agent。所以它其实是完全由人手工 Craft 这种工作流的形式。
我觉得你刚才说的第三部分，也就是持续优化的部分，上了一些评估功能，这和我们上次聊的也挺相关。上次我们聊到，有一些公司专门做这个，同时 OpenAI 前段时间也有一次收购，以 11 亿美元收购了一家公司，叫 Statsig。那家公司做的也是相关的事情，大家可以听我们后面的内容，我们会详细展开。
我之前觉得，某些 Agent 公司的护城河在于，它们的 Agent 比别的公司做得更好。但现在来看，这些东西会逐渐标准化。像 OpenAI 现在推出的 Datasets、Trace Grading 和 Reinforcement Fine-Tuning，如果联合起来使用，我觉得可能会产生类似的效果。
程曼祺
Trace Grading 可以解释一下吗？它具体是做什么的？
一个 Trace 就是一次完整的用户和 Agent 交互的流程。比如用户想让 Booking.com 帮助他订一张机票，那么从用户开始表达“我从哪年哪月哪日、从哪个城市飞到哪儿”，到最后完成这次订票，或者订票失败结束，这整个过程就是一个 Trace。
Trace Grading 就是通过写一个 Grading 函数，判断这一次用户和 Agent 的交互哪里做得好、哪里做得不好，然后给它打一些标签和分数。
程曼祺
所以现在是用函数实现的，还不需要用模型来给它打分？
中间可以用模型。这个是由用户决定的，如果不需要模型就能打分，那更简单；但它也可以用 LLM-as-a-Judge 来打分。
程曼祺
你刚才提到，AgentKit 发布以后，有一种反馈是觉得比较失望。你身边有没有听到什么比较好的反馈？
我觉得我身边硅谷很多朋友，平时都是用 Claude Code、Codex 来构建 Agent，所以这种拖拉拽的形式，对他们工作流的改变并不大。
但我觉得，对于很多企业里平时不用 Claude Code，或者不那么技术化的工作人员来说，可能会有比较大的意义。
程曼祺
对业务人员来说，是这样吗？因为我看这次确实也找了一些公司来合作站台，都是比较大的公司，比如 Canva、Figma 之类的。
我觉得这次和前两年的 GPTs 做得比较好的一个点在于，这次有更多 Launch Partner，有更多更好的初始应用，能够把应用的门槛拉得稍微高一点。
否则就可能出现两年前 GPTs 雷声大、雨点小，最后 GPT Store 里大量 GPTs 质量比较低的情况。
程曼祺
2. ChatGPT 争夺操作系统
这本来也是我想问的。2023 年第一次开发者日的时候，他推出了一个市场很关注的东西，就是你刚才说的 GPTs 和 ChatGPT Store。那时大家想象中，好像可以把 ChatGPT 作为一个平台，在上面开发不同的应用。
但实际上，后面发展的并不是特别成功，不算一个很繁荣的生态。你觉得这一次会有什么不一样吗？
我觉得这次变化还是比较大的。ChatGPT 作为操作系统这件事，已经不是第一次被炒热了。第一次真正被炒热，是两年前他们推出 Custom GPTs 的时候。
当时主要的问题是，这些 GPTs 最后大部分都变成了一个 Prompt 模板，加上一个自定义 Logo。原因在于，这些 GPTs 不能可靠地调用第三方服务，不能存储状态，也不能发送通知，不能运行工作流。这些事情都是上一代 GPTs 做不了的。
这次有了 AgentKit、Apps in ChatGPT、Apps SDK，真正有了一个平台，而不只是 Prompt 的包装。比如 Apps SDK 提供了真正的 OAuth-style 授权，可以调用外部工具，也有 Eval、Versioning，包括 ChatKit 提供的 UI Building Blocks。相当于给开发者提供了构建完整应用体验的所有工具箱，所以我比较期待这次 App Store 生态真正能够做起来。
程曼祺
有没有什么让你印象比较深的初始应用？
可以对比一下 Canva。两年前和这一次的 Canva 应用，我觉得用户体验好了不少。
两年前，Canva 也能够给你生成一张图，但这次它会直接和你的 Canva 账号绑定并授权，把你账号里的信息用到这次生成中。这个体验是一个很明显的变化。
另外，两年前像 Canva 这样高质量的 GPTs 非常少。虽然发布时说 GPTs 可以调用外部服务、读取外部数据库，但大部分 GPTs 本质上就是一个 Prompt，所以应用质量会非常参差不齐。
这次我觉得工具链成熟之后，广大的开发者都能够在不花太多时间和精力的情况下，开发出质量上和 Canva 等 Launch Partner 同等，甚至更好的应用。
程曼祺
你刚才讲到这次和 2023 年那一次的不同，也提到了 Apps in ChatGPT 和 Apps SDK。这也是他们这次比较重磅的发布。开场的时候先发布了 Apps SDK，活动结束之后，ChatGPT 负责人 Nick Turley 也接受了美国媒体采访，直接说 ChatGPT 有潜力变成一个操作系统。
可以延展讲讲，Apps SDK 和 Apps in ChatGPT 到底是什么？开发者可以怎么用起来？
这个事情其实非常好理解，本质上可以类比之前的 iOS SDK。
这次的 Apps SDK 是基于 MCP 协议构建的。除了 MCP 提供的第三方服务以外，它还加入了 UI 元素。除了文字回复，现在还可以展示交互式组件，呈现类似原生 App 的用户体验，而且全部发生在 ChatGPT 里面。我觉得这是 Apps SDK 比较厉害的地方。
对现在这些应用开发者来说，它最大的意义可能是分发红利。这次也公布了 ChatGPT 大概有 8 亿周活。现在只要在 ChatGPT 里构建一个好的 App，就可能一下把应用带给大量用户，不需要再解决冷启动问题。
我觉得它还有一个很大的意义，就是解决信任背书的问题。比如初创公司要服务比较在乎安全合规的企业，现在通过 ChatGPT 这个平台，可能更容易让这些初创企业接入客户的流程。
程曼祺
所以相比 2023 年有两个变化：一个是在技术上，以前只能做 Prompt 模板，现在可以做一个完整的应用；另一个是在分发和商业触达上，ChatGPT 已经有这么多用户，可以给开发者更直接的激励。
对，说白了就是可以帮他们赚钱。
程曼祺
因为两年前最后可能没有几家真正从里面赚到钱。这次应该会有一些变化。
不过我看它的博客和发布会，对于到底怎么赚钱，讲得还是比较模糊，比如具体怎么分成、广告怎么做，现在都没有说清楚。
现在应该还处于实验期。但我觉得未来可能会采取抽成 30% 这样的模式。iOS 如果我没有记错，也是抽 30%。
程曼祺
想象一下现在软件市场的 30%，应该还是一个很大的蛋糕。
3. OpenAI 转向企业市场
你觉得为什么 OpenAI 在这个时间点开始在开发者市场有更多动作？我平时看到比较多的是，OpenAI 在 To C 上更激进，Google 和 Anthropic 可能在 To B 上更激进。2024 年还有一个数据，说 Anthropic 抢了不少 OpenAI 的 To B 份额。
我觉得 OpenAI 不会放弃 To B。这次动作可能有几方面的原因。
一方面是用户规模。ChatGPT 8 亿周活已经是操作系统级别的用户入口。其次，我觉得也有生态上的压力。Anthropic、Google 都在疯狂向 Enterprise 和开发者推广，OpenAI 肯定不会以后只靠 To C。
我们也能从 OpenAI 内部团队的变化看出来。比如 OpenAI 现在成立了一个新的 Future of Work 团队，开始加速 AI 在各种商业场景里的落地，比如客服、合同审核、数据分析、商业线索转化，这些他们都在自己内部做。
OpenAI 也在自己的频道上发布了一系列“OpenAI on OpenAI”的视频，覆盖了刚才说的几个场景：用 OpenAI 自己的 AI 能力完成 B2B 的全流程，包括销售、签单、客服和 Customer Success，所有东西都用 AI 来做。OpenAI 自己把这些流程做了一遍。
所以他们在构建这些 Agent 的过程中积累的经验，我觉得转化成了 AgentKit，现在分享给其他开发者。
可以举个例子，他们每个月现在大概有 13,000 个 Inbound 销售线索。以前依靠人工，可能只能给其中 1,000 个提供相对个性化的回复；现在有了 AI，效率大幅提升。
另外，比如客服，现在 ChatGPT 的客服基本都是由 AI 驱动的。AI 会和内部知识库、政策库交互，服务用户。同时，它们在服务过程中不断做 Eval、不断改进。Agent 的 Trace Grading 结果，可能反过来会反馈到知识库和政策库。
所以他们自己构建的 Agent 越多，工具也会打磨得越好。最后呈现出来的形式，就是现在的 AgentKit，提供给所有开发者。
程曼祺
就是你开头说的，他练了一身武功，然后放出来给大家用。
对。
程曼祺
你刚才说的第一个原因，是 OpenAI 不会放弃 To B、开发者和企业市场。如果从商业上推演，这块做得不好，对它来说会是很大的危险吗？除了赚不到这部分钱之外，还有其他影响吗？
我觉得数据对于模型提升非常重要。模型可能需要覆盖他们所说的“Intelligence is multidimensional”，也就是智能是多维度的。你想要改进某一个维度，只有数据上来才可以。
如果 OpenAI 放弃 To B，最终缺少那些数据，可能也会影响模型整体效果，进而影响 To C。因为很多 ChatGPT 用户其实也是 Productivity Use Case，最终也会影响这边模型的效果。
程曼祺
OpenAI 现在做的事情越来越多，而且很多事情都需要非常大的投入，包括 9 月 29 日发布的 Sora 2 及其对应的 App，也会烧很多算力。它还在做基础模型研发，肯定要继续往前推，同时还有很多开发者相关的事情。
你觉得它同时做这么多事，会影响它追求 AGI 的速度吗？
我觉得他们的野心非常大，OpenAI 扩张的速度也非常快，现在已经有好几千人了。
但确实有一个批评的声音认为，这次 Agent Builder 其实和 AGI 路线可能存在分歧。AGI 路线追求的是把人手工写出来的固定流程吸收到模型里，这样中长期改进速度可能会更快。
AgentKit 实际上是一次非常务实的转身，目的是先满足开发者和企业当前的需求。大部分人可能都认同，真正的终局是高度自主、能够执行很多步任务、持续使用工具的有状态智能体。
但它和 Agent Builder 想做的、把流程画成图再塞给模型运行的 Agentic Workflow，其实是两条路，甚至有点相反。Anthropic 的 Claude Code，其实就是通用 Agent 的思路，核心是尽量让智能体自己运行，少画这些流程图。
这条路的好处是，只要底层模型升级，智能体就会直接受益。AgentKit 更多是说：我可能等不到未来模型变得更好，我现在就要在企业里落地。
这对于追求 AGI 的研究者来说，可能不够性感；但对于大客户来说，它安全、好理解、能落地，所以我觉得最后应该能够买单。
程曼祺
但我觉得它其实两种都做了。它在构建 Agent 的环节给了两种选择：一种是这次发布的可视化拖拽 Builder，另一种是之前就发布过的 Agent SDK。
对，我觉得 Sam Altman 现在可能想的是“我什么都要”。人多了以后可能会有一些分叉，而且为了支撑越来越大的估值，商业化和收入压力也可能越来越大。
对 OpenAI 来说，它确实有支撑估值的压力。还有一种观点认为，它已经裹挟了太多投资，包括采购英伟达、甲骨文、AMD 的大量资源，这些大公司和投资方之间相互纠缠得很深，已经到了“大而不能倒”的状态。
我觉得它现在可能确实已经达到了 Too Big to Fail 的状态，但它的野心还是非常大。现在估值可能是 5,000 亿美元，但我想 Sam Altman 肯定不止想要 5,000 亿，可能还要再往上走一个数量级。那我觉得，还是需要一定的实际商业价值来支撑。
程曼祺
这次开发者发布之后，你在周围，包括 AGI House 社区里的创业公司，他们怎么看这件事带来的机会和可能的压力？
大部分人看到的还是机会。我觉得有一个新的平台，能够让开发者和用户离得更近，总体来说对于开发者和创业者是很令人兴奋的事情。
压力可能也有几个方面。一个方面是数据和留存的不对称。现在 Apps 的上下文和数据，主要还是托管在 ChatGPT 环境里。初创公司或者开发者拿到的可能只是有限的上下文调用，而不是完整的用户行为或分析数据。
这会让开发者比较难真正建立用户关系，或者优化留存。换句话说，有点像是在别人的地基上建房，根基可能不是很稳。
第二个方面，是平台自己做相关事情的可能性。OpenAI 现在已经有 OpenAI on OpenAI 系列，覆盖 B2B 的整个流程，包括销售、转化、客服。平台本身拥有完整的数据和用户对话历史，那么平台上比较大的机会，也有可能被 OpenAI 自己内建或者吃掉。
程曼祺
你说到这一点，让我想起上次和 Pokai 的创始人 Bill Zhu 聊 Google 时，他也讲了一个类似的想法。因为 Google 在开发者方面做得比较多，可能存在一种对开发者的危险：Google 看到哪个应用不错，就可能自己做。
但大家对 Google 没那么担心，感觉 Google 自己做产品的速度，或者各方面能力，可能追不上创业公司。但 OpenAI 的速度可能会更快，所以大家会更忌惮它。
不过这反过来也可能是 OpenAI 想做平台的不利因素，大家会更担心它。
这要看它后面怎么抉择，定位放在哪里。
现在所有这些 AgentKit 只能使用 OpenAI 的模型。如果 OpenAI 真正把 Apps SDK 或 Apps in ChatGPT 作为未来的主要平台和商业模式，那么我想，Agent 构建过程中使用什么工具、什么模型，应该都要放开。它可以把自己更多地定位在平台角色上。
但目前可能还处于实验阶段。
程曼祺
这一次哪些部分可以使用第三方模型，哪些部分一定要用 OpenAI 自己的模型？
应该是 Eval 的时候可以用第三方模型，其他时候，比如 Agent Builder 里，目前应该都只能用 OpenAI 的模型。
程曼祺
也就是说，优化和评估的环节可以引入第三方模型。
对，可能是让你比较一下 OpenAI 的模型和其他模型，看看哪个更好。
程曼祺
你觉得这种平台的机会最后可能会有几家做成？市场稳定之后，大概能容纳多少个平台？
要看有几个大的流量入口。目前来看，最大的可能就是 Gemini 和 ChatGPT。
程曼祺
这两个平台现在是什么态势？比如谁在开发者方面会更强一点？
前些天 Gemini 的用户量好像已经超过 ChatGPT 了，如果把全平台都计算在内。当然，它的基数可能也算了 Gmail 里打开 Gemini 写邮件的用户。
所以 Gemini 的追赶势头还是比较猛的。在开发者方面，两边前进速度都很快。Google AI Studio 的各种功能越来越完善，OpenAI 这次 Dev Day 也发布了很多面向 Agent 开发者的功能。
程曼祺
Anthropic 之前因为 MCP 生态，现在可能是工具调用里比较主流的参与者。它在这个格局里处于什么位置？
Anthropic 比较有意思的地方，一是 Claude 现在并不像 Gemini 和 ChatGPT 那样有很大的流量入口；第二是 MCP 是一个开放标准，大家都可以使用，所有人都能从中受益。
所以我觉得 MCP 并没有给 Anthropic 带来特别强的竞争优势。
程曼祺
4. Agent 工具链正式登场
今天非常感谢 Henry 分享 OpenAI Dev Day 的内容。接下来是 9 月下旬，我与 Henry 和 Naomi 一起讨论他们观察到的 Agent 工具链趋势，以及他们投资的一些公司在美国的创业实践。
这一部分我们会提到一些创业公司，比如 Composio、LiveKit、Braintrust，也会提到美国 To B 领域的一些上市公司，比如 Okta、Datadog。相关介绍可以看 Show Notes 的附录部分。
这是我们第一次邀请 AGI House 的两位来分享。以后也还有机会定期聊一聊，在硅谷、在美国这个 AI 最核心的区域，正在发生哪些新的变化。
Henry，刚才你也提到，现在最关注的是智能体应用爆发之后带来的工具链机会。今天的主题就是 Agent Tooling，也就是智能体工具链。你可以先讲讲 Agent Tooling 是什么，以及大家比较熟悉的哪些公司、产品或服务属于 Agent 工具链或工具箱。
5. Agent 需要完整身体
简单说，我觉得 Agent Tooling 就是构建虚拟数字人需要用到的工具和身体部件。
现在的大模型公司其实都在构建 AGI。到底什么是 AGI？我觉得一种定义就是虚拟数字人。过去计算机是工具，人来适应机器，我们需要学习如何打字、如何使用鼠标。但现在发生了一些变化，随着 AI 发展，计算机会越来越像人，反过来由计算机适应我们。
人机交互会逐渐变成“人人交互”，我们会用最自然的对话方式和计算机沟通。但要实现这一点，只有大模型这个聪明的大脑是不够的，它还必须有能听、能说、能行动的身体。我觉得这就是 Agent Tooling 要解决的问题。
具体来说，这个数字人的身体，可能对应大家比较熟悉的一些公司和技术。骨架就是 Agent 框架，最有名的公司是 LangChain，它负责协调和调度各种 Agent 能力。
Agent 的左右手，左手可能是 MCP，也就是使用这些工具；右手可能是 Browser Use，像人一样使用浏览器获取信息、进行交互操作。
眼睛、耳朵、嘴巴这些器官，就是 Agent 的感知和交流部件。比如 ElevenLabs 提供高质量的语音合成，相当于数字人的嘴巴。LiveKit 做实时音频、视频交互基础设施，让 Agent 有眼睛和耳朵，能够看、能够听，实现实时交互。
除了组成身体的部位，还有一块是单独出来的，相当于 Agent 的教练。数字人表现得好不好，需要持续评估和优化。Braintrust、Galileo 这样的公司，专门做 Agent 评估，监督它的表现，保证可靠性。
程曼祺
最近有没有什么和 Agent Tooling 相关的事件，能够反映这个事情的新变化？我知道最近有一些投融资、收购，包括大公司也有一些业务动作。
Naomi Xia
最近关于 Agent Tooling 确实发生了不少事情。我觉得有 3 个比较标志性的事件，而且都发生在最近 3 个月。
第一个，刚才 Henry 提到的 ElevenLabs，是做 AI 语音合成的热门公司。他们有一笔员工二级出售，大概 1 亿美元，估值在 66 亿美元左右。这距离他们上一轮融资才 9 个月，估值已经翻了一倍。
所以我觉得，作为智能体的嘴巴和底层声音设施，可以看到它不仅 Adoption 很快，增长非常快，商业化也在明显加速。
第二个是 LangChain。很多做 AI 应用的人应该都用过他们的框架。他们正在完成一笔 1 亿美元的新融资，由 IVP 领投，估值大概在 11 亿美元左右。
像代理框架、工具链这一层的开发者基础设施，持续被基金加注，被资本持续看好。
第三个，最近很多人在讨论的，是 OpenAI 以 11 亿美元全资收购了 Statsig。Statsig 做的是 A/B 测试、功能灰度发布，以及数据指标闭环。说白了，就是评测模型，逐步放量，然后观察效果。
所以 OpenAI 相当于把这类能力从一个外挂工具，直接变成了自己内置的组件。
把这 3 个事件放在一起看，可以看到一个比较清晰的节奏：应用层大规模落地 Agent，工具链核心组件被资本持续加注，同时也有巨头进行战略布局。
所以现在 Agent Tooling 已经不能算是一个非常早期的概念了。
程曼祺
如果提到 Statsig 这个点，比较有意思的是，我们看到很多之前做 A/B 测试的人，现在都开始做 Eval。
我们可以回到 Agent Tooling 发展的开端：它是怎么慢慢形成的？ChatGPT 火起来之后，围绕大模型陆陆续续出现了很多概念，包括最开始的 Prompt Engineering，后来又讲上下文工程。这个脉络大概是怎么发生的？
6. 六次模型能力升级
Henry Yin
Agent Tooling 的发展，非常围绕大模型能力的跃迁而发展。还是用刚才那个比喻：AGI 是一个虚拟数字人。
过去两三年，我们看着这个数字人的大脑一次又一次升级，而每次大脑升级，都会暴露出身体的残缺，从而催生一波波新的工具生态，为它补全身体部件。
这个过程大概有 6 次主要升级。
第一次是 ChatGPT 和 GPT-3.5 的发布，时间点是 2022 年年底。那是全世界第一次真正认识到 LLM 的强大，大家都想用它来构建应用。
但很快就会发现，光有一个会聊天的大脑还不够。你还需要连接外部数据，需要做上下文管理，还需要组合多次 LLM 调用，处理更复杂的问题。所以 LangChain 这样的框架就出现了，它提供脚手架，帮助开发者更快、更容易地构建大模型应用。
那时我们还不叫它 Agent，只叫大模型应用，后来很快就变成 Agent 了。
第二次重要升级是 Function Calling，也可以叫工具使用，时间大概是 2023 年 6 月。OpenAI 的 API 首次官方支持 Function Calling，LLM 终于可以根据上下文需要调用外围工具。
从这个时间点开始，越来越多人专门为 LLM 编写工具。很长一段时间里，写一个 Agent，可能有点夸张地说，80% 到 90% 的时间都是在写一个好的工具。
另外一个重要时间点是 2024 年 11 月，Anthropic 发布 MCP 协议，使工具更容易在不同模型之间复用。之前大部分工具提供商，也都顺势转型成 MCP Server 提供商。
第三次升级是在语音方面。关键节点是 2024 年 5 月 GPT-4o Advanced Voice Mode 的推出，让大家看到了高质量、接近人类的语音交互雏形，也带动了对实时语音传输技术的需求。
LiveKit 当时是 GPT-4o 背后使用的基础设施，所以出现了一波爆发式增长。
第四次升级是 Coding。GPT-3.5 和 GPT-4 已经让开发者很兴奋了，但我觉得历史性的节点可能是 2024 年 6 月 Claude Sonnet 3.5 的发布，让 AI 编程彻底起飞。
Cursor 的成功，应该和 Claude Sonnet 3.5，以及后续整个 Claude 系列的更新分不开。因为 AI 写代码的能力大幅增强，能够通过写代码完成数据分析等任务，所以产生了对安全执行代码的沙盒环境的需求。这个领域的代表公司有 E2B、Daytona。
第五次升级是推理能力的突破。代表性事件大家都很熟悉，是 2024 年 9 月 OpenAI 发布 o1-preview。
Reasoning 能力提升之后，Agent 终于可以自己做更多规划，而不是像之前那样由开发者写死第一步做什么、第二步做什么。现在它可以根据任务，自己规划第一步做什么、第二步做什么，以及中间应该使用什么工具。
这个转变催生了两类工具。
第一类是强化学习工具。Reasoning 能力是在模型基础上通过 Reinforcement Learning，也就是强化学习做出来的。大家看到了强化学习的好处，所以现在有 OpenAI、Fireworks 这样的公司，提供用强化学习微调模型的工具，帮助自己的 Agent 和模型变得更强。
第二类是评估工具。因为 Agent 会自己完成更复杂、更长的任务，所以更需要更好的评估工具，对这些复杂任务进行监督。Braintrust、Galileo 这样的 Eval 公司，就变得更加重要。
最后一次升级，是 Computer Use 和 Browser Use 能力的出现。关键节点是 2024 年 10 月，Anthropic 首先发布了 Computer Use 模型，之后 OpenAI 也发布了 Operator。
这些模型让 Agent 真正具备用浏览器完成任务的能力，也催生出整个浏览器使用生态。这里面既有提供云端浏览器基础设施的公司，比如 Browserbase、Anchor Browser，也有更上层、直接给开发者提供自然语言 API 的公司，比如通过 API 帮你订外卖。
程曼祺
我有几个补充问题。刚才你提到的工具使用脉络，最开始是 2023 年 6 月 OpenAI 提出的 Function Calling。现在我们看到，Anthropic 做的 MCP 协议虽然出现得更晚，但发展得更主流。
为什么 OpenAI 更早做了这件事，也想到了这个方向，却没有 Anthropic 做得好？
我感觉 Anthropic 的 Claude Code 有时候在 Benchmark 上不是最领先的，在 LMArena 上也不是最领先的，但开发者都很喜欢使用 Anthropic 的模型来编程。我觉得这和 Anthropic 的工具使用能力很强是分不开的。他们花了很多时间提升 Tool Use，让 Agent 能力变得更强。
我觉得 Anthropic 在自己弄明白怎么让 Tool Use 变得更强的过程中，进行了很多这方面的思考。MCP 可以说是他们给社区，或者说给整个 AI 生态的一份礼物和慈善。
所以有可能是 OpenAI 虽然也想到了这件事，但没有 Anthropic 在上面投入那么多精力。我觉得可以这么说。
程曼祺
你刚才说了 6 次升级，我帮听友总结一下。
最开始是 2022 年 12 月的 ChatGPT 和 GPT-3.5；下一个节点是工具使用，2023 年 6 月最早出现 Function Calling，2024 年 11 月出现 MCP 协议。
第三个是语音，发生在 2024 年 5 月 GPT-4o 之后。第四个是 Coding，标志性的时间是 2024 年 6 月 Claude Sonnet 3.5 发布。第五个是推理，标志性的模型节点是 2024 年 9 月，OpenAI 发布 o 系列，推理能力大幅提升。第六个就是刚才讲的 Browser Use，发生在 2024 年 10 月。
看这些时间点也挺有意思。最开始从 2022 年 12 月到 2023 年 6 月，节奏比较稀疏；后面的事情都在 2024 年交错发生，感觉事情越来越快了。
对，这是一个非常令人兴奋的时代。
程曼祺
你觉得接下来可能会怎么发展？
现在预测未来会非常难，很难有人知道接下来 3 个月、6 个月会发生什么。但我觉得相对确定的是，Agentic 能力一定是所有大模型厂商都会加强下注的方向，主要分成两部分：一部分是推理能力，另一部分是工具使用能力。
另外，语音也是所有大模型厂商继续加注的地方。再往后，所有模态会融合在一起。最近我们看到 Image Model 和 LLM 结合，比如 Nano Banana 这样的图像编辑模型。
我觉得接下来可以通过一些具体公司，包括比较大的核心 AI 公司在做什么，以及这个领域里第三方创业公司在做什么，给大家一个更直观的感受。
程曼祺
从现在这个时间点看，你自己比较关注的重点工具链方向有哪些？里面有哪些公司可以讲一讲？
7. MCP 迈向任务完成
对应刚才说的模型能力增强的几个方向，如果 Agentic 能力增强了，相应的工具质量也需要提高，支持更细、更复杂的操作。
现在 MCP Server 更多还是 Read-only。比如大家会使用 Reddit、Twitter 的 MCP Server，做 Deep Research 这样的事情。但真正进行写操作的 MCP Server，使用频率还比较低。
如果模型的 Reasoning 和 Tool Use 能力越来越强，就会避免“小孩挥大刀”的情况。它可以真正去做一些有风险的写操作。所以 MCP Server 是我比较关注的一个领域。
这个领域有一家非常有意思的公司，叫 Composio。它是我们最近投资的一家公司，可以说是 MCP 的集成商，也有点像 Marketplace。
一个底层趋势是，我们正在从工具调用时代，进入任务完成，也就是 Task Completion 的时代。Composio 提供高质量的 MCP Server，不仅仅是调用工具，更多是保证任务能够更可靠地执行，相当于给 Agent 提供了一套比较完整的操作系统。
程曼祺
可以解释一下 MCP Server 或者 MCP 集成商大概是做什么的吗？
MCP 有点像 API 接口，也有点像一个 Marketplace，可以从上面选择需要连接的工具。
Composio 的产品分为两个部分。一部分是平台，开发者可以通过编程方式，在自己的 Agent 里使用这些 MCP Server；另一部分是偏 Prosumer 的产品，叫 Rube。
Rube 最近用户增长非常好，因为它解决了一个问题：比如你在 Cursor 里使用 MCP Server，能用的 MCP Server 数量受到限制，这也是上下文限制导致的。大概一次只能点亮 3 个 MCP Server。如果你想同时使用很多 MCP Server，就会受到限制。
他们有一个类似“魔戒”的概念，叫 One Ring to Rule Them All，也就是 One MCP Server to Rule Them All。它提供一个 Meta MCP Server，根据你的任务选择正确的 MCP Server。
现在大家会在 Cursor 里使用 Rube，去连接几百个 MCP Server。
程曼祺
一个 MCP Server 对应一个工具，还是可能对应好几个工具？
一个 MCP Server 下面可能暴露多个工具。你刚才说的几百个，还要再乘以一个数字，就是它实际上能够调用的工具总数。
Cursor 具体允许的数字可能需要确认，但我记得它好像只允许同时打开 3 个 MCP Server。因为每个 Server 下面可能暴露多个工具，每个工具又有很多参数，所以非常消耗 Token。
程曼祺
一个 MCP Server 里面能有多少工具，会受到什么技术限制？会有瓶颈吗？
作为设计者，MCP Server 下面有多少工具，完全取决于你。比如你做一个 Gmail 的 MCP Server，它和 Gmail 这个产品的复杂度相关。如果你想暴露 Gmail 的所有功能，可能就需要很多 MCP 工具，因为 Gmail 本身比较复杂。
这取决于你的意图。但如果设计得太复杂，执行成功率可能会受到影响。比如有两个非常接近的工具，模型就可能疑惑到底应该调用哪一个，它们的区别是什么。
程曼祺
Naomi，你可以继续讲讲。你们最开始是怎么看到这个项目的？它成立多久了？为什么觉得这个方向有机会？
我还有一个很自然的疑问：Anthropic 为什么不自己做这件事？比如一个很简单的类比，苹果的 App Store 就是自己做的。
Naomi Xia
我们在 AGI House 会举办很多大型 Hackathon，其中很多是 AI Agent Build Day。做 AI Agent 时，往往需要调用不同的工具。
当时我们就在想，如果做一个集合型 Agent，同时调用不同工具、完成任务，就需要同时使用不同的 MCP Server。我们从社区收集到的反馈是一手信息，大家普遍认为 Composio 是一个比较可靠的平台。
我觉得 Composio 最有意思的地方是，它一开始是做 Agent 的公司，后来变成了 Agent Tooling 公司。我们觉得有意思的是，它之所以能成为 Agent Tooling 公司，是因为它把 Agent 做得很好。
它现在当然还在继续做 Agent，但它有这么多高质量的 Agent Tool，是因为整个写 Server 的过程由 Agent 自动完成、自动改进。也就是说，它的 Agent 是一个专门写 MCP Server 的 Agent。
Henry Yin
对。我们是在他们转型之后认识他们的。他们一开始在印度，2023 年 7 月成立。当时想做的是一个集成类的 Devin，用 AI 自动生成第三方 API 的集成代码。
但那时大模型能力还不够，生成代码的准确率达不到要求。后来他们在迭代过程中发现了一个更底层的问题：Agent 不是不会写代码，而是不能稳定地调用和使用工具。
所以他们决定 Pivot，不再做集成自动化，而是构建 AI Agent 的技能层，把通用工具封装成 LLM 可以直接调用的技能。
这个 Pivot 发生在 Anthropic 发布 MCP 协议之前，所以他们很早就摸到了 AI Agent 工具化的痛点。
而且他们是一个非常 Scrappy 的团队。当时还在印度，也没有什么资源和声量。创始人疯狂在 Twitter 上发视频，演示 Composio 如何调用工具、处理错误。这些视频在 AI 开发者社区里传播开来。
整个团队都泡在各种社交媒体里，比如 Reddit、Discord，收集用户反馈，亲自调试用户的集成需求。
所以，一个很小的印度团队，拿到了美国 Lightspeed 领投的 Series A 融资，积累了一批用户，包括 ClickUp、Glean 这样知名公司的团队。我们当时也办了很多场 Hackathon，听到很多开发者反馈，见到了这些创始人，慢慢建立起了投资判断。
程曼祺
你们投资他们的时候，公司有多少人？
Naomi Xia
他们现在团队也不大，好像大概 30 个人，还是很精简的。
程曼祺
他们之前在印度时，就已经获得了美国机构领投的 A 轮融资，对吧？现在团队也搬到了美国？
对，整个团队都搬过来了。他们整体团队我还没有见过一个非印度人，好像全部都是印度人。
他们没有“要来美国，就要雇美国人”这样的概念。他们觉得自己就是想和最 Scrappy 的人一起工作。当下印度团队最 Hungry，所以他们把这些印度人才带到硅谷创业。
程曼祺
他们现在在硅谷什么地方？
在旧金山，办公室在旧金山市区。
Henry Yin
搬过来主要是想和 AI Agent 团队更近距离地交流，因为这些团队就是他们的客户。他们也非常深入地做 Bottom-up Adoption。我们在 AGI House 也合作举办过很多次 Hackathon，慢慢建立了信任。
程曼祺
你们现在 AGI House 也是 Based 在旧金山吗？
Naomi Xia
我们在半岛，也就是硅谷和旧金山市中心之间。
程曼祺
我感觉现在旧金山挺活跃的。之前很多公司还是在硅谷比较多，硅谷和旧金山之间也有一点距离，但现在很多孵化器、社区活动和公司的办公室都在旧金山市区。
Henry Yin
Anthropic、OpenAI 的办公室都在旧金山。Definitely，旧金山正在回归，而且租金好像今年涨了 20% 到 30%。
程曼祺
还有刚才的问题：Anthropic 为什么不自己做这件事？
Naomi Xia
我们不觉得 Anthropic 会自己做一个完整的 Composio。主要原因在于，这件事并不会加强它的核心竞争力。
Anthropic 是一家大模型公司，主要护城河还是模型能力的提升和安全性。它不太会把人力投入到第三方 API 的维护上，因为这件事非常分散资源。
而且它作为底层平台，希望相对中立。
程曼祺
你们觉得整体上 MCP 生态会怎么发展？
刚才我们也聊到，广义的工具使用还包括 Browser Use，以及现在大家也在做的 Phone Use。前段时间我们和智谱聊过，他们做了一个可以在手机上运行的 Agent，帮你在手机上点外卖、买东西。
但现在成功率可能还没有那么高。它的思路是，手机上的 GUI，也就是图形界面和 Phone Use，长期来说仍然会存在。因为有些工具可能不想被直接调用，网页端也可能有些服务不愿意让 Agent 在上面再盖一层。
长期来看，MCP 最后能渗透到多少工具？它真的能让 Agent 作为虚拟数字人，在虚拟世界里畅通无阻吗？
Henry Yin
第一个角度是 Browser Use、Computer Use 或 Phone Use 的可靠性问题。现在比较流行的 Benchmark，桌面端是 OSWorld，浏览器端是 WebArena。我们能看到，最好的模型在这些 Benchmark 上大概只有 60% 到 70% 的成功率。
想象一下关键工作流。比如美国医疗场景里，要给病人做 Onboarding，成功率只有 70%，这件事完全不可行。
所以短期内，如果 Browser Use 的准确率上不去，关键工作流必须依赖成功率更高的 Tool Use。
但 Browser Use 肯定有它的价值，因为很多服务和网站不可能被 MCP 覆盖。比如我听说过一个 Browser Use 的案例：喜欢去日本旅游的人可能知道，日本有很多精品酒店，它们的预订网站没有接入 OTA。
于是有人专门用 Browser Use，把这些酒店哪些日期有空房、所有组合的数据抓下来，提供给搜索引擎。这样搜索引擎就可以搜到这些日本精品酒店。
所以在这些长尾场景里，我觉得 Browser Use 可能是更好的选择。
程曼祺
那些特别大的超级应用，尤其是在移动生态里，App 之间相对封闭。你觉得长期来说，它们也会愿意融入 MCP 生态吗？
我觉得有一个有意思的观点：ChatGPT 的最终目标是 WeChatGPT。
它在构建一个 Super App。大家想一想，AI 越来越像数字人，AGI 就是数字人。我们出门办各种事情，交费也好，办其他事情也好，本质上都是和人沟通。
这其实就是微信。微信里面已经可以完成各种各样的事情。所以我觉得，OpenAI 的 ChatGPT 最终形态可能就是 WeChatGPT。所有提供服务的人，都被迫需要提供一个和 LLM 交互的接口，才能接入这个生态。
程曼祺
所以这不是一个愿不愿意的问题，而是一个趋势？
对，我觉得这是难以抗衡的大潮流。
程曼祺
刚才讲的是工具使用，以及 Browser Use、Phone Use 这些图形界面交互的 Agent Tooling 能力。其他还有哪些你比较关注的方向？
8. 语音成为关键入口
在最开始梳理脉络时，还提到记忆、评估。我们比较看好的另一个方向是语音。
有几个数据：目前全世界每天有 one trillion 的电话，其中很大一部分是商业电话。很多客服场景，都可以被 AI 打电话取代。所以语音领域的 B2B 机会很多。
第二个方面是 Personal Assistant 或情感陪伴类产品，这也是增长比较快的领域。所以语音主要分为这两个部分，增长潜力都很大。
我们比较关注的一家公司叫 LiveKit，可能在国内用得还不是特别多，但增长速度非常快。现在它每天会支持 2,000 万次语音通话，一年前这个数字是 100 万，也就是说一年增长了 20 倍。
程曼祺
可以讲一下 LiveKit 主要提供什么能力吗？它提供语音上的什么能力，或者说业务和产品服务是什么形态？
LiveKit 是疫情期间开始做的。最开始它和 AI 关系不大，做的是基于 WebRTC 的音视频实时传输。
疫情期间，大家都有远程工作的需求。它第一次在 AI 方向爆发，就是我们刚才梳理脉络时提到的 GPT-4o。当时 GPT-4o 使用 LiveKit 完成后面的语音传输。
之后，他们从底层往上加强产品丰富度。现在已经可以很方便地用 LiveKit 的 SDK 创建一个语音 Agent，由它帮你做好 Turn Detection 等编排工作。
程曼祺
所以它里面可以调用不同的语音模型？它不是 ElevenLabs 那种自己做一个语音模型、负责生成语音的业务？
对。语音公司大概可以分为两类：一类是模型厂商，ElevenLabs 可能最开始是模型厂商，现在因为公司变大，业务做得更广了。OpenAI 也偏模型厂商。
LiveKit 更偏基础设施。
程曼祺
你刚才说 LiveKit 最开始的业务，听起来有点像声网。
对，有很大的相似性。除了 OpenAI 的 Advanced Voice Mode 背后使用 LiveKit，国外比较火的情感陪伴产品 Character AI，以及 Elon Musk 的 Grok，背后的语音基础设施也都由 LiveKit 提供支持。
但我觉得它最有意思的故事，也是我们当时决定投资它的原因，是它支持了 25% 的 911 流量，而且大概每周能挽救一条人命。
程曼祺
为什么打 911 会需要 LiveKit？
因为你打过去以后，它会给你手机发一条短信。你点开之后，就可以实时用手机传输当时看到的画面和声音。
911 那边的工作人员能够看到现场情况。有时如果你需要心肺复苏，它还能给你安排一个心肺复苏教练，根据现场情况，当场教你怎么做心肺复苏。
程曼祺
所以你说的“挽救一条人命”，指的是在特别紧急的情况下，远程给用户指导。
对。
程曼祺
你刚才提到 Grok 的 Powered by LiveKit，意思是语音基础设施由 LiveKit 提供，模型还是 Grok 自己的语音模型？
对。
接下来马上会宣布的一项合作是 Salesforce。它是美国最大的 CRM 公司，其 Agentforce 的客服，也就是 Voice Agent，会运行在 LiveKit 的 Agent 平台上。
程曼祺
LiveKit 平台现在用得最多的模型还是 ElevenLabs 吗？
上面有好几家模型，包括 OpenAI、ElevenLabs，以及 Naomi 刚才提到的我们投资的 Cartesia。
LiveKit 平台上大概有两种语音 Agent 范式。
一种是 Cascaded Voice Agent，也就是把语音 Agent 拆成几个环节：先做 STT，把语音转成文本；文本经过大模型；输出再经过 TTS，也就是文本转语音。你可以在 LiveKit 平台上构建这种 Agent。
第二种是 Speech-to-Speech，也就是 OpenAI 的 GPT Realtime，直接从语音输入返回语音输出。两种方式都支持，也都有用户使用。
程曼祺
前一种方式是不是在一些场景下综合成本更好，或者已经够用了？
这两种方式里，大的判断是，终局一定是 Speech-to-Speech。因为它是更新的技术，效果也更好，能够捕捉你的笑声、情绪，这些都可以放在模型的上下文里。
但现在还是有很多人使用 Cascaded Model，也就是拆成三个部分的方式，原因有几个。
第一，这种方式的可控性目前更好。如果想加入 Guardrail，也就是保护机制，可以在语音变成文字的阶段写判断。因为它毕竟是字符串，没办法直接在语音信号上写这些判断。
其次，有些场景不需要它那么像人。比如去医院打电话，需要提供一些信息，你知道自己在和 AI 聊天，有时反而会更好。
基于这些原因，Cascade 方式还是有自己的优势。
程曼祺
我想补充问一下语音相关的情况。之前我们聊到过，你们观察到美国一些核心 AI Top Lab 都在加大对语音能力的投入。我理解你说的 Top Lab，应该是 Google、OpenAI 这些，对吧？
Naomi Xia
我觉得可能有两个信号。
第一个信号是，现在有一类公司专门给这些 Top AI Lab 提供语音数据，这类公司最近成长得不错，融资情况也不错。有一家叫 David AI，应该是在最近几个月内完成了 2,500 万美元的 Series A。
第二个信号是，OpenAI 最近发布了 GPT Realtime API 的正式版。
其实它的正式版去年 10 月就发布了，所以大概经过了整整一年的时间，这次发布的是 2.0 版本。主要改进有几个方面。
第一是更加像人，包括说话的语音语调、表达的丰富程度，以及执行开发者提示的能力。比如希望它更温情、更职业化，它都可以很好地遵循指令。
第二是更好地理解人的笑声和情绪，以及在说到一半时切换语言，也都有更好的效果。
程曼祺
Anthropic 好像不怎么参与这方面的竞争，多模态做得比较少？
我觉得这块 Anthropic 可能不在牌桌上。主要玩家还是 Grok、OpenAI 和 Google。Anthropic 基本已经 All in Coding 了。
程曼祺
语音这块，国内也有很多开发者使用得比较多，比如 MiniMax、豆包的语音模型。今年中国也出现了很多类似播客生成、语音生成的 Agent 应用。豆包自己也做了一个，你给它一篇文章，它可以生成一个 3 到 5 分钟的播客。
Henry Yin
我觉得国内模型在语音生成方面其实处于领先地位。比如 MiniMax 新发布的语音模型，在 Artificial Analysis 的榜单上排名非常靠前，可能还排在 ElevenLabs 前面。
这块国内模型可能需要在海外做更多宣传。
程曼祺
9. Agent 开始拥有长期记忆
我们接下来可以讲讲记忆方面的进展。你之前提到，记忆是 Agent Tooling 很重要的方向。这个领域可能有哪些机会？自己做 Agent 或者做大模型的公司，又有哪些动作和进展？
可以从几种记忆的类型，以及它们如何帮助 Agent 更好地完成任务开始。
第一种是情景记忆。比如客服机器人记得上周和你聊过，并且尝试过解决方案 X。如果它记得这件事，就可以避免重复操作，让对话保持连续性。
第二种是流程记忆。它能够记住，完成一个任务需要步骤一、二、三、四、五。比如做 DevOps 的 Agent 记得上周部署时在第三步失败了，之后就可以避免重复执行错误步骤，学习有效路径。这比较适合自动化或者企业工作流中的多步智能体，帮助它学习怎么完成工作。
第三种是知识性记忆，它可以存储事实。比如 Agent 查询用户购物时有哪些折扣可以使用，就需要去折扣规则库里查。这个规则库也是它记忆的一部分，可以减少幻觉，避免它凭空想出不存在的折扣规则。
最后一种是角色记忆或者人格记忆，它能够记住一种人格或风格设定。这对情感陪伴很重要。比如设定一个 AI 男朋友或 AI 女朋友，它不能 Out of Character，要保持交流风格，让用户有长期关系的感觉。
这 4 种记忆需要根据应用合理选择。做 Business 的 Agent，可能不需要人格记忆，但可能需要工作流记忆和知识记忆。记忆对于提升 Agent 在特定应用场景下的能力，会起到很大作用。
提到公司，我们接触比较多、最近成长也比较快的一家，叫 Letta。它的两位创始人都是 Berkeley 的 PhD，毕业以后创立了这家公司。
他们的产品专门帮助 Agent 开发者构建 Stateful Agent，也就是有状态的智能体。他们还有一个很有意思的概念，叫 Sleep-time Compute。
大家可能熟悉 Test-time Compute，也就是推理时多生成一些 Token，让模型做得更好。Sleep-time Compute 不是在推理时多生成 Token，而是在整个 AI 系统没有用户查询或交互时，花一些 Token 做之前信息的理解。
举个例子，你白天开了很多会，晚上夜深人静的时候，AI 在 Sleep Time 回忆、处理白天会议的内容，把这些东西变成学习内容或洞察。
所以它本质上是在“睡觉”的时候花 Token，把之前的记忆整理成最有用的知识并存下来。我觉得这是 Letta 比较有意思的地方。
程曼祺
这个公司怎么拼？
L-E-T-T-A，Letta。
程曼祺
我本来以为这种东西不会有单独的公司做，应该由做 Agent 的公司自己做记忆。比如 Manus 可能自己做，Devin 可能自己做，包括一些陪伴类 Agent。
早期大家确实都会有一个探索过程，因为没人知道记忆到底怎么做比较好。这个时候就是八仙过海、各显其能，每个人按照自己的场景构建记忆模块。
但随着大家对什么记忆、应该怎么使用，摸索得越来越清楚，可能会出现相对标准化的产品，像 Letta 这样的公司，把这些脏活累活都做了，让 Agent 开发者真正聚焦在 Agent 的核心竞争力上。
程曼祺
像 Letta 这种试图提供标准化记忆模块的技术，会涉及数据问题吗？
比如 Letta 服务一家 Agent 公司，这家 Agent 公司的用户给 Agent 提供了一些数据。如果 Letta 要优化记忆表现，Agent 公司应该把数据给 Letta，还是不给？
它需要读取对话内容。它的交互方式是这样的：Letta 会有一个单独的模型，用户需要先定义记忆 Schema，比如“我是谁”“我的偏好是什么”“我的生日是什么”。
定义好这个格式以后，在对话过程中，它会自动更新这些信息，并且在需要时把相关内容放进上下文。
程曼祺
如果长期发展下去，会不会涉及数据到底给多少、要不要给的问题？
我想到一个例子。中国以前有很多科技创业公司做高级智能辅助驾驶，客户是车企。它们要持续帮助车企优化智能驾驶方案，就需要司机数据。
但行业里一直有个问题：数据到底给多少、怎么给。服务每个车企都要单独谈，而且车企是非常大的客户。车企还会从竞争角度考虑：我把数据给你之后，你优化了方案，但你的客户又不只有我，还服务其他车企。
另外，数据还会涉及敏感问题。
我觉得这可能又回到上下文工程的问题。你说给不给、给多少，本质上就是上下文工程：弄明白什么东西应该进入上下文，什么信息不应该进入。
程曼祺
但你说的是技术考虑。我刚才说的那些车企给不给、给多少，是因为车企会觉得，数据给你以后，你优化了方案，而你又服务其他客户。这是强竞争角度。另外也有数据敏感的问题。
我觉得还好，因为 Letta 可能不太会遇到这种竞争关系。现在 Agent 应用市场比较分散，也比较多样化。
程曼祺
大公司在记忆方面有什么动作？OpenAI 今年不是也上线了记忆功能吗？
OpenAI 的记忆功能有了比较长足的改进。
比如今天我妈妈给我做了我最喜欢的甜点提拉米苏。以前可能会把整句话直接塞进 ChatGPT 的记忆里。现在它会拆分成几条：
第一条，“Henry 的生日是 9 月 18 日”；第二条，“Henry 喜欢吃提拉米苏”；第三条，“Henry 的妈妈在 Henry 生日那天给他做了他喜欢的提拉米苏”。
这样的话，后续查询时记忆的可用度就高很多。直接把整句话放进去，首先不知道“我”是谁，其次不知道我的生日是哪一天。
程曼祺
大模型随着自身能力进化，能自己解决记忆问题吗？也就是说，模型本身能解决吗？
我觉得现在大模型自身前进的方向，和记忆是两条相对独立的路线。
目前模型能力里和记忆比较相关的，是上下文长度不断提升。但即使上下文长度不断增加，对上下文的使用仍然要非常谨慎，因为它不是免费的午餐。
无论成本还是性能，都会随着上下文长度增加而下降。
程曼祺
你刚才也提到上下文工程。这个概念最开始是 Andrej Karpathy 带火的，他之前写过一篇长文讲 Context Engineering。
它和记忆的关系是什么？可以理解为，记忆是上下文工程要做的其中一件事吗？
对。记忆最终要使用，也需要被放进上下文，所以可以认为记忆是上下文工程的一部分。
上下文工程的本质，是决定什么信息应该进入上下文，什么不应该进入。它有两个循环：内循环和外循环。
内循环是这一次生成时，什么信息应该进入上下文；外循环是长期来看，如何逐渐改进把正确的信息放进上下文的能力。
程曼祺
这些努力现在都是工具链公司在做，而不是模型直接相关的，对吗？
对，是在补全模型残缺的身体。模型和大脑相关，而这些工具补全的是身体。
Long-term Memory，以及如何使用这些记忆，对人来说可能属于大脑的一部分，但对现在的大模型来说，它和模型本身是分开的，更像一个外接硬盘。
程曼祺
10. 评估决定 Agent 可靠性
接下来还想展开聊一下评估。评估最近也发生了比较受关注的交易，最开始 Naomi 提到 OpenAI 以 11 亿美元收购 Statsig。
评估相关工具比较容易被第三方或者标准化，应该也有创业机会，对吧？
评估是一个很有意思，也很有争议的话题。
矛盾在于，大部分人都会认为 Eval 很重要，但大部分公司现在都不会好好做 Eval。
我可以举一个例子，这来自我们和 LiveKit 合作的过程中。他们有一个比较大的客户，是做 Voice Agent 客服的。这个客服打电话时很容易提前挂电话，用户体验很差。
于是他们在 Prompt 里加了一句：“你不要那么早挂电话。”
在发布之前，他们做了什么呢？工程师按照新版本打了三四个电话，感觉好像比之前挂得晚了一点，然后就发布、部署到生产环境了。
你可以看到，这家公司其实还挺大，并不是创业团队，但它开发 Agent 的状态就是这样，没有一个严格、科学的评价环节。比如至少跑几百次，再部署到线上。
这种情况非常普遍。不只是医疗公司，像 LiveKit 这样的 Voice Agent 平台，接下来加入 Eval 组件，对它们来说也非常重要。
这个组件具体做什么？如果我有一个新的 Voice Agent 版本想上线，上线前先准备各种情景和数据集，让它运行几百次电话。等 Log 记录下来以后，分析改进情况，确认到底有没有变好，之后才有信心上线新功能。
程曼祺
大家觉得 Eval 重要但又不做，是因为它很难吗？主要难在哪里？
因为做评估需要数据。你可能需要人工标注一个数据集，而且任务越复杂，成本越高。
另外，开发团队对构建出来的数据集有没有共识，也是问题。
还有一个很有意思的情况：有人花很长时间做了一个数据集，最后 Eval 说模型变好了或者变差了，但他自己不相信。他会说，虽然数据集说变好了，但我感觉它变差了。
程曼祺
哪些任务相对更容易评估，哪些任务不容易评估？
大语言模型任务有一种非对称性。有的任务生成一个东西很难，但评估它比较容易；有的任务，评估它可能比完成任务本身花的时间还多。
比如 OpenAI、DeepSeek 做强化学习时，使用的任务通常是 Coding 和数学，也就是编程和数学。之所以使用这些任务，是因为它们有很好的评估信号，模型可以最大程度地从评估中学习。
这些任务相对容易评估。比较难评估的是主观性较高，或者任务本身复杂度较高的工作。
程曼祺
11. 工具链市场走向千亿美元
接下来讨论一下 Agent Tooling 的商业情况，包括市场规模，以及未来可能形成什么样的生态格局。
我们可以先说市场规模，未来可能会是一个多大的市场？
我们大概算了一下。全球软件市场一年大概能卖 6,500 亿美元，Developer Tools 可能分走其中一部分。根据一些上市公司，我们看到行业标准大概是中低个位数的百分比。
粗略估算，Developer Tools 可能是 200 亿到 300 亿美元的规模。
但 AI Agent 这一波，整个游戏规则发生了改变。之前红杉有一个预测，认为 AI 会把软件市场的天花板推高，从 6,000 多亿美元推到 10 万亿美元级别。
主要原因是，AI 可以切入服务业，把原来依靠人力提供的服务，转化为可以依靠软件提供的服务。
如果这个判断成立，那么为 AI Agent 提供武器装备的 Agent Tooling 市场，也会出现巨大增长。如果套用类似的比例，比如占新市场的 5%，长期市场规模可能达到 2,000 亿到 5,000 亿美元。
和现在 200 亿到 300 亿美元的开发者工具市场相比，大概是 10 到 15 倍增长。所以我们觉得，AI 这一波不是在瓜分存量市场，更多是在创造增量市场。
程曼祺
这个市场里会出现特别大的公司吗？
有的市场规模很大，但里面不一定每家公司都很大。这里会出现年收入 100 亿美元的公司吗？
我觉得这已经在发生了。可以从 3 个角度来看。
第一，这个市场到底有多大。我们刚才用开发者工具公司做参考。比如做身份认证的 Okta，最近一年收入大概 20 亿美元；Twilio 是云通信巨头，高峰时期的收入大概 40 亿美元。
我们觉得，AI Agent 经济可能是实体经济的 10 多倍。服务这个新经济的基础设施，比如智能体身份验证，市场空间可能会是刚才说的 10 倍以上。
如果 Okta 能做到 200 亿美元，那么 AI Agent 的身份和调度可能就是数百亿美元级别的市场。这个方向的产品，比如 Composio，就是比较 AI Native 的公司。
第二，不是所有巨头都会被颠覆，也要看范式转移发生在哪里。真正的机会可能来自 AI Agent 带来的全新需求。
比如 Observability，也就是 AI Agent 的可观测性。传统可观测性关注 CPU、内存，但 Agent 可能更多关注一个角色的执行链路。Datadog 年收入超过 20 亿美元，做的是系统可观测性。未来面向 Agent 的观测平台，规模可能更大。
Braintrust 做的是把智能体执行过程拆开。不只是看服务器指标，还能查看回放，调试 AI 的行为。
第三是 Agent 的实时通信。Twilio 做人与人之间的通信，收入大概 40 亿美元。AI Agent 是人与 Agent、Agent 与系统之间的交互，对延迟要求更高，对话状态也更复杂。
LiveKit 这样的公司就在做这件事，本质上是在构建下一代专用通信层。
还有 Claude Code 这种自主编码 Agent，有点像 GitHub 加 Vercel 的模式，主要面向自主写代码的 AI Agent。它不会替代 GitHub，但会拉动一系列新工具和工具链，比如代码审计、回归测试、安全执行等。
它们也在做可组装的 Agent 模块和集成，让企业像拼乐高一样，把 AI 装进现有工作流。
程曼祺
什么样的公司最有可能做到百亿美元规模？它们应该不会只是做工具的简单拼凑，而是要形成网络效应和数据壁垒。
对。关键是有没有自己的数据闭环，能不能越用越好，越用通过率越高、成本越低；以及能不能卡住一个工作流里的关键节点。
比如 LiveKit 做实时通信，Braintrust 做可观测性。调用量越大，数据可能越有价值，就越容易成长为百亿美元级别的公司。
程曼祺
我觉得这里其实有两类机会。
一类是已经存在了很久的公司，也就是 AI 热潮之前就存在的公司。比如身份认证领域的 Okta、通信领域的 Twilio、可观测性领域的 Datadog。理论上，它们可以在已有客户关系的基础上加入 AI。
之前二级市场有一些比较火的标的也是类似的，比如 Photoshop。
另一类是 AI 原生的新公司，比如做 Agent 状态观测、Agent 身份认证、Agent 通信的公司。
12. 硅谷社区连接全球创业者
最后想请 Henry 和 Naomi 分享一下硅谷 AI 创业社区的情况。大家是什么样的氛围，又是怎么运转的？
像 Composio 这样的公司从印度去了美国。现在也有很多中国 AI 团队从一开始就进行全球化定位，硅谷、旧金山肯定是大家去得比较多的地方。你们接触了很多国内创始人，可以讲讲湾区创业生态是怎么互动起来的吗？
Naomi Xia
我觉得可以分成几个部分。我们会举办各种不同的活动，比较大的受众是研究员和工程师。
针对研究员的活动，比如 Harry 经常会举办技术讨论，把各个 AI Lab 的顶尖研究员召集起来讨论，形式可能是 Paper Reading。
我们也会举办大型 Hackathon，有时和大型 AI Lab 合作，有时和有意思的创业公司合作，尤其是 Developer Tool、Agent Tool 公司。
这对创业公司有营销作用，同时它们也可以收集一线用户对产品的反馈。
当然，我们也和很多优秀的华人创业者合作。比如之前的 Laverie 和 Melvin，我觉得他是一个很有梦想、产品感非常好的创业者。他们在旧金山做 Launch 的时候，我们团队也提供了支持，帮他们联系当地的设计师和本地用户，收集反馈。
国内和美国的公司，大多处于相对成长期，已经有一些比较好的数据可以观察。Opus Clip 也是我们经常合作的公司。他们做长视频剪短视频，我们 AGI House 团队自己的媒体剪辑也都使用 Opus Clip。
因为我们和本地 Influencer Community 也有合作，所以不仅会和开发者交流，也会和应用用户、意见领袖进行比较深入的交流。
程曼祺
2023 年 ChatGPT 热潮之后，从什么时候开始感觉国内来的团队变多了？
我觉得今年明显感觉到很多，真的非常多。
越来越多中国创业者来美国创业，尤其是做应用产品的。中国创业者通常有很强的产品感和应用触觉。
比如 HF0，是旧金山比较有名的 Accelerator Program。过去 3、4 届，我觉得至少有 20% 到 30% 的 Founding Team 是中国背景。
他们的收入增长都不错，通过美国孵化器实现转型。有些团队之前已经在中国创过业，然后重新通过孵化器的方式，在美国建立连接、实现增长。
程曼祺
我们前几期聊过一个创始人，Fellow Round 的创始人 Michael Guan，他参加过 HF0。国内还有一家叫 S Studio 的公司，也参加过。
我后来发现，这个孵化器比较特别的一点是，从公开信息里查不到谁参加过，历史参与者名单是非公开的。但它会定向邀请一些硅谷投资人和国内投资人参加 Demo Day。
每届其实只有 10 家公司，而且只收 Serial Entrepreneur，也就是之前创过业的人。所以它们在估值、产品和团队方面，相比 YC 这样的孵化器可能更成熟一些。
Henry Yin
我觉得这一波 AI 创业里，华人创业者还是有很大优势。
一方面，Naomi 刚才提到，To C 产品力其实比很多美国团队更强。
另一方面是执行力。现在大部分 Agent Startup 的护城河来自两个方面：如果是垂直 Agent，它在垂直领域有没有专家知识；另一个就是纯执行力。这方面我们历史上还是比较强的。
程曼祺
我和去过美国的创始人，以及在美国的团队交流时，有一个模糊印象，不知道对不对。
我感觉美国主流团队里，做 To B AI 创业的公司更多，而且可能有相对明确的退出路径。不一定要自己发展到很大，也可以在一定阶段被大公司收购。
而中国一些野心勃勃的创始人，提供了投资机构比较稀缺的一种类型，就是特别想把 To C 应用做大的创始人。我觉得 Miles 可能就有这个意思。
Naomi Xia
我觉得中美两边是互补的。
硅谷做 To B 的生存环境实在太好了，所以做 To B 的人非常多，做 To C 的人少很多，做 To C 硬件的人就更少。
国内可能完全相反。
程曼祺
Henry，你组织技术讨论比较多。最近有没有什么觉得比较好玩、比较新颖的技术趋势？
Henry Yin
有几个方向，可能也不能算新颖。这个趋势可能从去年 9 月，或者 DeepSeek 发布以后就开始了，就是 RL 的第二春。
现在很多创业公司可以分成两大类。
第一类是做 RL 环境，把环境卖给训练基础模型的公司。
第二类是做 RL-as-a-Service，帮助大企业改进大模型在内部应用场景中的表现，通过 RL 改进模型能力或者 Agent 能力。
我们最近也在组织很多相关的技术讨论。
程曼祺
也许我们下一次可以展开聊聊。
今天非常感谢 Henry 和 Naomi 做客《晚点聊》，分享他们在硅谷组织技术人员、创始人社区的方式，以及看到的一些趋势。
今天我们比较详细地聊了 Agent Tooling，也就是智能体工具链和工具箱的机会。这个领域有很多核心大公司在投入，也有很多第三方创业机会。我们还讲了很多硅谷的准独角兽和独角兽公司。
虽然 Infra 创业目前来看在国内可能没有那么好的复制方法，但另一方面，现在整个 AI 创业氛围都非常全球化，也有可能大家去硅谷、去美国交流和创业。AGI House 之后也可以成为大家合作和交流的地方。
谢谢两位。
谢谢曼琪。
Naomi Xia
谢谢曼琪。
各位拜拜。谢谢。本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注晚点聊 Late Talk，也欢迎关注我们的公众号晚点 Late Post，下期再见。