[BidClub_]
硅谷101 · · 64 min

E191|小而美的机会来了,聊聊这轮AI Agent进化新范式

泓君陶芳波Kolento

YouTube
TL;DR
  • 2025 年 Agent 的加速来自代码模型、RFT 与 MCP 三层同时推进,融资与估值随后给出了市场信号。 Sonnet 3.5 带来代码生成质变,OpenAI 在1月、2月先后推出 Operator 与 Deep Research,Manus 3月出圈、5月获 Benchmark 领投7500万美元、估值5亿美元;录音当日另有外媒传出 OpenAI 拟以30亿美元收购 Windsurf,Cursor 母公司 Anysphere 则融资9亿美元、估值90亿美元。“Agent 真的时代来了”的底层含义,是基础组件开始组合,而非又多了几个聊天框。

  • 这一轮范式变化不是模型更会说话,而是它开始能依据环境奖励调整行动策略。 23、24年的 Agent 依靠知识库、工具和人工 workflow,模型训练目标仍是对话;RFT 把推理模型放进编程、电脑操作等环境,允许它探索路径、失败后重试。陶芳波称之为“语言模型的 AlphaGo 的时刻”:思考能力可以根据环境反馈学习,这是新旧 Agent 之间的“big gap”。

  • Coding 正在成为数字世界的通用行动层,因此 Cursor、Windsurf、Devin 的上行空间可能远大于传统 IDE 插件。 Windsurf 的 context engine 能识别代码、测试、配置、命令行和技术文档;Devin 更把浏览器、IDE、测试区及可反复修改的“策略室、作战室”纳入环境。随着 MCP 接入,Cursor 甚至可能从“以代码产出为目标”转向“以完成任务为目标”。

  • 通用 Agent 可能吞掉大量原本可独立创业的消费场景,真正可守的机会反而更偏“小而美”。 一个 Deep Research 可能覆盖过去的学术、市场研究工具,一个 Operator 可能覆盖买菜、订票、比价和旅行规划;大厂占据的单个产品边界也会比 App 时代更宽。陶芳波因此怀疑 C 端还能容纳多少服务型 Agent,却看好保险、招投标等拥有专属“武器库”、评价标准和数据环境的垂直产品,以及能表达个人独特性的“第二自我”。

  • Manus 的优势首先是产品化与可控感,短板则是通用定位、数据壁垒和断裂的网络效应。 Kolento 更愿意用它做进入新领域时“广而不深”的研究:过程白盒、可随时 jump to live 接管,并能把报告变成交互网站;其指令式记忆也比普通 RAG 记忆更有行为感知。但“world's first general AI agent”既能抓住 early adopter,也意味着“通用性更等于没有第一的联想场景”,而登录、权限、小红书或 Facebook 等数据墙,远非 coding、GUI、命令行这只“八爪鱼”都能穿透。

  • Agent 产品真正的能力中心可能不是 prompt,而是贯穿意图、工具调用、执行和输出的 evaluation。 Kolento 的比喻是:“prompt 是那把武器,但是 evaluation 是你的准心”;只有每次改动都可量化,Demo 才能变成持续迭代的产品。若面向真实环境的 evaluation 能升级为可重复生成的 reward,Agent 就能自主探索和对齐;但据节目讨论,RFT 相比 SFT 可能只提升约25%,成本却增加数倍,商业化必须计算这部分边际收益。

  • 行业节奏会出现明显错位:产品制作快到“甚至有点恐怖”,大众采用和生态建设却仍可能按年计算。 Kolento 已从重 PRD、重 planning 转向更快执行,却也把“做过200多个 Agent”修正为多数只是 chatbot 或 workflow;陶芳波则从“2025 是 the year of agent”转为更谨慎。MCP 目前更像“API 的 AI 化封装”,认证、隐私、数据开放和平台商业化尚无统一答案,技术通道出现不等于 Agent 已能自由进入环境。

Digest · the substance, structured for research

1. 2025 年的加速由三项底层变化共同触发

  • 泓君给出的时间线很密集:1月 OpenAI 推出可自主使用浏览器的 Operator,2月推出 Deep Research,3月 Manus 以“通用 AI Agent”出圈;到5月,Manus 获 Benchmark 领投7500万美元,节目称估值达到5亿美元。

  • 5月6日第二次录音时,节目还提到外媒传出 OpenAI 拟以30亿美元收购 Windsurf;Cursor 母公司 Anysphere 融资9亿美元、估值90亿美元。融资和估值开始成为 Agent、尤其是 coding Agent 获得市场关注的信号。

  • 泓君总结的三股推力分别是 Sonnet 3.5 带来的代码能力质变、有限数据下仍能提升特定任务表现的 RFT,以及 Anthropic 于2024年11月底提出、开始连接网站和服务的 MCP。

2. 新 Agent 融合了通用交互与传统强化学习

  • 陶芳波先把概念拉回机器学习:AlphaGo 在强化学习语境中就是 Agent——它依据环境反馈自主学习行动策略。大模型时代,这个词被扩展为像人一样独立完成任务、由基础或推理模型驱动,并拥有记忆和用户界面的系统。

  • 23、24年的大模型 Agent 通常没有自主学习能力,行业知识来自开发者配置的知识库和 workflow;它更像“脚手架”,会调用工具,却不会在环境中真正学会应对变化。

  • 推理模型与强化学习微调结合后,Agent 开始兼具两端:既能与人交流、处理复杂任务,也能在法律、编程、电脑操作等特定领域探索路径。“现在真的觉得 Agent 有智能了。”

3. 环境反馈补上了上一代 Agent 最大的缺口

  • 陶芳波的核心解释是,早期语言模型无论预训练、post-training 还是 RLHF,训练目标都主要是跟人对话,“而不是为了跟环境互动”。把它强行当作大脑接上工具,不等于它理解工具所在的世界。

  • DeepSeek R1 被他用来说明变化:过去可以通过 SFT 给模型问题集、最终结果和死记硬背的知识库;R1 则在训练中调整思考策略,学会怎样更好地完成数学或编程任务。他把这称为“语言模型的 AlphaGo 的时刻”。

  • 23年已有公司尝试用 GPT-4 操作电脑却效果不佳,因为模型“根本没有在电脑操作的环境里面待过”;Operator 则把推理模型放进电脑环境做强化学习,使失败、定位错误和调整行动成为训练的一部分。

4. 好环境不是场景描述,而是专家的完整武器库

  • 编程环境不只是浏览器或代码文本,还包括 IDE、测试、部署、GitHub、开源项目和技术社区。创业公司的工作,是把这些专家熟悉的空间转化为 Agent 可行动的环境,再配置少量有效数据与奖励函数。

  • 陶芳波给出的筛选标准是:现实中凡需要专家拥有“一套武器库”和特定方法论才能完成的任务,都可能形成专属 Agent 环境。法律、医疗、制作《硅谷101》,乃至 Palantir 所面对的军事和武器操作都属于此类。

  • 这也意味着编程 Agent 需要针对环境重新训练;陶芳波不相信一家大公司只做一个模型,就能让同一个 Agent 无差别完成所有专业任务。

5. Operator 把固定 workflow 改造成动态闭环

  • Operator 会在服务器端开启浏览器,把目标拆成搜索、比价、选择、支付等阶段;支付或信用卡等环节仍保留人工验证。Kolento确认自己用它在 Instacart 买过菜,评价是“速度很慢,准确率也不够高”,但明显好于直接驱动 GPT-4 或原始 o1。Kolento还说 Operator 和 Deep Research 都是从 o 系列模型微调而来。

  • 它把点击、键盘输入、打开新 tab、Google 搜索等基础操作纳入推理输出:一旦生成动作便暂停思考,执行后读取网页反馈,再继续规划。“思考、执行、反馈、继续思考”由此成为连续环节。

  • 泓君追问这与 workflow 有何不同。陶芳波的回答是,旧 Agent 要开发者“手把手教”每一步;新 Agent 学到的是完成任务的大框架,网站打不开时可以临场换站,而不是卡死在预设路径。

  • Deep Research 的闭环相似,只是工具集换成公开信息检索:它会根据搜索结果修正假设、追加检索,并处理信息源冲突。两者训练方法都被归为 RFT,区别主要在行动集、数据集与奖励目标。

6. 虚拟电脑与上下文引擎开始成为 Agent 基础设施

  • Kolento 提到 Scrapybara 的定位近似“a computer for your agent”:不让 Agent 直接运行在个人电脑,而是通过 API 在数秒内启动安全、可扩展的虚拟桌面,让它写代码、分析数据、浏览网页并采取具体行动。他还说这家公司是 YC 前一年刚投的。

  • 他曾用 Scrapybara 在 Amazon 买秋裤;据 Kolento 回忆,其官网以前似乎把销售开发代表查找潜在客户作为场景,信息应该可以与 Salesforce 集成。这里卖的不是硬件,而是一个 Agent 能安全操作的虚拟环境;他推测产品后来也接入了云计算。

  • Windsurf 的差异则在 context engine:它知道代码、文件、配置和测试在哪里,也把命令行执行与互联网技术文档纳入行动空间。陶芳波认为,它胜出的原因并非仅是更早,而是“对于环境这件事情的理解比别人到位”。

7. Devin 把软件工程扩展成可持续思考的环境

  • Devin 从一开始就不把 Agent 限制在 IDE:其界面同时容纳浏览器、代码区、用户交流区和测试环境,目标是独立走完更长的软件工程闭环,而非只补全代码。

  • 长任务会超过模型一次可理解的上下文,因此 Devin 另设可反复修改的笔记区域。陶芳波把它形容为“策略室、作战室”:Agent 有时不写代码也不搜索,而是在重构笔记中的系统设计和行动方案。

  • 这件事令他感到“非常吓人”,因为 Agent 开始像人一样主动创造思维空间,再利用这个空间迭代。泓君还提到全球软件工程市场“好像”约为每年4.2万亿美元。

8. 更低的开发门槛未必带来更多大公司

  • Kolento 的直接感受是“时代变了”:知道怎样做产品之后,开发成本低得“甚至有点恐怖”。遇到 shownotes、博客生成等需求,他会立刻搭建工具,在多个平台累计做过约200个作品。

  • 他后来修正说,这些作品多数“不够智能,也不够动态”,更准确应叫 chatbot 或 workflow。陶芳波承认 RFT 可减少数据、资本和算力依赖,却反问:如果人人都能做服务型 Agent,到底还有多少 Agent 值得单独重做?Deep Research 可能一次覆盖学术研究和市场调研,Operator 也可能把100个消费需求收进一个产品。

  • 他的判断因此偏谨慎:大厂掌握的单个机会将比 App 时代覆盖更宽的需求与注意力,C 端创业空间可能更小;这个时代反而更适合“小而美”,而非重复构建面向所有人的服务型 Agent。

  • 他借公众号和抖音解释可能的反转:平台机会被巨头拿住后,个体仍可通过独特表达成为自媒体或小型创业者。未来若 AI 形成网络,代表个人、释放个体性的 Agent 也许会创造新市场,但形态尚未想清楚。

9. Manus 的 aha moment 首先来自产品可见性

  • Kolento 是 Manus 首批试用者之一,最初的 aha moment 来自 Notion 风格的 UI,以及从临时网页逐步发展到可永久发布、进入社区的交互网站能力;但网站只是研究结果的视觉载体,并非主要任务。

  • 他更常让 Manus 大量抓取生物、脑科学或新产品资料,快速建立领域全景。其判断很明确:早期输出“信息的量非常大,但里面的质却有点低”,所以更适合广度工作,而不是深度工作。

  • Manus 的记忆以“用户执行某指令时,Manus 采取某操作”的指令对保存;Kolento 要求任何任务开始前先提出尽可能多的澄清问题,它能持续遵守。相比之下,他认为 OpenAI/GPT 的 RAG 式用户记忆没有同样强的行为感知。

  • 在 Manus 与 Deep Research 之间,他个人更偏爱前者:Deep Research 等待时间长且过程不可见,Manus 会展示浏览、写代码等步骤,还能随时中断或通过 jump to live 接管电脑,因此更“白盒”、更可溯源。

10. Manus 的通用行动栈很强,数据墙却更硬

  • 陶芳波认为 Manus 做对的是把 coding、GUI 和命令行组合成中间行动层,像“八爪鱼一样”渗透不同工具,避免逐一集成网站。但真实使用仍集中在网页、Deep Research、简单 PPT 和办公素材,尚未扩展到广泛人群。

  • 更大的限制未必来自模型或工程,而是数据壁垒。人可以凭自己这个“验证的 token”登录各种环境,AI 却未必能进入小红书、Facebook 或用户账户;关键节点一旦断开,所谓通用能力便被截断。

  • Sonnet 的意义不只是智力更高,而是它率先“crack the coding problem”。数字世界本就为代码适配,coding 因而成为操作数据和环境的通用 layer;但“凡是 coding 都接触不到的壁垒”,Manus 和其他 Agent 同样无能为力。

11. 模型依赖要求产品建立自己的评估飞轮

  • Kolento希望出现“模型越强反而我越强,而不是模型越强,然后我就没了”的产品。他说 Manus 的智能能力基本托管给大语言模型,并推测任务理解、工具调用等依赖会使模型升级、API 波动、延迟、成本和幻觉成为产品层不可控变量。

  • 他援引姚顺雨的框架:强化学习涉及算法、环境和先验知识,而 evaluation 甚至可能比 training 更重要。过去他会过度关注 prompt 工程或最新模型,如今更重视系统效果能否被持续衡量。

  • “Prompt 是那把武器,但是 evaluation 是你的准心。”Human evaluation 最贴近偏好却稀疏、昂贵且不精准;code-based evaluation 快而便宜,却难处理复杂语义;LLM-based evaluation 则试图让模型自动评估自身表现。

  • 对 Manus 一类产品,意图识别、工具与 API 调用、执行、生成都应有独立评估逻辑。Kolento设想类似 evaluation operations 的机制,并用 Phoenix 等框架抽象 summary、RAG、code generation 模板;陶芳波进一步提出,把 evaluation 变成可重复 reward,Agent 才能自主优化。

12. RFT 的能力增益必须接受成本检验

  • 泓君提出的商业问题是:一些从业者认为 RFT 效果可能比 SFT 高约25%,成本却增加数倍;面对大规模用户,是否值得为这25%持续付费,还是先用更便宜的 SFT?

  • 陶芳波判断技术圈会逐步迁移至 RFT。泓君则说自己听说 Manus 团队内部采用 SFT;节目随后以 Manus 当时未用 RFT 为前提讨论其原因。

  • OpenAI 到2024年12月底才公开 RFT 流程与技术细节,因此陶芳波认为当时采用其他方法并不奇怪。更具体地说,如果选择 Claude Sonnet,因 Sonnet 不允许微调,SFT 不能直接调整承担思维链的核心模型;他的推测是,Manus 调的是 computer-use model:“其实是在调他们的手,而不是在调他们的脑子。”

13. “通用”既能抢心智,也会消除使用理由

  • Kolento认为 Manus 自称“world's first general AI agent”是一把双刃剑:它能吸引 early adopter 并制造 hype,但“你能做任何事情”不等于用户知道何时想起你。“通用性更等于没有第一的联想场景,等于没有心智位置。”

  • 通用 Agent 还抬高认知启动成本。用户不仅要学会表达需求,还要理解能力边界;许多人面对 LUI 根本不知道该说什么,因此 Kolento宁愿由 Agent 主动澄清,再逐步完成对齐。

  • 他以 Google Wave 为前车之鉴:2009年的产品同时集成邮件、IM、协作文档和发布能力,却因用户不知道它是什么而失败;后来功能被拆入 Gmail、Docs 和 Chat。Manus、Cursor 全球办社区活动,可能正是为了沉淀垂直 use case。

  • 在高风险节点,Fellou 和 Replit 的体验更符合他的预期:先可视化对齐,遇到登录、密码等操作便让 human in the loop。Manus 若未提前识别权限问题,可能耗尽 credits 后仍卡住。

14. 通用潜力与垂直现金流形成两条下注路径

  • 陶芳波最看好 Cursor 一类产品:它已从技术人员切入,并积极通过 MCP 连接 Notion 等数据和应用;未来界面或许会分成两种模式——一种以 IDE 和代码产出为中心,另一种仅把代码当作完成任务的辅助。

  • 泓君追问为何不是 Windsurf。陶芳波承认两者接近,但 Cursor 更早形成产品、市场渗透率更高;独立团队也可能拥有更大探索自由。对于传闻中的 Windsurf 收购,他保留判断,认为 OpenAI 同样可能注入通用 Agent 意志。

  • 他也没有否定 Manus:从办公研究、文件处理切入,再逐层拓展能力集仍是正确路径;只是“通用 Agent 的建设是一个很长期的、持续积累的过程”,无法靠一次出圈完成。

15. 最具体的垂直 Agent 已经展示可量化价值

  • Kolento举出的 Vantel 专做商业保险经纪人工作流:他称很多保险从业者约80%的时间耗在保单分析和数据录入上;Vantel声称每周可节省10多个小时,并能在5分钟内比较长达数百页、包含大量因素的保单。

  • The Sweet Spot 服务企业、NPO、NGO 与 SMB,搜索 grants、解读 contract、分析并协助招投标。Kolento为绕过每次48小时试用曾换八九个邮箱,最终直接联系 CEO 要会员;这个细节比抽象评价更能说明产品黏性。

  • 泓君与 Kolento 都长期使用 Gamma。它的壁垒不只是一键生成 PPT,而是疫情期间便形成的模块化页面、拖拽组件、视频效果、精细微调和图片商用标记;陶芳波说即使不付费也只能使用10张,这已覆盖多数常见需求。

16. 制作速度在加快,大众 Agent 采用却可能更慢

  • Kolento两个月内最大的变化是执行优先级上升:竞争对手在开源、闭源两端都快速发布,传统产品经理式的长篇 PRD 和细拆 planning 被压缩,产品需求到工程实施需要更短链路。“所有的事情都在加速。”

  • 他也修正了第一次录音的说法:那约200个作品多数“不够智能,也不够动态”,更准确应叫 chatbot 或 workflow。真正商业化较好的,是23年为东非中大型 NGO、NPO 搭建的 grants pipeline:搜索、展开答案、对文件问答、编辑文书,再由人工逐步确认和提交。

  • 陶芳波的心态则反向降温:年初相信“the year of agent”,Manus 和 MCP 出现后反而发现问题更多。聊天机器人已能进入父母辈日常,但 Agent 无论由垂直群落还是一两个通用产品组成,离普通人每天使用仍很远。

  • Second Me 已作为开源“第二自我”平台发布,节目称约有92K stars;实践却暴露出根本问题:Agent 是连接用户需求与环境行动的双向转换器,除了环境要可访问,人也必须拥有高质量表达偏好和意图的输出通道。

17. MCP 打开了门,但还没有解决谁愿意开门

  • 泓君把 MCP 理解为多智能体协作协议,陶芳波当场纠正:它不是 AI 与 AI 之间的协议,而是 Agent 访问外部信息源或 service 的协议。

  • 他预计 MCP 的渗透以年而非月、周计算,首要瓶颈甚至不是协议缺陷,而是平台是否愿意开放数据。接口和数据本是商业化基础;认证、隐私保护和商业化保障若无行业标准,技术可用也不会自动带来 adoption。

  • 陶芳波最后的定性很克制:当前 MCP 更多是“对于 API 的 AI 化的一个封装”,尚未成为真正 AI-native 的入口。Agent 可以敲门,却还不能经由这扇门自由进入对方环境并完成操作。

泓君

进入2025年以来,AI agent可以说进展很快。我来给大家简单复盘一下今年上半年的一些进展。

1月,OpenAI推出了能够自主使用浏览器的AI agent——Operator;2月推出了研究复杂任务的Deep Research。我相信很多人到现在可能已经是这个产品的深度用户了。3月,中国第一个号称通用AI agent的Manus爆火出圈。5月,Manus拿到了硅谷老牌风险投资公司Benchmark领投的7,500万美元融资。

除此之外,就在我们第二次播客录制的当天,也就是5月6日,OpenAI宣布以30亿美元的价格收购Windsurf。另一款编程工具Cursor的母公司Anysphere也获得了9亿美元融资,估值高达90亿美元。

为什么我们说,AI agent在2025年一开始就好像被按上了加速键?最近我也跟业内数十位从业者聊了聊,发现了3点原因。

第一,是模型写代码能力的提升。比如Anthropic去年年中发布的Claude 3.5 Sonnet,在代码生成方向有质的提升,由此带动了一批写代码的AI agent快速发展,像我们上面提到的Windsurf,还有Cursor。

第二,是RFT,也就是强化学习微调技术的出现。这项技术让模型即使在训练数据有限的情况下,也可以提升在特定任务中的表现,这也给agent的发展按下了加速键。

另外,2024年11月底,Anthropic还提出了一套把传统信息化服务转变成可以和AI交流的协议,也就是MCP。越来越多的网站与服务开始接入MCP,行业底层基础设施也开始搭建。

我们今天这期播客的第一次录制是在3月初。那个时候Manus还没有推出,我们尝试从技术的角度去理解,大家在2025年提到AI agent的时候,跟我们之前所说的AI agent有哪些不一样;我们也尝试盘点一下刚刚提到的这些明星agent崛起的核心关键点。

今天跟我们在一起的两位,都是大家的老朋友。一位是MindVerse心识宇宙的创始人,陶芳波。你好,芳波。

Speaker 1

嗨,泓君。

泓君

还有一位是在《大学生聊AI》那一期里面非常火、还被很多听友认为是机器人的Kolento。你好,Kolento。

Speaker 2

Hello,大家好。

泓君

Kolento的中文名字是侯泰羽。他现在在纽约大学本科就读应用心理学,同时也是一位AI创业者。

Kolento,你最近花了多少时间在AI agent上?

Speaker 2

最近可能每天都在用各种各样的agent。因为我自己会开发一些小产品,所以会用Replit Agent,也可能会用Cursor这样的coding agent。平时我也会研究很多不同的agent,但我研究的类型更多偏向agent builder,也就是造agent的平台,比如微软的Copilot Studio、字节的Coze等等。这些平台能够帮助你制造出更多agent。

泓君

我记得之前我们也一起讨论过,怎么去造一个写博客、写show notes的AI agent。所以你自己已经造了多少个AI agent?

Speaker 2

已经太多了,可能有200个。如果算上不同平台上的,因为我平时会用很多不同的IDE,也就是集成开发环境,在不同场景下开发。

之前我跟泓君姐分享过,我们那天录完播客之后突发奇想,想做一个AI生成博客的东西。当时也发现,平时生成show notes的过程很复杂,有没有可能用AI帮忙做提取。

泓君

所以基本上,你是遇到了一个场景,然后就会去尝试。

Speaker 2

对。因为我今天还在跟我的朋友讲,时代变了。尤其是如果你知道怎么做产品,开发一个产品的成本变得越来越低,甚至有点恐怖了。

泓君

那芳波呢?

Speaker 1

一方面,我自己用很多agent,尤其是coding agent,我每天都在用。同时,我可能没有造过那么多agent,但我是做agent平台创业的,所以我造过造agent的平台。

最早的平台叫MindOS,还是蛮多人用过的。它是用来打造通用的专业型agent的。但现在,我们更多地专注在一个新的造agent的平台,叫Second Me,也就是“第二自我”。

它其实是一个开源平台,而且马上就会发布。大家可以下载到自己的本地,把能够代表自己的agent造出来。我觉得agent的时代真的来了,我们整个agent以及各种各样的基础设施、组件,都在慢慢ready,马上就要组合成一个新的世界了。

泓君

你觉得什么是agent?

Speaker 1

我的视角更多偏向机器学习。它的确和大众语境下的agent有一定差别。

机器学习里面的agent,在我的学习和研究过程中,最早接触到的是强化学习里的一个概念。在一个强化学习环境里面,一个agent可以基于环境的反馈,自主学习出一个行动策略,从而完成它的目标。

比如我们知道,下围棋的AlphaGo在强化学习语境里就是一个典型的agent。但我感觉大语言模型来了之后,agent这个词的意义的确被泛化到了大众语境。

现在我们对于agent的概念,第一,它更像是一个人,可以独立完成任务;第二,它背后由一个基础大语言模型,或者带有思考能力的最新推理模型驱动;第三,它可能有自己的记忆体系;第四,它有跟用户交互的界面。

比如我们刚才看到的Windsurf和Devin,或者Replit,都是典型的coding agent。但它们都有各自的交互界面。有的直接在编程环境里给开发者使用,有的更像是给老板使用,可能会直接完成网络搜索,或者完成测试过程。

但过去3个月又发生了一个很有意思的融合。最早我们说的强化学习agent,第一,它的技术肯定偏向强化学习;第二,它真的会在环境中学习。而我刚才提到的大语言模型下的绝大部分agent,其实没有学习能力。它对于行业和任务的认知,是由创造这个agent的人配置的。比如我给它配知识库,给它配workflow。

但现在越来越多的agent,尤其是思考模型、reasoning model出来之后,很多人开始用一种新的技术,叫强化学习微调,让这个agent在以大语言模型为基础的情况下,也可以在环境中探索实现路径,学习如何在特定领域,比如法律或者电脑操作领域,完成任务。

所以我觉得这是一个非常好的现象。相当于我们对于agent的发展又到了一个新的定义:它结合了传统强化学习里面agent自主学习、自主探索的能力,加上大众语境中认为它可以完成通用任务、跟人交互、独立解决复杂问题的目标。

这就是为什么2025年以来大家对于agent非常兴奋。2023年、2024年,其实agent这个概念就已经出现了,我们也做过MindOS这样的agent平台。但那更像是一个脚手架。现在大家真的觉得agent有智能了,尤其是通过强化学习和思考能力的注入,觉得它达到了我们想要的技术范式。

泓君

你能不能举个例子,说明你为什么觉得agent有智能了?

Speaker 1

我不知道大家理解中的agent是什么样的。最早你说的那种强化学习里的agent,就跟我理解的、大家训练游戏场景里的agent差不多。比如让两个小人推方块,看它们如何设计策略,把自己围起来,不让外界的东西打到自己。

你会发现,它们慢慢会涌现出智能,能用各种可能连人都没有想到的方法去解决问题。我印象中,早期在2023年、2024年,大家其实都是在游戏场景里,让这些agent互相配合,看它们表现得怎么样。

现在到了2025年,因为强化学习和操作电脑结合起来,就会有更多领域的agent。比如我告诉一个语言模型:“我现在要回北京,帮我订一张机票。”我可能会限制时间和地点,让它偏向选择早上的直飞航班。如果它能把这一整套动作从头到尾完成,我可能就称之为一个很好的agent。

泓君

你觉得你提到的这个2025年的agent,跟之前的这些有什么不一样?

Speaker 1

你刚才两个比方都打得特别好。其实你提到的agent,本质上都还是带有环境的。我说的变化,以及它让大家兴奋的原因,还是底层能力发生了变化。

原来的大语言模型有一个很大的限制。它的训练,无论是预训练,还是后面的post-training,包括用RLHF,也就是所谓的强化学习来帮助它完成与人类对齐,原来的语言模型训练环节都不带有和环境互动的过程。

这就导致一个现象:它训练的目的,是为了跟人对话,而不是为了跟环境互动。虽然我可以强行让它作为一个脑子去跟环境互动,但2023年、2024年的agent,主要是给它一些工具使用能力,增加一个记忆库,让它在环境中完成任务。

但由于它在训练过程中没有跟环境互动,所以它非常机械,没办法真正学会如何应对环境。你刚才提到的两个例子,比如两个小人在比赛场里互相对打,看它们怎样打得更好,就是典型的在环境中学习的agent,也就是传统意义上的强化学习agent。

原来2023年、2024年为什么agent概念很火,但一直没有很好地落地,就是因为环境的缺失。

现在回过头来,从技术上讲,我们拥有了一种新的能力。比如你去看DeepSeek-R1的论文,会发现它最后的推理能力训练,本质上是它自己和一个问题环境自主学习的过程。

这并不是像以前那样,通过SFT给它一个死记硬背的知识库,给它一个问题集和最终结果。至于它怎么解决这些问题,是AI像人一样,通过思考和训练完成的。它不断调整自己的策略和思考路径,然后学会如何更好地解答数学题,或者更好地解决编程题。

这种自主寻找路径并解决问题的过程,在以前的训练里是完全没有的。所以我们可以称之为语言模型的“AlphaGo时刻”。简单讲,就是大语言模型真的学会基于环境给出的奖励,自主找到解决方法了。

为什么很早的时候,2023年GPT-4刚出来,很多人就说要用这个模型来操作电脑,也有很多公司这样做过,但最后都失败了?就是因为这个模型在训练过程中根本没有待在电脑操作的环境里,只是把互联网语料喂给了它。

所以它可能有一些操作电脑的概念,但不会真正执行这个行为。

泓君

那为什么OpenAI推出的Operator,相对来讲好像就比较聪明一点?

Speaker 1

Operator是一个可以操作电脑的AI,虽然还不够好。它的做法是,先训练出一个大语言模型,尤其是推理型模型,比如o1,然后再让它在操作电脑的环境中进行强化学习,有点像你说的两个小人打架,或者下围棋,再去环境中学习如何操作电脑,完成订酒店、订机票这样的任务。

如果任务没有完成,它要知道自己错在哪里,以及应该怎样调整行动策略。这个事情其实是过去半年才刚刚发生的。

完成这一步之后,agent就能够在环境中更好地完成任务,更自主地思考,更自主地提升自己。我觉得这就变成可能了。所以2025年之后,大家又开始兴奋地说,agent真的来了。

它不仅是AI具有思考能力,而是它的思考能力可以根据环境反馈进行调整和学习。这就是一个big gap。

泓君

能不能举一个具体例子,解释一下什么是环境?

Speaker 1

我的理解是,以前我们问一个问题,会得到一个正确答案。加入环境以后,我们再去问一个问题,把它放在不同场景下,这时我们寻求的就不只是一个正确答案,而是一个符合当下场景的回答。

比如有些领域的工作环境,是由特定系统和特定工具组成的。编程就是一个很典型的例子。编程光靠浏览器无法完成,必须有一个IDE、一个测试工具来测试程序能不能运行,还有一套部署工具。同时还要知道如何访问GitHub、使用开源项目,以及访问编程社区,看看某些问题怎么解决。

这个环境对工程师来说非常熟悉,但对普通人来说却不熟悉。所以对于一家创业公司来说,如果它找到了这个环境,就要想办法把这些环境变成agent操作的空间,然后给它定义一组有效、数量很少的数据,再定义一组有效的奖励函数。这就是一个典型的例子。

所以,编程agent一定需要公司重新训练,而不会是大公司做一个agent,就能完成所有任务。

泓君

有没有类似编程这样的案例?

Speaker 1

我觉得有,比如法律、医疗。至少我认为,一个评判标准是:所有我们认为在现实世界里有自己一套“武器库”,需要由专家完成、需要方法论的任务,都可能成为这样的案例。

比如怎么做《硅谷101》,把这档节目做出来。如果我有这套方法论,就可以训练一个我的agent。甚至你可能会使用一些特有工具来找信息,这些工具其实也是环境的一部分。这样就可能构成一个很小的环境。

包括Palantir,它不是做军事吗?军事里面就有很典型的环境,因为可能要操作一些武器,而这个武器操作环境就是它特有的、能够访问到的环境。

泓君

你有用过OpenAI的Operator来订酒店、订机票吗?

Speaker 2

我玩过。我拿它来买过菜。

泓君

在哪儿买菜?买菜网站上吗?

Speaker 2

对,美国那个买菜的网站。我刚才突然忘了叫什么名字了。

泓君

能不能讲一下你的应用体验,然后分析一下它背后的执行技术是什么?

Speaker 2

这是个很好的问题。OpenAI其实推出了两个agent模型,而且这两个模型都是我刚才讲的、基于新一代强化学习和大语言模型融合的微调技术来做的,分别是Operator和Deep Research。它们其实都是从o系列模型微调过来的。

Operator的体验很有意思。它会在服务器端给你开一个浏览器界面,然后你通过这个浏览器完成操作。你告诉它:“我要去买一张杭州到旧金山的机票,但我要找最便宜的。”它就开始拆分任务,尝试不同的网站,看网站给出的价格反馈,然后拿回结果继续思考下一步是什么。

这就是一个比较好的agent。但它速度很慢,准确率也不够高。不过我相信,它一定比以前直接拿GPT-4,或者直接拿原始的o1去做这个任务好很多。

因为它会把操作电脑这件事分成几个简单行为,比如点击鼠标、键盘输入、打开浏览器的新标签页、搜索Google。人使用电脑,尤其是使用浏览器完成任务时,基本上也是这些序列的动态组合。

它把这些序列的使用作为思考过程的一部分。o1模型不是能思考吗?它就用强化学习微调的方法去微调思考过程,使它在思考时不只是在大脑内部想一个步骤,而是真的把这些动作也作为思考过程的输出。

一旦它产生一个动作,就会停止思考,去执行这个动作,然后看动作之后返回的信息是什么,比如网页呈现了什么信息。接着它再把这些信息拿回自己的思考过程,继续思考。

所以它相当于把“思考—执行—反馈—继续思考”做成一个连续环节。而在上一代基于大模型的agent里,这个环节只能通过人定义workflow来实现。

但人定义的workflow绝对不灵活,因为人没有办法预判AI执行任务时环境会给出什么反馈。所以它往往是死板的、不灵活的,从某种程度上来说也就不智能。

Deep Research也是这样。你会看到,它会先去检索,检索完之后发现有些信息和自己的假设不一样,就可能需要再次检索,或者解决信息之间的冲突。

这其实是把它的思考过程、在环境中行动的能力,以及把环境反馈拿回来继续思考的能力结合在一起。我觉得这是非常让人兴奋的变化。

泓君

你刚才提到的OpenAI的Operator用电商平台订菜,应该是跟Instacart合作的,对不对?

Speaker 2

对,我刚用的就是Instacart。

泓君

Instacart是集成在OpenAI的Operator里面的。比如你让它完成订票,它会把整个步骤分成4步:搜索、比价、选择、支付。

包括你真的到了信用卡弹出环节,仍然会有人工验证。你觉得它的智能性,跟workflow的核心区别在哪里?

Speaker 1

这是一个很好的问题。人类做任何事情,其实都有一定的workflow。比如点餐,先要打开网页,然后查看、比较。但它和上一代agent,比如我们之前做的agent,或者Coze这样的agent,最大的差别是,上一代agent需要你把每一步都告诉它。

而且它的步骤有时甚至和环境无关。比如我告诉它,这一步要打开3个网站,找到最低价格,找完价格之后一定要点击那个按钮。这有点像手把手教它。

现在的agent在强化学习过程中学到的是一个完成任务的大框架,而不是非常细节的一步一步的操作指南。它只学会了:我大概需要找几个网站。尤其是当你告诉我需要比价时,我大概需要找几个网站。

但事实上,这些步骤都是动态生成的,背后并没有一个真正的workflow。它相当于把workflow以一种更灵活的方式学进了模型参数里。这样一来,它整体上会有比较专业的操作能力,同时对于动态变化的灵活性也会高很多。

比如我发现一个网站失败了,打不开了,它可能会判断这个网站下线了,或者出现了故障,然后再尝试其他网站。这样的能力在以前的workflow里不太可能出现,只有通过参数化的智能,才能临场反应,根据反馈调整策略。

这其实是人类很自然的能力,但上一代基于大模型的agent做不到。

泓君

Deep Research和Operator相当于不同方向上的AI agent,它们的底层技术有什么不一样?

Speaker 1

它们训练的数据集和能够操作的工具集不一样。

Operator的操作集,是使用电脑时的基础操作,比如打开Google搜索、搜索关键词、用鼠标点击按钮,或者在输入框里输入文字。它应该是定义了一组最基本的操作,然后基于这组操作的数据进行微调。

Deep Research的操作集,则是各种公开信息检索库中的检索能力,它把不同的检索能力组合在一起。两者背后的目标定义不一样,使用的工具集也不一样,但训练过程是一样的,都是用RFT,也就是强化学习微调技术来完成的。

泓君

简单说一下RFT。它是在2024年12月底,OpenAI在一系列直播活动中,也就是当时他们推出各种“圣诞大礼包”的时候,第一次公开了RFT的训练流程和技术细节。

从今年开始,已经有很多公司把RFT技术,也就是强化学习微调技术,用在AI agent的训练里了。

Speaker 2

我刚才突然想到,我用过一个agent,但它有点不太像agent,更像是一个环境,叫Scrapybara。它的拼写是S-C-R-A-P-Y-B-A-R-A。我非常喜欢它,但它的slogan我有点忘了,好像类似于“A computer for your agent”。

它给你的agent做了一个computer。因为他们发现一个问题:现在的agent可以编代码、分析数据、执行各种复杂任务,能力虽然在增强,但还缺少一个关键要素——一个安全、可扩展的环境,让这些agent真正采取具体行动。

目前的解决方案,一种是使用API,但API有限且不灵活;另一种是使用浏览器,但浏览器也不一定稳定。Scrapybara认为,不要让agent在自己的电脑上运行,而应该创造一种类似虚拟环境的东西,给agent打造一台适合agent使用的计算机。

他们应该是通过API提供一种即时、安全的虚拟环境,几秒钟内就可以启动,有点像Operator。我当时用它帮我在Amazon上买过秋裤,它很快就能创造出环境。

泓君

你刚刚提到了买秋裤这个应用场景。它的agent主要服务于什么场景?

Speaker 2

他们官网上以前应该写过,比如销售开发代表可以用agent查找潜在客户,信息应该可以跟Salesforce集成。所有操作都可以在Scrapybara上完成。

泓君

所以这是一款硬件还是软件?

Speaker 2

是一款软件。他们是YC去年刚投的。里面有一个环境,就是给agent创造一个虚拟桌面,你可以在这个虚拟桌面上执行所有操作。

它一开始就是一个输入框,你进去之后直接输入想让它做的事情,它就会基于截图执行任务。他们后面应该也接了云计算。

泓君

我了解了。市场上其实有几十家公司都想做编程工具和编程agent。从最早大家直接用大模型编程,到微软的Copilot、Cursor、Devin,一直在迭代。

为什么是Cursor和Devin这两家公司做出来了?它们比其他公司好在哪里?是因为更深度地理解了环境,还是因为做得早、很快占领了市场?

Speaker 2

因为我几乎每天都会用Windsurf,或者说是Cursor的平替吧。Cursor现在也在快速迭代,但在我使用的过程中,Windsurf会更好用一点。我觉得你刚才提的问题非常精准。

我认为Windsurf、Cursor,或者更进一步的Devin,本质上是对环境这件事情的理解比别人更到位。比如Windsurf,它并不只是一个简单的代码插件,而是特别理解在这个环境里如何获得上下文,以及我的行动空间是什么。

Windsurf刚推出的时候,内部有一篇帖子提到,他们公司最擅长的第一件事,是做了一个context engine。它非常清楚自己所操作的代码空间里,数据在哪里、测试在哪里、文件在哪里、配置在哪里,对环境有非常清晰的认知。

第二,以前我们最早用Cursor写代码时,它只会写代码,不会帮你运行命令行,也不会帮你在互联网上搜索。但Windsurf过去几个月的版本里有了这些功能。

也就是说,它知道环境里不只是写代码,还要在命令行里执行文件操作;环境里可能还有一个面向互联网的部分,可以找到相关技术文档,拿回来做参考。它把针对Copilot这类编程工具的环境边界扩大了很多。

Devin的野心更大。从第一天开始,它就说要直接把IDE去掉,不在IDE里考虑环境问题。它做了一个有大概4个子界面的窗口:左边开着浏览器,下面开着IDE,上面是跟用户交流的空间,底下可能还有一个测试环境。

它不只是做这几个界面,而是说自己的环境要比IDE大得多,也要细致得多。同时还有一个功能,我当时觉得特别好玩。

因为它的目标,是让AI更完整地完成软件工程闭环,而完成这个过程需要很长时间。时间一长,大模型就无法理解整个过程中的所有行为。于是它在环境里专门加了一个笔记区域。

这就像人一样。比如我开发一个比较复杂的项目,需要记笔记,而且这个笔记还要不断修正。Devin的环境里也有一个专门的笔记空间,有点像策略室、作战室。它有了新的思考就丢进去,过一段时间可能不再写代码或检索,而是修改自己的笔记,优化笔记里的问题,或者优化系统设计架构。

我觉得这非常吓人:人会自主创造一些环境,让自己学会如何在这些环境里迭代。这也是很有意思的一点——环境里的“思维空间”也可以加入agent的武器库。

泓君

他们就是因为做了这些,所以大家觉得这个市场本身足够大。全世界每年的软件工程市场,好像是4.2万亿美元。同时,他们对context和environment的理解更好,所以就跑在了前面,获得了这么多热度。

这个分析挺有意思的。我问一个普通人可能更关心的问题。刚刚大家提到,现在如果要做一个AI agent,环境已经比数据更重要了。我可不可以理解成,只要你对一个方向有非常深度的理解,任何人都可以构建自己的AI agent?

它可能已经成为一种创业门槛没有那么高的创业项目。之前可能是大厂的机会,但现在门槛降了很多。

Speaker 1

这件事其实有两面性。一方面,我们要做好一个AI agent,可以用RFT大幅减少对数据的依赖,所以资本投入和算力投入相对会少一些,这的确是对的。

但我最近一直在思考一个问题:我对agent创业不是特别乐观的一点,在于如果那么多人都可以做agent,而且做的还是服务型agent,到底有多少agent值得被重新做?

尤其是在消费者端,也就是C端。比如Deep Research出来之后,以前做学术研究的有很多学术工具,做市场调研的有很多市场调研工具。但Deep Research这种通用agent,至少可以用一个AI agent覆盖信息调研和研究这件事情。

人的需求本身可以分成几个大块。Operator也不只是帮你买菜、订餐、制定旅行计划,它也许可以覆盖100个场景。但你想,以前这意味着100个不同的创业项目,现在可能一个agent就可以解决。

所以在消费者端,agent创业到底有多少机会?我其实有一点怀疑。

泓君

你觉得它会被模型冲击到吗?大模型,或者大厂和大模型公司,会不会在一些非常大的领域里占据位置?剩下的那些很小的创业机会,会不会比移动互联网时代小很多?

方波

所以这个时代其实更适合做小而美的项目,因为大的机会会被巨头拿走。

而且每个机会的边界,会比原来的软件产品或者APP更容易变得更大。每一个被大厂占住的机会,实际上可以覆盖人的需求和注意力空间会更大。

我现在其实在想,普通人参与到这个新时代里,机会到底在哪里。后来我想到一个很有意思的案例,就是微信和抖音在移动互联网时代分别推出了公众号平台和短视频平台。

平台级的机会已经被这两家公司拿住了,创业公司可能很少再有机会去做平台级的事情。那普通人为什么在这样的时代里依然能赚到钱?因为你可以在这些平台上想办法表达自己的个体性,所以会有很多自媒体和网红利用平台去做一些新的东西。

我还是认为,如果只考虑AI作为工具带来的生产力提升,它对于很多人来说,的确会剥夺原来的一些价值。我还没有完全想清楚它会形成什么样的形态,但我觉得,当AI形成网络之后,可能会有一波新的个体被释放出来,那个时候可能会出现新的创业。

就好像现在很多influencer,自己也可以是一个小型创业者。比如他做的agent是用来表达自己的,那他就有自己独特的市场。但如果你说要做一个服务很多人的agent,我觉得机会会很小。

我们的第二次录音是在行业快速上升、融资快速发生的时候。但我发现,嘉宾的心态也发生了很多变化。真正做agent的人发现的问题越来越多。

我们下面来听一下第二次录音。这次补录是在硅谷时间5月6日晚上,Manus已经发布了一个多月,在硅谷也从Benchmark那里拿到了一大笔融资,估值达到5亿美元。

芳波和Kolento,你们有没有试用过Manus?感受是什么?

Kolento

我记得有一天早上看到Manus发布。当时我有invite code,基本上可以算是第一批试用用户。

我自己去用的时候有很强的aha moment。之前用过类似的产品,比如Replit、Cursor、Windsurf,它们在某种程度上都有相同的用户路径,但Manus带来了不一样的用户体验。

因为我自己是一个比较重视觉的人,所以我觉得Manus的UI做得挺好看,有一种Notion的风格,这是我最开始的第一印象。

后来我也用了很长时间Manus做一些use case,比如用它做很多网站。前几个月,它还不能把一些网站发布出去,只能单纯做一个网站,不能发布到user gallery里。但现在它已经支持把网站变成永久网站,而不是临时网站,也可以发布到社区里。

我使用这些功能比较多,也挺喜欢它的记忆功能。它跟OpenAI的memory不太一样,也跟Gemini的global memory不太一样。

Manus的记忆更多是给你两个条件:当用户执行某些指令时,这是第一个语句;然后Manus要进行什么操作,这是第二个语句。

但如果你看OpenAI的memory,它更像是用RAG,也就是检索增强生成的形式,存了一条属于用户的信息。它并不是像Manus那样,以指令对的方式存储。

所以在正常交互中,GPT不会给用户那么强的感知。因为我给Manus存了一个指令,也是我在所有AI产品里都会使用的指令:我希望在给它下达任何命令之前,它一定要先问我尽可能多的澄清性问题,先跟我对齐。

我觉得AI和人之间的对齐问题非常重要,但显然现在很多AI和人并没有对齐。Manus记住了这个指令,可以在执行任何任务前不断跟我对齐;但GPT一直没有记住。

这基本上就是我从UI和功能两方面,对Manus的使用体验。

所以打动你的主要还是产品设计?你主要用它来写网页?你觉得它能做出来的产品,用其他AI agent工具也可以做到吗?哪个更好?

Kolento

我可能要澄清一下,写网页是最后的载体。我使用得比较多的场景,是让它帮我上网大量扒资料、做研究,但不是学术研究。

比如有一段时间,我在思考一些生物学或者脑科学方面的知识,但懒得自己在所有渠道搜索,所以会让Manus变成我的助手,在各个地方搜索这些信息,最后汇总成一份报告。

我最开始用Manus时,总觉得它的信息量很大,但质量有点低。所以我就在想,也许Manus更适合做的不是深度工作,而是广度工作。

什么场景需要广度工作?我觉得可能是当我需要快速进入一个领域的时候。平时我会看很多产品,需要了解新的领域,所以会用Manus帮我做基础的广度研究。

最后,我会让它把结果变成一个可交互的网站,因为视觉也很重要。很多时候,一些表格、分析图,尤其是市场分析图,呈现成网站形式会更好看。

我之所以会做这个case,是因为当年看过Manus demo里的一个特斯拉股票分析,那个分析就是做成网站的,我觉得很有意思。所以我每次都会让它帮我生成一个可以交互的网站。

你为什么用Manus,不用Deep Research?还是说这两个工具的使用场景不一样?因为你刚刚使用的功能,跟OpenAI推出的Deep Research非常相似。

Kolento

首先有两方面。第一,我觉得Deep Research等待时间太长了,而且等待的时候我非常焦虑,也看不到它在做什么。

但Manus做得很好,它会展开告诉我每一步:现在调用了哪个网站,现在在做什么。我还可以随时打断它。Deep Research说实话我没有打断过,可能它也能被打断,但Manus让我可以更灵活地介入。

比如很多时候它有一个“Jump to Live”的功能,可以直接接管电脑,由我代替agent浏览某些网页,然后告诉它该看哪个地方。我很喜欢这个功能,经常会点Jump to Live。

中间如果我觉得它哪里做错了,也可以打断它。我能知道它现在是在看网页,还是在写代码。相比OpenAI的Deep Research,它更像一个白盒。

对于research来说,我需要更强的可溯源性。

所以这两个工具你更喜欢哪个?

Kolento

我个人更喜欢Manus,也确实用Manus比Deep Research更多。

方波呢?

芳波

我觉得Manus有几件事情做得非常好。以前我们做一些agent,包括Deep Research,其实它只是在调用搜索引擎。但Manus找到了一个更通用的、行动级的组合,也就是coding、GUI和命令行。

他们相信,这种中间行动集合可以像八爪鱼一样渗透到各种工具里。这样就不用一个一个集成工具、一个一个集成网站,而是直接在coding、GUI和命令行上,做整个agent的行动规划和行动能力。

它的目的肯定是为了通用。但真正使用时会发现,大部分人使用Manus,还是在做网页、Deep Research,或者简单的PPT展示。这其实仍然是比较狭窄的使用场景,主要是白领在日常制作素材或进行信息研究时使用。

更广泛的人群,比如让它帮忙比价,或者在小红书上寻找信息,这些还没有真正破圈。

我觉得它没有破圈,一方面跟产品交互有关,另一方面AI能力可能还没有那么通用。但我们后来也在反思一个问题:所谓通用agent,它的限制到底来自模型、工程,还是其他因素?

我觉得更大的限制可能来自数据壁垒。今天人作为一个通用agent,行动范围很广,因为人本身作为一个验证token,可以进入任何环境。但AI可能没有办法进入你的小红书,进入各种各样的环境。

当这些关键节点在使用过程中被打断之后,它的能力范畴就会受到很大限制。

刚才其实提到了3种能力:模型能力、工程能力,还有数据壁垒。你觉得未来在真实用户实验中,数据壁垒会是很重要的点,也会是更核心的竞争力。

但我听过Manus创始人张涛的分享,他认为产品能够引爆的核心,是Claude 3.7 Sonnet模型的发布。与此同时,我也看了Cursor创始人在Lex Fridman播客上的采访,他也提到,自动写代码的AI agent能火、Cursor能火,是因为大模型能力提升了。

为什么我们现在觉得Copilot看上去有一点old?因为它没有根据模型升级及时升级产品。归根结底,大家觉得所有agent爆火、突然出圈,最重要的可能还是底层模型能力的提升。

芳波

我非常同意。一个原因是大模型本身能力提升,带来了智力提升。智力越高,对一件事情的理解力肯定越强。

但更重要的一点,是为什么大家都在提Sonnet。因为coding可以理解为一种通用的行动空间,而我们的数字世界是为代码适配过的。

由于coding这个通用layer的存在,你几乎可以写出任意代码,去操作任意背后的数据和环境。Sonnet为什么厉害?不只是因为它智力高,而是因为它第一个crack了coding problem。

它让几乎所有任务都可以在用户指令下,通过coding这个中间层,变成操作背后数据和其他能力的八爪鱼。对agent来说,这是巨大的提升。所以Cursor或者Manus会非常appreciate这个能力。

但我想说的是数据问题。即使在数字环境里,很多平台、很多数据壁垒,也不是通过coding就能跨越的。比如我真的想让它通过写代码访问任何一个人的Facebook信息,那我就获得不了。

所以今天这个时间点来看,Manus以及任何agent要变得通用,凡是coding能接触到的东西,都可以纳入进来;但如果coding也接触不到,就不行。

所以你觉得Cursor、Windsurf这些AI coding agent,最后反而最容易杀出来,成为通用AI agent,甚至成为应用非常广的巨型agent吗?

芳波

今天已经有这样的趋势了。Cursor和Windsurf都加入了一些自定义MCP接口。对专业用户来说,虽然它看上去是一个写代码的工具,但甚至可以把Notion以及各种其他平台的MCP接进去,让AI不只是在编程,也可以在过程中完成类似Manus的事情,比如编辑Notion。

Kolento

我最近特别喜欢用Claude Sonnet做图。它有一个很好用的功能,可能很多人不知道:你可以给它一段话,或者一段逻辑关系,它可以帮你生成一张类似PPT的、非常漂亮的图表,而且是通过coding的方式完成的。

我一直想说,Manus其实对模型有很强的依赖。我们想发展出一个好的趋势:模型越强,我反而越强,而不是模型越强,我就没了。

之前有一段时间GPT疯狂更新,很多YC的AI公司都不行了,因为它们构建产品的方法可能不太对。我觉得Manus也有一些依赖。它的能力是外包的,它的智能能力基本都托管给大语言模型,比如Claude 3.7 Sonnet。

包括任务理解、工具调用等,我猜这也是它会有limitation、cost的原因,因为这里面有成本和不稳定性问题。比如模型升级、API波动、延迟,以及输出幻觉,都会成为产品层面不可控的变量。

因为我本质上是做产品经理的,所以也在想,从产品侧应该怎么更好地解决这个问题。

姚顺雨写过一篇文章,说RL有3个东西:算法、环境,还有先验知识。另外,他认为evaluation比training更重要。我看到这句话时非常认同。

我记得我们3月录那期播客时,聊到过环境是不是优于数据。但我现在更想探讨的是,为什么evaluation这么重要。

以前我把AI产品做好时,会过度聚焦在prompt工程,或者挑选什么最新的大模型。但我觉得真正决定产品质量的,是对系统效果可衡量性的判断机制,也就是evaluation。

如果打个比方,prompt是武器,但evaluation是准心。一个AI产品不可能靠一次成功的demo就火,它需要持续迭代。所以evaluation是唯一可以量化每次产品变更后效果的工具。

但它和传统测试不太一样,需要非常灵活、语义化的系统。现在基本上有3种方式。

第一种是human evaluation。好处是跟用户偏好直接相关,也有人类的语义理解;但局限也很明显。现在很多论文都在讲,human evaluation的反馈很稀疏、不精准,而且成本很高。

第二种是code-based evaluation。它非常快速,也便宜,比较适合代码生成类模型。但局限也很明显,不适合语义复杂,或者用户交互非常丰富的应用。

现在最新论文讨论的,是LLM-based evaluation,也就是纯自动评估。让模型不但能够生成内容,也能够评估自己的表现,自动化程度会更高。

所以我在想,未来如果有很多AI agent,要让它们活下来并具有竞争力,evaluation是必不可少的能力中心。应该从一开始就建立系统性的evaluation框架。

Manus显然有很多模块:意图识别、工具调用、API调用,以及最终生成,每一个模块都需要单独定义evaluation逻辑。它不是一个附加测试,而应该是整个agent框架的一部分。

就像DevOps,也就是开发运维一体化,AI agent应该有自己的evaluation operations。每一次响应、生成和执行,都应该经过评估机制。

最终可以发展出一些通用的evaluation模板库,然后扩展到新的任务上。比如Phoenix这样的开源框架,可以把evaluation模块抽象出来,复用到不同场景,包括summary、RAG、代码生成等等。我觉得这可能是后面非常重要的一部分。

芳波

我觉得这个说得很对。尤其是面向真实环境的evaluation,未来的AI产品本质上可能都是agent产品。

agent产品首先要关注环境,在环境之上还要关注如何评估它在这个环境中的表现。但如果我们可以把evaluation上升到reward,那么这个reward就具有可重复生成的特点。

在这个环境上的evaluation可以成为reward。AI在探索和优化自己的空间时,就有一个可以随时参照的reward,去对齐和学习。这可能是接下来agent产品需要重点思考的一条路线。

evaluation确实是一个很重要的问题,也让我想起另一个技术问题:RFT强化学习微调和SFT监督微调,这两种方式有什么区别?

OpenAI发布RFT技术之后,我知道现在绝大部分AI创业者都会选择RFT,因为效果更好。但我们跟一些更老牌的agent创业者聊时,他们会觉得SFT其实是更节省成本的方式。

RFT的效果可能比SFT好大约25%,现在做出来大概是这样的效果,但成本可能会增加几倍。我们需不需要为了25%的效果付出更多成本?

因为agent推出之后,可能会有大规模用户使用。我们是应该支付更多成本,还是先用SFT节省成本?大家怎么看?

我听说Manus团队内部用的是SFT技术。

方波

这是一个很好的问题。到底是supervised fine-tuning,还是reinforcement fine-tuning?我认为技术圈正在慢慢往RFT迁移。

至于Manus当时为什么没有用RFT,是因为RFT发布本身也没有多久,而且RFT需要调背后带有思维链的模型。如果他们选择使用Sonnet,Sonnet是不允许你微调的。

所以他们所谓的用SFT调,其实并不是调它中间进行思维链的那个model。我估计,他们调的是computer-use model,也就是在调它的“手”,而不是调它的“脑子”。

Kolento

泓君,我还想补充一点。我觉得Manus有几个比较明显的困境。

它最早能爆,一方面像涛哥讲的,可能是Claude 3.7发布后模型变强,带动了他们做出产品力很强的产品。另一方面,他们把自己定位成了第一个“world's first general AI agent”,想抓住用户心智。

但我觉得这件事是双刃剑。因为抓住了用户心智,但generalist这个定位本身很矛盾。你能做任何事情,听起来很强,但用户永远不会想让一个什么都能做的人来帮自己做一件具体的事情。

通用性其实等于没有第一联想场景,也等于没有心智位置。所以他们最开始抓住的这种心智,更像是一种hype。他们抓住了early adopter,让用户觉得“你挺酷的”,但后面该怎么做,就是一个很强的双刃剑问题。

另外,对于AI agent这样的产品,认知启动成本也很高。因为通用agent的学习和使用,都需要用户理解agent的能力边界,以及agent应该怎样表达。

它比单纯按几个按钮更难学会,因为很多用户根本不知道该说什么,也不知道怎么说才能让它完成任务。这也是业内现在经常讨论的问题。

我现在用这类LUI产品时,说实话有时都不知道该怎么提问,怎么说才能让它做对。所以我之前才说,我可能更倾向于让它主动问我、跟我澄清,我再回答它的问题。

最后,我觉得最重要的一个弊端是网络效应。我觉得Manus的网络效应可能是断裂的,因为通用agent没有统一场景,很难形成平台级的flywheel。

它不像Notion、Slack,有组织单位;也不像Instagram,有社交结构。Manus现在有很多user gallery,用户上传的use case、反馈和数据都是分散的,所以很难构建正反馈机制。

我也对应想了一些历史上比较有意思的案例。通用定位其实有不少产品栽过跟头,比如2009年的Google Wave。它集成了邮件、即时通信、协作文档,以及一些可以发布内容的功能,但失败的原因是用户根本不知道它是什么,也不知道拿它来做什么。

后来这些功能被切分成了现在的Gmail、Docs和Chat。我们可以看到,它们都是从一个通用定位,慢慢切成更加垂直的产品。

现在我也能看到Manus和Cursor在做一些动作。他们都在全球举办很多活动,我觉得这是一种community-led process,也就是社区主导的过程。

他们想通过这种方式更好地接触用户,了解用户真正需要什么垂直场景,沉淀更好的use case和user scenario,最后找到方向,让Manus往垂直领域发展,避免成为另一个Google Wave。

你刚刚提到了AI agent如何表达。比如你说,让agent来问你一些问题,这是一种表达方式。在你现在试用过的agent里,有哪些agent的表达或者交互做得非常好?

Kolento

我觉得还是Replit。它能够很好地在需要澄清的环节,跟我进行澄清。

我还想提另外一个产品,它可能是Manus的竞争对手,叫Fellou,是谢扬做的。这个产品最近才发布,是一个agentic browser。

它很符合我的预期:在执行任何任务之前,会用更可视化的方式跟我对齐。对齐之后,我就可以让它自己运行。

因为它是PC端,所以有系统级权限。在每一次高风险操作时,它都会回来找我。比如它会直接弹窗提示:“这里需要你登录一下。”“这里需要你输入密码。”

但Manus经常因为没有这样的对齐机制,在遇到高风险操作时没有权限,直接卡在那里。一方面可能消耗光我的credits,另一方面也可能无法完成任务。

所以我觉得,像Fellou和Replit这样,在关键场景让human in the loop、让人和它对齐,是非常好的设计。

我们今天聊AI agent是一个比较大的话题。我想问一下,在你们用过的agent里,从用户体验以及商业判断、产品商业前景的角度,有哪些是你们特别看好的公司?

芳波

我个人认为,现在市场上还没有真正面向全人群、覆盖全通用场景的agent产品。但大家其实都在找一个角度切进去。

我比较看好的,实话实说还是Cursor。它是从技术人员的角度切进去的,但我觉得我们低估了Cursor作为未来通用agent的潜力。

很多人对Cursor的印象,还是一个做Web coding、辅助编程的工具。但随着MCP基础设施的建设,Cursor非常积极地拥抱把自己从编程工具变成一个可以开放连接各种场景和应用数据的平台。

我甚至在想,有一天它的界面会不会改掉,也许不再是纯IDE界面,或者会出现不同模式。一种是以IDE为中心,我的目标还是产出代码;另一种可能是代码产出只是辅助,我的目标其实是完成任务。

美国公司做这些事情时有一个特点,就是先搭一个solid的底层,然后一层一层往上建设。我比较看好Cursor,就是因为它可能沿着这条路径发展。

为什么是Cursor,不是Windsurf?今天我们录播客时,外媒刚传出一个消息,说OpenAI打算以30亿美元收购Windsurf。Windsurf也是一个很好的代码工具。

芳波

它们其实差不多。你想表达的是,我说的是这一类产品,不是单指某家公司。

但Cursor的市场渗透率更高一些,毕竟它在Windsurf之前更早做出了这个形态。所以我比较相信Cursor团队在探索上的进取心。

Windsurf被OpenAI收购,也不代表它没有机会。也许OpenAI会给它注入很强的意志,让它变成通用agent。但一个独立团队的自由空间可能会更大一点。

芳波

我再补充一句,我觉得Manus还是有机会的。它是从办公人群的一些办公场景切入的,也不只是做Deep Research,它其实还有很多文件处理等能力。

但我觉得它的正确做法,是慢慢拓展上面的能力集。通用agent的建设是一个非常长期、持续积累的过程。

Kolento有吗?

Kolento

我关注的agent产品里,特别有前景的,可能都是非常垂直的产品,不一定是大部分人都知道,但在自己的领域里应该非常出名。

我很喜欢使用垂直agent,因为它可以解决一个非常具体的细分需求。对我来说,这就够了。我用过很多垂直agent,其中有几个我觉得非常好、极其有前景。

比如Vantel,拼写是V-A-N-T-E-L,好像前天还火了一下,应该刚拿到YC的投资。它专门为商业保险经纪人做人工智能软件。

很多保险从业者80%的时间都在做重复性工作,比如保单分析、手动录入大量数据。Vantel专门为insurance用户做自动化流程。他们自己说,每周可以帮一个经纪人节省10多个小时。

它最初的demo可以让一个经纪人在5分钟内,对比一份长达几百页、包含很多因素的保单。我看了他们的demo和用户反馈,觉得这个产品很有意思。

另外还有一个我从2023年就很关注、现在做得也不错的产品,叫The Sweet Spot。我一直觉得这个产品未来很有前途,因为它做的是AI for grant writing,跟我之前的一个创业小项目非常像。

他们帮助全球的business、NPO、NGO以及SMB申请grant,也就是联邦补助金;帮助他们阅读合同、分析招投标,还能协助完成招投标。

这个产品做得非常好。我当时为了不付费,换了八九个邮箱,因为它每次只给你48小时的限定使用时间。最后我联系了他们的CEO,请他们给我开了一个会员,因为真的很好用。

它的用户体验做得非常好。前期会帮你搜索各种contract,搜索出来之后还能进行很深入的解读。我觉得他们在2023年的UI就已经做得不错了。

还有一个非常垂直的AI agent,我觉得也挺不错,叫Gamma。它可以用AI做PPT设计。以前大家可能比较习惯用Canva,但我用了Gamma之后,觉得它可以秒杀Canva。

我只需要给它一个大概框架,所有内容都会由AI自动生成,包括排版。比如我想给小朋友的学校讲什么是podcast,让它做一份PPT,5分钟就能完成。

如果觉得某个地方需要修改,只要给它一个框架或者主题,它就会直接生成一套PPT。输出之后,如果发现哪里有错误,直接在里面手动修改,再导出就好了。它非常方便,排版也很好看。

方波

这个很巧。我好像是Gamma的前100个用户。我的账号到现在credits应该还没用完。

很多人对Gamma的印象,是刚才你说的用AI生成PPT。但我当年使用Gamma时,它根本还没有AI。那个时候我就觉得这个产品非常厉害。

我现在所有的presentation、所有的PPT都只用Gamma做,而且我觉得不只是因为它的AI功能,而是因为它的立体效果和设计非常好。

它是模块化的PPT,可以把不同模块拖拽到不同页面上,所以会有非常炸裂的视觉效果。我记得大概是疫情期间,2020年或2021年,我看过他们的一个demo。

它可以在静态PPT上直接“啪”地炸出一个视频,我觉得太帅了。当时我就觉得,一定要用Gamma做一次PPT,效果确实非常好,所以后来一直在用。

现在他们又推出了各种AI生成功能,我觉得做得非常完善。Canva应该是最近才宣布推出AI功能,但Gamma对用户需求的理解已经非常深入。

即使现在不付费只能使用10张,这10张也已经覆盖了大部分人的常见需求。而且它可以对每一页进行非常精细的微调,提供基本上所有组件,还能区分每一张图片是否可以商用,或者允许你去不同图片库里搜索。

我觉得每个细节他们都考虑到了。它的能力不仅仅体现在AI上,而是整个设计领域、包括PPT交互在内,都做得非常好。它在垂直领域的积淀很深。

想问一下大家,这两个月,也就是从我们上次录AI agent到现在,虽然只是两个月,但这两个月发展得非常快。你们觉得自己在心态或者做事方式上有哪些变化?

Speaker 2

我觉得变化非常明显。尤其是这几个月Manus出来之后,各种产品都出来了,我做事情的速度明显变快了。

当我横向看很多竞争对手时,会觉得他们的速度非常快。不管是开源还是闭源世界,都要求你对一件事情的执行力,有时甚至要大于planning。

以前我从产品经理角度思考,很多时候第一想法是先把事情拆解得很细,把很多东西想清楚,然后长篇大论写一堆东西。按照传统方式,我们应该写PRD。

但现在我觉得,很多公司可能已经没有那么重视PRD,而是希望打通更快的链路,比如从产品需求直接到工程实施。

所以不只是个人,包括工作场景里的所有事情都在加速。这可能既跟行业里所有产品的浪潮有关,也跟这个时代的速度有关。我的最大体验就是:变快了。

泓君

你上次说自己断断续续做过200多个agent。这200多个agent里,有没有商业化比较成功的?

Speaker 2

我觉得它们还不能被称为agent,上次可能应该说是chatbot。因为我觉得它们还不够智能,也不够动态,更像workflow。

其中商业化比较好的是我2023年做的那个产品。它是一个很长的pipeline,当时服务东非的中大型NGO和NPO,帮助它们申请federal grant。

因为这些机构非常缺这笔钱,所以我们从第一步开始帮它们搜索。那时候用的是AI搜索。过去搜索grant时,入口非常深,需要抓取各种网页内容。

所以我当时想,为什么不在搜索之后直接展开一个答案,而不是只给用户一个结果列表?这个场景非常适合做搜索增强。

第一步是展开搜索结果,用户可以选择感兴趣的grant。看完结果之后,可以跟grant上的文件进行对话,旁边会有一个Copilot。

第三步,用户点击申请之后,可能会跳转到外部界面;也可以回来,在我们的编辑器上编辑申请文书。写完之后,我们当时没有做协同功能,而是让用户下载到本地,再复制到外部网站提交申请。

大概就是这样的pipeline。那个时候,每一步仍然需要人工检查。后来我在实习和各种工作中做过很多chatbot,针对不同场景做了一堆产品。

那些产品没有直接对个人商业化,但对公司应该有商业化,只是比较分散。

泓君

那芳波呢?我觉得这两个月你最大的变化,应该是Second Me这个产品launch了。

Speaker 1

我对整个agent主题的感受,反而跟Kolento有一点相反。

2025年年初,大家觉得今年是the year of agent。虽然Manus发布了,MCP也越来越火,但我现在反而认为,agent在2025年如果要破茧而出,成为真正大众使用AI的一种方式,仍然有很多问题。

越做越会发现问题越多。比如今天的大语言模型,尤其在国内,豆包这样的产品甚至连我爸妈这样的人都会用,它其实已经变成一种通用产品形态,也就是基于大语言模型的聊天机器人。

但如果我们说agent,无论它是由一堆垂直agent组成,还是由一两个大的通用agent组成,真的要让普通人每天使用agent,我觉得距离还很远。

而且很多问题的解决,可能是行业性的解决,不是某家公司开发出某个技术就能解决。我举两个例子。

第一个例子就是我们刚才提到的:任何AI agent,本质上都是在桥接用户和环境之间的一个转换器。它不断挖掘用户需求,然后在环境中不断把需求转化成行动,再持续进行双向沟通。

环境侧虽然今天有MCP,但MCP协议还非常不完善,整体渗透率也很低。它就像任何需要生态配合的标准化协议一样,真正实现渗透可能需要以年为单位,而不是以月或者周为单位。

所以我觉得,这里面有很长时间的生态建设要做。

另外一个问题,就是你们刚才一直提到的,AI到底如何向人提问,获得更好的需求和偏好信息。

我们发布了开源项目,现在大概有9.2万颗star,也有很多社区用户在尝试使用。但我们发现,这同样是一个很难的问题。

在未来的世界里,如果人真的要用好agent这个工具,自己也得有一个很好的输出通道。这确实是一个非常根本的问题。

泓君

简单跟听众解释一下,MCP应该是多智能体协作的一套协议,对不对?

Speaker 1

不是。MCP是一个AI智能体,也就是agent,访问其他信息源或服务的协议。它不是AI和AI之间的协议,而是AI和服务之间的协议。

泓君

你刚才提到一个细节:MCP可能也要以年为单位进化。能不能简单列举一下,你觉得它现在有哪些待进化的地方?

Speaker 1

我说以年为单位进化,第一点还不是这个协议有什么特别根本性的缺点,当然它也有很多需要提升的地方。

最大的点是,当你说整个行业愿意拥抱这个协议,把数据开放出来时,很多平台其实并不乐意。因为数据或者接口,在它们眼中本来就是可以商业化、甚至是商业模式赖以存在的基础。

如果今天让其他agent通过MCP这样的协议使用我的接口和数据,那么认证问题怎么解决?数据隐私怎么保护?最核心的是,我把数据给你之后,自己的商业化怎么保障?

这些问题今天并没有行业标准来解决。现在只是有了一个技术通道。在这种情况下,我觉得整个industry adoption会是一个以年为单位推进的过程。

所以在我看来,今天的MCP更多还是把API做了AI化的封装,还没有真正成为AI native的通道,让AI可以通过MCP这扇门进入对方的环境,自由地进行操作。

好的,那我们就先这样,谢谢大家。谢谢。OK,谢谢。好的,谢谢大家。

这就是我们今天的节目。如果大家听到这里还觉得不过瘾,可以持续关注我们。我们接下来还会推出一期AI agent使用体验的节目。而这期节目也很有意思,就是我们找了很多AI agent的资深用户和搭建者,一边是用户的吐槽,一边是搭建者的回应,我们可以看一下大家在具体使用上有哪些问题。

如果大家喜欢我们的节目,欢迎在你所收听的音频渠道关注我们,比如你可以在苹果播客、小宇宙、Spotify、喜马拉雅、蜻蜓FM、网易云音乐、QQ音乐上订阅我们。如果你是在用视频渠道听播客,可以在YouTube或者bilibili上搜索硅谷101播客来找到我们。我是泓君,感谢大家的收听。

E191|小而美的机会来了,聊聊这轮AI Agent进化新范式 | BidClub