130: 手机Agent大幕拉开！从刚上线的AutoGLM 2.0聊起，大模型如何改造手机|Agent#4

欢迎收听晚点聊，我是曼琪。今天的话题是手机 Agent。就在昨天，智谱 AI 的 AutoGLM 2.0 正式上线，这是首个为手机端打造的通用 Agent，能帮你点外卖、买票、订餐，无需邀请码，所有人都可以直接使用。

从市场规模看，手机端的 Agent 会比 Deep Research、Devin 这些网页端和电脑端的 Agent 大得多。在中国，每天用手机的人几乎等于总人口，而每天要用电脑的人则少很多。这会是一个兵家必争之地，大模型公司、移动互联网巨头和手机公司都跃跃欲试。

除了智谱刚刚发布的 AutoGLM 2.0，我们看到字节正在酝酿豆包手机，美团王莆中亲自带队做生活服务助手，苹果、华米 OV 也一定不会缺席手机 Agent 的竞争。这期我们邀请了 AutoGLM 2.0 的算法和工程产品负责人刘潇，来分享开发 AutoGLM 的故事、技术洞察，以及他对竞争和生态的思考。刘潇出生于 1999 年，今年 26 岁，本科毕业于清华大学计算机系。制作这期时我算了一下，这是我们第四期专门来聊 Agent 了，之后也会有更多相关内容，所以我给这四期的标题都加上了 Agent 的标识和编号，方便大家检索往期内容。最后打一个我们自己的小广告，晚点发起了一份轻型小问卷，只有十几个选择题，我们想了解 AI 应用产品在模型调用方面的真实现状，到底在不同场景中哪些模型被用得最多、最受欢迎。问题不涉及产品名称等敏感信息，问卷的链接和详情见 show notes，欢迎晚点聊听友中的 AI 产品开发者和创造者来填写，感谢。

刘潇，你可以和我们的听友打个招呼，然后简单地自我介绍一下。

嗨，大家好，我是智谱 AI 的算法研究员，同时也在负责 AutoGLM 团队的算法、工程和产品。

我们第一部分可以先聊聊 AutoGLM 这个产品本身，因为这也是一个新的产品，可能会有很多新的特性。

我自己的第一个好奇是，智谱的人和我沟通说你们有这个产品要上线时，我第一反应是：这个东西不是去年 10 月已经上线过了吗？怎么又要上线一次？但确实从去年 10 月到现在，我觉得并没有那么多人用到。你可以讲讲这一次上线有什么变化，以及它现在是一个什么状态吗？

1. AutoGLM 走向双端协同

AutoGLM 其实去年 10 月底就和一部分内测用户见过面了。当时的 AutoGLM 和现在最大的一个差别在于，当时的 AutoGLM 主要是在手机本地端执行。我们观察到一个很大的问题，就是它会和用户争抢屏幕使用权。如果 Agent 在运行，用户就不能操作手机，这会让很多深度使用的用户感到痛苦。

另一方面，对于中国用户的手机使用习惯来说，可能更多还是偏生活和服务类场景。但 AI 的另一类重要场景，是帮助我们提升工作效率，完成一些更复杂的任务。所以我们认为，实现对云电脑的完整操控和异步执行也非常重要。

这次我们采用的是双端协同的方式，既可以操作云手机，也可以操作云电脑，是一个可以在手机端运行的通用智能体。我们希望在两端都能给大家带来一些全新的智能体体验。

总结一下，第一个不一样的地方是，它可以不抢占你的屏幕，在后台运行。

对。

第二个不一样的地方是，这一次不只是在手机上。你们去年 10 月上线时讲的是 Phone Use，也就是使用手机；这一次是手机和电脑两个端都可以用。

对，是的。还有一个很不一样的点是，它不再是内测状态，而是全端上线。大家可以在 iOS、安卓和网页端体验 AutoGLM 的能力。

到时候体验时，是我直接下载、注册就可以用，还是需要邀请码？

这次是全面上线，大家无需邀请码，也不受其他限制，可以直接使用。

那怎么收钱呢？现在是按调用收费吗？

我们现阶段还没有这方面的计划。我们希望大家能够率先感受到 AI 的进展，体验真正的自动驾驶式 AI 是什么样的。

就是免费用？

对，让大家免费使用。

你可以简单描述一下，它有哪些比较有代表性的功能，能做到什么？

比如在手机端，大家现在在手机上能够想象到的各种应用，都可以用 AutoGLM 来操作。它可以帮你在美团上点外卖，寻找想要的店铺，叫保洁，叫水电维修；也可以去小红书或者其他应用查找最新的资讯，告诉你最喜欢吃什么，找到更及时、也更贴近你个人偏好的推荐内容。

在电脑端，它可以完成深度调研，帮你做 PPT，通过代码完成复杂的网页创建和卡片设计，也可以写数据分析。最关键的是，它还能够一键帮你生成播客、视频和图片等多媒体内容，并直接发布到社交媒体上。这些都是通过网页端对电脑的操作来实现的。

2. 安全边界决定支付体验

我今天早上自己也试了一下，用 AutoGLM 来点外卖。我用美团点外卖时，真正把自己带入用户角色后，第一个想到的问题就是安全和隐私。

第一次用的时候，它需要我登录一次，要在上面输入电话号码或账户，还要输入验证码。这部分你们是怎么处理的？怎么保证大家在上面做各种操作，包括付款和交易时，整个流程都有安全保障？

首先，这台设备是云端的一台真实手机。它就像你配置一台新手机一样：你在新手机上登录和注册时，这台手机并不会记住你的用户名和密码，实际上只是记住了登录状态。

我们通过和云厂商合作，保留了用户的登录状态，但不会记录用户在这个过程中的账号或密码，我们也不知道这些信息。

其次，像你刚才提到的支付操作，在关键的支付和登录环节，它都会把设备的权限完全交到用户手上。即使你没有发起任务，平时也可以随时接管设备，进行任何操作，比如退出账号。

对，它有一个“接管手机”的选项。但这又带来一个问题：如果用这种方式点外卖，至少目前看，它好像没有比我自己点更快。

比如最后要付款，我还是得自己确认。有可能我后台开了这个功能，过一会儿忘了，去做别的事情，30 分钟后才想起来：为什么我的外卖还没来？原来是我自己没有确认付款。

这确实是我们产品接下来迭代的一个重要方向。现在给大家的版本还比较初步。比如我们还没来得及在关键步骤弹出一个通知，或者当你把应用置于后台时，提醒你现在需要完成支付。

以后甚至可能不需要你真的点进来，只要通过语音弹出一个气泡，你说一句“帮我付了”，它就可以帮你点击确认。

也就是说，我语音同意，它就可以帮我付款。

对。以后甚至可以设置：30 元以下的订单不要再询问我，直接支付。我们会提供一些积极的机制，让用户设定限制。

当然，更有想象力的是，如果智能体支付的基础设施更加完善，就可以像使用第三方支付一样，给智能体一个独立的钱包。你可以给这个钱包设置额度、次数，以及商品类型的限制：什么类型的商品可以直接支付，什么类型的商品必须先询问用户。

我们觉得，这可能是接下来很重要的事情，也希望和支付行业的伙伴一起推进。

这个体验挺有意思的，像是让普通人体验当老板的感觉。因为当老板就会有这样的规则：多少钱以下的预算我不批，多少钱以上的我可能才会看。

对。而且如果以后 Agent 有自己的支付能力，Agent 的支付可能会更容易撤回。人的支付是经过人确认的，但 Agent 的支付可以和支付厂商配合，做成只要用户想退款，就可以一键退款。具体机制还不确定，但可以有这样的设计。

使用 AutoGLM 的过程中，它会截我的屏幕吗？

在你发起任务、进入自动驾驶阶段时，它需要阅读你的屏幕。

也就是说，它会读我的屏幕？

对。但当你接管设备，或者任务结束之后，它都不会继续阅读你的屏幕。

它读取屏幕的信息，可能也是很多人担忧的点。你们会怎么做安全和隐私处理？

这部分我们有非常详细的脱敏流程，数据入库之前都会做严格脱敏。具体实现方式可以参考我们的隐私协议。

总的来说，我们会做严格的数据清洗、脱敏和加密处理。

3. 主动任务仍然缺席

现在手机上有哪些非常高频、但 AutoGLM 还不能做的场景？

一类很典型的高频场景，是我个人最希望它能做的事情。

我早晚通常工作得比较晚，程序员都懂的。但早上要赶着来公司喝咖啡，经常一忙着打卡就忘了，或者睡过头。我希望每天早上 9 点，如果我还没醒，或者把闹钟关了，它就先帮我点咖啡。等我 9 点半到公司，直接去公司楼下的咖啡店拿咖啡。

即使我没有发出指令，它也能在固定时间按照我的要求完成这些动作。这种定时任务，或者更主动式的 Agent 行为，现在还不能做，但已经在接下来的迭代计划里。

所以智谱是要打卡的？

当然要打卡。

你们是必须打卡的？

对，还是要打卡。

我想到一个挺高频的场景，就是发微信消息。通信类操作现在还不能做？

从技术上说，其实可以实现。基于操作手机、操作电脑的智能体，本质上是通过阅读屏幕、模拟人的点击和输入，来代理人类意图。

理论上，安装在设备上的应用都可以操作。之所以这次没有特别强调或展示微信，主要是从个人体验的角度看，微信里的隐私信息更多，也更难脱敏。

而且说实话，对我个人来说，发微信不是一件很需要 Agent 长时间执行的事情。我更希望 Agent 帮我处理反复找信息、完成重复繁琐的事情。每次发消息时，我的意图和内容都不一样，可能自己打字几秒钟就能解决，还是自己做比较好。

我目前对 Agent、尤其是设备操作 Agent 的理解也是这样。如果一件事我几秒钟或者 10 秒钟就能搞定，而且手也方便，那确实没有太大的必要让 Agent 来做，我自己可能更快。

但如果我手不方便，比如在开车、做家务、洗澡、跑步，这就是很典型的场景。还有一些时候是手方便，但人很忙，我在回消息、打游戏，突然有件事需要赶快点个东西，或者查资讯、买票、订出差行程。

还有一种情况是，周末想带一家人出去玩，要找地方、安排行程和酒店。我不知道去哪儿，自己刷小红书和各种攻略，可能看一两个小时，看了后面的忘了前面的。这时候如果有一个 AI，先帮我把这些需要长时间处理、或者我不方便用手完成的事情做完，我就会方便很多。

你们预测什么功能可能会小小引爆大家的需求？

首先肯定是每天都会想做的事情。我觉得吃的可能会是一个很重要的场景：一方面是点外卖，另一方面是找美食。

比如和朋友出去聚餐，今天吃什么？我一到周末就很痛苦，周六下午醒来躺在床上，不知道晚上吃什么，刷两个小时，最后还没有结论。

所以你们智谱周六不上班？你们是双休？

我们当然是双休。

像这种场景频率很高，但做起来并不容易。很多时候之所以看起来容易，是因为真正认真做会很麻烦，所以很适合让 Agent 来帮忙。

对。我的个人体验也是，点外卖对我来说挺快，但有时候要找一个聚餐的地方，确实会刷很久。

比如我天天吃黄焖鸡，有时候实在不想吃了，但让我去刷推荐，我也不知道周边有什么。刷来刷去可能都已经点过了，还经常忘记哪家吃过、哪家没吃过。

如果 Agent 能帮我全部扫一遍，给我具体的推荐，我可以告诉它要求，让它帮我筛选出一个合适的地方。它甚至不一定只在外卖应用里做，也可以去社交媒体上搜索，或者去朋友圈看看朋友最近在吃什么。

我可以给它一个指令：“你去小红书找某种类型的美食，再去美团帮我下单。”这些都可以实现。

那它可以看我的朋友圈吗？微信朋友圈可以吗？

如果你自己发出指令，是可以的。

我给它指令说“看我的朋友圈”，它就能看？

对，它能看。但前提是你明确发出了这个指令。这不是我们重点强调的功能。

你们预测可能会产生较多需求的，主要就是和吃相关的功能，包括外卖和找美食。

对。我觉得其实就是衣食住行。准确地说，很多选项由于原本的推荐系统，并不能充分覆盖我的想法。

我现在选择黄焖鸡，并不是因为真的喜欢吃黄焖鸡，而是懒得再找。或者平台推荐的东西不是很满意，但我也没有办法。这种情况会很多。

4. GUI 与 API 长期共存

你说到这个我觉得挺有意思的，这可能是外卖大战和 AI 竞争真正的一个交汇点。

但这又涉及另一个问题：那些 App 厂商会怎么想？你们也是一个 App。如果我用 AutoGLM 在云手机上点美团，或者去饿了么点东西，那可能不是我本人在看这些信息。对这些 App 厂商来说，它可能失去了吸引流量到 App 里的作用。

你们有没有想过，产品发布之后，美团、饿了么会怎么看这类产品？美团自己也在做类似的事情。

对，他们也想做生活服务 AI 助手，代号应该叫 Beam，由王莆中亲自负责。

我的感觉是，这两件事并不矛盾，很多时候甚至会相互促进。

首先，这并没有减少用户访问这些应用，事实上访问可能更多了。虽然没有人在直接看广告，但我会把看到的所有信息如实告诉用户。本质上，我是一个信息搬运工。

如果对话流里有广告，我也会把广告搬过来告诉用户：“美团给你推荐了这家店，你要不要试试？”我的信息源还是应用本身，所以并不会减少用户对广告和推荐内容的浏览，只是我会根据对用户的了解做筛选。

当然，现在还没有这样的机制。以后如果我更了解你，比如知道你昨天点了什么、今天点了什么，就可以根据你的个人特征筛选信息。但信息依然来自应用本身。我认为这不但不会减少应用的机会，反而会让应用有更多机会把想推荐的内容带给用户。

第二，我们这次也不只通过 GUI 操作手机。事实上，我们已经和一些第三方应用开展了官方合作，在推荐 API 和 MCP 层面的合作。

坦率地说，API 和 GUI 完全不矛盾。

可以稍微解释一下，GUI，也就是通过图形界面操作 App，和通过 API 操作 App，有什么区别？

GUI 最大的特点，是像人类一样阅读和理解屏幕，然后操作应用。它获得的信息，和人类浏览这些应用时获得的信息是等价的，操作方式也像人一样。

GUI 比较擅长解决长尾、复杂且多样的问题。应用厂商通过 API 提供服务，当然有好处，但也有坏处。通过 GUI，应用厂商不需要承担适配和维护 API 的成本。它向普通用户提供什么服务，就可以向 AI 代理的人类用户提供什么服务。

也就是说，对美团、饿了么这样的 App 厂商来说，如果你们用 GUI 调用它们，它们不需要区分自己是在服务一个人，还是在服务一个 AI Agent，也不需要额外工作。

对，它们不需要额外完成任何工作。对应用厂商来说，这是一个低负担的接入方式，也可能给它们带来更多流量。

那 GUI 的代价是什么？

GUI 的代价主要由做 Agent 的人承担。我们需要让大模型真正学会操作 GUI，还要给它配一台虚拟设备。

它会比 API 更消耗 Token 吗？

当然会。因为它需要看图。

它要看屏幕截图。

对。API 方式则不同，比如 Anthropic 的 MCP 就是典型的 API 集成方案。我们也在和很多第三方厂商推动 API 层面的合作。

API 的好处是速度快、准确，因为信息是应用官方直接提供的。但它的缺点也很明显。

首先，基于 API 的完整链路现在还没有真正打通。假设某个应用给了我购物搜索 API，我搜索到商品后，怎么直接下单？怎么把用户在 AI 这边的账号绑定到购物软件的账号？支付流程怎么走？这些都还没有解决。

现在基于 API 的方式更多只是提供一个搜索接口，后面的链路是断的。支付和用户账号信息都和 GUI 应用绑定在一起，整个流程没有打通。也就是说，如果使用 API，就需要为 AI Agent 重新构造一套链路。

相当于要重建用户系统和支付链路。

对，这件事门槛非常高，不是哪一家应用可以轻易建成的。

第二，很多厂商会担心 API 被滥用。现有基于应用的用户账号和风控体系，通过 GUI 就可以直接复用所有移动互联网基础设施，不需要重新构建任何东西，也不需要新增策略，就能接入 AI。

但如果使用 API，比如地图类应用可能会担心：你会不会把我的 POI 信息全部搜索、扒走？美食类应用也会担心：我的商家信息和菜品信息会不会被全部截走？

如果不能做好鉴权和风控，就会有数据泄露风险。很多应用很矛盾：一方面想通过 API 让 AI 带来更多用户和场景，另一方面又担心 API 的风控和支付无法解决。API 的维护本身也是巨大成本。

比如 App 新增了一个功能，API 就要改；增加一种产品属性，就要新增一个 API。最后一个 App 可能会有成百上千个 API，还要实时维护哪些 API 已经过期、哪些没有过期，以及 API 是否和应用能力保持一致。这件事可能不比开发一个新的 App 简单。

既然听起来有这么多麻烦，为什么你们和第三方 App 厂商沟通时，还是有人愿意用 API 合作？

首先是效率更高，它们可以更快地把信息提供给我们。另一方面，准确地说，也能给它们带来更多服务机会，潜在地带来更多流量和用户。

比如以前你在 AI 应用里，只是搜索“我家马桶坏了，该怎么办”。现在 AI 不但可以告诉你怎么修，还可以告诉你：“如果你不想自己修，我可以帮你叫某个应用的服务。”你一点，它就可以立刻联系服务商，询问是否要上门维修。

对 App 厂商来说，这可能是一个潜在入口，关键是它们怎么理解和利用这个机会。

是不是 App 越大，在这件事情上考虑得越多？它可能只愿意和你们这样的第三方合作，还是会自己做？

如果是 API，本身越大的 App，内部越有人力来做，所以它们一般都会搭建自己的开发团队。但大应用的特点是内部业务考虑更多，可能不会第一时间对外合作，而是先考虑内部研发，自己试一试。

所以我还是那个判断：API 和 GUI 肯定会长期共存，就像道路上的自动驾驶一样，自动驾驶不可能消灭所有人类司机。

API 肯定会存在，很多人也会尝试做 API。但也有人因为各种考虑不去做，或者没有能力维持稳定的 API。在这种情况下，GUI 仍然是必要的，也能给用户带来更多安全感。

至少 GUI 是一种用户可以理解的方式：它以人能理解的方式完成任务。而通过 API，用户可能完全不知道发生了什么，订单就下完了，也不知道 Agent 为什么选择了这个商品。所以我觉得两者能够很好地互补。

5. 个人与垂直 Agent 共存

你怎么看未来 AutoGLM 这样的 AI Agent App，和美团自己做的生活服务助手、高德做的地图智能体之间的关系？

对 AutoGLM 这类智能体产品来说，我们可能更追求通用场景，希望尽量理解用户上下文，站在用户这一边完成事情。

垂直厂商做的 Agent 也非常有价值，特别是对于已经形成高度使用习惯的用户。比如我明确就是要用你的应用完成某件事，那么这类 Agent 很有效，能够激活此前很难激活的场景。

这里还存在一个更好的机会，也是我们正在探索、并和一些合作伙伴一起做的，就是 Agent to Agent。

假设我要使用某个应用的 Agent，前提是用户真的打开了这个应用。只有这样才能使用它。坦率地说，这种方式可能不会带来更大的流量，只是帮助应用更好地消化和提升现有流量的质量，以及用户的消费意图。

但通过通用智能体，我不是直接进入你的应用操作，而是找到你应用里的 Agent，对它说：“我这里有一个用户，他想完成某件事，请你完成任务后把结果给我。”然后我把结果带回来。

我们是用户的个人助理，对方是服务方的前台。我们的助理代表用户和对方的前台打交道，共同完成任务。

未来谁可能是离用户最近的 Agent，确实值得关注。大家都想成为离用户最近的 Agent。

比如我要点奶茶，可以让 AutoGLM 去京东、饿了么和美团上看附近的奶茶，比较哪家最便宜、优惠券最多，然后选择最划算的。对用户来说，这当然最好。

但这样一来，三个平台就会处在被竞争、被比较的状态，这对它们可能不利。

这是一个好问题。但从实际用户角度看，如果用户真的问出这样一句话，即使没有 Agent，他可能也会自己打开三个平台比较。比较的需求原本就存在，只是以 Agent 的形式表现出来，还是以用户自己操作的方式表现出来。

我觉得垂直应用的 Agent 肯定有价值，但站在用户这一边、帮助用户管理整体生活和工作，并且始终为用户的个性化需求和价值考虑的 Agent，也同样有价值。这两种需求是并行不悖的，可以很好地沟通和共存。

理论上，个人应该有自己的 Agent，企业和应用也应该有自己的 Agent。

以后除了真实的人类社交网络，还会有一个隐藏的 Agent 网络。比如我要和你约一个播客，可以由我的 Agent 去联系你的 Agent，查询我们两边主人的日程表，找到双方都有空的时间，再各自询问主人，最后完成预约。

我觉得以后应该会有一个 Agent Service Network。每个人都有自己的助理，每个应用也有自己的助理。它们会自己协商、寻找信息，帮助人类完成准备工作。人类只需要说“这个方案不错”，或者“再帮我找一个方案”。

现在大家也在建设相关基础设施。Google 推出了 A2A，也就是 Agent to Agent 协议。

在移动端，网页端有 MCP 这种调用工具的生态，但移动端目前还没有类似生态。苹果据称也在考虑做这类事情，好像是 App Intents。

但为什么我们最终发展出触控屏和 GUI？本质上是因为它本身就是一种统一接口。通过视觉和人类对 UI 的理解，GUI 成为一种接口。既然如此，再发展一套接口当然可以，但需要时间、成本，也要看大家愿不愿意迁移。

你们会做类似 MCP 的移动端接口协议生态吗？

坦率地说，现阶段我还没有太考虑这个问题。因为目前最大的问题，是 Agent 的心智还没有真正建立起来。

虽然 Agent 这个词在 AI 圈里已经发展了大半年甚至一年，大家有了一些认知，但普通用户还经常问我：“Agent 是什么？你们总说这个词。”

给父母或圈外朋友解释时，我会说：Agent 就像你的另一个助理，能够 24 小时为你工作。你只要发出指令，你来当老板，它来当员工。

当你这么解释之后，对方是什么反应？

他们会说：“那你拿出来给我用用。”

所以大家还是觉得抽象，没有实感。

对。很多人很少有机会指挥别人做事情，所以没有直观感受。

但我认为，Agent 本质上会让所有人都必须学习一项技能：怎么让 Agent 帮自己工作。可能从小学开始，人类就要学习怎么使用和管理 Agent。如果学不会，以后可能什么事情都做不了。

这是使用 AI 时需要跨越的心智和思维障碍。

因为很多时候你会觉得，自己做比指挥 Agent 做更快。

尤其是自己熟悉的事情。但一个人的一天只有 24 小时，不能把一天变成 48 小时。

如果你拥有一个能 24 小时稳定工作的 Agent，就相当于自己的时间翻了一倍，一天有 48 个小时。如果你有更多 Agent，并且能有效地让它们工作起来，时间可能以乘数扩大，而不是像 Copilot 那样，只是把某一个小时变成两个小时。这两者的性质完全不一样。

6. 手机厂商与入口之争

刚才我们讨论了 AutoGLM 和手机上已经存在的 App、超级 App 的关系。另一个有意思的手机 Agent 角色，是手机厂商自己。

华为、小米、苹果、OPPO 都在做这方面的事情。我印象中，智谱之前也和手机厂商合作，和荣耀、三星都有合作。你们现在是两条线同步推进吗？一条是 To B，和手机厂商合作；另一条是直接 To C，做大家都能使用的产品。

对，我们两边同步推进。

这两条线有什么区别？

和手机厂商合作，更多是 To B。我们把能力提供给它们，让它们构建基于这类能力的智能助手产品。

To C 这边，我们更关心面向 AGI、更复杂、更困难的任务，包括长时间运行的任务，以及更适合我们进行算法迭代的场景。

也就是说，你们需要做更难的任务，所以希望引导用户尝试更困难的场景，从用户使用中获得启发，让算法不断进步。

对。我们希望用户去尝试那些模型现在能够完成、但还没有做得足够好的场景，从而牵引算法继续进步。

而提供给手机厂商的是更成熟、更稳定的产品级能力。

对，更偏产品级和稳定性。

你们和手机厂商合作使用的模型，和 To C 版 AutoGLM 使用的模型一样吗？

肯定是同源发展而来，但一定有区别。为了稳定性，版本固定之后就不能随意变动。To C 产品则会不断迭代，根据用户最新反馈优化，让用户立刻得到满足。

你们和三星、荣耀合作的 AI 能力，具体会体现在哪些功能上？

可能会帮助它们完成一些本地端执行，比如发消息、点单、叫出租车，也可以帮用户完成一些服务。

但这些任务不能花太长时间，因为本地执行最大的局限，是它会抢占屏幕。它运行时，用户不能操作手机。

你们和手机厂商合作的能力，首先是云端的吗？

它使用的是云端算力。

模型在云端，但应用操作是在本地手机上进行。

对。

所以它确实会占用屏幕，运行时用户只能看着。

对。

相当于你们现在和手机厂商合作的，还是去年 10 月推出的形态。

对。To C 版本则是新的虚拟手机形态。

事实上，随着这种形态逐渐成熟，也可以开展更多合作。比如现在很多 AI 硬件、智能家居，其实都需要手机级能力或系统级能力。

冰箱没有可乐了，能不能自己补货？你戴着 AI 眼镜看到一件漂亮的衣服，能不能直接说“帮我去淘宝找同款并下单”？

这些场景都很好，但过去受制于端侧算力。无论怎么努力，也不可能把一部手机真正绑到眼镜上。

大家希望在穿戴设备、智能家居和各种终端上使用更丰富的移动互联网能力。我们希望通过 AutoGLM、开发者计划以及后续商业化合作，赋能各种应用，让 Agent 连接用户身边的一切终端和设备。

它不应该只停留在一个网页对话框里：我打开电脑、打开网页、输入一句话，它才开始工作。理想的 AI 应该无处不在，在我身边，任何地方都可以被唤起，帮我完成想做的事情。

你觉得为什么是智谱，或者说智谱这一类大模型创业公司，有可能做成这件事，而不是华为、小米这样的公司？它们本来就有很多设备，也可以做。

我从来没有觉得只有我们能做。它们当然也可以做。

我只是觉得，我们可能更关心算法，也更关心 AGI，因为这是公司的目标。我们相信，如果真的想达到那一天，并不是简单的工程堆砌能够完成的，而是需要算法内核驱动。

我们需要一个真正更聪明的大脑。它不只是会做题、会写一点网页，而是真正理解物理世界的接口，理解各种应用，理解网页和网站的使用方法，甚至了解每个用户的习惯、偏好和工作内容。

只有一个既有广度、能够连接一切，又有深度、足够智慧的模型或智能系统，才可能真正达到那一天。

你们想过自己做硬件吗？

设想过，但不是现在的重点。我们没有把它作为当前重点去考虑。

畅想过吧？是在什么场合畅想？自己想，还是公司吃完饭大家聊天时畅想？

畅想过。

你们怎么想未来的竞争态势？这个领域的竞争可能会很激烈。

我觉得会有很多不同角度的厂商进入，这是非常好的事情。

我们之所以愿意在现阶段把一个仍有很多打磨空间的产品放出来让大家使用，是因为任何东西都不是完全准备好之后市场才会接纳。iPhone 也不是一出来就让所有人着迷，从 iPhone 1 到 iPhone 4 被广泛接受，中间也经历了 3 年迭代。

Agent 也是这样。从我身边圈外朋友的感受看，对于世界上相当多、甚至 99% 的人来说，Agent 仍然是一个非常抽象的概念。Chatbot 可能有 10% 或 20% 的人接触过，但 Agent 可能只有百分之一，甚至千分之一的人真正上手使用过。

这个领域存在巨大的教育市场：要教育用户理解，原来以后应该这样使用 AI，有这样一种 AI，它能这样工作，并且能带来远超想象的价值。

这件事绝对不是我们团队或智谱一个人能完成的，也不是 OpenAI 或 Anthropic 单独能完成的。它需要硬件、软件、算法和模型厂商一起参与。只有在这个过程中，大家因为蛋糕变大而获得好处，才可能把这么多环节串联起来，真正推动信息革命进入下一个阶段。

所以我非常欢迎大家一起努力。只有这样，才能真正把事情做成，而不是停留在一个 Demo，或者许多 Agent 现在所处的 Demo 状态。这对整个行业都很重要。

你觉得下半年还会有哪些厂商做到类似程度，并且可能发布产品？

我不太了解其他公司，因为我不是其他公司的人。但我比较肯定，OpenAI 肯定在做类似的事情。

大家也看到，OpenAI 作为模型厂商推出了 ChatGPT Agent，目前是在网页端。至少在电脑端，大家肯定还会继续激烈竞争。

手机端我不太了解，但我觉得很多人都会对这件事感兴趣。欢迎大家一起来做。

字节肯定也会想做，可能只是发布时间和时机不同。

我们也希望字节能带来更多参考和灵感，看看它会采用什么做法。

这件事是必然的未来，但就像强化学习一样，大家知道最终会有奖励，却不知道通过什么方法才能拿到奖励。这是一个痛苦的过程，需要投入，也需要大家发挥聪明才智共同解决。

7. Agent 从对话走向行动

把 Agent 从电脑端带到移动端，会带来更广泛的人群扩散和渗透，这是显而易见的思路。但为什么目前真正做到的人并不多？

你们从内测到开放给所有人使用，中间有 10 个月左右的时间。从去年 10 月到今年 8 月，哪些地方最难，导致移动端 Agent 之前一直不能直接开放给所有人？

首先肯定是算法和模型能力问题比较大。

去年只能完成短链路任务，或者比较稳定地完成单应用任务。一旦需要跨应用，涉及复杂意图理解，或者发起多轮任务，模型就很难有效处理。

但今年以来，随着强化学习的发展，尤其是端到端在线强化学习的发展，我们投入了很大精力去探索：如何通过端到端在线强化学习，加上大规模容器化环境的仿真，让模型像人类探索应用和设备一样，学习使用电脑、手机和浏览器。

通过这种方式，我们才在算法上做好了准备。

可以完整讲一下这个过程吗？在智谱，你们最开始是怎么关注到 Agent 方向的，最开始做了什么，后来又做了什么？

最早就像我一开始介绍的那样。2023 年 3 月以前，我的重心一直在 GLM-130B、ChatGLM 前几代版本上，我是主要算法研发人员之一。当时的重心是预训练和后训练、对齐训练。

但 GPT-4 在 2023 年 3 月发布，几乎和 ChatGLM 前后脚上线。我原本认为语言模型只能说话、写文章，但试用 GPT-4 后，我开始意识到，它在当时还没有人特别关注 Agent 任务的情况下，就已经可以去 Reddit 搜索帖子，或者在 Amazon 上筛选某一类商品。

虽然成功率不高，可能只有一半左右，但我意识到，语言模型终将跳出网页对话框，从简单的文字变成在现实世界中采取行动。

从那时开始，我个人的研究兴趣和重心就完全转向了智能体方向。

普通人当时看到 GPT-4，可能会觉得只是给大语言模型加了搜索。为什么在你看来，那是一个很大的变化？

以前我们做很多工作，可能都是单步完成。比如让模型写一篇文章，它写得再长，也只是用 single step 或 single turn 完成。

但网络世界和真实世界会不断动态变化。Reddit 首页的内容每次都会刷新，今天打开是一个 UI，下周打开可能就变了。

我们发现，模型体现出一种很出色的能力：它能够根据环境给出的观察和反馈，动态决定下一步做什么。

比如今天 Reddit 搜索框在这个像素位置，明天我把浏览器拖大一点，位置变了，但模型依然知道如何找到那个元素，不会因为多了一些或少了一些元素就受到干扰。它可以在混乱中找到确定性，然后完成动作。

而且它不只是完成一次动作。一个搜索任务至少要做四五步、五六步，它能够通过一系列思考和决策完成任务。

最重要的是，这是一个多步交互的决策过程。传统 RPA 是预先设定好位置，然后点击，动态性比较弱。模型则真正具备了根据环境变化调整决策的能力。

所以 GPT-4 当时已经可以读网页了？

肯定是通过工程方式实现的，比如用 Playwright 把网页 HTML 信息抓回来。它读的主要还是文字。

也有截图吧？GPT-4 当时不是也有图像能力吗？

对，是截图和 HTML 共同完成阅读，然后定位具体元素。有时它点错了也没关系，它知道退回来。

当然当时成功率并不高，但现在通过强化学习，试错能力已经显著增强。

当时你看到 GPT-4 有这种能力，怎么理解它？你觉得是模型自己泛化出来的吗？

我觉得是模型自己泛化出来的。

也就是说，模型靠参数变大自己涌现出了这种能力？

对。它可能在网上学习了一些步骤类信息，比如 wikiHow 之类的网站，教人怎么做各种事情。互联网上什么都有，虽然步骤和操作类信息比例比较低，但随着参数变大，模型能记住的细节越来越多，就把这件事理解了，并通过掌握的其他知识泛化出这种能力。

你有了这个想法之后，后来验证了吗？你们可以通过实验验证吗？

当时大家通过简单调用 API 验证了一下，确认它能做这件事。但整个学界都不知道大模型到底能在多大程度上完成这类任务，没有量化结论，也没有 Benchmark。

所以我们做的第一件事，是从 2023 年 4 月到 8 月，用 4 个月时间带着团队做了 AgentBench，应该是全球第一个比较全面的大模型智能体评估基准。

我们设计了 8 个动态环境，评估模型完成任务的准确率。真正训练得好的模型，在这些任务上的表现已经相当可观。至少不是零分，只通过 prompting 就能达到 30% 到 40% 的准确率，这在当时已经很令人印象深刻。

当时表现最好的是谁？

GPT-4。

当时有很多开源模型声称表现和 GPT、ChatGPT 差不多。

但在 AgentBench 上，即使是最好的几百亿参数开源模型，也打不过当时表现最差的 Google Text Bison 模型（是 001 还是 002，我记不得了）。这个结果让我们意识到，真正实现 AGI，需要从预训练、后训练到算法，像一个大团队、用重工业的方式做大模型，才能做出真正泛化、让大家即插即用的系统。

智谱是怎么开始一个新项目的？你之前的主要工作是做基础模型预训练，后来跑去做 AgentBench，精力就分到别的事情上了。

一开始这只是算法研究。智谱内部鼓励大家做算法探索，因为要实现 AGI，算法问题还非常多。

在那 4 个月里，我的主要工作仍然是预训练。

所以 AgentBench 是你的次优先级工作？

对，是次优先级。但完成之后，我的重心基本上就从基础模型训练转移到了 Agent 相关问题。

这件事需要谁同意？组织结构上，是不是要和负责人沟通？

内部肯定需要集体讨论。大家有不同分工，一方面会和 AI 院的负责人沟通，另一方面也会和各方向同学一起讨论，最后决定由我来研究这个方向。

在那之前你不带团队？

那时团队规模很小。2023 年还没什么人，后来开始带一些实习生和全职同学，但数量很少，只有几个人，先探索这条路怎么走。

从 2023 年 8 月开始，你就是这个小团队的负责人了？

对。先看看这件事怎么做。

你现在管理多少人？

现在大概几十个人。

你很年轻，你是 1999 年出生的。现在团队成员也都很年轻吗？

团队里有资深同事，也有年轻同事，有比我大的，也有比我小的。

当你需要带一个团队时，会不会有疑虑？

当然会。能不疑虑吗？

但这是一个由小到大的过程。方向刚开始时，大家都不确定能不能做好，所以先让几个人摸索。很多 AI 公司都是这样：出现一个新方向，大家不知道该不该做，也不知道能不能有成果，就先派一个先锋开路，看看好不好做，大家有没有兴趣，能不能取得结果。

做着做着，如果出现一些里程碑，拿出 Demo，在榜单上取得出乎意料的结果，大家就会觉得这件事有意思，愿意提供更多支持。

当市场反响和商业化确定性逐渐出现，公司就会给更多产品和工程人员，提供更多资源，认为这个方向值得投入更多精力。

你可以继续讲。2023 年 4 月到 8 月做了 AgentBench，8 月之后呢？

AgentBench 发布结果后，我们自己也很惊讶，也意识到如果要对标国际领先水平，还需要做很多事情。

当时 ChatGLM 系列开源模型在 Agent 任务上已经处于闭源模型中游，但远远不够，和 GPT-4 还有不小差距。

当时国内最好的模型，在你们的 Benchmark 上是你们自己的模型吗？

是。很多事情如果你没有关注，就不会往那个方向优化，也不会去考虑相关问题。

现在 GLM-4.5 的 Agent 能力很强，是因为大家上下都非常确定，Agent 能力是必须完成的事情。我们不只是在后训练阶段做，从预训练开始就准备让模型更擅长完成 Agent 任务。

这不是某一个团队的工作，而是从模型、预训练、后训练到应用，整个公司一起努力的结果。

你继续讲后面的过程。

8. 在线强化学习带来纠错

完成 AgentBench 之后，我们开始探索怎么优化这件事。

预训练方面，当时完全摸不着头脑，不知道 Agent 能力究竟来自什么样的语料。我们做了很多实验，包括 coding 等，有些有效，有些没有效果，也尝试过合成数据。

但短期内，特别是合成数据这条路径存在一个问题：如果你自己没有一个好的 Agent，怎么生成数据？根本合不出来。

所以当时的想法是 Model as Agent：为什么模型能够成为 Agent？因为你先有一个 Agent，再通过合成数据把 Agent 能力迁移给模型。模型在预训练过程中接触了大量 Agent 数据，最终学会这种能力。

你的意思是，先用 AI 做出一个 Agent，它运行时产生真实数据，再把这些数据喂给模型训练。

对。

这不就变成鸡生蛋、蛋生鸡了吗？

现在 AI 的发展本质上就是这样。我们不断使用合成数据策略，但中间会有筛选过程。不是 Agent 生成的所有数据都好，要选出质量高的数据。

最开始没有 Agent 能力、无法获得合成数据时，就需要让它模仿人类，经历冷启动阶段。

从 2023 年 8 月到 2024 年初，我们重点做了 AutoWebGLM，可以认为是 AutoGLM 的前身。当时先从浏览器和 Browser Use 场景入手，看看这件事好不好做。

一开始数据非常少，即使 GPT-4 也只有 30% 到 40% 的正确率，遇到难一点的任务就无法完成。所以只能让 AI 先模仿人类专家浏览网页的动作。

比如让人去亚马逊找一双红色的鞋，还要满足特定产地，这件事具体要怎么做？先由人完成，再让 AI 模仿人类行为。

也就是人类构造数据、标注数据。

对。wikiHow、百度经验之类的数据有用吗？不是特别有用，因为它们都是静态的。

人类语言是一种高度浓缩的、原则性的表达，但真实世界变化很多。几句指导性的话人类能够理解，AI 却不知道怎么把原则实际应用出来。

你只能给它非常细的指令：这一步点击这个按钮，不用管为什么，先点了再说。

准确来说，这里存在 Planning 和 Execution 的矛盾。wikiHow、经验类内容属于高层次规划：第一步搜索，第二步找到分类并点击。但具体在哪儿搜索、怎么触发搜索、分类在哪儿展开，经验内容不会告诉你。

对人来说，写到这个程度就能找到；但对 AI 来说，理解还不够。

所以当时相当大一部分努力集中在执行层面：怎么教会 AI 准确地在屏幕上操作。我给它一张截图或一段 HTML，它要找到 exactly 对应的元素。

屏幕那么大，只要点偏一点，点出目标区域，就无法完成任务。最开始只能靠人类教它，但人类标注这种数据很麻烦。

第一，数据不好标，也没有现成工具；第二，训练需要较大数据量，对多样性要求也很高。如何构建又多、又高质量、又多样的人类标注数据，是一件非常困难的事情。

你们论文里写得详细吗？我设想中，你们应该会自己开发一个系统，提高标注的效率和产量。

论文写得很详细。我们采用了半自动和自动化融合的方式。

有些数据通过 AI 反向合成，有些让 AI 和人交替完成，或者让 AI 辅助人。比如 AI 给出候选点，人只需要做选择题。

做这些工具链的人，是算法同学自己顺手做，还是有专门的人？

一开始只能自己做。我甚至写过标注系统。

主要是因为如果算法人员不参与，就不知道模型需要什么样的数据。开始时通常是算法人员同时处理工程和算法，验证完成后，才会有工程师协助把这件事规模化。它本质上是一个从原型到成熟工具链的过程。

你继续讲 AutoWebGLM。

当时我们也采用了一些强化学习策略，但比较简单，可能是 DPO，或者偏离线的强化学习策略，还不是在线强化学习。

结果已经很令人印象深刻。我们应该是第一个基于开源模型训练的模型，几乎在所有当时的网页浏览任务上超过 GPT-4 prompting 的表现。

是在你们自己构造的 Benchmark 上超过，还是也包括公开 Benchmark？

两者都有。除了自己的 Benchmark，还有 Mind2Web、MiniWoB 等公开 Benchmark。到 2024 年初，已经陆续出现了各种 Agent Benchmark。

你们当时的强化学习是在后训练阶段做的？

对，主要是在后训练阶段。目前强化学习也还是以后训练为主，但现在大家会讨论预训练强化学习和中训练强化学习。这些还没有形成共识，大家都在做初步探索。

你们现在会在预训练阶段做强化学习吗？

现阶段预训练阶段暂时还没有涉及，主要还是在中训练和后训练阶段使用。

当时我们发现，通过更好的数据采集和离线强化学习，至少已经可以比 GPT-4 prompting 做得更好。

可以解释一下在线强化学习和离线强化学习的区别吗？

在线强化学习，就是一边做一边教；离线强化学习，则是全部做完之后再学习。

比如行为克隆就是一种典型的离线强化学习策略。数据是静态的，不会随着环境变化而变化。

在线强化学习则是每次给模型不同环境，环境不断变化，模型可以在过程中产生新的数据，而不是使用一个固定数据集。这就是 Offline 和 Online 的区别。

离线方法本质上是让模型更好地拟合人类轨迹。为什么需要用强化学习来拟合？因为人类操作一个东西时，每个步骤的重要性不同。

比如要不要滚动一下鼠标，意义可能不大；但如果只用 SFT 学习，所有步骤都会被赋予相同权重，这显然不对。有的步骤重要，有的步骤不重要，需要动态权重。

怎么学习这个动态权重？这就是离线强化学习解决的问题：估计每个步骤的 advantage，也就是动态权重。

但无论做得多好，本质上还是让 AI 模仿人类行为。模仿过程中，人类正确的行为和错误的行为它都会学到，没有用最终结果来监督。

这导致一个问题：虽然我们当时在很多 Benchmark 上超过了 GPT-4，但在 WebArena 上虽然也超过了 GPT-4，却远远落后于人类。

Mind2Web、MiniWoB 和我们内部构建的 Benchmark 都是静态的，有人类轨迹，评估的是 AI 预测和人类轨迹的接近程度。但它们不是真正评估：不给它轨迹，它自己完成任务，最终结果是否正确。

也就是说，评估的是过程是否相似、步骤是否相似，而不是最终有没有成功。

对。你可以想象，一个人的工作方式和你很像，不代表他一定能取得和你一样的结果。他每一步都差一点，最后就会差很多。

所以在真正以结果为导向的评估中，模型和人类的差距会很大。

WebArena 怎么测？

WebArena 很有意思。它把一些网站做成镜像，可以离线部署到服务器里。

比如让你去购物网站找一双红色的鞋，它不看你是不是每一步都像人类一样操作。你可以直接搜索，也可以打开鞋类分类，再从里面挑一双红色的鞋，两种方法都可以成功。

它的评估方式很简单：最后检查你已支付订单里是不是有一双红色的鞋。它完全看最终结果，不看中间步骤。

这和人的使用直觉最像。用户最终肯定只关心结果。

对。它有点像 A/B Test：不管你中间怎么做，只看最终结果是否达到预期。

当时模型在这个评测上和人类差很多，模型大概是 20 分左右，人类可能是 70、80 分。

所以去年四五月份，我们意识到必须在在线环境中用在线方式训练。

如果看离线数据集，会发现即使人类面对陌生网站，单步正确率也不到 100%。我最抓狂的一个场景就是苹果官网出问题时，我去看它的操作步骤。苹果的步骤经常写得很差，按照它的步骤也操作不出来，只能反复尝试。

即使是很专业的人类，也不能保证每一步都不出错，打错一个字也算错。但人类最终基本能完成生活中的各种任务，是因为有很好的纠错能力。

我做错了，会发现自己做错，退回来，再尝试其他方案，直到找到一个可行的解决方式。

如果只在人类专家轨迹上学习，模型不但学到正确行为，也学到错误行为。它会一错再错，因为没有机会犯错后自己纠正，也没有信号告诉它“你错了，要换一种方式”。

它只能在正确行为上学习，或者在错误行为上学习，没有中间态去探索。

那把错误数据排除掉，不让它学，不行吗？

那它会高度自信，认为自己每一步都对。因为历史上见过的步骤都是正确的，所以即使做错了，也会认为自己是对的。

训练时本来就要给正反例，但它可能会混淆。

对。你不能只让它见正确的内容。

一个人如果只和好人相处，从来没见过坏人，以后也分辨不了好人和坏人，会认为所有人都是好人。

强化学习很有意思的一点，是它可以迁移到哲学和做人上。人类本质上也是一种智能体，只不过在地球漫长的演化过程中，先辈付出了很多生命，经历了很多强化学习失败。

我今年早些时候采访马毅老师，他说从单细胞生物到智能生物出现之前，依靠物竞天择在环境中进行 DNA 进化，本质上就是一种强化学习。

对，我觉得进化本质上就是一种强化。人类也在历史上付出很多代价，才慢慢走到今天。

所以对 Agent 来说，如果不经历这个过程，我很难想象它能像人类一样解决复杂问题。在线强化学习就变得非常重要。

去年下半年，OpenAI 的 o1 和 DeepSeek 出现后，大家也发现，即使是推理任务，也可以用强化学习。

一开始大家有一种信念，认为应该用过程监督，教模型一步步像人类一样做。但现在看来，这和 Agent 的问题一样，并不完全正确。

模型会犯错，人也会犯错。不能强制要求它每一步都正确，而应该教会它犯错之后怎么改正。不是让它永远不犯错，而是让它学会纠错。

o1 和 DeepSeek 的启发是，在推理任务上也可以使用强化学习。

也就是数学、代码这类封闭域、单步的任务。

对。但它们和 Agent 任务最大的区别是，Agent 天然是多步任务。

数学中的定理、公理不会每天变化；代码也有相对固定的编译器，写成某种语法会得到相应错误。数学和代码的正确与否相对容易验证。

但在复杂真实环境里，比如把你放到一个从没见过的网站，让你完成一件事，你怎么知道该点哪个按钮？你得先点开看，看到真实页面后，才知道自己做对了还是做错了。

我不知道理解得对不对。强化学习本来更适合解决封闭规则问题，比如最开始的围棋就是封闭规则问题。用强化学习做代码和数学，似乎是更自然的想法。

对，但当时大家没有想清楚怎么做，没想好是否应该直接用结果监督。

大家觉得这样信号会很稀疏，也认为模型不应该推理几十万 Token，应该像教科书里的定理一样，简练、优雅、干净利落地证明，而不是不断试错、退回去。

有些人当时可能做了错误估计。后来有人把这件事做出来并公布，大家马上理解了：本质上需要用结果监督模型，而不是通过过程监督。

这件事你们之前做 Agent 训练时其实已经意识到了，也是用结果监督。

对。但 Agent 更困难，因为它不是封闭域任务，没有现成的数学规则或编译器。它只能在真实环境里跑一次，才知道页面长什么样，才能知道最终是否做对。

所以它的工程门槛和多步算法优化难度，远远大于单步推理任务。什么时候能在网页和手机上运行 Agent，可能就取决于什么时候能解决这些问题。

你觉得这件事的关键是什么？你今天早上演讲中提到两个关键：环境和合适的激励。

9. 环境和奖励决定训练上限

对。任何事情，只要能构建环境，也能构建合适的激励，就可以用强化学习把效果提升到比较好的状态。

比如 AutoGLM，要构造一个互联网电脑和手机环境，这件事有技术门槛，还是主要是细碎工作？

既有技术门槛，也很细碎。

最大的挑战是，强化学习训练不可能只用一台电脑。模型一开始什么都不会，失败概率很高，只能通过稀疏奖励引导它，所以需要扩大采样量。

比如一次采样 1000 条轨迹，甚至 5000 条轨迹。如果只有一台电脑，一个任务跑 10 分钟，采样一次轨迹就需要 5 万分钟，几乎一个月就过去了。

要让 1000 台电脑一起采样，既有算法难度，也有系统基础设施难度。

这也是为什么虚拟机方案很重要。训练时不可能真的搬来 100 台、1000 台物理电脑同时工作。

做虚拟机方案的人也在你们团队，还是在基础设施团队？

两边都有，也有外部合作伙伴。这件事需要比较好的云能力。

所以电脑端和阿里云合作？

对。阿里云做云电脑已经很多年了，无影也发布很多年了，我们和它们有很好的合作。

以前做 AI Chatbot 很简单，有一个模型和网页就可以。但如果希望 Agent 串联更多生活场景，带来更大的社会价值，工程和产品就会越来越重要。

当然模型仍然重要，但光模型进步可能不足以推动 AGI。

环境之外，构造合适激励的难度是什么？

这需要很专业的 expertise。

比如让我去淘宝买东西，我拿不到淘宝数据库，只能通过轨迹判断任务做得对不对。问题是，模型是否强大到只看轨迹就能判断任务结果？

还有更专业的场景，比如 Deep Research、行业研究、做 PPT。PPT 到底好不好看？研究的信息密度高不高？是否找到了正确的信息？答案是否正确？

如果只是问一些简单问题，AI 随便搜索就能知道答案。真正困难的是找到那些不能轻易搜索出来、需要复杂操作和推理的问题，让模型去学习。

这种场景的数据从哪里来？也是构造或合成的吗？

有合成，也需要很多人类协助提供知识。

整个过程仍然是 AI 和人类协同构建。比如 Deep Research，一个重要策略是利用网上网页、知识图谱，反向构造复杂 Query。

假设我先找到一个网页，里面记载了某支球队在某年某月某日，以什么比分击败了哪支球队。这个事实正儿八经搜索可能很难找到，但我可以通过反向方式，把网页信息标注成一个人类能够理解的 Query：

“某支球队在某年某月某日、哪个地方的什么比赛中，以什么比分击败了谁？”

听起来还是事实性搜索，只是比较复杂。

对。难点在于你不知道哪个网页记载了这件事，还要翻到具体日期。

很多信息是通过 JavaScript 实现的，比如选择日期。不是搜索引擎直接搜一句话就能得到答案，而是要进入网站操作。网站可能像一个数据库，你要操作它。很多网站都有类似功能，但有的网站有信息，有的网站没有，你可能要尝试很多次。

最终你必须真正看到那个页面，才可能答出答案。通过这种方式，可以有效训练模型完成复杂任务。

所以，构造合适激励的关键，首先还是要有各种各样的数据。

对。其次，人类现阶段提供 Reward 仍然非常重要。

人类有一个特点：有时不知道怎么做，但能判断做得好不好。你可能不会做产品，但能判断一个产品好不好用；你不会做菜，但能判断好不好吃。

AI 负责学习怎么做，人类告诉它做得好不好，以及应该怎么改进。

什么人在提供判断？

有很多数据团队成员，也有外部合作人员一起参与。

做这项工作可以有收入吗？

当然有收入。

那怎么才能成为这种人？市场上有这种服务吗？

这个问题要问公司数据团队的同学。现在没有特别现成的服务，基本上是自己去找人，问他们有没有兴趣，然后给他们规则，让他们判断。

数据标注一直大差不差，只是现在标注任务越来越困难。如果没有专业知识，可能连去哪个数据库找信息都不知道。

比如让模型写一篇古文，普通人可能觉得写得挺好、挺古色古香，但研究古代中文的博士生一看，可能会说写得完全不对，根本不是那个题材。

现在的模型在每个人自己的专业方向上可能还没有达到很高水平，但在其他领域吊打人类，可能已经足够了。

就像乒乓球里最会拉小提琴的人，和小提琴领域最会打乒乓球的人：在你擅长的领域里，它可能不行；但在你不擅长的领域，它可能随随便便就能超过你。

所以关键就是环境和激励。

对。

我们先把过程讲完。应该已经到 2024 年 9 月了？

对。到了那之后，我们非常确定，接下来重点应该放在在线强化学习上，并解决环境和 Reward 的问题。

2024 年 10 月底，我们做了初步验证，但规模还很小，同时并发运行的环境可能只有个位数。算法虽然是在线算法，但更新速度慢、效率低，只能在单应用上完成简单任务，不能完成复杂任务。

那个阶段 AutoGLM 已经发布了，对吗？

对，内测版本已经出现了。大家当时已经觉得，做一个能够操控手机的智能体很有意思。

之后，一方面公司开始考虑商业化，也开始从硬件厂商和主机厂商的角度，看这个能力能不能帮助它们。

和荣耀合作也是那个时候？

对，发布前后开始接触，之后还有更多合作在推进。

另一方面，我们更希望把算法变成真正大规模可用的东西。AIGC 还很新，市场教育需要时间，技术本身也不完全成熟，需要更多用户和合作伙伴一起推进。

大家要从工程稳定性、算法可靠性、用户理解程度和便利性等角度共同优化。

所以慢慢走到了今天。工程上，我们实现了不抢占手机屏幕、不抢占电脑屏幕的异步运行方式，可以全天候、长时间为用户工作。

算法上，我们实现了更大规模、能够适配大规模模拟环境的在线强化学习算法，取得了显著提升。

现在使用手机应用时，你会发现去年版本如果一开始点错，就会一直点错，不会回头，也不会停下来。

今年的版本则会自我纠错。比如它要点外卖，却点到小羊超市或其他入口，它会发现这不是要去的地方，自己退回来，重新尝试。

如果网络原因没有加载出来，它也会再试一次。你会看到这次应用中出现了很多模型自我纠错的能力。

这非常重要。去年版本在理想情况下可以运行，但现实中会受到网络波动等因素影响，无法交付稳定体验。我们花了很长时间，通过在线强化学习不断迭代和改善这个问题。

国内最早讲 Agent 的其实是智谱，但你们没有出圈。你们 2024 年 10 月就讲了这件事，真正出圈是在今年 3 月 Manus 那一波。你们当时会着急吗？

不能说着急，觉得挺好的。

我本人是算法出身，可能在产品上缺少一些想法，也没有想好怎么告诉用户“这东西已经能用了”。他们比较早地做了这些事情，对行业有很好的带动作用，也让更多人理解 Agent。

以前大家听都没听过，现在至少听过了，只是不一定知道它是什么。以前不会有人问我，你们圈子是不是在做 Agent；现在有人会问了。

这件事正在慢慢成熟，大家一起做出一些努力，我觉得是好事。

10. 个人 Agent 连接服务网络

长期来看，Agent 市场会是什么格局？实际大家会使用多少 Agent？

我觉得会分几类。

第一类是 Personal Agent，站在用户这一边，管理用户的生活和工作。甚至不一定只有一个，可能有三四个，每个负责不同的事情。

第二类是应用和服务的垂直 Agent，帮助应用更好地服务用户，也可能和用户的 Personal Agent 交互，简化交互流程。

我们现在通过 GUI 操作，速度肯定还是问题。如果我刷一下就能完成，用户当然天天用。但如果通过 Agent to Agent，让我的 Agent 调用你的 Agent，双方都能简化沟通成本和时间，那当然是大家都愿意做的事情。

第三类是各种设备和硬件上的 Agent。具体取决于硬件算力的发展，也可能接入现成的个人 Agent，或者接入垂直 Agent。

总之，这些东西最后都会串联起来。以后每个人都是一个 Boss，有很多 Assistant，围绕着用户工作，和其他 Agent 沟通，完成用户想做的事情。

从人的使用习惯来看，一个公司老板直接管理的人数通常不会超过 8 个，每个人都有管理范围。

所以未来经常使用的 Agent 可能也有数量限制，就像我们常用的应用不会特别多。这个竞争会很激烈，因为大家都想要新的入口。

我觉得这件事更偏实际商业和产品化。但从我个人角度看，要讨论入口竞争，前提是模型和工程真的达到足够聪明、足够便捷的水平。

现在只能说达到一个初步里程碑，还有很长的路。

而且归根结底，刚才讲的这些都是 AGI 的副产品。如果实现了 AGI，这些事情都会变得相对简单。最终可能起决定作用的，是谁的 AGI 更强。

用户永远会选择更聪明、更厉害、更有智慧的系统。大家更应该关心的是，如何在这个过程中让 AI 变得更智能，从根本上推动人类社会的生产力和生活质量。

11. 产品化仍有多重门槛

从现在的 Agent 能力，到它变成一个真正好用的产品、入口竞争开始变得激烈，中间还差什么？有哪些具体指标需要提升？

首先是模型能力。比如我们在 OSWorld 电脑 Benchmark 上，应该已经是单模型里最好的，成功率 48%，但人类大概有 70% 的成功率。

OSWorld 测什么？

它测试使用电脑上各种应用的能力，包括 Office、Chrome、邮箱管理系统、网页浏览，以及把内容整理到表格里等任务。

我们接近 50%，是 48%；人类大概 70%。这说明还有很大差距。而且这个 Benchmark 也不能算特别有挑战性，还是相对基础的 Benchmark。

接下来肯定会出现更难的 Benchmark，大家还需要继续努力。

你觉得提升模型智能，主要靠在线强化学习？

对。我觉得现在阻碍 AI 学会一件事情的，主要就是环境和 Reward。

这是业界共识，还是你们自己的想法？

我觉得还挺共识。OpenAI 最近有研究员经常说，要找非对称可验证的任务。大家多少都有这个感觉：强化学习很好，关键是找到现成的环境和专业知识，然后把强化学习应用进去。

Jason Wei 写的那篇博客？

对。

他现在还在 OpenAI 吗？

他去了 Meta。

对。还有 Murati 出来创业做 Thinking Machines，本身也很关注 RL to B。

对。OpenAI 圈里的人应该很清楚，为什么要做 RL to B：就是找一个现成环境，再找到 expertise，把 RL 应用进去，很多事情就能解决。

所以 RL to B 背后的本质，就是环境和奖励。

也就是找到一个具体场景，把这两个问题解决好。

对。但这两个问题看上去简单，其实并不容易，也不是一个机械的过程。至少现阶段还没有 SOP，可以直接构造出来。

你今天还提到端到端强化学习。你强调“端到端”，是不是因为不希望监督过程，而是直接用最终结果验证？

对，直接用最终结果验证。

除了模型性能，还需要提升什么，才能达到入口竞争的状态？

还有基础设施。比如网络带宽、运营商基础设施、云端虚拟设备的稳定性，以及很多规范和标准。

这不可能只是我们把设备做好，应用厂商就什么都不做。大家需要共同建设。

比如手机厂商会告诉应用厂商这是自己的设备，我们也希望和应用厂商建立类似机制：明确告诉它们，这是一个 Agent。应用厂商可以对 Agent 做更多行为管控，避免它做出不希望的事情，同时也应该允许它完成能够带来订单和流量的事情。

这样对各方都有好处：应用厂商获得更好的订单和流量，用户获得更好的体验。

你们也在和 App 讨论 API 合作。你提到 API 存在搜索、绑定个人账号、支付之间链路断开的问题。这部分是你们来解决，还是应用厂商来解决，或者双方一起解决？

应该需要一起做。这没有那么简单，而且还处在早期阶段。

我们也会和支付伙伴交流，大家都很感兴趣，但还没有头绪。因为目前没有一个样板工程可以验证：用户希望用什么方式，具体会在哪些场景使用。

所以这涉及很多行业和各方，需要大家共同推动。

但我还是很乐观。很多场景非常合理，用户一想就会觉得确实很痛，而从技术角度看，现在能力已经基本准备好。各方一起推动，创造价值，应该会比较顺畅。

另一个我比较关心的问题是成本。你们现在完成单个任务的成本大概是 0.2 美元，对吗？

对。

但这次是免费给大家用。如果开放之后很多人使用，你们有没有预算上限？

坦率说，现阶段暂时没有。

最后可能还是会受资源量限制，服务器可能变得很繁忙。如果使用人数很多，可能出现这种情况。

但我的想法是，我们希望让更多人把 Agent 从一个只闻其声、不见其物的东西，变成每个人都能切实体验到、并且被它触动的东西。

这也是我们希望为整个行业做出的贡献：让人人都能用上 Agent。这件事很重要。

最后再重复一下问卷征集信息：晚点发起了一份轻型小问卷，只有十几个选择题，我们想了解 AI 应用产品在模型调用方面的真实现状，到底在不同场景中哪些模型被用得最多、最受欢迎。问题不涉及产品名称等敏感信息，问卷链接和详情见 show notes，欢迎晚点聊听友中的 AI 产品开发者和创造者来填写，感谢。

Thank you。本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。

按照你们的测算，单个任务成本降到多少，商业上才比较合理？

我没有仔细测算过。但大模型产品可能都类似。

搜索已经被验证是可以商业化的场景。搜索成本大概是 0.02 美元一次，当然统计口径不一定完全一致。Google 搜索可能就是这个数量级。

如果 Agent 能达到 Google 搜索的成本，毫无疑问，它创造的价值会高于一次搜索创造的价值。这一点应该没有疑问，只是价值如何变现、钱如何支付，现在还不清楚。

可能是订阅、广告，或者其他方式。这个闭环还没有确定。

当然，Agent 完全达到一次搜索的成本，可能性也不大，成本可能更高。但这取决于规模效应。使用人数越多，单次成本就能压得越低，具体能降到什么程度，需要市场运行之后才能观察。

AI 行业仍然在光速发展。这两三年，能力从连一句完整的话都说不好，到现在可以完成这么多事情，变化非常大。很多外界看起来突然发生的跃迁，其实在行业内部是长期积累到一定程度后的自然结果，大家对大致路线都有判断。

你们现在单个任务成本 0.2 美元已经比较低了，是因为支撑 AutoGLM 的模型比较小吗？

模型规模缩小是一部分，也有整个工程团队的优化。

我们公司的推理团队非常强，能把事情做得超出想象。比如 GLM-4.5，价格也非常低。一个接近 Claude Sonnet 水平的模型，输入每百万 Token 的成本可以做到 2 美元，还是 4 美元，我不记得了。

这个定价对你们来说肯定还是有利润的。

肯定有。公司不会做亏本生意，未来也还有进一步优化的空间。

产品还有 3 天就要和所有国内 C 端用户见面了。你现在最忐忑、最担忧的事情是什么？

最担心的还是工程稳定性。

这条链路比较新，真正把它跑通的公司，全世界可能一只手就能数过来。OpenAI 肯定在做，ChatGPT Agent 已经发布；海外也有一些创业公司在做。比较有名、偏基础设施层面的有 E2B，它们做得很好，也服务了很多创业公司。

Google 内部应该也在做类似事情，但目前可能还处于水下研究状态。

所以把产品端出来，我们还是非常忐忑。

那比较期待和兴奋的是什么？

首先，这次大幅降低了使用门槛。以前内测版需要邀请码，还会要求用户开启很多复杂权限。90% 甚至 99% 的用户可能都不知道怎么开，而且不同设备的权限开启方式也不同。

所以很多人对 AutoGLM 的理解只停留在视频表现，没有真正用过。

这次是全端上线，不再局限于安卓手机和特定版本，大家可以在所有端使用。

最后，我最兴奋的是希望看到更多神奇的 AI 硬件接入 AutoGLM。我自己也用 AI 智能眼镜，特别希望能用 AI 眼镜玩手机，希望这件事尽快走入千家万户，让大家都用上这种能力。

你期待收到什么具体反馈？

首先，我很关心大家会希望用产品完成什么事情。

移动互联网时代有一个特点：在东西做出来之前，用户根本不知道自己想要什么。这种情况很普遍。

所以我们愿意把一个还有缺陷、甚至确实存在很多缺陷的产品端出来，是希望获得大家反馈，了解大家想用它怎样改造自己的生活和工作。

这对我们来说最有价值，对实现 AGI 也最有价值。

第二，我们希望通过这次发布，找到更多愿意和我们一起努力的合作伙伴，包括各个方面的伙伴，一起探索如何把 AGI 从技术变成产品，最终变成能够给整个社会带来巨大效益的东西。

你们接下来一段时间的计划是什么？

第一，我们正式上线后，希望持续推动 AGI 的发展，建立定期迭代机制。比如每 1 到 2 周持续给用户带来新的 Feature，真正为用户创造日常价值，让大家从 Agent 上获得更多收获。

第二，我们希望和更多开发者、应用、厂商以及合作伙伴一起探索。它不只是直接面向消费者提供服务，也可以为更多合作伙伴创造价值，大家共同把这件事做好。

第三是算法持续迭代。我们最核心的目标仍然是 AGI。只要实现 AGI，或者实现一个真正 smart 的智能系统，很多工程问题就只是时间问题。

你怎么理解 AutoGLM 和 AGI 的关系？

在 AutoGLM 的路线图和公司自己的 AGI 路线图里，Agent 都是重要的一环。我们只有把这个台阶踩实，才能迈向下一个阶段，这是现在必须完成的事情。

而且我理解的 AGI 是一个范围性概念。它比较模糊，不是一个点，而是一种感知。

从一部分人觉得已经有 AGI，到所有人都确认这是 AGI，中间有一个范围。在这个范围里，模型能力会不断提升。

当我们实现一个能够 24 小时自主、稳定运行，以普通同事或普通助理的水平，完成生活和工作问题的 Agent 时，我认为它已经触到了 AGI 的下限。

至于怎么推动到 AGI 的上限，还需要更多努力，让更多人认可这就是我们想象中的 AGI。

所以一个好用的、24 小时服务用户的 Agent，你觉得已经触到了 AGI 的下限。

对，我认为触到了 AGI 的下限。

你们这次云端的 UI 设计我觉得很有意思。黑暗之中有橙黄色的光蔓延开来，很像曙光刚刚照到地面，也像你刚刚说的，慢慢蔓延到一部分人，让他们感受到 AGI 到来了，再让更多人被光照到。

很多社区的人也会说，AGI 其实已经到来，只是还没有平均分布，没有 evenly distributed。

我们希望做的事情，就是让更多人看见这个未来，大家一起为这个未来努力，真正推动它诞生。

今天非常感谢你做客《晚点聊》，分享 AutoGLM 的开发过程、思路变化，以及马上要和所有人见面的 AutoGLM。它可以在云端和手机端使用，能做到什么，以及接下来可能如何进化。

今天的节目就到这里，谢谢各位收听。

谢谢大家。

本期重点呈现两个内容：第一是 Agent 的入口竞争，第二是强化学习的威力。

在第 117 期节目中，我们和明势资本合伙人夏宁详细讨论了他看到的 AI 通用入口大战，可以从不同终端和场景来看竞争格局。

在 Web 端，对应的硬件是电脑。OpenAI 做 Deep Research 和 Agent，Anthropic 主攻 Coding Agent，Devin、Manus、Jasper、Park 等创业公司也有一席之地。这些 Agent 主要帮助我们完成知识生产工作，提升白领工作效率，这是大模型技术目前更容易覆盖的领域。

到了移动端，之前并没有非常成型的产品。移动端通用 Agent 的技术难度更高，因为手机上的很多任务不是知识生产，而是要调用各种 App，甚至调用线下服务，还会涉及付款和交易，对安全的要求也更高。移动端 Agent 能使用的算力、存储和网络性能，也受到手机硬件限制。

移动端的商业博弈更复杂。比如美团这样的公司，初期可能会对介入其他 Agent 有疑虑，因为它们当年就是从试图打造通用入口的微信九宫格中成长并逃离的，不会想再回到九宫格里。

在手机这个兵家必争之地，接下来会有一些有意思的变化。比如开头提到，字节正在酝酿豆包手机。它的意义可能在于三位一体：字节同时拥有大模型、超级 App 和硬件能力，可以带来更深入的整合。

如果未来看到豆包手机，也许会发现它很可能给豆包大模型单独留一个实体交互按键。

再往下，移动端还会有新的硬件载体，一个热门候选是智能眼镜。这里有更多空白：还没有已经成气候的硬件厂商，也没有非常成型的超级 App，当然也有更多不确定性。

小米、华为本身就是硬件厂商，字节也在探索智能眼镜。夏宁判断，从 Web 端到手机，再到眼镜，Agent 的数量会越来越少。

对于眼镜这样的新硬件，可以从零开始把操作系统直接做成一个 Agent。对大部分用户来说，至少在一个设备上，可能只需要一个直接与之交互的 Agent，这就是所谓的 AI 入口。

总之，当 Agent 具备从 Web 端到移动端的能力后，更激烈、也更多样的竞争即将拉开帷幕。这会是一场很有看点的商业戏剧，也会切实改变我们的日常生活。

第二是强化学习。这是去年到今年我们在多期节目中反复聊到的话题。

在去年底的第 96 期节目中，小马智行 CTO 楼天城分享了为什么在 L4 级别的自动驾驶中，模仿学习存在重大瓶颈，必须从 Learning by Watching 走向 Learning by Practicing。

第 108 期中，香港大学马毅老师把地球上初级生命的进化过程视为一种强化学习：DNA 在环境中接受正负反馈，靠生生死死不断迭代。如果类比一下，这也许更像本期聊到的离线强化学习。

第 117 期中，我们和 Poke.ai 的创始人朱哲清（Bill）专门聊了怎么用强化学习做 Agent。他的思路是用强化学习做 Agent 的后端，用大语言模型做与人交互的前端。

智谱接下来也会继续用强化学习增强 AutoGLM 的能力。大模型架构与强化学习方法的结合，能把互联网、汽车和机器人上的智能推到多远？这个问题的答案，会决定很多人的下一步行动。