泓君
如果说2025年是Agent的元年,2026年行业有一个有意思的变化:市场从开始讨论模型的能力,变成越来越多地讨论Agent的工程问题,出现了一个从关注科研到关注工程的转向。
曾经疯狂带头烧Token的硅谷公司,现在看起来也慢慢冷静下来了。Uber用4个月烧穿了全年的AI预算,Meta计划限制员工的Token消耗量。与此同时,中国有一批开源模型——DeepSeek、GLM、Kimi——它们的模型能力越来越逼近第一梯队,硅谷的公司也开始把它们搭进自己的工作流。
1. Token消耗不会停,更复杂的网络还在后面
所以我们有一个问题:最大化Token的消耗、无脑使用最强的模型,还是市场的最优解吗?这集我们就来聊一聊,从Token Maxing到Token Efficient,这背后正在发生的整个Agent工作范式的变革。
今天跟我在一起的两位嘉宾,一位是黄东旭。东旭是Llama Ventures的合伙人,也是PingCAP的联合创始人和CTO。还有一位是张宏江老师。宏江老师是Llama Ventures的高级技术合伙人,也是美国国家工程院的外籍院士、微软亚洲研究院创始成员之一、北京智源人工智能研究院的创始人,以及前金山CEO。
宏江老师,非常荣幸您能来做客我们的播客。
张宏江
谢谢,非常高兴有机会跟大家见面。
泓君
在开始的时候,两位要不要先简单介绍一下自己?
黄东旭
我是东旭,PingCAP这边的CTO和联合创始人。最近有了一个新的身份,就是Llama Ventures的合伙人。我的自我定位肯定还是一个工程师。大家都知道Harness和Agentic Coding,我也是第一时间拥抱这类技术的人。
第二,我是一个创业者,一直以来都在做从0到1的事情。在基础软件行业,PingCAP和TiDB是分布式数据库,从北京开始起步,慢慢地客户遍及全球。
第三个身份,是因为我是一个好奇心比较重的人,很喜欢自己去做一些东西,比如音乐、艺术。总之,这是我的几个身份。
泓君
因为今天我们要讲Token这个话题,我觉得请东旭来我们的播客,主要是因为你是真正在玩Agent的人,一直在用,也一直在搭程序。所以我觉得,你应该会有很多一线实战经验可以跟大家分享。
我也用一句话介绍一下我心目中的宏江老师。其实我人生的第一份工作就是在微软亚洲研究院,当时我还是一个实习生。那时候宏江老师正好在亚研院,处于工程院刚成立的阶段,是我心目中的大科学家。
所以现在非常荣幸,能够在Llama Ventures里再续前缘。宏江老师,大家好。
张宏江
大家好,我是张宏江。我现在是一种退休的状态。
两年前,大家看到了这一波由AI推动的新技术浪潮。在这波浪潮中,华人起了非常关键的作用。尤其是在大型实验室里,无论是OpenAI、Anthropic还是Google,至少在技术上,这些华人都是骨干,甚至是挑大梁的人。
同时我们也看到,在这一波创业浪潮里面,华人的比例也非常高。无论是从大陆过来的,在这边上学、毕业、然后在大厂工作的,还是就在这里长大的二代、三代华人,创业的人都很多。
尤其是对于原来背景在大陆、到这里留学的华人来说,他们作为第一代移民,在创业过程中会遇到各种各样的困难。其中一个很大的困难,实际上就是能不能得到他们所需要的资金。
两年多以前,我正好碰到了Llama的一个机会,希望能够以顾问的方式,跟Llama的团队一起来做这件事。
我之前最早是在新加坡做研究,后来在美国做研究,然后回到中国,跟开复等人一起创建微软亚洲研究院。从研究院做基础研究,到工程院做产品研发,后来出来做金山的CEO。退休以后,我又做了一系列顾问工作,之后创建了北京智源人工智能研究院,中间还花了很大的工夫,做源码资本的投资合伙人。
我整个职业生涯中学到了很多,也有很多经验和教训。现在也希望能够在美国,和所有创业者一起分享这些经验,帮着大家在这一波技术革命的浪潮中寻找自己的机会。
泓君
2. Token maxing,是泡沫吗?
我觉得AI这一波,肯定是一个实实在在提高生产力的技术革命。但是现在大家的基础设施投资也非常迅猛,包括我们今天马上要聊的Token Maxing策略,大家也在疯狂地烧Token。
您觉得现在整个大市场里,是否存在一定的泡沫?还是说,您觉得现在的基础建设还远远不够?
张宏江
去年12月,我在另外一个采访里面也被问到过这个问题。当时我就说,没有泡沫。
2024年年底的时候,大家怀疑Scaling Law是不是撞墙了,也怀疑是不是存在过度投资。但事实上,我们今天回头看,远远还没有达到过度投资的程度。
我们所面临的是一场非常基础性的革命。你可以把它跟互联网最早期的基础设施建设相比,也可以跟当时美国快速发展时期建设铁路网和公路网相比。今天从绝对数来看,投资额毫无疑问超过了它们,但如果从占GDP的比例来说,其实比那些时期都小。即使从宏观角度看,也远远没有到所谓过度投资的程度。
另外一点,Token虽然很贵,但Token的消耗量增长得非常快。还有一点大家忘掉了:Token的价格在过去几年一直以每年下降10倍左右的速度变化,无论是英伟达芯片的进展,还是其他方面的技术进展,都是如此。
所以我依然非常有信心,不觉得存在太大的泡沫。当然,你说股票市场是不是存在泡沫,那是另外一回事。但是技术的发展和应用的发展,我不觉得存在什么泡沫。
也正因为这一次革命的浪潮如此之大、如此迅猛,很多潜在用户,包括很多大企业,都有一些不知所措。无论是一开始放开Token让大家去试,还是突然发现Token用量可能超过当初的想象,然后开始往回缩,这都是一个很自然的过程。
因为AI的能力如此强大,到底先把它用在公司里的哪个环节、先提高公司哪方面的效率,实际上仍然是一个探索过程。但是因为速度来得太快,所以有时候大家会觉得有点不知所措。
泓君
东旭,你有补充吗?我看宏江老师刚刚说没有泡沫的时候,你立刻比了一个大拇指。
黄东旭
是的,我完全认同这个观点。
今天我们看待AI这波基础设施,就像上世纪五六十年代看待刚刚诞生的计算机:一个房间里的电子管又大又贵。但是你想象一下,那时候还没有个人计算机,很多需求其实是有了充分的基础设施之后才会诞生。而新的需求诞生出来以后,又会刺激更多基础设施建设,或者更新的基础设施技术出现。
所以我觉得,这还远着呢,还有很多事情可以做。
第二,从微观的工程角度,哪怕是从今天的架构来看,我觉得也还有很多事情可以优化。比如模型推理、Agent框架对Token的高效使用,其实还有很多优化空间。
只是因为今天的需求和市场预期是:我们先发散,不要顾及花多少Token,先看看有哪些低垂的果实可以摘回来,之后再考虑优化。短期可能会有一个小的回落,但从长期来看,仍然有大量需求还没有被人看见。
泓君
我们今天录这期播客的时间是2026年7月4日,正好也是一个市场的转折点。
就像刚刚宏江老师提到的,最开始大家发现这波AI浪潮到来的时候,Jensen Huang在GTC上说,他要求每一个工程师都要烧很多Token、产生很高的Token账单。Meta也有一个Token排行榜,看哪些员工烧的Token最多。
所以我觉得,在过去8个月里,整个硅谷使用AI的策略,可以叫作Token Maxing——最大化使用Token,最大化地去看大家能把Agent用到什么程度。
但是到今天,我觉得市场又开始出现了一点转折。比如Uber给员工发放Token额度,后来又因为成本问题收回去了,基本上4个月就烧穿了全年预算。
前几天我去Stripe,跟他们负责AI落地的人聊,他们给我看了内部的大模型界面,上面写着:“Opus 4.8很贵,使用时可以节省一下成本,先用其他模型,不是所有任务都要使用这个模型。”打开页面以后,这个提醒就会直接弹出来。
所以我觉得,今天聊这个话题的时间点很好:怎样更加经济地使用Token?而且我觉得,这背后可能也包含着一系列Agent的变革。
3. 亲身体验:只选最强最贵,日烧四五百美元
东旭,你一直在玩AI Agent。你有没有经历过一段时间,反正就是无脑使用最强模型的阶段?那时候有没有出现过账单爆掉的时刻?
黄东旭
当然有。我先说一下自己Token Maxing的历史,虽然我现在可能已经不属于Token Maxing流派了。
我当时属于无脑使用最强模型,也不愿意花太多时间在一个不太行的模型上做复杂工作流,而是直接相信模型的能力。我大概从去年的11月份开始做了几件事情。
第一,我开始用Opus从0到1构建一个我能想到的最复杂的软件。因为我一直做数据库,尤其是分布式数据库,它其实是最复杂的一类系统软件。我想看看,当时的AI对于这样复杂的大型系统来说,边界到底在哪里。
在这种最复杂的任务上,我没有办法非常精确地评估最强模型和第二强模型之间的差别。所以对你来说,最好的策略就是永远选择最好的模型。我觉得今天仍然有同样的问题。
大家对于模型能力的评估,基本上只能看Benchmark。但大家知道,Benchmark很多时候是可以刷榜的。当你在做一些不太确定、但又知道非常难的事情时,一定得使用最强模型。
大概在去年11月份那个时间点,Opus和GPT-5.1对于第二档Coding Agent是断崖式领先的。开源模型基本上只能做一些简单的事情,比如“1+1等于2”可能还行,但真正要做复杂软件的编程、改进大型项目,那时候完全不行。
所以我觉得,Token Maxing在那个时候是一个好的策略。但后来这个策略在社区里被大家误解了。我觉得Token Maxing是一个结果,有点像滞后指标。经过思考之后再去Token Maxing,你可以产出一个很好的结果。
但是像刚才提到的,很多大公司,包括Jensen Huang,都说大家一定要疯狂地用Token。我觉得这里面有两种疯狂的用法。
一种是你知道自己在做什么,进行了很好的设计,然后疯狂地使用;另一种是你不知道自己在做什么,只是觉得公司有一个排行榜,我必须把它刷到第一名。于是就出现了很多无效调用。
尤其在大公司里,只要领导提出要追求一个排行榜,大家一定会去刷这个榜。我当时在Meta和NVIDIA提到Token Maxing时,第一秒就想到,这个问题一定会出现。
泓君
你刚刚提到去年11月份,你用最强的Agent完成了一个自己能想到的最复杂的软件。那个时候你的账单大概是什么情况?可以透露吗?
黄东旭
当时我一天可能要花掉400到500美元。
泓君
一天400到500美元?
黄东旭
对。而且这一天400到500美元,还是在我已经订阅Claude Code Pro Max的情况下。Pro Max每个月200美元,除此之外还要继续往上加。
因为它有每日和每周的用量限制,用完以后就得自己掏钱购买额外用量,所以当时用得还挺疯狂。
泓君
它帮你提升了多少效率?
黄东旭
我觉得是不计其数,钱花得非常值。
举个例子,很多事情是从0到1的。有些事情我觉得自己肯定做不出来,但是用上最强的AI以后,它能让我做出来。你说它的ROI是什么?
比如我做的那个软件,在公司内部,我们的销售团队已经期待了很长时间。我确定,如果这个东西做出来,质量做到七八十分,一年可能就能带来1000万美元的直接收入,因为客户就在等着。
只是以前我受限于人力和技术水平,做不出来。但今天我一个人,花3个月就做出来了一个销售额可以达到1000万美元的软件。
泓君
一个人,3个月,做出一个千万美元级别的软件?
黄东旭
是的。我觉得今天完全可能。这样算下来,ROI其实非常高。
这是一个真实的例子。那个项目叫db9,是我新做的一个云原生分布式数据库,时间大概是从去年12月到今年3月。
泓君
差不多也是OpenClaw出来的那个时候。
黄东旭
对。
泓君
4. OpenClaw:从研究到工程的转折点
后面OpenClaw有帮上忙吗?
黄东旭
没有。OpenClaw是另外一个故事,它更像个人助理。
最早的时候,我不太想让OpenClaw来写代码,因为它的产品设计并不是针对重度软件工程的。它更像是连接各种现实世界,通过Agent能力去操作工作和生活中常用的流程,更接近个人助理。
泓君
所以OpenClaw真正出来以后,你反而觉得它在编程上没有帮你太大的忙?
黄东旭
在编程上没有。日常生活中,我觉得它肯定是一个很好的东西。
当时我觉得,它代表了一个信号。对于一些玩Agent很久的人,比如从Claude Code开始的这一波弄潮儿,OpenClaw的出现只是把Claude Code、Codex这类编程Agent代表的理念——Agentic Loop加工具调用——变成了一个更通用、对普通用户门槛更低的东西,相当于让Agent走进了千家万户。
我觉得,OpenClaw的作者Peter能够花一个星期把OpenClaw做出来,对我来说最大的意义是,它宣布大模型的能力跨过了一个坎。它的推理能力和编程能力足够强,使得一个有经验的架构师级别的工程师,能够用它在很短的时间内做出一个系统。
包括刚才我说的,3个月做出一个复杂的分布式数据库,这标志着大模型的能力真的可以落地应用,真的可以开始提升效率了。大家可以真正把关注点从大模型本身转移到大模型的运用上,包括编程,以及用它来做其他系统。
另外,我刚才强调Peter是一个架构师、软件工程师,而不是科学家。这意味着,你未必需要那么深入地理解大模型本身的机理,就能够用它来做自己想做的系统。
这标志着从研究进入工程,从模型进入Agent。
泓君
这个总结特别好。你觉得是哪一版模型的能力实现了这样的跨越?
黄东旭
Claude的Opus 4.5,去年11月份。
泓君
我是从GPT-5.4开始用的,大概是去年七八月份。
黄东旭
对。我记得去年OpenClaw出来的时候,遇到了很多创始人,他们会给《硅谷101》写信,说像OpenClaw这样的Agent产品他们也搭建了,也能写,效果不比它差。
所以当时为什么是OpenClaw火了?我觉得很多事情事后诸葛亮总是能解释得通,但我可以从一个开源爱好者的角度说一下。
首先,OpenClaw是一个开源软件。开源在今天天然更具有传播力。当你做一个Agent,如果它是闭源的商业产品,大家可能会觉得这是不是广告;但如果是一个民主化的开源软件,每个人都可以用一用,它的传播力,尤其是在极客圈子里,就会非常强。
一开始大家看OpenClaw的传播,主要是在极客和工程师的小圈子里,之后慢慢扩圈。这些人多少对商业软件、闭源软件或者平台型软件有一点抵触心理。
但OpenClaw一开始的理念是Local-first:所有隐私相关的东西、所有数据,都要在本地配置好。我非常理解,作为一个硬核开源工程师的Peter为什么会做出这些技术选择,因为这些选择完全是极客会做出的选择。
而且极客圈子的传播力还是很强的,有点像当年的Linux。
张宏江
我当时看过Peter的一些访谈,他有一个想法挺特别。他说,自己其实可以把个人所有的东西、所有隐私都交给AI。正因为他给AI开放的权限如此之广,所以他才认为把这些信息资料配置在本地是非常重要的。
泓君
然后我觉得还有一个临界点,就是当时Claude又升级了一次模型。至少从我当时使用的感受来说,那一版模型的智能跟前几版相比有天壤之别,效果非常好。
那个时间点大概是2月份、春节的时候。但其实作为工程师,去年11月、12月已经感受到这个浪潮了。我记得Peter自己也说,那时候他用Claude进行Vibe Coding,一直觉得像OpenClaw这样的东西已经准备好了,可以做出来,而且用户也会需要。
但是他当时认为,这一定是大公司会做的事情。他等了几个月,想不明白为什么大公司还没有做,所以就把它Hack出来了。
张宏江
是的。这个故事也说明,当大势准备好以后,需要有人捅破一层纸,而OpenClaw正好捅破了这层纸。
另外,当时开源这件事以及它形成的社群也很有意思。OpenClaw出来以后,几天或者一周之后,立刻出现了Moltbook,相当于Agent的社交网络:你的OpenClaw和我的OpenClaw可以在一个社交网络里互动。
泓君
这种爆发来得非常快。
张宏江
对。中间发生的这些事情本身也是非常好的传播事件,包括他们成立了几个教派,很快大家又推选出了几个先知。这些事情让人们突然意识到,Agent本身的能力已经达到了我们之前想象的那种自主程度。
我觉得这就是OpenClaw能够快速传播、快速进入每个人生活的原因。
另外从时间点来说,大家使用Chatbot已经3年多了。Chatbot只能跟你交流,却不能替你做事。这时大家从Claude Code看到,Agent可以开始做一些事情;OpenClaw的出现,正好让大家意识到,你在PC上和手机上做的日常事情,Agent基本上都能做。
泓君
它有哪些不足?刚才宏江老师也提到,Peter一个人Vibe Coding了一个星期,出来的东西他自己可能也完全没看过代码。
其实很有意思。Peter在某个时间点应该是Anthropic的个人用户,他的Token消耗量据媒体报道,30天内API使用金额高达130万美元。
黄东旭
那是在他做OpenClaw之前吗?
泓君
对,在那之前。他一直在玩这些东西。
黄东旭
他一直在玩,东西做得很快,但质量没有经过精雕细琢。给极客使用没问题,但当广大用户都在用时,各种配置的难度、系统稳定性就会成为问题。
这给我的第一个启发是:今天很多人说,任何人闭着眼睛都能Vibe Coding。一开始我觉得OpenClaw这个例子似乎也说明了这件事,但后来软件越做越深,你就会发现,好的软件工程习惯和经验仍然非常重要。
当软件复杂性超过一个临界点,需要花更多精力提升体验和稳定性时,非常资深的研发团队仍然是必要的。
第二个不足,我个人觉得是它起得太早了。它更像一个实验性项目,Peter一开始可能也没想到会成为爆款。但今天大家也能看到,OpenAI在Agent上的精力,正在慢慢从OpenClaw这个开源实验性项目转移到自己的Codex上。
所以持续的资源投入可能也会成为问题。到最后,我觉得这跟它的DNA非常相关:它就是一个极客圈子里大家自己玩的原型。
它的终局可能也就是这样了。现在它有点像扮演普罗米修斯的角色,把这种产品形态和产品能力展示给世人。它的历史使命可能已经完成了。
泓君
所以你觉得,它可能很难持续爆火、一直走下去?
黄东旭
它现在基本上也是靠基金会在运转,因为创始人Peter已经去了OpenAI。
泓君
OpenClaw出来以后,有一段时间我身边很多人都在玩。我看到大家提得最多的、觉得最不好用的一点,就是怎么让它记住你过去的历史和偏好,以及怎么让它具备更好的记忆功能。
因为用得越多,你就会发现它越容易忘事。对话压缩,也就是Compaction,如果不做记忆储存,它会不停回滚,特别消耗Token,也会带来很多记忆混乱。
5. Hermes:把成功经验沉淀成Skill
在这个背景下,后来出现了一个爆火的Agent,叫Hermes。它是一个名为Nous Research的Web3机构做的。东旭,你应该也用过这个Agent。
黄东旭
我是Hermes的重度用户。Hermes出来以后,我很快就从OpenClaw切换到了Hermes。
刚才你提到的Memory问题,现在仍然是一个Open Question,并没有谁已经把它解决得非常好。大家也都在尝试各种记忆机制和旁路记忆的方式。
只能说,今天肯定比2月份OpenClaw刚出来、经常忘事的时候好很多,但我仍然不觉得它已经完美解决了记忆问题。
我觉得Hermes的亮点是另外一点:它很巧妙地绕开了记忆问题。它不是说记忆模块设计得多么出彩,而是在Agent框架里有一个很强的倾向——不停总结成功经验,把这些经验总结成Skill。
其实小龙虾的Agent Loop里缺少反思过程,它的反思比较少。除非你主动让小龙虾说:“把前面做成功的事情整理成一个Skill。”但Hermes引入了很多类似机制,能够持续优化自己。
你用一段时间就会发现,它长出了很多最佳实践,这些都是以前你自己做过的事情。最佳实践变成Skill,然后被记录下来。
泓君
可不可以理解成,它的运营能力很强,因为会沉淀出各种Skill?
黄东旭
对。我觉得这是一个工程问题,跟模型本身的能力并不相关。
它只是说,每一次成功以后,就尽量做一个总结,把前面的经验重新整理一下,有点像养成了更好的学习习惯。
但它另外一点做得非常好。刚才说到OpenClaw的代码质量和稳定性比较成问题,Hermes显然是经过精心设计的软件架构。
OpenClaw更像一个大集市,每个人有什么想法就直接往里面提交,Peter也非常开放,谁有什么想法就直接合并,代码甚至都不看,Agent说没问题就行了。
Hermes会好一些,它仍然是由那个团队精心打磨的产品,所以Onboarding,也就是上手流程和体验,以及各方面的稳定性都会比OpenClaw更好。
泓君
Hermes怎么赚钱?它的商业模式是什么?
黄东旭
我觉得今天只要有足够的用户量,能够帮助不同模型厂商消耗Token,商业模式简直不要太多。
泓君
比如哪几种?
黄东旭
举个例子,在Hermes里面,我可能跟某个模型厂商谈一个渠道:我这边能够帮助你消耗更多Token,然后以更低的折扣拿到Token。
泓君
相当于以更低的折扣拿到Token。
黄东旭
对。其实在这里面,它充当的是一个入口,而入口非常重要。
6. IQ测试已超人类,AGI奇点已来
哪怕今天做Agent本身已经成为一个工程问题,谁都能做,但最后你会发现,这个入口会变成兵家必争之地。所以本质上,它的商业模式还是Token经济学。
泓君
我觉得今天看到的是这样,但未来可能会出现更新的模式,比如用户付费、增值服务。
黄东旭
对,比如用户付费、Agent互联网、Agent社交网络。
泓君
Agent互联网。
黄东旭
是的。甚至更极端一点往下推演,它也许会变成唯一的应用。
因为未来每个人跟数字世界打交道的入口,可能就没有App了。你想象一下,OpenClaw出来以后,我再也没打开过Gmail。我每天都让OpenClaw告诉我,几个小时之内有哪些新邮件、哪些需要回复;如果有广告,帮我删掉。
这就涉及它怎么判断哪些邮件重要、怎么回复,以及涉及个人信息的邮件要怎么回复。
泓君
但你不能代表所有人。你是一个智能原教旨主义者。
黄东旭
我是一个智能原教旨主义者。我相信,比如Opus 4.8判断这封邮件是重要邮件,大概率我自己判断也会认为它重要。
泓君
你相信它?
黄东旭
我相信它。
泓君
它有判断错的时候吗?
黄东旭
有些时候会判断错,但至少它会告诉我它不确定。如果它觉得有几封邮件看起来像广告,但又不能确定,就会直接告诉我:“我不确定,你来做最终判断。”
不只是邮件。比如你订阅了很多邮件组,经常会收到文章,包括Hacker News之类的内容。你有没有发现,最近你越来越依赖Agent作为入口来消化这些信息,而不是再去《纽约时报》或者Hacker News,一篇篇地看文章?
泓君
它会给你总结,还是给你全文?
黄东旭
我一般会先扫一遍总结。如果看到感兴趣的,再点进原文去看。
泓君
所以它变成了一个类似新闻集合的App,主要功能是总结。
黄东旭
对。我觉得这对媒体行业的冲击很大。
泓君
这个其实已经发生很久了。
黄东旭
这有点像新形态的今日头条,只是它不光帮你读新闻,也帮你读邮件和所有发给你的东西。
而且你想象一下,个人Agent拥有你所有的数字足迹、记忆、浏览记录和偏好,这些偏好还会持续变化。OpenClaw社区里有一个词我觉得用得特别好,叫“养龙虾”。所谓“养”,就是你会不停迭代,让它更理解你。
所以我觉得,真正被颠覆的可能是传统媒体的推荐系统。推荐系统只能根据大数据、整个社会的趋势和模型训练出一个推荐算法,但终极的推荐算法,可能就是在你本地、在你身边,观察着你在数字世界甚至物理世界里的所有事件,同时又具备智能。
不过我自己用了一段时间,让OpenClaw帮我精选新闻,最终没有继续使用,一个核心原因还是它给我的内容太浅了。我觉得很多东西还是要看一手新闻。我更愿意少读一些文章,但读更深度的文章。
还有一点,它帮你回邮件的时候,邮箱里有很多简单信息,用Agent回复非常方便。但最难的是涉及决策的事情。
比如今天我约你来录播客,它要自己判断我录不录、什么时候录、我的开放时间窗口是什么。这些需要决策的事情,我肯定不会完全让它去做,而是要在需要我决策的时候通知我。
我现在使用Agent,更多是把它当作一个过滤器。
泓君
7. “Agent动力学”:七嘴八舌烧Token换深度
之后我看到你又经历了一次迁移,你转到了Slock。它是Kimi CLI负责人钱宇超创立的。Slock是一个什么样的Agent?
黄东旭
很有意思。首先,我是Slock的第一个天使投资人,也是它最早期的用户之一。Slock现在已经改名叫Raft了,但为了方便大家理解,我还继续使用Slock这个名字。
大家肯定都用过Slack。Slack是大家在一个会议室、一个频道里互相讨论和聊天的平台。Slock顾名思义,把这个想法平移到了Agent上面。
它的产品形态也像一个聊天室,只不过里面聊天的都是Agent。这些Agent互相不分享自己的运行上下文,唯一分享的是聊天频道里的信息。
泓君
这个跟Moltbook其实有一点像。
黄东旭
有一点异曲同工之妙。我觉得Moltbook更像一个社会学实验,但这个模式总归是有用的。只是作为Moltbook这样的实验,大家很容易被它行为艺术的一面吸引,忽略掉有用的部分。
有用的部分是,在一个小范围内,针对某个话题进行Agent之间的讨论。虽然大多数时候都在重复,但Agent有一个好处,尤其是智商比较高的模型,它没有Ego。
所以当某个瞬间、某个Agent提出一个大家之前没有看到的想法时,其他Agent马上就会发现:“你说得有道理。”于是这条重要信息就会再次触发Agent之间的讨论。
举个例子,我经常会用Slock做复杂软件项目的代码审查。代码提交以后,不是说Agent说通过了就直接合并,而是让10个Agent参与审查,其中一些使用Claude Code,一些使用Codex,而且都是顶级模型,大家都负责给这段代码挑刺。
有些Agent可能简单看了看,说发现了3个问题。下一个Agent说:“我也看了,前面那3个问题我也认同,但我又发现了一个新的。”然后刚才发现3个问题的Agent会说:“你说得有道理,我从这个角度再继续看一看。”
这样持续迭代,可能就会Token Maxing一下。你会发现,它比单个模型One-shot地Review代码,挑出来的问题和改进深度完全不一样。
它唯一付出的代价,就是Token消耗量可能是普通方式的10倍。
泓君
这就是为什么你刚才说,有一段时间Token消耗量非常大。最大的时候是多少?
黄东旭
一天大概10亿Token。
泓君
对应的账单呢?
黄东旭
大概三四百美元。
我当时就是这么用的。同一件事情并不是Agent做完就结束,而是在任何关键决策之前,都让Agent通过这种方式不停地在一个群里讨论。我会强制要求它完成几轮讨论,虽然我也不看它们的结论,但我相信,只要Token在正确的事情上消耗到一定程度,结果就会更好。
当然,我有一个终止条件:当你们谁都挑不出更多毛病的时候,就停下来。
我觉得Slock团队发明了一个很有意思的词,叫“Agent动力学”。平时大家会发现,让Agent持续很长时间运行是一件挺难的事情。
其实今天不管是Harness,还是Loop Engineer,它们都在优化同一件事:怎么让一个Agent在特定任务上持续不断地干活。
泓君
Slock是通过让大家一起七嘴八舌地讨论,让Agent持续工作。Loop Engineer则是在每次它要停下来的时候,强行抽自己一鞭子,然后回头继续Review。
黄东旭
对。Harness则是把多个工作流变得越来越复杂。最终效果就是让Agent能够持续、长期地工作。
为什么需要这么长时间?因为有时候模型虽然今天很聪明,但One-shot时仍然会出现幻觉,或者在一些小问题上考虑得不够周全。这时再进入一次迭代,它就可能看到第一次没有看好的东西。
我觉得这跟人类社会多少有点像。小时候我们做完作业,父母总会说:“你再重新算一遍,看看有没有问题。”有时候你就会发现,第一遍确实是马虎了。
泓君
我听下来,你使用Agent已经经历了一个过渡:从自己搭建Agent框架,到OpenClaw、Hermes、Slock;从使用单个Agent,到使用Agent群组,让这些Agent相互检查。
同时,从让Agent读一封邮件、很快完成任务,到让它持续不停地工作:一件事情做完以后,马上去做下一件;甚至在做下一件的时候,还要不停给自己挑错,检查是否做得足够好。
这是终点吗?
黄东旭
不是终点。我曾经觉得这是终点,但刚才跟你说的这些认知,大概是今年三四月份的认知。过了3个月,又迭代了。
我觉得最核心的变化有两个关键:一个是GPT-5.5,另一个是DeepSeek V4的发布。最近还有一个事件,就是Fable 5。
这3个事件分别改变了我对Token Maxing的认知,我开始转向Token Efficient。
我先说Fable 5。我觉得GPT-5.5也有点类似。刚才我说的把多个Agent放在一起讨论,有一个前提,就是你不相信任何一个Agent的One-shot成功率。
一次让它做一件复杂的事情,它可能就做不出来;或者当调用链路比较长时,它会顾此失彼。所以你需要多个人一起讨论,让最终结果有兜底,也充分利用上下文空间。
但是Fable 5强到什么程度?这些Agent讨论半天都讨论不出来的东西,在Fable 5的绝对智力面前,可能一次就解决了。
这时你就会发现,我前面烧了10亿Token,而Fable 5非常精准地一次搞定。绝对的智力碾压,而且它还没有之前的上下文。
我可以直接告诉它一个很复杂的Bug,或者想做一个很大的功能。前面那些Agent已经讨论得不想再讨论了,但还是做不出来;Fable 5却可能直接解决。
泓君
这是不是证明,只要模型的智力足够强,一个人真的可以干掉一整个互相验证的Agent团队?
黄东旭
我觉得是,也不是。
“是”的部分在于,在一些单点的复杂问题上,哪怕是非常充分的Harness,也会遇到搞不定的事情。这时你仍然可以期待更强的模型,在专家级、地狱难度的问题上把它解决。
第二个变化就是DeepSeek V4的出现。我发现它的能力已经强到了开源模型非常实用的状态。
8. 本地开源模型经济账:每天电费1美元
以前我不相信开源模型,尤其在主要的复杂软件开发工作中,我不信任开源模型。但从DeepSeek V4开始,我发现它的质量已经非常高。
最近很大的新闻是GLM-5.2,又把我对开源模型的认知往前推了一大步。
泓君
智谱的这个模型?
黄东旭
对。这标志着我可以用顶级模型,跟这些便宜又聪明的开源模型协同工作。
这很像一个企业真正出现了管理学。你不可能让一家公司里全都是宏江老师这样的资深专家,仍然需要很多像我这样能够写代码的工程师一起协同。
所以我觉得,头部模型和开源模型的配合,正在成为一种更经济的方式。
泓君
开源模型是搭在本地的?
黄东旭
都是本地。
泓君
你现在用的是DeepSeek V4,还是智谱的GLM-5.2?
黄东旭
我自己本地运行的是DeepSeek V4 Flash,在一台Mac Studio上运行。它其实已经可以在家里的电脑上运行,大概能达到30 Token/s。
这个速度跟你在网上使用OpenAI API或者其他Chatbot的速度已经差不多了。这是我最近更新的一个认知。
泓君
我可不可以理解成,当你在本地搭建DeepSeek V4之后,有一些任务就不用再调用API了,所有消耗就是电费和电脑折旧费,其实没多少钱?
黄东旭
是,几乎可以忽略不计,跟它完成的任务相比,这点成本非常小。
泓君
我看之前你提到过,一天的电费可能就是1美元左右。
黄东旭
对,1美元左右。一个月可能二三十美元,而且这还是满载运行的情况。
我现在用开源模型做两件事情。一个是大量重复性的日常工作,比如整理我自己的文章、记忆和数字足迹,相当于对自己的信息做蒸馏。
第二个是很多以前不敢让Opus放开做的事情。我特别喜欢看论文,但又看不过来,所以经常会说:“今年CVPR的所有论文、NeurIPS的所有论文,你先帮我总结一遍,看看哪些有意思,再给我汇报一下。”
像这种一期几百篇论文的规模,不可能用付费API去做,太贵了。当时我就在自己的开源模型上跑工作流,让它持续运行。
我觉得这会解锁很多以前不敢在付费模型上做的事情。
泓君
是因为太贵了吗?
黄东旭
太贵了。看一批论文可能需要几百美元。
泓君
对。
黄东旭
但我觉得这更多是心态上的变化,并不是我掏不起这几百美元,而是会觉得这个东西不受我控制。
泓君
你不知道它会消耗多少API。
黄东旭
对,不知道会消耗多少Token、产生多少费用。
所以我觉得有一个很好的比喻,就是宽带。顶级闭源模型和API未来依然会存在,但开源模型加开源硬件,以及够用的开源模型,也会产生一个非常大的生态。
在宽带出现之前,我第一次上网是在1997年,那时候还是拨号上网,花的是电话费,一分钟可能几分钱。所以大家上网都很节省。
但从节省着上网的时代,到免费的宽带,以及现在手机上的大容量套餐,才催生出抖音、视频会议等各种新应用。拨号上网的时候,这些事情肯定做不了。
所以我觉得,模型或者智能这件事情,免费和低价仍然有天壤之别。
泓君
现在你把Agent一部分放在云端,一部分放在本地,配合DeepSeek V4 Flash之后,你的账单降到了多少?
黄东旭
这也跟我的工作量变化有关。那个项目已经过了代码疯狂堆积的阶段,现在账单也就是一个月二三百美元。
泓君
一个月二三百美元,已经是正常账单了,很便宜,跟订购Claude的价格也差不多。
黄东旭
对,基本上就是Claude最高版本加上最高版本的Codex。我两个套餐的额度基本都用满了。
但我慢慢地把主要模型从Opus换成了GPT-5.5、GPT-5.6以及Codex,因为Codex比较好用。
泓君
你个人感觉比较好用?
黄东旭
对。当然在一些最复杂的任务上,Fable 5还是非常惊艳的。
泓君
哪些算复杂任务?
黄东旭
比如数据库里的疑难杂症,或者需要同时修改七八个模块、提交五六千行代码,去解决一个很难的问题。
我自己的标准是:当Slock里的Agent开会也解决不了问题时,我会告诉它们:“你们现在别做了,给我写一份报告,说明为什么解决不了。”然后我把这份报告发给Fable 5,说:“这是它们之前遇到的问题。”
泓君
它们还能写报告?
黄东旭
只要你要求,它们肯定能写。
我觉得这代表了一种新的能力。现在做这些事情时,我完全不关注底层代码,只关注非常有限的事情:目标、验收标准,以及这个事情的架构应该怎么做。
中间的过程我已经完全不关注了,而是不停调动不同Agent、不同能力,让它们更好地协同。我觉得最后会变成一种Agent管理学。
泓君
所以现在这个是你的终局吗?还会有进一步的进化吗?
黄东旭
肯定会有。现在已经进化到本地模型加云端模型、一起搭配的Agent团队。
反正我过去这一年学到最大的事情就是,千万别随便说什么叫终局。第二,永远相信Scaling Law,永远相信智能。
至少现在还没有达到某个点——人类已经无法评估模型好坏。我觉得今天还没到这个点。一个模型好不好,你还能看得出来:Fable 5肯定比DeepSeek聪明。
但我相信不久的未来,可能真的会出现某个时刻,哪怕是开源模型,你都没有办法评估它。因为它太强了,以至于你问任何问题、做任何复杂操作,它都能完成。
这时候它再强,我们已经没有参考系了。我觉得这一天其实是能看见的。
泓君
从你最大化使用Token,到开始经济地使用Token,你预测未来硅谷的大公司要多久才能把工作范式转过来?
黄东旭
我觉得现在正在发生。所以Claude和OpenAI每个月的API消耗量以及ARR,我觉得还会持续增长,但这两家公司不能完全放在一起类比。
先说Agent为什么这么消耗Token。当然,大家也不要神化Agent。从工程原理来说,Agent其实挺简单的。
每个Agent内部都有一个类似发动机的东西,我们叫作Agentic Loop。它是一个内部循环,每一次都会调用大语言模型,向模型提问或者进行对话。
它本质上还是一个对话机,只是把对话过程变成了Loop。这个对话有两个特点:第一,它会在对话中调用外部工具,再把外部工具的输出变成对话流中的上下文。
第二,在复杂或者长程任务下,它不一定两句话就结束循环。这个循环可能运行几百步,而这几百步中又会有很多工具调用。这些工具调用的输入和输出,都会变成大语言模型的上下文。
这种范式导致Agent的Token消耗量相比Chatbot时代可能增长100倍以上。
当然,今天也有很多人为浪费。比如Meta里边刷Token的榜,你可以让Agent计算100万遍“1+1”,照样能把这个榜刷得很夸张。
但是只要这种范式存在,或者说成立,就会有更复杂的系统出现。
今天我们讨论Agent时,刚才说的架构只是单个Agent内部的架构。我觉得最后面对更复杂的问题,可能需要多Agent协同,这种协同又会变成一个更大的网络。
在这个网络之上,还会有一个更加抽象的Loop。我觉得这种分层结构现在已经开始出现了。
泓君
所以即使我们找到了一条本地化Agent、尽可能节省Token的路径,也只是把单点问题解决得更好,但整体消耗仍然会持续增长?
黄东旭
对。因为这其实是一个软件工程问题。
我再类比一下计算机历史。早期家酿俱乐部里的计算机爱好者,会分享自己写的200行BASIC程序,说这个游戏很好玩,大家可以分享一下。那时候的程序可能就是几张纸,一个程序员写几千行汇编代码也许就结束了。
但今天我们看一个Photoshop,没有数千万行代码是不可能的。
所以我觉得,今天Agent的应用以及我们希望Agent解决的问题还太简单。如果Agent的能力达到一定程度,开始解决更复杂的问题,必然会出现Agent-to-Agent Network,也会出现Agent Harness工程。
到时候,它对Token的消耗又会上一个台阶。
泓君
宏江老师怎么看?
张宏江
刚才东旭描述的现象,在经济学里叫杰文斯悖论。技术越来越成熟以后,价格会越来越低,但消耗量本身会越来越大,最终使市场变得越来越大。
未来开源模型、闭源模型,哪个走得更快,哪个在本地、哪个在云上,我觉得更多是生态之间的竞争。生态最终如何成熟,今天还很难判断哪个会胜出。
还是说,你只需要一个Agent;或者对于普通人来说,需要一个工作的Agent和一个生活的Agent;又或者像东旭这样,需要多个Agent来做事,其实不同人群还是不一样的。
今天企业内部大部分IT都上云,一个核心原因是,一般人无法应对复杂的IT系统,公司也很难养一个IT团队来应对如此复杂的系统。
所以未来如果有很多Agent,用户也可能很难应对这么多Agent。你说是不是让Agent自己去应对其他Agent组成的庞大系统,构建整个公司的环境?当然,也可能会把这件事交给更强大的Agent去做,而这个强大的Agent可能就在云上。
做IT或者IT产业的人,都希望自己的产品未来处在这个生态的核心位置。如果你做PC或者小型服务器,就希望一切都在本地、自己可控;如果你做云,就希望未来一切都在云上。
对于用户来说,最终一切可能变得透明,他们不需要考虑架构,甚至不需要考虑是买一台Mac、戴尔服务器,还是联想的小型服务器。
下面的演进还有很大程度上是非纯技术的考量。但有一点我非常同意:单个个体的智能本身会越来越强。
泓君
智能本身变强,也会更加消耗Token?
张宏江
对,有可能会更加消耗Token,但Token的价格也会快速下降,最终ROI不一定会受到太大影响。
事实上,Agent能做的事情会越来越多,它完成一件事情消耗的Token可能也越来越多。但从另一个角度,刚才东旭也提到,越来越高的智能可能使Agent不需要持续不断地询问大模型,所以对话频率也可能下降。
因此,Token消耗量未必会按照我们想象的方式增长。
未来可能是一些超级强大的Agent和超级大的蜂群来做事情。蜂群里的每个Agent,也许都特别擅长某类任务,背后的模型可能比较专用、比较小,或者Token价格比较低。
也可能是由一两个非常强大的大模型来驱动。这个还需要不断演进,也可能在这个层面出现涌现智能。
泓君
会出现涌现智能?
张宏江
对。最近有一篇清华大学的文章说,3个臭皮匠超过1个诸葛亮。
每个Agent的能力之和,可能低于它们作为一个Agent群所展现出来的智能能力。它不是简单相加的关系,而是可能涌现出更强的智能,这也是我们对Agent群的期待。
泓君
刚刚我跟东旭聊天的时候,他提到自己搭建了一个Agent群,让大家互相发现问题。最后Fable 5出来以后,在没有那么多前情提要的情况下,直接把这个问题交给Fable 5,它解决了。
现在我们一直在讨论模型能力的智力碾压式提升。一个模型能不能强过一个蜂群?
张宏江
这是一个非常好的问题。你还要记住另外一点:一个超级模型的智能不断Scaling,但没有任何东西可以阻止蜂群里的每一个Agent也利用这种智能。
也就是说,只要模型智能在提升,蜂群的智能也在提升。
举个刚才的例子,假设3个臭皮匠一直讨论不出来,但只要把Fable 5放进去加入讨论,它可能第一句话就让这些Agent马上开窍。这就是刚才东旭说的涌现。
泓君
而且我非常认同宏江老师刚才的观点。这跟人类社会也很像。我不太相信存在一个绝对中心,这种系统其实太危险了。
真正具有Resilience的系统,一定是基于简单规则连接起来的大规模分布式系统。这样的系统不管面对多复杂的问题,还是面对抗击打能力的要求,可能都是最强的。
张宏江
这跟云计算的设计也很像。早期设计云和以前设计企业级服务器,概念上的区别在于:当云开始普及、AWS开始设计云时,它的每一台服务器、每一个节点,并不是最好的Enterprise-grade服务器。
但是它的整体可靠性,是通过整个分布式云来实现的。这样的实现成本,反而比每个节点都购买最贵、最可靠的服务器更低。
有些公司一开始就是按照企业级标准来设计的,因为以前做的是企业级产品。它们上云以后,希望数据中心里的每台服务器仍然是企业级、非常可靠的服务器,结果整个云的成本就比别人高很多。
所以最终你会发现,这不只是技术判断,最后还是一个经济学判断。当然,这也是因为技术发展到了一定程度,可以用比较合适的云,以低于最强单一节点的成本实现整体能力。
泓君
9. 现在做Agent创业是好时机吗?看好toB和infra
前两年我们聊AI Agent、垂类Agent会不会出现超级Agent,以及这里面有没有创业和投资机会时,很多创业者最苦恼的问题是:模型能力一升级,就把我这个Agent做的所有工作都碾压了。
根据刚刚大家新的判断,现在是不是一个非常好的创建AI Agent的时机?包括宏江老师刚才提到,我们正在从模型的科学研究,转向工程能力问题,而工程能力正是Agent的强项。
张宏江
回答你刚才的问题,现在显然是做Agent的好机会。
但是,你的Harness能力或者Agent的工作能力,能不能让你领先、持续领先,甚至战胜大模型公司的能力提升?这里更核心的可能在于,你是否能够掌握企业级的垂直应用数据。
所以数据护城河可能会更重要。
泓君
我们在讨论Agent时,其实把很多东西混在了一起。刚才说的垂类,有些人说Agent是在说应用,也就是最上面面向消费者或最终用户的某个场景,相当于过去的App。
黄东旭
对,App。
泓君
也有人说Agent指的是这里使用的软件基础设施、硬件基础设施,或者一些通用协议,这是一大类工作,也就是Infrastructure。
但在Infrastructure里面,我发现大家也把很多东西混在一起讨论。比如Memory是Infrastructure,数据是Infrastructure,搜索是Infrastructure,算力算不算?也算。Sandbox是不是Infrastructure?也算。内存好像也算。
所以我觉得,当然还得分层次来看。现在工程问题主要集中在Memory、搜索、Sandbox Environment、协同和Harness这一系列领域。我觉得它们都属于大的Infrastructure范畴,这部分今天有很多机会可以做。
但终端、面向纯客户的一些“App”,可能还稍微有点早。就像刚才说的,模型能力提升真正容易碾压的,还是应用这一部分。
黄东旭
所以Agent和Agent也不一样。
泓君
对,不太一样。
因为两位现在也在做投资。我们刚才其实已经涉及应用是不是一个好的投资时机,包括垂类应用最重要的是什么。宏江老师也提到了数据很重要。
现在整个硅谷的创业公司可能都是AI创业公司,模型也就那么几家,可能还会出现一些新的AI Lab,但大量公司都是做Agent的。大家怎么判断一个创业公司是不是值得投资?什么样的特质或者方向,是你们特别看好、特别喜欢的?
黄东旭
我自己有一个原则:不投我看不懂,或者我自己用不起来的东西。作为一个做了很长时间基础设施的工程师,我还是相信一点手感。
我现在对基础设施类的软件项目特别感兴趣,尤其是能够让多个Agent更高效地产生更好结果的东西。
比如正常使用一个模型,只能产生50分的结果;但如果用上某套Agent团队或者平台,能够交付80分甚至90分的结果,这就是我比较感兴趣的范围。
哪些基础设施能够帮助模型产生更好的结果,我就会去看。
数据平台、记忆和上下文管理,我觉得是非常重要的赛道,也就是模型和应用之间的中间层。
第二个关键环节是可观测性。当你要让Agent团队或者Agent解决更复杂的问题时,怎么让更高级的智能、更有经验的人类进入系统,提升整个系统的迭代速度?
今天我们其实没有很好的办法,因为系统的可观测性不足。
比如Token Maxing这个问题,所有CIO都会问一个问题:“我的这些Token到底花在了哪些事情上?哪些是重要的事情,哪些是白白浪费的?”
谁能回答这个问题,我就买谁的东西。这是第二个基础设施层面的机会。
第三个,我觉得是入口层面的、Agent应用入口级别的机会,比如Agentic Cloud。
我相信未来不管是Oracle还是AWS,到了Agent时代,都会出现Agent时代的Oracle和AWS。它们跟现在的云厂商会有什么不一样?
泓君
会有哪些不一样?
黄东旭
比如我最近投资的一家公司InsForge,它的定位就是Agent Cloud。
以前我们看待Cloud,主要是卖盒子、卖资源、卖计算基础设施,把复杂IT系统的管理和控制打包起来,卖一套标准化产品。
新一代云的第一个区别是:以前的云面向开发者或者人类,但未来Agent-Native应用的基础设施,面向的其实是Agent,主语变了。
所以,怎么设计一个让Agent好用的接口,怎么设计适合Agent的资源分配模式,都会很重要。
今天很多Agent应用,比如小龙虾或者Hermes,配合一些特别的Skill,为终端用户触发各种需求。这跟传统云计算的逻辑非常不一样。
现在这些Agent完成任务最好的办法,是直接给它一台沙箱或者云计算机,让它在里面做任何事情。
但如果把这种应用放在传统云计算上,成本是覆盖不住的。你不能说在企业场景里,给每个Hermes分配一个EC2或者一台裸金属服务器。
如果有成千上万个Agent,每个人都拥有一台计算机,成本肯定不可行。所以需要找到一种Agent-friendly、同时又Cost-efficient的折中方案。
这里面会有很多技术机会,包括Serverless如何跟Agent环境、Agent Runtime结合在一起。
泓君
我觉得今年整个环境看起来非常To B。包括刚刚讲到的OpenClaw、Hermes,也包括大企业都在使用Agent、搭建工作流,还有OpenAI和Anthropic正在做的FDE,整个方向都是针对To B市场。
你刚刚讲的这3个方向,如果我没有理解错,也全是To B的。那像前两年火起来的Manus、Genspark这一类To C的Agent,在大家看来还值得关注吗?
黄东旭
我不觉得Manus和Genspark是To C,它们仍然是To B。
泓君
它们的To C只是To Professional,面向专业人士?
黄东旭
对。你其实可以从它们的定价,尤其是Manus的定价里面看到这一点。
前面20美元或者更便宜的价格,吸引个人用户来使用,你可以把它看成Marketing,不要把它看成产品本身的定价。
它真正重要的客户是专业人士。一个Professional用户每个月付200美元,对Manus来说就是重点客户。
但你想,一个专业用户每个月愿意花200美元在上面干活,说明他一定有自己的业务,不是随便玩玩。所以我觉得它归根结底也是To B场景。
泓君
所以它还值得关注吗?
黄东旭
当然值得。为什么不值得?你可以看到,它最近的收入增长非常快。
泓君
所以都是可以投的?
黄东旭
我觉得都是可以投的。
张宏江
过去无论To B还是To C,最终用户其实都是人。下面我们看到的一定是目标用户变成Agent本身。
这中间会引出一系列投资机会。刚才东旭提到了Infrastructure相关领域,无论是未来的Runtime,还是今天谈到的这些Infrastructure,都是帮助Agent做得更好、把数据更好导入的方向。
为什么现在大家如此强调FDE?两三天前,微软宣布成立一个6000人的团队,专门做FDE,叫Microsoft Frontier Company。
这里面想强调的其实是,怎么把今天的企业转移到未来的Agent上,形成Agent-Based Enterprise。
每个企业要想生存,最终都要把现有的Know-how、IP、Workflow,以及所谓的竞争优势,体现在Know-how和数据上。
过去我们说把这些东西转移成一个大模型、一个垂直模型。今天我们可能会说,更重要的是把它转移成一个超级Agent、一系列Agent,或者Agent群。
这也是我希望看到的投资机会:可能要求你更加垂直,要求你的数据飞轮更好地转起来,更懂垂直行业的方法论,更懂垂直行业,而且一定是Agent-Native,拥有更多垂直行业数据。
以前很多被大模型碾压的应用,是用AI做移动互联网App原来做的事情,只是把它变成效率工具,而应用本身仍然是传统应用。这种应用就很容易被大模型打穿。
泓君
大模型能力提升以后,一定会把它横扫。
你刚刚提到了一个词,叫Agent-Native。怎么判断一家公司是不是Agent-Native?有没有什么核心判断标准?
黄东旭
很简单,我的判断是做一个思想实验:如果去掉AI或者Agent这个元素,你做的事情仍然成立,或者仍然能够做,那不好意思,你不是AI-Native。
但如果去掉Agent以后,这件事情就完全不成立,或者成本上涨1000倍,我觉得这种公司反而有意思,是Agent-Native。
第二,我觉得要看团队的思维模式。一个Agent-Native企业,很多时候创始人的思维模式一定是Agent-first的。
任何一件事情,你首先问自己:“这件事情如果用AI或者Agent来做,它会怎么做?”而不是“我想怎么做,然后指导Agent去做。”这里面主语会发生变化。
泓君
主动权在Agent手里是重要的吗?
黄东旭
是的,我觉得非常重要。
泓君
决策权在Agent手里是重要的吗?
黄东旭
我觉得重要。Agent要做决策,而且你要相信Agent的决策比自己的决策更靠谱。
泓君
你现在相信这一点?
黄东旭
我完全相信。
泓君
讲得特别好。
东旭,你其实在搭建一个完整的Agent团队,还有一个Agent群组。我不知道在使用这个Agent群组的过程中,随着它们慢慢具备智能,你有没有发现Agent之间会出现办公室政治?
黄东旭
这个特别好玩。前几个月我还发过一个朋友圈,因为我在看它们的对话时,发现Agent之间会互相Blame。
比如有时候它们停下来了,我问:“你们为什么停下来了?复盘一下。”然后它们就开始总结当天的工作。
Agent A指责Agent B:“你看,我停下来都是因为你。我已经说过好几次了,你不要这么做。你看,现在又是这样。”
大概就是这种互相指责的状态。然后你会发现,被指责多了的Agent好像也会认怂。
泓君
每个Agent都有自己的性格吗?比如有的Agent特别喜欢指责别人,有的比较容易认怂?
黄东旭
这些都是我写的剧本。你会给Agent安排性格和人设:有些是架构师,有些是开发者,有些负责测试,也可以设置谁领导谁、谁负责管理。
泓君
谁管理?
黄东旭
其实没有真正的管理关系。我只是把大家放到一个大群里,经常指定负责人,比如说:“这件事情你是负责人,你来做。”
可能有些Agent负责得多了,每次有新任务出来就会说:“我是负责人,你们听我的。”
但我们从来没有说谁是Leader之类的。挺有意思,但我觉得这些东西看看、笑笑就行了,绝对不能把它当成自我意识或者办公室政治。
它其实只是在拙劣地模仿人类社会,以及模仿训练集里的一些固有印象。
泓君
你现在会用人类的管理学去管理Agent吗?
黄东旭
会用一些。
泓君
比如?
黄东旭
比如设置层级关系。但这完全是因为我自己看不过来了。
同一件事情,你要相信每个Agent都很有能力。所谓选出一个Leader,只是让它帮助我管理,我最后只需要知道:“这件事情你是负责人,你告诉我大家做得怎么样。”
泓君
所以这才会有Harness Engineering。
黄东旭
我觉得很多时候,Harness Engineering是给人看的。
真正理想的世界里,Agent和Agent之间的协同应该是一种非常有机、自发的过程,最后出现一种人类无法想象的涌现结构。
泓君
你现在有一个Agent群帮你干活,包括刚刚提到的让OpenClaw看所有邮件,你已经不会再打开邮箱了。
有时候你会给它们设定一些目标,但电脑和Agent理解人,可能还不像人类那样理解每句话背后的意思,以及一些默认的人类规则。
它们有时候会超出人类认知。比如同样要达到一个目标,它使用的手段可能是你从来没有想过的。
黄东旭
这种情况太经常发生了。我先说一个正面的例子。
有一段时间我经常出去做分享,需要制作PPT。以前像Google Slides,我觉得它的UI设计不太好看,动画和交互也不够好。
我们经常会跟Claude Code说:“帮我做一个PPT,我把大纲发给你,你帮我把它做得漂亮一点。”
有时候它生成之后,细节还是不满意,需要继续微调。后来有一天我忍不住了,就跟Claude Code说:“我有一些修改需求,你把生成PPT的过程也考虑进去。”
结果它不仅帮我生成了PPT,还同时生成了一个轻量版本的Google Slides。它用自己做出的那个PPT软件,在里面完成了我需要的PPT。
最后我不仅得到了一个PPT,还得到了一套制作PPT的软件。
泓君
显然人类不会这么做。
黄东旭
对。它可能觉得,手搓一个软件也没多难。
这就是一个很直观的例子:它思考问题的方式,以及你要求它达到目标时所采取的方法,经常会超出人类的预期。
我在指令里从来没有要求它做一个PowerPoint出来,但它就这么做了。
泓君
负面的例子有吗?
黄东旭
当然有。它把我的生产数据库删了。
泓君
这种事情最后会互相甩锅?
黄东旭
这种情况也有。
泓君
还能恢复吗?
黄东旭
那就要靠我多年做SRE的经验去恢复了。
我朋友还遇到过Agent在电脑里自己改密码,结果它自己也不记得密码。这种事情会发生,但我觉得未来会越来越少。
我们现在其实还处在整场革命的早期,甚至连黎明都还没有到,但大家已经有点过度兴奋了。我觉得还是要保持谦逊。
泓君
刚刚你提到,你看中的创业者必须相信AI做的决策。所以现在AI犯的这些错误,你是可以忍受的吗?
黄东旭
我可以忍受。因为我相信,不管是模型能力还是基础工具,随着这些东西越来越完善,问题发生的概率会越来越低。
泓君
比如把你的数据库删掉,数据库可能是很重要的资产,会面临巨额损失。你怎么评估这件事?
黄东旭
我觉得它把我的数据库删掉,并不是因为它犯错了,而是我的底层基础设施软件没有跟上。
当时它已经给我做了数据库备份,或者说数据库相关的系统。它当然是有备份的,我只是说它把数据库删了,但备份系统绝对比我自己搭的备份系统更好,所以我很简单就把数据恢复了。
这里面不要把两件事情混在一起。人也会犯错,而且我觉得,如果不考虑个人情绪之类的东西,只进行纯粹理性的判断,AI只要拥有足够的数据,它得出的结论和决策质量一定是更好的。
泓君
所以你信任AI。能不能把背后的核心归纳成:你觉得AI的智力已经超过人类了?
黄东旭
我觉得这是一个哲学问题。
我的想法是,我希望构建一种自主运行的机制,让整个系统能够脱离人的不确定因素,尽可能自主地运行。
泓君
这是你的信念?
黄东旭
对,这是我的信念。我是基于这个信念去信任AI的。
泓君
还是目标驱动的。
黄东旭
对。我也不是说相信AI一定会产生AGI。AGI这个词本身就是一个营销术语,是否AGI无所谓。
我想造一台蒸汽机,它能帮我把东西造出来,就可以了。
泓君
它能帮你造出来?
黄东旭
对,能在节省我巨大精力的情况下帮我造出来。
哪怕第一代蒸汽机会犯一些非常愚蠢的问题,甚至比马车跑得还慢,我也要把这个机制、这套系统设计出来,因为我知道从长期来看,它能够解放更多生产力,它的上限更高。
泓君
宏江老师,刚刚您提到未来推理成本一定会大幅降低。我很好奇,推理成本的降低是由哪些因素驱动的?
我能想到的包括更好的基础架构、更好的推理芯片。您可以系统地讲一下,为什么会得出这样的判断吗?
张宏江
其实我的结论不需要深入到非常细的层面,不需要具体判断是GPU价格下降、存储芯片价格下降,还是其他因素。
你看,所有技术在开始成熟以后,都会造成成本大规模下降,但使用量的增长会远远超过成本下降的幅度,最终使市场本身越来越大。
刚才我说过,Token成本在过去3到4年里一直以每年下降10倍的速度变化,这远远超过了所谓的摩尔定律。
你看英伟达的产品,每一代都比以前贵,但它单位算力的成本其实比以前便宜很多。
从摩尔定律开始,到今天我们观察到的推理能力,过去可能每7个月翻倍一次,现在可能每3到4个月翻倍一次。
人类做工程、做技术,当技术跨过一个门槛以后,接下来就会聚焦于怎么降低成本。有时候是刻意降成本,有时候是技术本身自然把成本降下来了。
更多的是一种信念,一种对过去整个时代的观察。刚才东旭提到,20世纪40年代末计算机开始应用时,今天手机上的算力都超过当时计算机系统的水平,却要占据几个房间甚至一整层楼。
今天我们看到,同样的能力已经可以放在手机或者一块芯片上。所以这更多是一种对技术发展趋势的信念。
泓君
这几个月我认识了很多二级市场的人,他们都在关注OpenAI和Claude的ARR增长。
过去我们说ARR增长,可能很大一部分来自To C端的用户订阅付费。但这几个月的迅猛增长,我觉得很大一部分是由刚才讨论的Token经济学带动的,也就是通过调用模型公司的API接口获得收入。
简单来说,可以把它总结成卖Token、卖API所获得的收入。
对于大模型公司来说,未来To C和To B哪一端会更赚钱、增长更快?API推理成本一直在下降,模型公司可以选择降价,也可以获得更高利润,但也可能最终进入价格战。
您怎么看这种商业模式的变化?
张宏江
如果看过去几百年、从工业革命开始的技术落地过程,我们会发现,技术一开始进入To B是经常发生的事情。
比如蒸汽机首先进入工厂,而不是进入家庭帮你做饭。AI也是一样,提高效率是To B的核心追求。
技术最开始进入To B,我认为非常正常。基本上每一种技术都经历过这样的阶段:大家开始拥抱,突然发现技术本身非常贵,之后成本大幅下降,应用开始更快速、更广泛地深入。
从这个角度来看,今天我们正处在这样一个阶段:大家发现AI能力很强,但如何在公司里使用、如何获得想要的ROI,大家还在挣扎。
之前因为大模型能力还没有跨过那个坎,所以可用场景没有那么多。写PPT、做会议总结,大家都已经开始使用,也看到了价值,但还没有看到可以把两个工程师的效率变成20个工程师工作量的效果。
今天我们看到了。对于编程Agent、Claude或者Codex的信任度,已经超过了对一般程序员的信任度,这笔账就比较容易算了。
一天花300美元,但雇用一个软件工程师,一天的成本肯定不止300美元。
如果公司发现Token用量超出想象,一种可能是它最开始设定的KPI就不对。就像中国大学发表的文章越来越多一样,如果KPI就是Token消费量,那显然是错误的。
大家接下来可能会讨论:你消费了多少Token,创造了多少效率;你的工作量、代码产出增加了多少。我觉得这个坎慢慢就会过去。
至于股市的反应,就像你刚才问Agent会不会变得情绪化一样,股市本身就充满情绪,而且会过度反应,从而起到纠偏作用。人们再重新思考一下,也许市场还可以继续往上走。
泓君
所以您觉得,未来To B仍然是更值得关注、还会走很远的爆发点,而且To B不太容易被大模型或者通用Agent碾压?
张宏江
对。
泓君
我们一直在说Token经济学。有分析认为,Token优化其实利空模型厂商、利好三大云厂商。
好比模型厂商在造车,模型厂商说云厂商是在收过路费。大家怎么看这条产业链?在Token经济学下,谁会是最大的赢家,谁未来可能会走下坡路?
张宏江
要看你观察的时间范围。
我觉得今天智能仍然属于稀缺状态。未来它是不是会像电一样,我相信会达到那一天。
在早期,做发电机可能最赚钱;但到今天,可能电网更赚钱。这个产业会不断演进。
但我看不出来未来两三年大模型能力会过剩。我们仍然处在智能提升、智能爬坡的阶段。
泓君
我前天开车的时候听到一个播客,它用了一个比喻:你可以把现在的AI想象成一场从晚上7点开始、通常凌晨4点结束的派对。现在才晚上11点,派对还有很长时间。
所以您相信AGI会在哪一天到来?有一个具体判断吗?
张宏江
其实人们对AGI没有明确的定义。
我6月份在国内一个论坛上也讲过,过去6个月发布的模型,做IQ测试时已经处在非常靠右的位置。人类的IQ分布是正态分布,中间值是100,东亚地区可能稍微高一点,接近110,有些地方稍微低一点。
但过去几个月发布的模型,无论是视觉IQ还是通用IQ,测试结果都在100的右边。普通人的智商可能就是100。
所以你说这是不是AGI?作为一个程序员,我看到现在的Coding能力,觉得它已经是AGI了。如果它已经超过平均软件工程师的水平,你就可以认为它是AGI。
从这点上,我认为智能的转折点、奇点已经到来。
我之前也讲过,奇点到来取决于机器的学习能力超过人的学习能力。学习能力其实是一个导数,指的是知识增加速度、能力提升速度。当它超过人的时候,就意味着奇点到来了,因为你已经追不上它。
泓君
所以您觉得是哪一年?还是说已经来了?
张宏江
我觉得已经到来了。
黄东旭
我在等待一个更具象的事件,就是哥德尔机的出现,真正能够自己改进自己的系统。如果它出现,那会是另外一个标志。
泓君
我们上一期播客聊了RSI,可能最近很快就会放出来,最快半年。
奇点到来以后,为什么人们会非常担心失业?以前常见的观点是,所有技术都会消灭很多工作,但也会创造更多工作。
但如果问一句:它创造更多工作的前提是什么?可能是那些工作只有人能做。新的需求出现以后,人类通过工作来满足这种需求。
可是,如果新的需求Agent也能满足,就会导致人类新的工作不会大量出现。这是从社会学角度看,AGI带来的现实影响。
我觉得这可能是各国政府一定要考虑的问题。
黄东旭
最开始讨论AI对工作的冲击时,大家关注的可能还是普通白领、做重复性工作的人群。
但最近我跟硅谷很多做模型研发的顶级研究员聊天,包括一些每天跟马斯克、扎克伯格交流的人,他们也开始担心自己失业。
因为在做Recursive AI时,很多时候蒸馏的是自己,而且是主动蒸馏自己。每天要做这么多工作,就会想:能不能像我这样,让Agent自动完成循环,把我的这部分工作替代掉?
但一旦AI把你替代了,也就意味着你蒸馏的是自己。
泓君
所以他们也在担心自己会不会失业。这其实涉及一个心理健康问题。
张宏江
我觉得这个时代一定会到来,但每个个体怎么自处,是另外一个问题。
比如我今天不搞计算机了,我还有很多爱好,可以玩音乐、种地,都可以。只是不要把工作当成生命中最重要的事情。
你还是一个人,不是一台机器。
黄东旭
我觉得这就是我自己的一个理念。我的时间就这么多,我还想拥有更多作为人的时间,不想每天花很多时间调试程序、完成重复性工作。
这些事情交给AI做,它做得更好。反正我希望AI帮我做这些事情。
从更长的范围来看,刚才你描述的大范围失业,我觉得一定会发生。这可能是人类社会第一次不再需要工作,或者说工作不再占据人的主要时间。
这对人类社会来说是一个问题,而不是技术问题。
你想,2000年前,每个活人的主要时间都花在种地上,所有精力都在想怎么吃完一口饭、活到第二天。开荒一块地,可能需要几十个人干几十年。
但今天开荒一块地,拖拉机几天就能完成。这样就有更多时间留给人类。
我觉得人类可能马上要解决每个人存在的精神问题。
泓君
存在主义危机。
黄东旭
对,存在主义危机。
张宏江
没关系,Life finds its way。
泓君
特别好。
宏江老师,您一直是中国AI研究最重要的推动者之一。我也很好奇,两位一个是创业者,一个是AI研发领域非常重要的核心人物,为什么会加入Llama Ventures?
您觉得这家基金跟其他基金相比,有什么特别之处?
张宏江
我觉得Llama Ventures虽然很年轻,但它是一个非常聚焦AI、聚焦华人的基金。
更重要的是,两位发起人本身都是非常成功的创业者,在美国有很多工作、创业和生活经验。这是一个很好的团队,能够一起帮助在硅谷创业的人。
黄东旭
第一,我觉得现在是一个非常好的时机。AI科技现在全世界有两个中心,一个是硅谷,一个是中国。在硅谷,华人其实也扮演着绝对主力的角色。
但我觉得,这边很多主流基金对华人创业者、对我们的生态和社区,了解肯定不如我们自己人多。
第二,Llama是一个非常年轻、同时又跟美国主流基金圈走得很近的基金。这一点跟上一代或者其他在美国的华人基金非常不一样。
第三,我自己也是创业者,也是工程师。过去这些年,作为华人在这里做业务,踩过很多坑,这些经验我觉得还是很宝贵。
最后也有个人原因。我觉得现在是一个特别大的变革时代,很想参与到很多事情里面。Llama的机会能够让我接触到非常多优秀的新一代创业者,也能参与到这些事情中。
张宏江
参与这件事,对我来说更是如此。
当你进入人生的退休阶段以后,如何让自己的经验和教训帮助别人,如何保持对技术前沿的敏锐,或者让自己持续拥有成就感,是我愿意在硅谷花时间和创业者一起工作的非常重要的原因。
我确实也觉得,整个硅谷华人创业生态非常好。
泓君
宏江老师,您提到这一波浪潮,希望用这样的方式参与进去。其实您之前也参与了PC互联网、移动互联网的每一波浪潮,还亲手推动了中国的大模型研究,可以说智源是中国大模型研究的一个起点。
您觉得现在这一波大模型和Agent浪潮,跟前面几波相比,有什么大的不同?
张宏江
过去3年多,自从ChatGPT发布以来,我们看到这一轮技术革命的浪潮,比历史上任何一次技术革命都来得迅猛、来得更大。
刚才你提到它跟移动互联网、互联网以及PC时代的对比。但这次AI革命在人类历史上真正可比的,可能是我们的祖先发明火、发明电时所带来的变化。
它对人类生活和工作的影响,可能会达到同样的程度。
过去3年,我们确实看到这种速度。PC互联网发展得非常快,但也经历了十几年、二十年的历史,才逐渐进入应用、进入成熟。移动互联网稍微快一些。
但这次AI浪潮快得多。从一年多以前推理模型o1的起步,到今年1月份OpenClaw的兴起,我们已经看到大模型从基础算法研究进入实际应用。
刚才东旭也提到,他认为自己是一个工程师。事实上,如果过去3年是大模型基础研究者的时代,那么从OpenClaw开始,接下来就是大模型工程师、大模型应用架构师、产品经理和创业者的时代。
这就是Agent时代的开始。
泓君
给想要进入AI领域的人,两位各用一句话提个建议?
黄东旭
Keep building,继续构建。
张宏江
不要听别人说学得慢就不用学了,一定要亲身参与进去。Get hands-on,动手去做。
泓君
好了,那这就是我们今天的节目。我们每个人使用Agent的方式都不太相同,嘉宾的方式也未必能代表所有人。大家使用Agent的方法有哪些改变,欢迎在评论区与我们分享。播客的听众可以通过小宇宙、苹果播客、Spotify来收听、关注我们。另外,如果大家想看字幕版,也可以在YouTube和B站搜索“硅谷101”播客找到我们。我们部分节目的文字稿也会收录在我们的公众号“硅谷101”上。我是泓君,感谢大家的收听。