程曼祺 Manqi Cheng
今天我和晚点的创始人小晚一起来戴雨森的工作室拜访他。之前我和雨森商量这次聊什么,当时定了一个主题,就是从 O1 到 R1 看 AI。回头看,这四个多月、将近半年的时间里发生了很大的变化,我们可以从这两件最重要的事开始聊。
你可以先讲讲,你怎么看 O1 和 R1 的分别及其意义?
1. O1 Opens New Scaling Laws
戴雨森
我觉得 O1 首先让大家看到了,强化学习(Reinforcement Learning)应用到后训练(Post-Training)之后,能够带来智能上的提升。当时大家都在想,GPT-4o 之后下一个是什么?O1 出来以后,确实在推理能力以及很多智能表现上都有了很大的提高。
O3 的发布又证明,在 O 这条线上,能力是可以持续提高的,边际还很远,空间还很大。所以听说 O4 Mini 也已经训练完成了。我们在这里面既看到了在后训练上使用强化学习实现的后训练 scaling law,也看到了当模型的推理时间越来越长、思考时间越来越长时,回答质量会越来越好,这叫 test-time compute scaling law,也就是推理时间的 scaling law。
这两条新的 scaling law,在之前预训练的基础上,让 AI 模型能够进一步提升。全世界的同行其实或多或少都已经知道,强化学习是很有用的,能够提高很多表现,但 O1 的出现让大家看到,这条路确实可以走得通。
而且,O 系列模型带来的推理能力提升,我觉得是解锁 Agent 这种产品形态的关键。因为模型的思考能力不够强的话,就没办法自主使用工具、制定计划、检查自己的工作有没有完成,这些都是 Agent 产品必备的能力。所以,首先得有 O 系列带来的思考能力提升,才能解锁新的产品形态。
程曼祺 Manqi Cheng
你知道 O4 和 O3 大概有什么区别,或者它主要优化、迭代的是什么?
戴雨森
有一些八卦。据说 O4 Mini 的推理时间可能达到几个小时的级别。
我们一直在想,优秀的人类和普通人的区别是什么。比如,为什么博士论文要写 5 年?因为一个博士可以通过 5 年时间得到一份更好、价值更高的工作,对吧?但可能给一个普通人 10 年,他也写不出一篇博士论文。
所以,第一,这个人的基础素质要好;第二,你要给他更多的时间。之前我们说训练模型有点像培养一个更聪明的人,但聪明的人需要更多时间,才能完成更好的工作。这就是推理时间的 scaling law。
现在,一个模型能够思考更长的时间,得到更好的结果,这一点在 O 系列上,包括 O3、O4,可能越来越能够达到。
程曼祺 Manqi Cheng
刚刚讲的是 O1。总结一下,就是它证明了强化学习在后训练和测试时间计算上的 scaling law 还有很大的潜力,这件事还可以走很远。这是 O 系列的价值。
2. R1 Makes Reinforcement Learning Public
接下来可以说说 R1。R1 的影响力也非常广,甚至我觉得某种程度上超过了 O 系列,因为它是一个全民都在讨论的事情。
戴雨森
我觉得 R 系列确实是一个世界级的工作,并且给了我们非常多启发。
第一点就是开源和闭源。R1 选择开源之后,首先让大家知道了它是怎么训练的。在 R1 的训练论文,包括 V3 的训练论文里面,我们看到了大量可能 OpenAI 已经知道、但公众还不知道的结果。
有几个例子我觉得非常精彩。比如 R1-Zero,它证明了在不用 SFT 的情况下,仅仅在基础模型 V3 的基础上做强化学习,就可以持续获得更长的模型输出,以及更好的智能表现。这种不使用 SFT 的方式,是一个非常重要的创新。
然后是 GRPO。听说 OpenAI 之前已经知道这条路,但不管怎么样,是 DeepSeek 的这篇文章先让大家意识到 GRPO 可以工作。
之前很多人在讨论 O1 的时候,会想它是不是通过 MCTS 这种搜索方式实现的,也有人猜测是不是使用了类似 PRM、按照步骤进行标注和强化学习的方法。但 DeepSeek 非常慷慨地告诉大家,这些路他们都试过,而且走不通。很多时候,知道一条路不通就很重要。
我最近学到一个词,叫“一比特信息”,我觉得特别有意思。有的信息很关键,一个比特就够了。比如 R1 或者 O1 这条路能不能继续往前走,一个比特的信息就够了。
我觉得 DeepSeek 这篇论文很厉害的一点,就是告诉了大家一些一比特信息:MCTS 是一条走不通的路,或者至少他们试出来走不通。那你就可以暂时不用走这条路了。
这种一比特信息,一方面体现了 DeepSeek 非常慷慨的分享精神;另一方面,也可能反映了硅谷和中国现在的一些差距。硅谷可能还有一些一比特信息,是我们现在还不知道的。
根据我们去年做的一些了解,2024 年年中,硅谷一线实验室已经形成了强化学习这条路线可以走通的共识。但这个信息要逐步传到中国来,可能要等到 O1、R1 出来之后,大家才会说,确定了,这件事确实走得通。
所以,前沿探索很多时候就隐藏在这些一比特信息里。开源的分享精神,一方面让模型训练者学到了很多东西;另一方面,大家也看到最近微信接入了 DeepSeek,百度也接入了 DeepSeek。
这些本来自己有模型的公司,正是因为 DeepSeek 的开源特点,才有可能去使用它,也让更多人用上了一个好的模型。比如我们投的 Monica,最近也上线了国内版,同样使用了 R1。
以前,国内应用开发者经常要先在海外做应用,也是因为海外有 GPT-4o、Claude 3.5 这样的好模型,所以他们能够做出好的产品。但现在国内有了 R1 这样好的模型之后,国内应用开发者手中的武器变多了。
我觉得开源也会让行业变得更快,因为大家可以互相学习、互相进步。所以,开源和闭源在这件事上是非常重要的一点。
第二点,OpenAI 并没有公布 O1 训练的具体细节,但 R1 的公布让大家看到,强化学习这条路确实能够走很远,也指出了一条值得持续往下走的路。这是 RL 的胜利。刚才说第一点是开源的胜利,第二点我觉得是 RL 的胜利。
3. DeepSeek Turns Scarcity Into Innovation
第三点,我觉得 R1、V3 以及整个 DeepSeek 都证明了团队的专注很重要。在资源有限的情况下,大家反而能够想出更有创造性的解决问题的办法。
比如使用 MoE,本来就是一种节省资源的方式。如果使用 Dense Model,推理成本和训练成本都会高很多。使用 MoE,再加上在芯片等方面遇到限制时,如何在合法合规的基础上,通过 MLA 这样的技术创新,让训练和推理都能够跑起来、取得更好的效果,我觉得资源限制很多时候反而是创新的源泉。
DeepSeek 在研究方向上也做了很多选择。他们没有去做多模态生成,也没有去做情感方向。2023 年很多人在做 AI 虚拟女友,他们没有做;他们也没有做 To C 产品,直到 R1 发布之后才上线自己的 App。
这些选择说明,他们虽然有很多卡、很多钱,也有很多优秀的人,但仍然需要把重点放在提高智能、提高模型基础能力上,把力量集中在一个方向,最终取得这样的结果。我觉得这体现了他们对技术的 vision,对做什么方向的坚定选择,以及坚决投入之后带来的结果。
这里面也反映出,现在年轻的、AI-native 的团队,有机会和规模更大、资源更多,甚至拥有更多用户的大厂竞争。以前大家会觉得,大厂有钱、有人、有卡,还有很多用户,小公司怎么和它们竞争?
当然,DeepSeek 不是一般意义上的小公司,但它仍然是一个相对小、相对年轻的团队。团队里很多成员也不是海归,而是中国本土培养的研究生和博士生。
以前很多人觉得最优秀的人才都在硅谷,我们要从硅谷把“洋和尚”请回来,才会念经。现在大家发现,中国其实已经有最优秀的 AI 人才。甚至有人说,现在 AI 是中国的中国人和美国的中国人之间的竞争。
在这个过程中,大家对中国的人才体系有了很强的信心,这一点也很关键。
还有一个对我来说很重要的启示:在技术革命早期,如果你能够通过技术进步,给用户带来一个全新的、像魔法一样的体验,就会引发自发传播。
很多人第一次使用 DeepSeek 的 R1 模型,第一次接触 reasoning model、推理模型,看到它输出的结果,会觉得非常惊艳。于是它产生了自发传播,带来了几千万 DAU,而且没有花一分钱广告费。
同时,它的 API 也供不应求,很多人都想付费使用。甚至有人说,能不能给我一个付费版的 DeepSeek,让我稳定使用,我愿意付钱。
这意味着,技术进步带来产品体验的变革,产品体验的重大变革带来用户自发传播和自然流量,同时也会涌现出商业模式。
所以,我觉得现在可能还处在技术革命早期,应该坚持技术突破和智能领先,而不是在已有的智能上进行很多产品和运营上的雕花。
程曼祺 Manqi Cheng
你觉得这已经成为共识了吗?
戴雨森
之前已经有很多人提出过这一点。2023 年、2024 年也有不少研究者,尤其是研究者,会说智能很重要,不要在已有能力上雕花。
但大家需要一个鲜活的例子。我觉得在 2024 年 DeepSeek-R1 横空出世之前,大家或多或少还是陷入了互联网时代的指标,比如你有多少 DAU、多少留存、多少时长。
在这种指标导向下,为什么很多人喜欢做 AI 虚拟女友?为什么很多人做 AI 打电话?因为他们发现,这类产品的留存确实比较高,用户聊天时间很长。你和别人打电话,时间当然会比较长。
但这是不是智能?我至少认为,它并不来自智能提升,而是满足用户的情感需求。如果你把时长和 DAU 作为优化指标,就会去做这些事情,而不会去做 DeepSeek 这种提高智能的产品。
此前在中国互联网里也有很多争议。大家觉得,企业服务的土壤比较少,用户愿意为杀时间付费,不愿意为省时间付费。提高智能是省时间,AI 女友可能是杀时间,于是大家还是习惯性地寻找下一个字节跳动。
所以我在 2024 年 10 月给 LP 做汇报时讲过,未来的字节跳动可能不会延续字节跳动的公式。字节跳动是通过占用用户时间赚钱的,但用户时间只有这么多。
抖音、王者荣耀等产品已经占用了大量用户时间。接下来的杀手应用或者重大创新,可能在于帮用户省时间,或者在用户这 8 个、16 个小时之外创造价值,而不是一定要把用户刷抖音的时间抢过来。因为那很难,抖音很厉害。
我觉得大家需要一个例子来证明这一点。DeepSeek 给大家展示了一个很好的榜样。
程曼祺 Manqi Cheng
总结一下,你刚才说了开源的胜利、RL,也就是强化学习的胜利、专注的胜利,以及本土年轻团队和 AI-native 团队的胜利。最后,这些加起来可能就是通过技术进步,带来魔法般的体验,产生巨大的影响力。
我们刚才讲了 O 系列、DeepSeek R 系列,以及 DeepSeek 在全球范围内出圈带来的变化。接下来可以延展一下,这些变化带来的连锁反应。
你刚才已经提到了,推理能力的提升可能会指向 Agent,也就是智能体的应用。这也是从去年年底到现在,大家频繁讨论的一点。我们可以先讲讲,O1 带来的推理能力提升可能导致哪些新变化。
4. Agent Emerges From Reasoning
戴雨森
如果按照刚才的框架,技术进步解锁新的产品形态,那么我们可以看到,GPT 规模化发展到 GPT-3,再到对齐成对话模式的 InstructGPT,然后出现 GPT-3.5,解锁了 Chatbot 这种产品形态。
以 Sonnet 为代表的、编程能力很强的模型,解锁了 Cursor 这种编程助手。它们是互相成就的,没有 Sonnet 的 Cursor 不可能火。
从 Sonnet 3.5 开始,模型具备了一定的推理能力。O1 以及 O1 之后 O 系列的进展,让模型的推理能力变得很强。这对应解锁的产品形态,我认为可能就是 Agent。
什么叫 Agent?在英文里,agency 有一个意思叫主观能动性。过去,地球上可能只有人具备主观能动性。人知道自己要干什么,能够制定计划、使用工具、评估工作结果,所以人类统治了世界。
但现在,AI 的能力逐渐到达一个突破点,使得 AI 能够扮演 Agent,也就是具备 agency,具备主观能动性。
在我看来,这是由 3 个技术进步导致的,或者说解锁的。
第一个是 reasoning,也就是推理能力。如果推理能力或者基础智能不够强,第一,你不知道要做什么;第二,你无法列出一个切实可行的计划,去完成对应步骤;第三,你也无法检查自己是否完成了任务。所以,这是基础智能。
第二个是 coding 能力。在数字世界里,理解代码、编写代码去完成任务,是最基础的能力。代码是整个赛博世界的语言。能看懂代码、能写代码,是 AI 在数字世界行动的基础能力。
第三个是工具使用能力。人在数字世界里已经为自己创造了很多工具、很多软件。AI 首先要适应人类使用的这些工具,比如通过浏览器、网站获取信息,所以工具使用能力也很重要。
我们看到,reasoning、coding 和 tool use,也就是推理、编程和工具使用,在过去 12 个月里都发生了翻天覆地的变化,进入了指数增长阶段。
这里面有一些不同的 benchmark 可以衡量。比如推理能力,假设我们用 GPQA。它是一个接近人类博士生入学资格的问题集。普通人类大概能得 20 多分,博士生能得 60 分。2024 年年初,最前沿的 AI 模型大概只能得几分、十几分,但现在前沿模型,比如 O3,已经能得到 70 多分。
编程能力通常使用 SWE-bench。它抽取了一系列 GitHub 上真实存在的人类编程任务,可以认为这些都是人类也需要完成的事情。GPT-4o 在 2024 年年初只有个位数,好像是 5 分左右,基本不可用。
但现在 O3 Mini 或者 O3,已经到了七八十分的程度,也就是说,理论上 70% 到 80% 的人类编程任务都可以被解答。
工具使用方面,通常会看 τ-bench,它包括订机票、电商等任务。2024 年年初,前沿模型基本上也是个位数,现在大概可以做到三四十、四五十,甚至六十分。
所以现在有一个问题:我们已经不知道该考 AI 什么题目了。前一阵子,陶哲轩做了 FrontierMath,说这是非常难的数学问题,里面最简单的题都是 IMO 难题。他当时说,这些题目可能可以挡住 AI 几年。
结果现在 FrontierMath 在 O3 里也能达到 25 分,O4 可能会更好。
程曼祺 Manqi Cheng
奥赛金牌选手做 FrontierMath 能得多少分?
戴雨森
大概应该也比较难,因为它的起点就是 IMO 难题,相当于数学前沿科研水平。当时大家说它可以挡住 AI 一段时间,但你会发现,当强化学习在一个领域得到应用时,成长曲线往往就是指数的。
我们在 AlphaGo 上看到了这一点。后来 DeepMind 做了 AlphaStar,让 AI 玩《星际争霸》,很快就超过了人类顶级玩家。自动驾驶其实也已经比人类安全很多倍,只是因为监管等原因还没有全面普及。
5. AI Enters The Li Shishi Moment
强化学习进入的地方,往往会导致 AI 迅速超过人的能力。我把这个叫作“李世石时刻”。
李世石当时和 AI 下棋,下五盘输了 4 盘。很多人都看过那场比赛。我不会下围棋,但我们都知道围棋很难,以前大家觉得 AI 不可能解决围棋。那时候大家发现,AI 原来可以轻松打败最强的人类。
那一刻,第一是很多人对人类智力的信仰破灭;第二,也成为很多人投入 AI 研究的时刻,大家觉得 AI 这么厉害,我也要去做 AI。
这件事发生在围棋上,但我们会在越来越多领域看到李世石时刻。
比如 Codeforces,这是一个 competitive coding 竞赛。在 O3 的 benchmark 里,它拿到了 2703 分,已经超过人类 99.9% 的水平,可能达到了全人类前 200 名的水平。
这意味着它已经形成了超人的智能,而这些结果很多时候都是 RL 这个范式解锁之后带来的。
当然,AI 里有一个特别有意思的地方:往往一个东西实现以后,大家就会说,这个不算,我们再来一个。如果按照以前图灵测试的标准,现在 AI 早就达到了,所以现在已经没人提图灵测试了。
人类是不是很快就失去了评价 AI 能力的能力?我觉得现在已经非常缺乏这种能力了。
现在有人做了 Humanity Last Stand,也就是“人类最后的堡垒”问题。它刚出来时也是 0 分,满分是 100 分,现在好像已经到 20 分了。
但问题是,从 20 分到 80 分可能会很快。关键是,人类要想出难题,本身就很难;如果 AI 可以通过增加算力、强化学习和更强的 inference 来解决问题,那人类就很难追上。
程曼祺 Manqi Cheng
你刚才说到“李世石时刻”。它最开始当然是 AI 超过人类,这是很直观的。但我和一些下围棋的人聊过,比如罗天成自己也下围棋,他会怎么理解这件事?
AlphaGo Zero 出来之后,不只是超过了人类,而是人类的智能其实无法理解它。他说自己下围棋和乘坐自动驾驶汽车都有类似的感觉。
自动驾驶做到后面,他说自己坐到车里去试乘,也看不出什么东西。下围棋也是这样。人类积累了上千年的定式,AI 可以把它们全部打翻。你可能无法理解它为什么这样下,但它就是比你高。
戴雨森
我觉得可理解性和可解释性不一定会存在。按照第一性原理,人类根本不可能掌握世界上所有的真理和规律,大量规律都受到不完备性定理的限制。
你不要说别人,我们可能也无法理解爱因斯坦是怎么想出那些理论的,但这并不妨碍我们和他合作。进一步想,猫和狗也不理解人类为什么做这些事情。
可能很快会变成小学生如何考核一个博士生。小学生想出自己认为很难的题去考博士生,会怎么样?这件事可能会越来越难。
我觉得这也是 AI 安全非常关键的问题。现在人类可能都无法评价 AI 了,因为很多已有测试已经被刷到了 95 分以上。
我们在清华读书时,经常有人说,你考 100 分是因为只能得 100 分;他考 100 分,是因为只有 100 分,如果有 1000 分,他也能得 1000 分。现在已经到了这个阶段。
我觉得还不能说完全无法评价,但在可以预见的未来,可能只需要几年的时间,人类就会很难评价 AI 的能力。
程曼祺 Manqi Cheng
那时候会带来什么?
戴雨森
我觉得现在已经出现了很多苗头。春节期间有一篇文章,据说是梁文锋发在知乎上的回应,非常火,后来大家发现其实是 DeepSeek 写的。
我最近一直在用 OpenAI 的 Deep Research,它给了我很大的帮助,也带来了很多震撼。我们刚才聊 Agent,Agent 的第一个应用场景其实就是帮我做研究。
我问它一个问题,它要思考怎么解答,列出研究计划,寻找资料、总结、对比。我们回头看,从没有推理能力的 GPT-4o,到 O1,再到 O1 Pro,也就是让它思考更长时间;然后到 O1 Mini、O3 Mini High,再到 Deep Research。
整个过程发生在 3 到 6 个月之内,但我已经明确感觉到,它的水平提升是指数级的。
我昨天就在想,假设我们从大街上随便找 10 个人,我认为至少有 9 个人的能力已经不如 Deep Research 了。因为 Deep Research 可以针对任何你需要的话题,在几分钟内给出一份目前看来相当于一个人在好公司工作 1 到 2 年后才能完成的研究报告。
很多人类即使获得更多时间,也未必具备同样的思考、推理、信息获取和总结能力。所以,我觉得 AGI 已经不再是一个科幻概念。
如果两年前大家谈 AGI,还会觉得那是很遥远的事,但现在在收集信息、整理信息这类任务上,AI 已经超过了大多数像我们这样的“比特进、比特出”的信息工作者。
当然,像我们今天这样的聊天对话,AI 还做不到,因为这是我们的专有信息,在今天聊天之前它并不存在。但如果这些信息已经存在于某个记录里,不涉及专有信息,那 AI 一定比绝大部分人做得更好。我觉得这已经是非常确定的事情了。
我们确实看到了指数增长,也会看到很多刚才说的李世石时刻。回到最开始的话题,我觉得这会解锁 Agent。它代表的一个重要意义是什么?
6. Attention Is No Longer Enough
过去互联网里出现的所有产品模式,我可以总结成一句著名的话:“Attention is all you need。”
不管是腾讯还是字节,核心都是你有多少用户、用户在你身上花多少时间。它可以被理解成一个公式:时长乘以用户数,再乘以变现率。
所以大家想的都是,我要有更多用户,用户花更多时间,我的 ARPU 更高。但这件事一定有尽头。全世界就这么多人,每个人每天睡 8 个小时,醒着的时间最多 16 个小时。
现在大家看手机的 screen time 已经有七八个小时了,还要吃饭、工作,还要做一些不能看手机的事情,所以你很难再提高一倍。于是大家就要提高变现率,同样一个小时,怎么样从用户那里获取更多价值,于是出现了抖音视频广告、直播等模式。
这条路肯定有尽头。但人类历史上所有事情,目前都需要人的 attention。只有自动化不需要 attention。过去的机械自动化、机床,人把事情自动化建设起来之后,它可以自行运转,但它没有 agency,没有主观能动性。
过去,人类要么需要注意力,要么只能做简单重复的事情。现在 AI 的技术进步带来了一个可能:第一,它能够理解人类的注意力;第二,它又能自主执行任务。
不夸张地说,这是人类这个物种自诞生以来最大的进步之一。如果我们认为人类和其他动物的区别之一,是人类可以使用工具,那么过去人类使用的所有工具都需要 attention。
直到现在,Agent 出现了一个不需要 attention 的工具。比如我把一个问题交给 Deep Research,它会自己研究 5 分钟,这个过程中不需要我投入注意力。
去年我使用 Devin 时,也发现我给它一个任务,它就会自己去完成。在这个过程中,我可以打断它,可以说我有一个新需求,也可以看看它做得怎么样。但如果我不去打扰它,它会自己工作。
所以我想提出一句新的话:“Attention is not all you need。”在 Agent 时代,这会带来什么?
它会解锁人类无限的潜能。刚才说过,人类的 attention 是有限的,但如果 attention 不需要再被使用,理论上的倍数就是无限的。
这有点像从老板的角度,让员工去做一件事,不需要你持续投入注意力。但这只是老板的好处。过去大多数人其实都在执行别人的 attention 的结果,只有少数人是老板。
现在 AI 越来越强,每个人都会成为 AI 的老板。那你让 AI 做什么,这是一个非常重要的问题。
很多人会发现,这个助手很聪明,但我拿它干什么?除了订机票、订外卖这种简单事情,还有什么事情可以让 AI 做?我觉得这会对社会和教育产生重大影响。
但我相信,当大家适应这种范式之后,会发现有更多事情可以交给 AI。
进一步延展,我觉得我们可能会看到一个“工作的 scaling law”。现在工作或者生产力不太能被简单 scale。一家大厂有 100 亿元、1000 亿元,并不能简单地把 1000 亿元变成生产力,它还得招人、培训。
人多之后还会有内部政治,还会内斗。所以,有钱并不一定等于有生产力。
但如果 AI 模型越来越强,推理能力越来越强,你就会发现,有钱等于有算力,算力越多,就能够让 AI 产生更多生产力。这其实就是“钱变成生产力”的 scaling law。
这里面有几个维度:钱、算力和生产力。钱可以近似等于算力,再加上模型性能,也就是模型能力,最终变成更大的生产力。
第一,模型性能要越来越强;第二,要有 inference scaling law,也就是思考一天应该比思考一个小时好,思考一年应该比思考一天好。
这对模型有持续的要求。现在可能模型思考 5 分钟比思考 1 秒钟好,但思考 1 个小时未必比思考 5 分钟好。能不能让模型随着思考时间增加,持续获得增量 performance,会非常重要。
康德思考了几十年,写出了几大批判,说明他能够持续提高自己的 inference 能力。普通人即使想得更久,也未必能想出有意义的结果。这就是基础模型能力的差异。
程曼祺 Manqi Cheng
但世界上需要这么多生产力吗?
戴雨森
这就像汽车和飞机发明之前,大家会说,我们为什么要移动得那么快?去隔壁村走路就行了,为什么要坐飞机?
你觉得它会创造新的需求吗?我至少认为,历史上大量技术已经反复证明了这一点。我们为什么要跑得那么快?为什么需要那么多电力?为什么需要那么多算力?这种 pattern 一直在出现。
人类技术爆炸的时间其实很短,也就四五百年。相比人类物种和漫长的古代历史,这只是很短的时间。
更有意思的是,原来人类的技术爆炸以 generation 为单位,以一代人为单位。后来逐渐变成一代人的生命周期里可以发生几次技术爆炸。
我爷爷奶奶都 90 多岁了,他们这一辈子经历的技术爆炸非常多。现在又变成了 10 年之内就可以经历一次技术爆炸。AlexNet 到现在才 13 年,对吧?2012 年到现在也就这么长时间。
ChatGPT 到现在又过去多久了?你还记得 ChatGPT 刚出来时的能力吗?那时候我们觉得它很厉害,但现在回头看,会觉得它很差。
变化速度这么快,人可能很难真正适应。所以,这里面会产生很多社会影响。
指数增长本来就是世界的常态,但在最后进入陡峭曲线之前,看上去很像线性增长。它是突然发生的。有一句话叫 “gradually, then suddenly”,进入快速上扬阶段之前,似乎什么都没有发生。
这也是为什么关注 AI 安全的人会很重视这件事。大家觉得已经进入指数增长阶段,那就不能再说未雨绸缪了,已经开始打雷、快下雨了。
生产力大幅提高是一个非常重要的变量。如果生产力最终带来经济价值,接下来就要讨论,什么是生产力,以及它怎么样为大家创造价值。
一方面,可能会出现一个人的公司变得非常强大。如果一个人能够有效指挥 AI,甚至通过 AI 指挥 Agent,他可能创造很大的价值。
另一方面,我们投资创业者,创业者有时候能够打败大厂,也是因为创业者更高效地把同样的资金变成更多生产力。他们有更好的 vision,更加灵活,没有组织阻力。
但假设大厂也能花一大笔钱,雇佣非常厉害的创业 Agent,那么普通创业者也许就打不过大厂雇佣的 Agent 了。可能只有顶级创业者能够打败大厂,一般创业者会被大厂花钱请的 AI 干掉。
这可能不是一件好事。也有人认为,这会导致富人更强,因为富人能够买来更多生产力。过去你固然有钱,但也比不过一个聪明的年轻人;以后也许不一样了。
所以,我觉得它会带来两个方向的变化:一个是超级个人,另一个是很多科幻乌托邦里那种,所有资源汇聚到一个更强大的公司。
不管从生产力角度,还是从社会结构角度,这些变化都会很大。但这些变化解锁的前提,都是模型能力要提高。
有时候,在技术革命早期找到第一个 PMF,也可能是一种甜蜜的陷阱,或者一个诅咒。
比如移动互联网第一个找到 PMF 的可以说是黑莓。它当时的处理器很弱、网络很慢,所以只能发邮件、发 BlackBerry Messenger、收 push。为了做好这个 PMF,它做出了黑莓手机,配备键盘,并且一直以键盘为傲。
但当技术进一步进步,处理器更强、网络更快、屏幕更大时,苹果说不要键盘,做了全屏手机。那时黑莓还说,没有键盘,打字、发邮件肯定不好用。
这就是找到第一个 PMF 的诅咒:当后面的技术升级时,你可能会被自己的 PMF 困住。
互联网也出现过类似情况。雅虎可以算是互联网第一个找到 PMF 的公司,它是门户网站,把信息列在那里给你看。
后来搜索引擎 Google 出现,对雅虎造成了巨大冲击。雅虎很复杂,上面有大量内容,需要点击去看;Google 就是一个搜索框,直接输入就行。
雅虎当时曾经尝试收购 Google,但出价不够高,后来 Google 反过来颠覆了雅虎。
我想说的是,Chatbot 可能也是一个甜蜜的陷阱。当你有这么多 Chatbot 时,可能会想在这个基础上继续优化。
但我一直觉得,Chatbot 可能会限制前沿 AI 模型的能力。比如你现在和 ChatGPT、Kimi 或豆包聊天,往往会形成类似微信的短对话。
有人说,我有一个问题。AI 说,你说吧。然后你说,我想做什么什么,AI 再反问你。我们的对话非常碎片化。
但如果你要给 Agent 一个指令,很多时候更需要写一个完整的 proposal。就像申请国家自然科学基金时,你要写清楚要做什么、目标是什么、条件是什么。你需要进行一次完整的沟通。
然而,在 Chatbot 这种类似微信的语境里,可能只能进行碎片化沟通。这时,模型的智能不一定能够体现出来。
我之前和 OpenAI 的同学聊过,他们发现,先进模型在用户聊天时,并没有让用户满意度提高太多。
这有点像,如果你和人聊天,普通大学生和科学家聊天,感觉可能没有那么大的差别;但如果让他们写一篇博士论文,那可能就是 0 和 1 的差别。
Chatbot 是一个比较早期、比较容易被接受的产品形态,但它不一定是最终形态。如果你在这个基础上进行短期指标优化,比如怎么让用户在 Chatbot 上停留更长时间,也许就会做打电话功能。
但打电话和智能提升是否一致?甚至可能并不一致。要把电话打好,可能和智能没有关系,而是和语气、情商有关。但它未必能提升你的生产力。
历史上经常出现这样的情况:第一个找到 PMF 的人,如果不继续探索,就可能被这个 PMF 困住。
程曼祺 Manqi Cheng
我们刚才做了很多关于 Agent 的展望,可能已经说到比较远的地方,也许是几年之后的事情。
如果只看 2025 年,在你说的“工作 scaling law”逻辑下,你觉得 Agent 会是什么形态?
7. Deep Research Finds Product Market Fit
戴雨森
第一批,我觉得现在最火的是 Deep Research。OpenAI 出了 Deep Research,但最早是 Google 出的;Google 有 Deep Research,OpenAI 有 Deep Research,Perplexity 有 Deep Research,Grok 刚发布的也有 DeepSearch。
我还知道好几家创业公司要做这个方向。大家都发现,让 AI 更深入地研究一个信息,获取更多资源,再根据获取到的内容决定下一步获取什么信息,形成循环,最后给你一份研究报告,这其实就是我们经常让分析师做的事情。
比如研究一下晚点这家公司是怎么回事,给我一份研究报告。大家发现,在同样的推理时间,或者稍微多花一点时间的情况下,AI 可以得到更好的结果。
我们把它叫作 read-only agent。它只读,不做写操作。这个方向目前看 PMF 已经很明确了。我发现我的 Deep Research 确实比实习生做得好,付费意愿和场景都很明确。
它针对的是知识工作者:需要在电脑前研究一个话题,看很多网站,最后得到一份报告的人。
第二步是从读到写。OpenAI 出了 Operator,Anthropic 推出了 MCP,本质上都是在解决 AI 如何使用工具的问题。
这会带来很多安全隐患,因为大家都不希望 AI 乱操作。但在可控情况下,让 AI 能够进行写操作、对外发布信息,是非常重要的能力。
我们投的 Monica 正在做类似产品。他们昨天和我分享了开发过程中遇到的一件很有意思的事情。
他们测试的问题是,要获得美国某个城市,比如凤凰城的地铁时刻表。模型先去官网查看,发现时刻表打不开,链接已经失效了。
这时模型做了什么?它直接调用邮件客户端,开始给凤凰城市政府写邮件询问,最后停在“是否发送”的界面。它完全可以做这样的事情。
程曼祺 Manqi Cheng
这是他们的产品吗?
戴雨森
对。他们的产品可以调用工具、调用浏览器,有点像 Devin,但可能更便宜,并且加入了一些专有数据和专业模型。
我之所以对 Devin 很兴奋,是因为它虽然可能不是最终形态,但它是一个先驱。它体现了很多有意思的特点:AI 主动使用工具,AI 有一台自己的电脑。
以前很多人想,包括国内 AutoGLM 这样的工作,就是用 AI 控制我的手机、在手机上点外卖。但仔细想,你的助理是用你的手机,还是用它自己的手机?应该用它自己的手机。
我的 AI 助理应该生活在云端,有一台属于它的手机或者电脑,用它自己的电脑帮我点外卖,而不是使用我的手机。因为我还要刷抖音、聊微信。
这就是虚拟化技术在 Devin 里的体现。
程曼祺 Manqi Cheng
在权限上,它的云端电脑用的还是你的账户体系吗?
戴雨森
不一定,也可能它有自己的电脑。假设你订了一个很贵的 Bloomberg,你的助理可能会说,老板,把你的账号借我用一下。你在上面输入账户,它再去使用。
另一种情况是,你给助理单独买了一个 LinkedIn Premium,它直接用自己的账户,也都有可能。
当 AI 能够使用工具时,它可以做很多事情。大部分软件工具无非有两种使用方式:第一,调用 API;第二,使用界面本身。
所以 Kimi K1.5 的工作里包含多模态推理,非常重要。因为如果要使用软件界面,就必须看网页、看懂网页。
现在大家说世界模型要理解世界,但理解世界仍然有很大难度。比如简单地说,AI 目前还不太能看出深度信息。我们看一个东西,会知道它有前后和深度,但 AI 对深度的区分能力一般。
不过,如果只是看电脑和手机的界面,AI 已经可以做很多事情。
这就是第二种 Agent:不仅帮助你读取和解读信息,还可以进行写操作。
你可以想象,当它能够写东西时,会出现很多有意思的例子。比如遇到一个问题,它理论上可以发帖求助,甚至可以悬赏。
因为它已经绑定了支付账户,所以它可以说,哪个人类帮我把这件事做完,我给他 100 美元。这已经不是科幻,而是完全可以做到的。
在这里,AI 做事情的效率、解决问题的方式,可能会非常不同。现在我们发现,强大的 AI 模型能够想出很多人类想不到的解决方案。
人类说这个问题解不出来,它可能会说,我能不能换一个问题?我能不能获得原来没有的权限?
这也是 AI 安全研究需要重点关注的地方。AI 为了解题,可能真的会做出有伤害性的事情。
我自己遇到过一个典型例子。我用 Windows 上的一个能够在本地操作的 Agent,让它制作一个个人网站示例。为了部署网站,它说有两个进程占用了端口,要把它们杀掉。
我当时说可以,后来一想,万一它杀掉的是系统进程,把电脑弄崩溃了怎么办?它只是为了部署一个 demo 网站,却没有意识到这个操作可能对我造成影响。
当然,这些问题可以通过对齐解决,但其中确实有很多潜在风险。
能够写操作的 Agent 做好之后,能力会非常强,但它的部署肯定会更慢,因为带来的后果也更大。它需要更多监控、训练和对齐,也要防止被滥用。
所以,我觉得读会比较快,写会更慢。Operator 就是一个例子。你使用 Operator 会发现,它现在还不如自己订机票方便,因为每一步都要确认,速度很慢。
但 AI 里的“慢”总是可以变快的,从慢变快、从贵变便宜,一直是 AI 发展的方向。
可以想象,如果现在需要你的助理花 30 分钟完成一件事,未来它 1 秒钟就能完成,那你每天可以多做多少事情?空出来的时间,你又可以做更多事情。
程曼祺 Manqi Cheng
这个进阶过程,是不是 OpenAI 之前定义的 5 个技术级别?Agent 下面是 Innovators,再下面是 Organizations?
戴雨森
这里面会衍生出几个问题。最简单的问题是,现在是人指挥 Agent,那能不能 Agent 指挥 Agent?
假设每个任务都能在 1 秒钟完成,人提出问题都来不及。以后可能是 AI 生成采访提纲,再由你的 Agent 对接我的 Agent,它们自己沟通、写完。
我觉得这是完全有可能的。但要实现这一点,有一个重要条件,就是 memory。
现在你使用的 ChatGPT 和我使用的 ChatGPT,回答同一个问题差不多。但实际上,除了公共信息之外,一个和我相处了几年的助手,肯定会对同一个问题给出不同答案。只有这样,我们两个人的 Agent 才能互相沟通。
因为我们都有自己的 memory,而现在 memory 机制还非常初级。
真正的记忆很长,而且记忆既包括你主动告诉它的内容,也包括它在观察和互动中形成的内容。有人说,记忆是不是要放在眼镜或者其他设备里,但记忆肯定是非常重要的一点。
另一个重要问题是 online learning。人有一个 AI 还不具备的独特能力:模型现在需要发布新版本,才能改变权重;但人会在日常生活中不断学习,通过读书和社会经历主动改变大脑的权重。
生物可以改变自己的大脑权重,输出原来不会输出的内容。但 AI 现在还要重新训练,必须经过一个训练过程。Online learning 也是非常重要的方向。
还有很多前沿探索。现在 Agent 使用的是人类的工具,但如果它比人类聪明 10 倍、快 10 倍,为什么还要使用人类的工具?
我们不会用小孩子的餐具吃饭,会使用大人的餐具。未来可能会出现专门为 AI 设计的工具。为超人设计的工具,肯定和为普通人设计的工具不一样。
AI 可能一眼看 100 行,我们一眼只能看一行。AI 专用工具,以及 AI 如何迭代自己的工具,可能会非常重要。未来甚至可能是 AI 自己设计工具,因为它觉得人类的工具不好用。
再往下推演,就进入科幻领域了。但现在这些已经不再是纯粹的科幻概念,而是可以想象,只要模型再往前走一步就能够实现的事情。
所以,我觉得智能进步会解锁新的产品形态。新的产品形态可能会比 Chatbot 强大很多。相比在 Chatbot 原有基础上做细节雕花,未来可能直接被颠覆。
程曼祺 Manqi Cheng
我们两三个月前聊 Agent 时,你还会提到 coding。刚才其实没有专门提到 coding。你怎么看 Agent 和 coding 的关系?
戴雨森
第一步是做 coding agent,比如 Cursor 或 Windsurf。这是 Agent 目前比较容易落地的场景。
但进一步来说,我觉得更重要的是 agent that can code,也就是能够写代码的 Agent。
比如你的助理可能是文科生,但它通过学习学会了写代码。它可以写一个爬虫,帮你获取更多信息。这样你采访时就知道该采访谁。
也就是说,你的 Agent 学会了一项新技能,叫 code。我觉得这会是接下来更大的范式。
原来第一步是 Agent 主要用来写代码,但毕竟需要写代码的人没有那么多。Cursor、Windsurf、Devin 都主要针对程序员,但地球上程序员毕竟有限。
更多的非程序员知识工作者,也就是普通白领,会让 Agent 干什么?我觉得他们的 Agent 必须具备写代码的能力,因为只有靠写代码,才能在赛博世界里自如行动。
程曼祺 Manqi Cheng
说到这里,我也感叹行业发展非常快。几个月前大家聊 Agent,想到的还是 coding,也有很多人在这个方向创业。
今天聊下来,你刚才总结得很好:原来是一个专门写代码的 Agent,现在是一个能够写代码的 Agent,然后去做更多事情。
顺便问一下,林超平的新公司是不是也可能是这个方向?他可能会做一个能写代码的 Agent。
戴雨森
它现在还在 PMF 阶段。我们投资他,也是因为他过去在 Kimi 和剪映的经历。
现在 AI 的 PMF 变化很快,很多时候大家都需要探索。所以我们一般不会说,它就是做什么什么的。这样容易让大家陷入把自己束缚住的状态。
程曼祺 Manqi Cheng
你觉得做好 Agent 还需要哪些能力?刚才我们已经聊到,推理肯定非常重要。更长期来看,记忆怎么解决?还需要哪些能力?
戴雨森
我梳理一下。刚才说到现在的 3 大能力:推理、代码和工具使用。接下来还有记忆,以及 online learning,也就是怎么样持续学习、学到新东西。
这几个问题都非常重要,而且目前还没有解决。记忆和 online learning,至少现在还没有看到指数级增长的 benchmark 提升。
程曼祺 Manqi Cheng
2025 年大家来做 Agent,更多是应用公司来做,还是模型能力特别强的公司来做?比如 OpenAI 做 Operator,Anthropic 推出 Computer Use,可能是这两种方式?
戴雨森
目前来看,模型公司确实有优势。它们可以用 RL 提升模型能力,也可以用更强大的模型对自己的模型做 fine-tuning。
但应用公司也有几个好处。第一,它可以混合使用多种模型,利用不同模型的长处。
第二是用户心智。Perplexity 一开始做 AI 搜索,就占据了用户心智。它使用的模型不断升级,用户会认为它就是 AI 搜索的代名词,反而可能比 ChatGPT 的搜索功能拥有更多拥护者。
Cursor 也是很好的例子。它一开始被认为只是套壳,只是调用模型。但它和模型其实是互相成就的过程。
没有 Sonnet 3.5,Cursor 不会那么火,也无法实现预测下一步代码的能力。但如果没有 Cursor,Sonnet 3.5 可能也没有一个好的载体,变得没有那么火。
模型公司未必有足够的时间和精力,去研究程序员在具体场景里如何使用模型。所以现在确实出现了模型公司和应用公司之间的分工。
类比不一定完全恰当,但 Windows 是微软开发的,微软同时也开发了 Windows 上最重要的应用之一 Office;Adobe 则是另一家公司,也开发了很多应用。
所以未来可能是 OpenAI 有模型,同时有 ChatGPT,但也有其他公司基于它们开发应用,类似微软的 Office 部门和 Adobe 的关系。
程曼祺 Manqi Cheng
你刚才提到 Monica 也是你们投的公司。他们做 Agent 探索,是基于其他模型或者开源模型吗?
戴雨森
他们不做自己的模型训练。下周如果不延期,应该会发布一个很有意思的 Agent 产品。
我们看到,当一个产品能够使用模型、让模型使用工具,再通过一系列巧妙的产品设计,就可能带来非常不一样的体验。
程曼祺 Manqi Cheng
你刚才提到 Chatbot 对第一个发现 PMF 的人来说是一种甜蜜的陷阱。那 Agent 这种形态的应用,会不会也有陷阱?它会不会分散注意力,或者拖慢大家逼近 AGI?
戴雨森
这个问题很好。Agent 我还没有想得特别清楚,Chatbot 也可能是这样。现在还在探索阶段,可能不好判断。
但我有一个感觉:如果一个 AI 产品的用户量非常大,为了服务这么多用户,模型的尺寸和能力可能会有所妥协。
简单来说,如果用户特别多,模型就不能太大。至少在中国,大家觉得收费比较困难,如果免费给大量用户提供一个需要很高推理成本的模型,可能不划算。
于是你会希望模型轻便一些。但更轻便的模型,和 AGI 可能存在冲突,或者说可能成为阻碍。
DeepSeek 有这么多用户之后,很多人也讨论是不是应该把用户留住。我自己认为,这同样可能是一个甜蜜的陷阱。
几千万 DAU,分布在全世界不同场景,要把这些用户服务好,需要在算力、产品设计和运营上花大量时间精力。这可能会影响探索 AGI 的资源,因为资源毕竟不是无限的。
现在看起来,他们好像没有刻意留住这些用户。我认为这是正确的,这样才有可能和微信合作。如果它也想借这个机会做成超级 App,微信可能就很难和它合作了。
程曼祺 Manqi Cheng
我刚才想到一个可能的方向是多模态。但我相信,Agent 更相关的可能是多模态理解,而不是多模态生成。
戴雨森
多模态肯定很重要,但现在多模态对智能的提升没有那么快。语言是非常浓缩的智能,把语言放在一起,肯定是智能提高最快的路径。
如果语言已经被处理得差不多了,图像的信息量其实很大。一张照片里有很多信息,但这些信息带来的智能可能并不多。你要看很多视频,才能形成智能。
但如果你理解牛顿定律,可能只需要几句话就能知道这个定律。你要看多少视频,才能自己总结出牛顿定律?
所以视频可能在具体使用上很重要,但对于智能的产生,现在可能压缩率还不够高。
程曼祺 Manqi Cheng
那为什么之前大家都在训练多模态?
戴雨森
也分两种。第一种是 Sora 这样的路线,也就是多模态生成。我觉得它有很明确的 PMF。
全世界有很多视频广告,现在也有很多游戏广告。最近很火的做饭橘猫,一个橘猫在那里做饭,非常搞笑。你会发现,很多视频只要做得还可以,就能拿去变现。
有商业模式,再加上一些 impressive 的效果,就会有人去做。Midjourney 也是这样,它甚至没有融资,但已经实现了初步 PMF。
程曼祺 Manqi Cheng
现在 Midjourney 和 Sora 怎么样了?热度下降了吗?
戴雨森
Midjourney 应该还是很不错,但肯定不是第一批用户使用时的状态了。它本来就是自带干粮。
Sora 的话,我觉得可灵、海螺等产品都按照它的技术方案做得很不错。现在反而看 Sora,感觉像是憋了一个大招,但出来之后没有特别惊艳。
不过昨天 Google 发布的 Veo 2,我觉得还是很惊艳的,至少在单镜头情况下,应该是目前最好的视频生成模型。
但现在大家普遍也认为,视频生成在智能上可能不是最重要的方向,目前还是先在 reasoning 上竞争。
这也可能说明,当你看到一条明确可以往前走的路时,很多人会选择先走这条路。所以,AI 里会反复经历探索和奔跑交替的过程。
当你遇到瓶颈时,之前一些看似没有目标的分支探索,可能带来新的突破。但如果现在有一个明确方向,比如两年前是 pre-training,大家不断增加语料进行预训练;现在是 RL,大家更多做强化学习,那肯定要先提高这一方面的智能。
从公司的角度,一方面要在直道上狂奔,和所有人一起赛跑;另一方面也要做 frontier 探索,探索短期内不知道会发生什么的方向。
程曼祺 Manqi Cheng
所以还是大公司更有优势?美国是 Google,中国是字节?
戴雨森
美国还有 OpenAI。大公司确实有资源,但也不能简单这么说。要看我们现在处在哪个阶段,以及这个阶段会持续多久。
如果现在是需要创新的阶段,创业公司有可能通过不同的 vision 避开大厂,提供新的东西。但如果现在是直道狂奔,谁有钱、谁有卡,谁就更容易往前冲。
创业公司的长项,一直是做大公司没看到的事情。但如果大家都已经明牌了,大公司当然更有优势。
程曼祺 Manqi Cheng
我们刚才讨论 2025 年 Agent 可能普及时,没有特别讲成本。成本降低是不是推动 Agent 的重要因素?
戴雨森
当然。我有一个基础假设:先让它能做,再让它变便宜。变便宜这件事肯定会发生,能力变强也大概率会持续,但中间遇到瓶颈和卡点也完全可能。
所以,先能用,再变得好用,最后再变得便宜。如果连能用都没有做到,便宜就无从谈起。
中美的落地难度也不一样。美国人工成本很高,很多岗位招不到人。比如 Devin 当时的定价,一个小时的工作大概几美元。我们可能觉得贵,但在美国公司看来,美国加州平均最低工资大约是 16 美元,去麦当劳工作也要 16 美元一小时。
如果 AI Agent 一个小时只要 6 美元、8 美元,第一是便宜,第二是它一年之后还会变得更强。同样的价格,实际效果会越来越便宜。
在美国这种习惯为企业服务付费的环境里,这是合理的。
我现在也是 GPT Pro 每月 200 美元的订户,我觉得非常划算。它可以做 100 次 Deep Research,每次 2 美元。让实习生做的话,我不可能半夜两点让他 5 分钟给我一份报告,而它给出的报告质量基本不会有它好。
我经常和实习生说,如果你们只是收集信息,做一份似是而非的报告,可能真的不如 2 美元一次的 Deep Research。
William Gibson 说过一句话:“未来已来,只是尚未均匀分布。”现在使用前沿 AI、能够把 AI 用好的人,对未来的想象和可能性,和很多第一次使用 Chatbot、甚至还没用过 Chatbot 的人,差别非常大。
这种分布非常不均匀。对于大量在电脑前面查资料、写文档的人来说,AI 替代人已经不是想象,而是在发生。
程曼祺 Manqi
在 RL 之后,强化学习带来 Agent 解锁,下一种技术范式可能是什么?
戴雨森
首先,我觉得 RL 还能走很远。第二,接下来可能有一个很重要的方向,就是发现新知识。
Anthropic 创始人 Dario Amodei 写过一篇文章,叫 Machines of Loving Grace。他提到,接下来 AI 要如何发现新的科学成果和知识。
这也可能是 OpenAI 五级分类里比较高的级别。大量科学发现都是先思考,再通过实验验证。
现在 AI 在思考上可能已经做得很好,但验证有时需要观察,有时要做物理、化学或者医疗实验,这方面会有限制。
如果能找到一种方法,大规模并行进行实验,验证 AI 提出的假设是否正确,包括数学定理这类可以通过纯思考产生的新知识,那么 AI 可能会进入一种“左脚踩右脚”的状态。
它产生新知识,再用新知识改变自己,学到更多知识,形成自我迭代和进化。
到那时,产品形态可能又不一样。很多大佬会问我,什么时候能发明长生不老药?我说,这可能是大家赚很多钱之后的共同目标。大家未必想让 AI 干更多活,而是希望它给我一个长生不老药。
当然,它也会解决很多人类的大问题,比如癌症的 cure 是什么。
程曼祺 Manqi
也可以帮 AI 自己解决能源问题,对吗?
能源肯定也是一个重要的 boundary。现在大家开始探索核能,是因为原来人类对能源没有这么高的需求,算力在指数增长,但电力没有指数增长。
当算力和电力挂钩之后,就会发现电力也要指数增长。于是大家开始研究液冷、供电、核能等问题。
AI 变得更聪明之后,可能自己发现更高效的能源利用方式,甚至解决 50 年都没有解决的可控核聚变问题,让它形成闭环。
人类能完成的任务,它很快就能完成;接下来就会到达一些人类解决不了的任务。这就像李世石时的 Move 37,第三十七手神之一手。人类不知道它是怎么下出来的,但只要人类能够验证结果,就可以说,我不知道它是怎么来的,但我发现 it works,这东西可用。
这可能带来很多新的进步。
程曼祺 Manqi
你刚才说的下一个阶段,也就是发现新知识,现在业界或者学术界有没有一些苗头?
AlphaFold 肯定就是这样的工作。已经有一些成果属于这个方向,也就是 AI for Science。
比如我们之前投的晶泰科技已经上市,AI 找新药肯定是大家都在做的事情。蛋白质折叠解决的是靶点问题,但找到一个新的潜在靶点之后,还要把它做成药,进行临床实验。
这个过程目前要怎么加速,可能还需要解决一系列合规和实验问题。
程曼祺 Manqi
刚才主要讲的是推理能力提升、工具使用能力提升,以及它们带来的 Agent 变化。另一个对现在格局影响很大的事情,就是 DeepSeek 的全球出圈,以及它非常彻底、一贯的开源方式。
戴雨森
这个可以分几个层面来讲。
第一类是本来就闭源的大型科技公司,现在有很多动作。比如腾讯、百度都接入了 DeepSeek。
腾讯接入了很多产品,AI 主力产品元宝接入了,最大的国民级产品微信也接入了,大概有十几个产品接入。百度的文心接入了。阿里、字节目前没有接入。
程曼祺 Manqi
你觉得豆包什么时候会接 DeepSeek?
戴雨森
我和字节没有任何关系,但如果豆包选择接 DeepSeek,我会觉得很意外。
我的理解是,字节非常想探索智能前沿,非常重视基础模型研发。如果接入 DeepSeek,不管是对外形象还是对内士气,都可能是一个很大的变化。
但从另一个角度,如果豆包用户觉得 DeepSeek 更好用,那么从用户价值来看,接入也可能合理。但这肯定不是字节做 AI 的初衷。
据我所知,他们还是想做 AGI,实现 AI 的全面领先。他们的人才和资源确实非常丰富。
程曼祺 Manqi
那腾讯呢?
戴雨森
这些都是小道消息。我们作为天使投资人,也不可能知道决策层的真实想法。
以前有人说,腾讯做视频也是后发先至。让你先跑 3 年,我有这么多微信用户,始终可以把用户调动起来。
之前听说腾讯在模型上确实也有一种后发制人的想法:我有用户,有用户数据,微信始终要用。等模型技术出现收敛、变得成熟后,我再接入。
微信是用户基础设施产品,不可能做特别大的调整,否则会给用户带来影响。
我觉得腾讯接入 DeepSeek 这件事值得点赞。听说 AI 搜索去年就已经开始推进了,但接入 DeepSeek 的决定,肯定来自最高层,甚至可能是 Pony 的决定。
这对用户来说是好事。听说接入 DeepSeek 之后,很多产品的数据都涨得很好,可能是两位数增长。
从 DAU 角度看,用户点击微信搜索,下面出现一个下载、使用 DeepSeek R1 的元宝,导流效果肯定非常强。元宝现在是 App Store 第二名,我觉得很快可能就会第一名,这很正常。
腾讯的节奏感非常好。元宝使用 DeepSeek 也比较稳定,不会问几次就出现服务器繁忙。腾讯之前买了很多卡,过去还不知道这些卡具体用来做什么,现在突然发现可以用于 inference,最近听说也在继续加单。
腾讯具备基础设施能力。它可能选择在自研大模型上不那么激进,略慢一筹,但它知道有人会做出更好的模型,到时候只要快速接入,因为它拥有微信这样的入口。
程曼祺 Manqi
你觉得这是腾讯很早就设定好的主动战略路线吗?
我听说这是一个主动选择的战略。但同时也听说,混元在大幅招兵买马,扩展自己的团队。
从过去中国互联网的经验看,很少出现大厂完全依靠第三方提供关键基础设施,而不是自己做。所以一方面,我觉得腾讯现在的决定非常厉害,也许是新时代的开启。
美国有很多这样的例子。比如 Netflix 一直使用 AWS,虽然亚马逊有 Prime Video,是它的直接竞品,但 Netflix 仍然认为 AWS 是技术和商业上最好的选择。
中国以前通常是,你有支付宝,我就要有微信支付;你有自己的东西,我也要有自己的东西。但 DeepSeek 是一个比较中立的选择。它的团队不是要发展超级 App,也没有想做 To C 产品。
我觉得马化腾知道梁文锋没有那么强的兴趣去做一个大 DAU 产品,所以双方合作有基础。
但腾讯会不会一直不想要自己的大模型,这也很难说。技术变化很快。微软之前依靠 OpenAI,后来也开始考虑自己训练,甚至投资 Anthropic,所以一切都可能变化。
最核心的问题还是,谁能够持续保持在 frontier。
过去两年多,我们看到很多说要做基础模型、挑战智能的团队逐渐掉队,这也合理。因为这件事需要人才、资金和创新。
现在有资格做这件事的大公司,我觉得只有字节;有资格做这件事的创业公司,目前可能只有月之暗面。
如果只看拿 VC 钱的创业公司,原来所说的 AI 六小虎里,目前看起来,只有 Kimi 在人才、团队、资金和用户上,具备持续冲击 SOTA 的能力。
最近 OpenAI 最新发表的一篇论文,也同时引用了 R1 和 Kimi K1.5 的工作。今天中午你们来的路上,Kimi 又发布了 Moonlight,一个最新的开源小模型。
能够持续对技术社区作出贡献,需要团队本身具备很强的能力,也需要非常明确的方向。
程曼祺 Manqi
OpenAI 的论文同时引用了 K1.5 和 R1,而这两个成果发布时间也非常接近,是同一天,大概在 1 月 20 日左右。你怎么看?
戴雨森
当时刚发布之后,我找一些技术社区的人聊过。大家给我的反馈是,K1.5 和 R1 的认可度差别没有那么大,但最后实际影响力的差别非常大。
我觉得真正开源是一个关键差异。DeepSeek R1 的一些工作,包括 R1-Zero,确实有很大意义,而且开源之后大家都可以使用,尤其在西方引起了很大反响。
过去几年,硅谷一直质疑预训练花这么多钱是否值得。去年年底,Ilya 也提到预训练可能撞墙了。很多二级市场投资人都在担心,是不是花的钱太多了。
结果 DeepSeek 突然出现,说 500 万美元就能训练一个 O1 级别的模型。当然这是误读,因为那只是最后一次训练的结果,论文写得很清楚。但有人需要制造一个大新闻。
在美国,这件事首先引爆了大家的担心,导致 1 月 27 日英伟达暴跌 16% 之类的反应。
当事情变成全球新闻,影响力肯定不是 Kimi 一篇论文或者一个技术创新能比的。
和 DeepSeek 熟悉的同学告诉我,他们认为美国 OpenAI 或 Anthropic 训练一个 V3 级别的模型,甚至不需要花 500 万美元,因为它们有更大的集群和更多训练经验。
但很多不太懂行的人,最后把它理解成 500 万美元和别人融资 10 亿美元的对比。现在大家逐渐知道,这并不是这样比较,所以英伟达股价也很快修复了,最后甚至引发了特朗普评论。
从训练成本来说,真正的业内人士并没有觉得 500 万美元这个数字多么吓人。大家更关注的,可能是 MLA 这种降低推理成本的创新。
模型智能提升,以及训练和推理成本下降,一直都在发生。GPT-4 API 出来之后,成本已经下降了 90% 多,今年肯定还会再下降 90% 多。
这件事一定会发生。芯片会变得更强,大家也会找到更多降低成本的优化方法。所以现在大家首先关注的,还是智能能不能继续往前走。
只要智能能继续往前走,成本一定会下降,而且会以非常快的速度下降。可能每年降到原来的二十分之一,甚至几十分之一。
所以,至少在美国,大家并不太担心降成本,因为相信这条曲线一定会发生。
程曼祺 Manqi
所以降成本其实是在一个既定轨迹里?
戴雨森
对。Anthropic 创始人 Dario 后来写了一篇很长的文章,最后虽然落点是希望获得更多 GPU,但前面的技术分析还是比较充分。
他认为成本下降是在一个大的行业曲线上。包括智能提升也是这样。
那篇文章后来多少有点气急败坏,但前面对技术的分析是对的。因为 Anthropic 对 Sonnet 的对齐经历了很长时间,他们非常强调安全。
Sonnet 甚至还不是 reasoning model,但它已经很厉害了。听说他们马上也要发布 Claude 4。
我觉得这也是 DeepSeek 带来的好处,形成了鲶鱼效应。来了一个很厉害、又开源的选手,大家就不得不动得更快。
DeepSeek 回过头看还有一个很好的特点:它是一个全新的应用,一上来就是 R1 和搜索的结合。它从一张白纸开始做一个新产品,这也是很大的特点。
还有一点是后来我才意识到的。大家训练 reasoning model 时,对标的都是数学和编程能力。无论 DeepSeek、OpenAI 还是 Kimi,论文里都是用 AIME、MATH、LiveCodeBench 这些 benchmark 对标。
但 DeepSeek 出圈以后,反而是它的文笔出圈了。
听说 DeepSeek 在文本方面做了一些专门的对齐工作,甚至找了北大中文系的人做标注。我们第一次看到它时,觉得它的回答特别有想象力,动不动就是量子力学,再上升到非常天马行空的角度。
对 OpenAI、Kimi 和豆包来说,这种表达可能反而是以前要避免的。大家训练模型,最担心的是模型胡说八道,也就是 hallucination。
但 DeepSeek 一方面可能有意加强了文本对齐,另一方面它原来的定位是 research lab,可能没有对所谓中立性和 truthfulness 做太多微调,所以这个特性反而变成了一个优点。
很多传播来自大家发现它的回答特别有创意,思考过程也特别有创意。我不知道这是阴差阳错还是有意为之,但事实上确实增强了传播力。
程曼祺 Manqi
你和圈内人聊过吗?他们觉得这是阴差阳错,还是有意训练了写作能力?
我听一些人说,他们可能确实在这方面做了加强;也有人认为,这是对齐不够充分的结果,属于无心插柳。
我没有确切答案,但从结果来看,这确实是它出圈的重要原因。真正拿它做数学题的人没有那么多,大部分人还是拿它算命、做 MBTI 测试。
这些都不是大家想象中,一个冲击 AGI 的前沿模型最需要做的事情。但很多人会觉得,它的回答特别有道理,或者特别有创意。
程曼祺 Manqi
你和字节或者 Kimi 的人聊过吗?他们怎么理解这个问题?
有一些人认为这是刻意追求的结果,也有人认为这可能是对齐不足导致的 feature。大家都是从观察角度推测,很多信息也不是一手信息,并不确切。
这也不是为 Kimi 打广告,但我最近和植麟聊,他说 Kimi 的用户也一直在涨,达到新高。
有人发现,在工作中,尤其需要准确性时,Kimi 可能更准确,因为它做了更多防止胡说八道的措施。于是他们说,干活用 Kimi;如果要聊 MBTI、算命,需要创造力,那 DeepSeek 确实更天马行空。
我自己也这么觉得。今年写新年祝福,我都用 DeepSeek 来写。Kimi 写的新年祝福像一个理工男,DeepSeek 写出来的则有点脑洞大开。
程曼祺 Manqi
大家也比较好奇,DeepSeek 到底怎么赚钱。刚才我们聊到腾讯、百度以及很多大小公司都接入了 DeepSeek,但它实际上不会直接从这个动作里赚钱,对吧?
如果只是使用它的开源模型,确实不会直接赚钱。DeepSeek 目前能直接赚钱的,主要是卖 API。
听说它的 API 是有毛利的,因为他们自己在推理上做了很多创新,serve 自己的模型,成本可能比其他公司 serve 自己的模型更低。
现在很多人想用它的 API,但它面临的问题是算力不够。它还要做训练,前一阵子甚至关闭了 API 充值入口,相当于说,你不要给我钱了,我服务不过来。
这不就是商业模式的体现吗?很多人说,能不能我付钱,你给我一个稳定版本。这有点像 GPT Plus 的订阅模式。
我一直认为,在技术革命早期,不要太快用成熟期的标准要求商业模式。首先用技术为用户和客户创造价值,再从这些价值中提取一部分作为收入。
这件事迟早会发生,只是需要一些耐心。
程曼祺 Manqi
你是在 2024 年就有这个清晰认识,还是经历了 DeepSeek 带来的冲击和启示之后,才有了更坚定的想法?
我觉得这是不断学习的结果。
我们这一代人入行时,移动互联网已经逐渐进入下半场,互联网也进入了下半场。更早的 1990 年代,虽然我是互联网用户,但那时并没有思考商业模式。
我觉得要经常以史为鉴,想想早期互联网公司为什么技术很强,做出了很好的产品,却不知道怎么赚钱。
Google 遇到的第一个问题也是这样。它用 PageRank 这个新技术,做出了体验好 10 倍的搜索引擎,用户自发传播、非常喜欢。但一开始 Google 也不知道怎么赚钱,因为它不想放广告,觉得这样很清爽。
Google 1998 年上线,2002 年《纽约时报》有一篇文章,说 Google 最难搜索的是它自己的商业模式,批评它没有商业模式。
后来大家都知道了,2002 年左右它逐渐找到了 AdWords 和 AdSense。2004 年上市,成为现在最好的印钞机之一。
这是一个很好的例子。你一开始问它商业模式是什么,它其实不知道。但它首先来自技术突破,技术突破带来好的产品,好的产品再把价值变现。
程曼祺 Manqi
所有技术突破都会经历这个水到渠成的过程吗?还是我们有幸存者偏差,只看到了最后取得商业成功的技术突破?
当然不可能所有技术突破最后都能赚钱。但要看技术突破处在哪个周期。
现在技术变化的斜率很陡峭。如果你拿现有技术逼它马上变现,就像让一个天资非常聪明的高中生去赚钱。他可能赚不了什么钱,只能去搬砖。
但你多培养他,等他成为博士生之后,他就可以赚大钱。
如果技术已经进入平缓期,比如移动互联网 5 年前的技术和现在没有太大区别,那么商业模式就会百花齐放。
Facebook 也是这样。它刚出来时是一个很前沿的产品,引发病毒传播,但当时大家也不知道怎么赚钱。
它尝试过 Banner 广告、本地广告、游戏内广告,其实都没有赚到什么钱。直到 2012 年,它把 News Feed 从时间排序改成推荐排序,形成了信息流推荐。
只有做推荐的信息流排序,才能插入广告。2012 年它上线 News Feed Ads,也就是信息流广告,同年上市。
Facebook 2005 年上线,信息流 2007 年上线,推荐信息流 2012 年上线,最终找到真正的商业模式,也花了 6 到 8 年。
那个时候它一直是用户很喜欢,但商业模式不清晰的公司。伟大公司往往都经历过这个阶段。
程曼祺 Manqi
你觉得自己会开源吗?
首先,我觉得开源不是每个人都必须做的事情。你要领先,开源才有价值。开源一个不太好的东西,只是为了开源而开源,没有太大意义。
所以第一,要领先,或者至少达到 SOTA,对世界有增量,开源才有意义。
第二,开源比较弱的一种形式可能是免费。免费加领先,其实已经很厉害了。
这次 DeepSeek 可能得到的一个重要甜头,是开源导致西方和美国关注。美国引发大新闻之后,回到中国,大家又会觉得它更好,因为让美国人破防了。
但不是所有人都需要这样的效果。开源当然有助于和微信合作,但这不只是开源,而是公司是否坚持做这件事。
假设豆包现在开源,微信会接吗?我估计也不会。因为 DeepSeek 最开始的 LLM 版本就是开源的,所以关键不只是开不开放源代码。
假设豆包和 DeepSeek 一样厉害,也开源了,微信可能还是不会接,不是能力问题,而是它在阿里、字节等公司中的位置和身份问题。
梁文锋和 DeepSeek 不只是因为开源,而是他们坚持开源,而且市场定位对大家没有威胁。他们是中立的,也没有拿某个大厂的大额投资,基本没有外部投资。
最近 OpenAI 也在考虑开源。Sam Altman 发过一条 Twitter,让大家在两个选项中选择:可以开源 O3 Mini,或者开源一个 phone-size model,也就是可以在手机端运行的模型。
程曼祺 Manqi
你更期待它开源哪个?
当然开源哪个都很好,但我肯定对 O3 Mini 更感兴趣。
目前端侧模型的用途可能还没有那么大,大家更需要的是在智能前沿取得突破。O3 Mini 是一个很强大的模型,在较长推理时间下,也就是 ChatGPT 里的 O3 Mini Pro、O3 Mini High 模式下,表现非常好。
如果这个级别的模型能够开源,大家可以知道它怎么做出来,以及它有哪些特点,这会有很大价值。
听说这个模型也不大,所以对模型训练和应用都会有很多借鉴意义。
程曼祺 Manqi
你听说它多大?
听说是 3.7B。这个数字确实让我有些震惊,好像太小了。
我的意思是,它每次激活的是 3.7B。这个消息据说来自几个比较靠谱的来源。
如果是这个尺寸,就意味着他们能够把一个很大的 O3,变成一个很小的 O3 Mini,然后让 O3 Mini 通过更长思考时间得到很好的结果,这是一项非常厉害的工作。
它每次激活 3.7B,所以 O3 Mini 本身应该也是 MoE。
OpenAI 之前分享过开源的顾虑,认为开源会削弱竞争优势,比如给 Google 可乘之机。
所以我觉得梁文锋很伟大。他确实把很多秘密告诉大家,让大家都可以变得更好。
但从纯商业公司的角度,确实会有很多担心。OpenAI 还有一个担心,就是强大的 AI 可能被坏人利用,这也可能是非常合理的担忧。
所以,开源并不一定就是唯一正确的选择。DeepSeek 的开源热度,如果问字节,它未必希望这样。
因为 DeepSeek 一方面定位就是开源,另一方面它可能也没想到自己会这么火。现在它处在一个非常敏感、重要的位置,不管对中国、美国还是整个行业都是这样。
程曼祺 Manqi
DeepSeek 对原本就在开源生态里、希望主导开源生态的公司,比如 Meta、阿里,会有什么影响?
肯定是一种激励。大家发现来了一个更卷、更进步、更开放的人。
开源社区有时候会被戏称为“赛博佛祖”,因为你确实是在为大家做一些类似慈善的事情。原来阿里、Meta 这些大公司,都是把算力拿出来,把模型开放给大家使用,带动行业发展。
现在来了一个进步更快、更开放的选手,对所有人都是压力和激励。
但 DeepSeek 的中立性确实是独特位置。Perplexity 可以用,腾讯也可以用,千问也可以用。即使能力相近,大家坐的位置不同,结果也可能不同。
程曼祺 Manqi
我插一个问题。苹果在大模型领域做了什么吗?
戴雨森
他们的团队很优秀,也做了不少模型训练。我听说他们想做端云混合的 Agent。
他们有点像微信:用户都在我这里,入口都在我这里。我可以慢一点,因为用户量和品牌价值很高,不能轻易改变。
苹果肯定在训练大模型,也可能在做桌面机器人。人形机器人,据我所知应该还没有。
苹果过去很擅长在技术周期已经相对成熟之后,通过极致设计和极致体验占据成熟期。耳机、iPad、iPhone 都是这样。
但 Vision Pro 不是,它是一个探索性的产品。Apple Watch 之前也有一定探索性。
所以,苹果过去是一个后发制人的公司,和腾讯有点像。它的用户对稳定性有很强需求,对品牌有很强信任。买苹果产品时,大家希望体验成熟完善,不要总是有 bug,不要一会儿这样、一会儿那样。
他们显然也从 Google 等公司吸引了很多人才,也有足够算力训练模型。但对苹果来说,发布一个自己的模型,目的是什么?
端侧肯定会有自己的小模型。苹果最近也和阿里、DeepSeek 沟通合作过,Kimi 也聊过。
从苹果角度看,选择阿里很好理解。它需要一个服务稳定、能够应对大规模用户、具备 infra、服务和技术经验的合作伙伴。
阿里在这一轮确实比较开放。千问做得很好,和 Llama 兼容,模型质量不错,更新也频繁,所以很多开发者在使用千问。
DeepSeek R1 使用时有不少幻觉,所以做应用时不一定是最好的选择。
在 DeepSeek 全民爆火之前,在海外技术圈里,千问和 DeepSeek 的影响力其实比较接近,因为它们都是开源系列。
程曼祺 Manqi
现在回头看,Kimi 不管 benchmark 多好,如果不对外开放,不能开源使用,也不提供海外应用服务,在海外就没有认知度。你们之前怎么讨论这件事?为什么可以不开源?
戴雨森
即使现在,我也不认为开源是必须要做的事情。
开源是某些情况下公司的一种选择。比如你没有保密竞争压力,也没有融资压力。现在回头看,DeepSeek 是开源加上一系列因缘际会,才形成了今天的结果。
完全可能存在另外 100 个平行世界:第一步也是开源,很多人也喜欢,但没有出圈。
这里面有很多偶然事件。年底一群人在达沃斯开会,聚在一起被采访;之后又是春节,春节本来就容易在中国形成传播;国外也差不多在关注;再加上英伟达股价大跌,这些因素叠加在一起。
所以,开源不是这里面必备的条件。开源当然很厉害,也非常值得尊敬,但商业公司的核心,还是能不能创造用户价值,最后把用户价值变成商业价值。
开源不是必经路径,而是一条有意思、很创新的路径。
但今天所有探索 AGI 的公司,不会以用户价值作为核心。我觉得它们的核心都是技术价值。在技术增长期,技术价值提升才能带来用户价值。
所以,前沿技术探索非常关键。大模型出现之后,可能涌现出一批比较务实的投资人和创业者,他们说,我就拿现在的技术去赚钱。
但 Kimi 显然属于另一波:我要推动技术 frontier,通过技术打造魔法般、让人惊叹的产品体验,最后获得商业价值。
Kimi 在 2023 年出圈,很重要的原因是它第一个把 Chat、搜索和长文本结合起来。
当时 ChatGPT 不能搜索,对长文本、多文本、多文件的处理也不够好。Kimi 通过长文本技术,把搜索和 Chat 结合起来,带来了不一样的用户体验。
这也是一个例子:技术选择带来产品体验,产品体验带来传播。
程曼祺 Manqi
我插一个小白问题。当年选择长文本是非共识吗?是一个很难的决策吗?
戴雨森
长文本肯定是大家技术选择中的一个选项,但你是不是把它放在最重要的位置上,我觉得这不是共识。
当时有一个段子,不知道是不是真的。Kimi 火了之后,百度的人问,为什么他们做了长文本,我们没做?他们好像说,长文本的优先级当时没有排在第一批。
当时还有很多其他优先级,比如做 Character.AI,做情商方向的对齐,或者做其他事情。
Kimi 坚定选择长文本,并且把它做到极致。长文本能够解锁两个关键场景:第一,看多个文件;第二,搜索 100 个网页并进行总结。
没有长文本,这两件事都做不了。
而且 Kimi 当时刚成立,没有融到那么多钱,是一个年轻的小团队,资源非常有限,必须 focus 在一件事情上,选择一个正确方向。
DeepSeek 现在火的很多因素,放在 2023 年的 Kimi 身上也成立。资源有限,就要在一个关键领域突破,达到让用户觉得非常 wow 的体验,于是出圈。
我不是往自己脸上贴金,但确实觉得它们之间有一些相似之处。
程曼祺 Manqi
当时 Kimi 占据了长文本的用户心智。长文本对他们今天做模型还有帮助吗?
戴雨森
当然有帮助。同样做 retrieval,Kimi 在 usefulness 和准确度上可能还是更好。
普通用户不会特别比较。现在很多人用 DeepSeek,对它产生的幻觉没有感觉。但如果你交一份报告,回头可能就会被坑。
我昨天就遇到一个例子。在一个群里,有人发了一篇文章,引用了一些数据。我一看,这个 DeepSeek 味道怎么这么浓。
回到 2023 年,我觉得 Kimi 走长文本路线是正确的,不是弯路。
今天早上我们还在聊注意力机制,为什么大家非常重视 attention mechanism,其中一个原因就是后面的长文本。
长文本对强化学习也很重要。长思维链需要长文本能力,记忆也需要,长的推理过程也需要。
如果模型思考 5 分钟就必须停止,那怎么 scale up?所以长 context window 是一个底层技术。
当资源有限时,选择走哪条路很关键。比如有人选择从 Sora 走世界模型,这条路也许能走通,但也许不是你现在能走通的。如果选错了,就可能失败。
程曼祺 Manqi
刚才说的是大公司。现在 DeepSeek 因为中立,而且有很强的流量导流作用,很多公司和它合作。
你觉得 DeepSeek 出圈之后,对之前经常拿来和它比较的 AI 六小虎,直接冲击是什么?
我觉得确实起到了清场作用。
有几家公司在 R1 出圈之前,就已经不再训练自己的基础模型,也没有继续冲击 SOTA 的准备。R1 出来之后,大家意识到,如果没有做到 SOTA 的可能,还不如做垂直领域或者做应用。
程曼祺 Manqi
它们放弃是因为资金、团队,还是定位?
都有。资金原因、团队原因,也有自己的定位原因。
作为 Kimi 的天使投资人,我肯定难以避免“屁股决定脑袋”的指责。但从实际情况看,K1.5 的表现,以及他们接下来要发布的模型,在数学和编程方面还会有进一步提升。
从学术贡献来看,K1.5 也讨论了 long chain of thought,评价很好。今天发布的 Moonlight,以及前两天发布的模板,也说明 Kimi 团队仍然具备持续向技术同行交流输出的能力。
Kimi 现在的用户已经达到千万 DAU,并且还在持续上涨。
说实话,很多人在使用 DeepSeek 和 Kimi 之后,在不同场景里仍然更喜欢 Kimi。比如 Kimi 幻觉更少,在工作场景表现更好;在多模态推理上,Kimi 可以直接拍照搜题,这些场景 DeepSeek 目前还没有。
从团队、资金、技术能力、用户和产品角度,可能有我的私心,但我确实认为,Kimi 是六小虎或者几小虎里,唯一一个还能够持续参与 SOTA 模型竞争的团队。
当然这条路很难,需要钱、需要人、需要各种资源,但至少值得一试。
程曼祺 Manqi
Kimi 接下来会更专注吗?会砍掉一些东西吗?
他们已经砍掉很多东西了。小明去创业,就是因为他们把海外业务砍掉了。
他们现在还是要继续冲击 SOTA。
程曼祺 Manqi
视频生成正式不做了吗?
至少张翰的一些内测产品没有发布。我觉得有所不为很重要。
程曼祺 Manqi
冲击 SOTA,是不是意味着更聚焦,只做大语言模型?
不一定。核心是智能,什么东西对提高智能最有价值,就做什么。
也许有一天会发现,多模态对提高智能很重要。多模态对工具使用也很重要,而工具使用是智能的重要一环。
K1.5 也是多模态推理模型。每家公司肯定都有自己的选择,不是说专注就一定要做和别人一样的事情,否则反而没有机会。
程曼祺 Manqi
六小虎里多数公司在 DeepSeek 出来之前就已经放弃了,这在你的预期中吗?
我们在 2024 年年中就感觉到,可能会是这个结果。那时有几家公司已经很明显,从意愿和资源角度,都很难继续做基础模型。
Kimi 还有一点我觉得很好,就是团队非常稳定。这和团队构成有关,几位联合创始人有长期合作经历,甚至是室友。
现在各家模型公司人员变化都很大。创业就像走平衡木,走着走着同行的人越来越少,可能就掉下去了。
很多时候,能够持续留在牌桌上,本身就很厉害。
程曼祺 Manqi
刚才主要讲了对模型公司的影响,包括大公司、开源和闭源公司,以及创业公司。
接下来还有生态里的其他公司。比如 DeepSeek 带来的更开源的风潮,可能会对 AI 云平台产生什么影响?
DeepSeek 接下来一周的开源周,按它的预告,可能会开源 infra 层面的推理优化成果。那对硅基流动、无问芯穹这些公司会有什么影响?
我们是无问芯穹的天使投资人。他们的业务量涨得很大,收到了很多需求,尤其是各地国资、政府都在部署 DeepSeek,需求确实暴涨。
他们现在应该也做了很多创新,比如在华为昇腾芯片上做推理。因为很多人都需要使用 DeepSeek,所以这类公司也很火。
开源模型的火,确实给 AI infra 公司带来了很好的机会。
原来如果模型都是闭源、私有模型,比如豆包、Kimi,那么这些公司起不到太大作用,因为字节自己会做 serve。
但长期来看,还要看它们能不能持续服务好客户。公有云,比如腾讯云、阿里云、火山引擎,具备更多资金、infra、资源和能耗,也有客户服务能力。
客户不会做慈善,最终还是谁服务好、价格合理,客户就使用谁。所以对创业公司来说,挑战也很大。
关键是,你是不是有技术能力,做到腾讯云、阿里云做不到的事情,让用户仍然愿意使用你。中国公有云非常卷,创业公司面对的挑战不小。
DeepSeek 要开源这些“黑科技”,也意味着它在 service 上有很多自己的优化。它自己服务模型的成本可能比别人低,所以才会有官方下场的服务提供商。
短期内算力需求激增,谁也没有想到,DeepSeek 自己承受不住,由其他公司承担,这很正常。
但如果进入稳态,创业公司要面对大型公有云,也要面对 DeepSeek 第一方服务。DeepSeek 第一方可能仍然有优势,这还需要观察。
整体来说,肯定创造了很多机会。
程曼祺 Manqi
AI 云平台是在云和模型之间,可能会被两边挤压,也可能因为生态变化获得机会。
对。如果开源中间层的选择变多,比如有不同框架、不同模型可选,中间这一层就会越来越重要。
但如果最后收敛到一个系统,比如只剩 iOS 或安卓,那可能还是系统提供商自己提供。
程曼祺 Manqi
对广泛只做应用的公司来说,影响是什么?
戴雨森
肯定还是正面的。它们多了更好、而且开源的模型,可以做微调和应用。
但如果你想在模型主航道上做“Office”,会比较困难。如果你做的是丰富模型生态的事情,机会就很大。
我一直用“黑莓时代”打比方。黑莓时代技术能力有限,能出现的 PMF 很少,主要就是发邮件、发信息。
黑莓时代,即使张一鸣回到那个年代,说要做抖音,也做不出来,因为黑莓不具备那个条件。
后来移动互联网蓬勃发展,首先是因为 iPhone。iPhone 的能力足够强,拥有好的摄像头、屏幕、网络和芯片,解锁了短视频、移动电商和社交网络等场景。
iPhone 之后是安卓。安卓让生态更加开放,于是有小米、OPPO、vivo 等更多手机厂商,进一步普及智能手机。
Sonnet、4o、O1 有点像 iPhone 时刻:闭源技术进步,让很多人可以在上面构造应用。
DeepSeek 可能是安卓时刻。它从闭源变成开源,同时具备足够强的能力,让大家做应用时有更多选择。
技术进步一方面带来更好的产品体验,催生杀手应用;另一方面也让生态更加繁荣。原来只能做几件事,有了 iPhone 和安卓之后,才有可能做出抖音。
程曼祺 Manqi
8. Inference Reshapes Compute Demand
我还想聊 O1 和 R1 对大家很关注的基础设施、算力需求的影响。
DeepSeek R1 火起来之后,英伟达也经历了大跌。有一种观点认为,既然训练成本很低,是不是会减少对算力的需求?你也发过一些朋友圈,后来很多人提出了不同观点。可以讲讲吗?
算力需求有不同结构。
过去 2023 年、2024 年军备竞赛时,大家把它总结为“大力出奇迹”,好像只要买足够多的卡,就能得到更好的结果。
那时预训练还没有撞墙,或者大家没有意识到撞墙,这句话也有一定道理。大量买卡,是为了进行正式的军备竞赛。
但现在发现,预训练短期大量投入的边际效益确实有限。Grok 3 用了 20 万张卡训练,当然也有进展,但边际效应在递减。
所以不能说“大力出奇迹”是错的,只是奇迹的边际效应在递减。在这种情况下,预训练算力需求可能下降。
但我们现在看到,模型能力已经达到可以做 Agent 产品的临界点,而且还在继续突破。一旦 Agent 产品落地,它使用的 token 和 inference 算力会大幅增加。
如果只是 Chatbot,你和 ChatGPT、Kimi、豆包聊天,通常没有那么多话要说,甚至没有那么多 intention,所以花不了多少 token。
只有当 AI 帮你做事情,做更复杂的事情时,它才会使用更多工具、进行更多思考。这时 inference 算力需求可能不是提高 10 倍,而是提高 100 倍、1000 倍。
之前技术没有到达那个程度,所以这件事无法发生。现在技术可能已经到了这个转折点,推理需求可能大幅提高。
所以,预训练还在,只是增长速度变慢了;后训练和 inference 的算力消耗会快速增加,因为这是模型能力提升最重要的地方,而且推理长度会大幅增长。
整体来看,我觉得算力需求还是会大幅提高。
程曼祺 Manqi
100 倍、1000 倍的推理算力需求增长,会在 2025 年发生吗?
戴雨森
如果从技术发展史角度看,是 2025 年、2026 年还是 2027 年发生,一点都不重要。
对炒股可能有意义,比如 2025 年下跌,2026 年上涨。但自动驾驶最终发生最重要,具体是哪一年并不重要。
我认为现在 Agent 产品已经到了呼之欲出的阶段。比如 Deep Research 需要的 token 肯定多很多,所以 Sam Altman 说 GPT Pro 每月 200 美元,但它是亏钱的,因为 inference 量增加了很多。
这里面第一个变化是,pre-training、post-training 和 inference 的算力占比会发生变化。
第二,对英伟达来说,这可能是格局变化。2025 年 2 月,英伟达在训练和推理上仍然是性能最强、效率最高的选择。
但 R1 火起来之后,国产芯片开始针对 R1 做优化。定点优化已经在使用,比如昇腾 910B;即使使用英伟达,也可以使用 P4 这样的卡。
当技术没有收敛时,GPU 具备很强的通用性。最早大家使用 CPU,因为 CPU 最通用。后来发现,玩游戏是非常具体的需求,于是做了 GPU,专门加速游戏。
后来 GPU 可以做 AI,但现在 GPU 对 AI 的训练和推理仍然最通用。
如果只 serve 一个具体模型,就可能有两种方向。第一,像昇腾一样进行专门优化;第二,做 ASIC,比如 Marvell、博通,或者 Google 的 TPU。
Google 的 TPU 就是针对自己的 TensorFlow 体系做的专用化。一旦架构稳定,芯片专用化可以实现更高效率。
但问题在于架构是否会固化。我觉得现在大概在一个临界点上。O1、O 系列这条路线可能还能走很远,那 ASIC 就可能逐渐 work。
但如果明年、后年发生基础架构变化,比如 Transformer 不再 work,需要更换架构,那 ASIC 可能就白做了,还得回到 GPU。
这里面有很多不确定性。
英伟达的问题是市场份额太高,很难继续往上走。它已经有 90% 多的市占率,所以可能往下走。
一方面,大家对未来算力需求的预期很高;另一方面,英伟达的格局和毛利率预期也很高。一旦格局出现变化,毛利率可能受到影响,这是市场担心的地方。
但此时此刻大家做的事情,包括 DeepSeek 最想获得的,肯定还是英伟达。能买多少就买多少,能想办法买到的都要买。
程曼祺 Manqi
这一波比较稳的,是博通和 Marvell?
但你要说 ASIC,第一,基本要到 2027 年才可能真正用上;第二,架构变化可能让 ASIC 这条路不 work。
而且 ASIC 真正做出来并使用,还涉及产能、良率和效率问题,并不是设计出来就能用。英伟达也有液冷和良率问题。
总的来说,算力肯定整体利好。大家现在也学到了一个概念,就是杰文斯悖论。
但英伟达是否会发生格局变化,只能说产生了一些新的可能性。对炒股的人来说,看到新闻后第一反应可能是先卖掉,后来发现问题不大,又买回来。
AI 主题已经成为二级市场讨论最火的话题。现在大家都在问,老外什么时候回来。
程曼祺 Manqi
已经回来了。港股交易量是去年同期的 5 倍。
戴雨森
我觉得老外也分不同类型。
最近我采访了一个人,他总结说,先回来的老外,是上一波赚中国钱的人,比如当年重仓阿里、腾讯并赚到钱的人。他们最先回来。
我们聊过两类人的观点。一类原来不看好中国 AI,觉得中国 AI 缺卡、缺人、缺钱,现在突然发现,中国有 AI,而且很厉害,又发现阿里没有被充分估值,只算了电商,于是赶紧买。
另一类人比较了解中国,知道中国有腾讯、字节这样的公司,也不怀疑中国有 AI。他们担心的是经济刺激、政策等问题,想知道政策会怎么变化。
民营经济座谈会确实让人振奋。不同人关注的点不一样。
有些 LP 觉得中国创业公司和创新能力很强,否则也不会投我们,但他们更关注营商环境的变化。
我倾向于认为,真正的长线外资还需要一些时间。它们做决策不是今天点击买、明天点击卖,而是按季度开投资策略会。
去年讨论完中国投资策略后,现在要调整,就需要新的数据和依据。
还有一个宏观背景,美国指数连续两年上涨 30%,抬高了 benchmark。对于一些大型基金,必须进行全球布局。中国市场在这种情况下是必选项。
这和 DeepSeek 没有必然关系,但 DeepSeek 刚好促成了大家对 AI 的乐观。
二级市场很多时候像弹簧。弹簧压得很紧,稍微释放一点,就会弹得很高。
程曼祺 Manqi
关于朱教授提出的“中国资产重估”,你觉得已经实现了吗?
戴雨森
恐惧都是跌出来的,信心都是涨出来的。涨得越多,信心越多。
2021 年中国的 PE 比美国还高,难道那时就合理吗?特别乐观时不合理,特别悲观时也不合理。
去年字节 5 倍 PE,肯定也不合理。现在据说已经被 re-rate 到 4000 亿美元。
很多东西是边际变化,但 re-rate 在不同人心里也不一样。我觉得这个过程还处在很早期,因为所有事情都需要时间。
程曼祺 Manqi
大家好像已经开始狂欢了。刚刚美国又出台了一个“美国优先投资”的政策,我们还在研判,没有什么评论。
这几年确实是宏观大年,尤其今年开年两个月,各种海外政策变化让人应接不暇。我们也无法看清宏观,所以还是更关注技术创新本身。
刚才讲了很多展望,有些可能今年就会发生,有些可能要更久。你觉得 2025 年大概率会看到什么?
我觉得会看到更多李世石时刻,也就是 AI 在一些任务上超过 99% 的人类。
这其实已经陆续发生。比如写代码,AI 现在可能已经比 99% 的人类更好。
程曼祺 Manqi
你说的是 99% 的人类,还是 99% 的程序员?
我现在说的是人类,但我觉得超过 99% 的程序员也会很快发生。
Codeforces 上,它在竞赛级编程中已经超过 99% 的程序员。但竞赛级编程和日常开发不同,日常开发需要更多 context,要读更多代码库。
这个过程会逐渐发生。我们会看到更多新闻,AI 在某些能力上打败人类,甚至打败精英人类。
我还觉得,会出现更加方便、实用的 Agent 产品,以现象级产品的形式进一步破圈,可能达到 Cursor 这样的级别。
程曼祺 Manqi
Cursor 现在多少 DAU?
DAU 我不知道,但 ARR 大约是 1 亿美元。
程序员的 DAU 很难衡量,所以不要用 DAU 衡量 AI 产品。ARR 代表用户获得了多少价值,以及用户愿意为价值付多少钱,这可能是更好的指标。
模型进展可能会变快,开源和分享也会变多。
在中国,我们刚刚经历了类似美国 ChatGPT 时刻的感觉。现在各地政府都在用 DeepSeek,大家都在接入 DeepSeek,这会提升大家对 AI 的感知。
以前 Kimi、豆包加起来几千万 DAU,可能有一两亿月活,但未必有这么多。它们让大约十分之一的人接触到了先进模型。
如果未来有几十% 的人都使用过先进模型,感受到 AI 确实很强大,那么无论从创业者、用户、新产品,还是投入资源、资金和算力的角度,都会对行业产生很大影响,可能形成一次寒武纪式的生态爆发。
程曼祺 Manqi
这是 2025 年可能发生的事情,包括一些领域出现李世石时刻,超过 99% 的人类,甚至精英人类。DeepSeek 也让整个行业加速。
如果更快达到 AGI,或者更多领域解锁李世石时刻,我现在有点想象不出那时会发生什么,包括人类去做什么、社会结构怎么变化。
我们处在人类历史上一个非常有意思的时期。
指数增长是世界常态,因为每年都是在前一年基础上增长。但亲眼见证和体验指数增长,是一件非常罕见的事情。
程曼祺 Manqi
你说什么的指数增长?经济总量还是别的?
戴雨森
GDP 如果每年增长 2%、3%,不就是指数增长吗?但一般这种指数增长需要我们用一生去体验。今年和明年相比,通常不会有太大变化。
但在 AI 上,比如从 O1、O1 Pro 到 Deep Research,我感受到的是几个月之内就明显发生指数增长,这种体验很特别。
9. AGI Reshapes Human Society
这会改变我们对未来的预期。现在很多人都在问 AGI 是什么,以及 AGI 实现之后会怎样。
我的看法是,AGI 确实会对生产力、社会、政治和文化产生很大影响。但具体它到来之后会怎样,我们可能需要在冲击发生之后才会真正重视应对,包括安全和社会福利。
而且,能力掌握在谁手里,会影响世界格局。
加速主义认为,AI 肯定会发展,坏人会利用 AI 做坏事,所以好人应该更快发展 AI,以子之矛攻子之盾。
谁是坏人?每个人可能都认为对面的人是坏人。比如金融诈骗,或者韩国之前出现的 deepfake AI 色情内容。我们就需要更强的技术去侦测 deepfake,因为人类已经没有精力逐个判断。
很多人会失业,我觉得这应该会发生。现在大家对 AGI 的定义就是它能够替代多少人的工作。如果你的定义是替代人的工作,那么 AGI 实现就等于很多人失业。
当然,从社会角度,也有人说到时候物质极大丰富,先发 UBI,每个人都能领钱。我不知道这会不会发生,但肯定会有很多冲击。
另一个角度是,人眼中的真实会发生巨大变化。
我 1986 年出生。出生时,一个人能够读到的信息,基本都经过权威认证,要么能出版成书,要么出现在报纸上。
后来互联网的意义,是让普通人写的东西也能被看见。现在 AI 又变成了,你想要什么,它就生成什么。
包括我自己在内,很多时候已经没有判断力,没有甄别能力。如何在这样的环境里适应,建立自己的认知体系,会成为非常重要的问题。
程曼祺 Manqi
有一个网络流行语,意思是视频不能 P,所以视频是真的。现在视频也可以生成了。
所以,我们的社交意义和认知世界的方式都会发生巨大变化。
每次科技发展都有一个规律。第一波,往往是最厉害的人创造最强大的技术;第二波,强大的技术为最厉害的人打造最强的工具。
计算机最初是为了解决核爆炸问题,或者破译密码。这样为超人设计的超级工具,会逐渐民主化、普及到普通人,再小型化进入家庭,移动化到处存在。
现在我们还处于最厉害的一群人为精英人群打造超级工具的阶段。但我想,这些东西一定会普惠。
当年我们投资王慧文的光年之外,口号就是“加速 AGI 普惠人类”。我觉得普惠最终肯定会发生,但中间确实会经历“未来已来,只是尚未均匀分布”的阶段。
DeepSeek 的开源,以及 Kimi、豆包这样拥有大量用户的产品,都在加速未来均匀分布。
新技术最后应该普惠大众、普惠全人类。这样才有真正的价值,而不是掌握在少数有钱人或者少数公司手里。
程曼祺 Manqi
工业革命的成果已经普惠全人类了吗?
戴雨森
当然。我们现在坐的车、使用的机械和电气设备,都来自工业革命和电气革命。
你说为什么没有普惠到非洲?非洲显然也比过去强大很多。公平和平等不是一回事。
完全可以做到下限提高。比如《21 世纪资本论》和西方很多经济学研究的问题:以前的皇帝没有抽水马桶,也没有智能手机和空调。
程曼祺 Manqi
但绝对差异也在变大。
对。所以社会到底需要什么,或者通过什么机制让富人反馈社会,可能要靠税收制度、慈善制度等。
但不可否认,基础水平肯定提高了。
程曼祺 Manqi
你觉得 AI 大概率还是会提升所有人的绝对下限?但它会造成更平等,还是造成更大差距,现在还看不出来?
戴雨森
如果利用不当,很可能导致贫富差距进一步拉大。
如果钱能够有效变成算力,算力变成生产力,那么原来富人也只有 24 小时;以后富人可以通过 “Attention is not all you need”,同时拥有 1 万个 AI Agent 帮他做事情。
假设这种情况发生,就会出现资源向本来就有资源的人和组织集中。
当然,新的生产力也可能带来很多就业机会。每次技术发展都这样。
过去大家使用马车,后来出现汽车,马车夫的工作消失了,但产生了大量运输类工作。加速主义认为,生产力提高会带来更多工作。
但对每个身在其中的人来说,马车夫和汽车司机可能不是同一个人。如果技术带来生产力提高和 GDP 增长,就可以反过来为这些人提供福利,或者寻找新的出路。
不能因为马车夫会失业,就说不要发展汽车。技术竞争也不可能被阻挡。
欧洲的 GDPR,或者对 AI 过度管制,可能会影响新技术发展。工业革命时也有卢德主义,人们去砸机器。
人类最后能够进步,是因为政府选择允许新技术存在一些瑕疵,让技术继续发展。
汽车刚发明时有很多交通事故,城市不是为汽车设计的,也没有红绿灯和交通规则。那时死亡率很高。
如果当时第一反应是,因为汽车会撞死人,所以不要发展;或者限制汽车只能跑 25 英里每小时,可能就不会有今天的进步。
电也会电死人。所以我一直觉得,新技术出现时,不应该一开始就让它承担太多自我审核责任。应该先使用,出了问题再改,而不是先证明自己没有问题才能使用。
但 AI 领域很多国家选择的是,你先证明自己没有问题才能使用。因为听说你很厉害,可能毁灭人类,所以你先证明没问题。
这可能阻碍进步。当然每个人视角不同,我还是认为应该鼓励创新,事后审核比事前自证清白更适合。
程曼祺 Manqi Cheng
我比较好奇,你个人在为可能更快到来的 AGI 做什么准备?
戴雨森
锻炼身体。
我觉得投资优秀的创业团队很重要。技术创新之后,创业者当然很重要。梁文锋一开始也是创业者,只是他非常厉害,能够自己做量化、炒股赚钱,赚到启动资金。
还有很多可能成为梁文锋的人,也许只是缺乏启动资金。所以 VC 很重要,尤其是早期投资。
早期投资理论上承担最多风险。如果很多事情已经确定了,也不需要我们了。但现在又回到非常不确定的阶段,不是每个人都像梁文锋一样自带 100 亿干粮。
程曼祺 Manqi Cheng
下一代应该怎么教育?应该让他们学习什么?
戴雨森
这是现在很多人困惑的问题。
我觉得重要的是提出问题的能力。面对一个很强大的 Deep Research,我要问它什么?我要指挥它做什么?
作为 AI 的老板,你今天干什么?像我也管理公司,有时我需要告诉大家今年干什么、这个月干什么,这很需要动脑,因为目标不会自己出现,我要先想清楚做什么。
现有教育体系往往在告诉学生你会干什么,让他们学习技能。但如果很多技能都可以由 AI 完成,或者你可以指挥 AI 完成,那么你要做什么,就变得非常重要。
第二,现在大量工作其实是“缝合怪”:从这里复制一点,从那里复制一点,再缝在一起,形成一份报告。这样的工作,AI 已经比人做得好很多。
很多时候,关键是你的内容能不能为人类或人类总体知识增加独有的特点。比如我们今天的聊天,也可能有很多缝合和复制,但至少可能产生一些 unique data。
我们的工作能不能产生模型里没有的独特数据?还是只是在把模型里的东西吐出来?这对教育和工作的本质都会产生很大影响。
我很喜欢马斯克那句话,翻译成中文就是:“我想在火星上死去,但别死在登陆的时候。”也就是不要在着陆撞击时死掉。
程曼祺 Manqi Cheng
我还有一个个人很好奇的问题。你自己做投资,也要学习 AGI,还要研究整个一二级市场,你怎么分配精力?怎么保证学习效率和学习速度比别人更快?
戴雨森
我没有更快。否则我应该学习得更快。
我觉得,感兴趣很重要,也要多试。
V3 发布的第二天,也就是 12 月 27 日,我在家里组织了一个讨论会,邀请了十几个朋友,有字节的人,也有 AI research 的朋友。我在邀请里写,最近既有 David 的新产品突破,又有前一天发布的 DeepSeek V3,很振奋人心,说明我们的学习能力还是可以的。
MLA 发布第二天,我也觉得它非常厉害。当时我正在美国,就和朋友、同学讨论这个事情。
我自己在 ChatGPT 发布当天晚上一直用到凌晨 4 点,就觉得这个东西非常不一样。
这个习惯可能源自我 1998 年开始上网。第一次用 Google 大概是 1999 年,那时觉得这个搜索引擎和之前的一切都不一样。
以前的搜索引擎非常弱,搜不出什么东西;Google 上来之后,结果完全不同。
后来还有校内网,我也是上线第二天就去使用。前几天吃饭遇到王兴,我还说,20 年前校内网上线第一天我就使用了它。
所以,我对互联网创业大潮有很深的印象。GPT 发布第一天我就下载使用,觉得它很革命,马上开始组织研究。Devin 也是发布第一天我就用了,觉得它特别好,所以也组织讨论会。
互联网第一波从业者,很多是第一批上网的人;移动互联网第一波从业者,很多是最早买 iPhone 的人;很多买特斯拉赚钱的人,也是因为他们最早买了特斯拉。
所以,现在花一点小钱,甚至不花钱,因为有大量免费工具,去体验未来非常重要。
我当时发过朋友圈,说 Devin 每月充值 500 美元,最小充值金额看起来很贵,但对朋友圈里的大佬来说,也就是一瓶茅台的价格。用一瓶茅台的价格看看未来产品长什么样,也挺好。
自己多动手试一试,多看论文,看最厉害的人在做什么。比如 Andrej Karpathy、OpenAI 的研究员,以及 DeepSeek 的论文,都有大量高质量的免费信息,可以学习。
去年年初,很多二级市场分析师觉得英伟达需求会遇到瓶颈,2025 年可能下跌。但我在行业里看到的是,大家仍然在用军备竞赛的方式训练和买卡,所以我认为不可能那么快下跌。
程曼祺 Manqi Cheng
那你买博通了吗?
戴雨森
我从去年下半年开始买博通,就是因为 ASIC 的故事。
但这个目前兑现度没有那么高。关于 ASIC,过去英伟达也一直有 AMD 可能崛起的故事。现在 ASIC 可能很强,因为大家都喜欢老大被挑战、老二崛起的故事。
ASIC 已经冲击英伟达很多次了。当年寒武纪那批公司也是 ASIC。每次冲击最后好像都比较有限,但没关系,二级市场很多时候先炒了再说,能不能兑现不一定。
二级市场很有意思。你有一些认知,可以去 bet。我们很早就知道 DeepSeek 很厉害,但它不需要我们的钱。
有一个想法,却没有办法验证;二级市场就像训练模型一样,需要 result 和 reward,需要某种方式验证 thinking 的过程。
所以,二级市场赚钱不是最重要的。重要的是,它总会给你一个信号,去验证你的 thinking。即使不一定正确,也很有意思。
程曼祺 Manqi Cheng
你现在使用这些工具,能指导你在二级市场上投资吗?
戴雨森
Deep Research 给过我一个很实际的例子。
前阵子特朗普几乎每周五都要发布一份关税相关的公告。当时我正好在看美国国债交易,就问 Deep Research:2018 年特朗普发动贸易战、宣布加关税时,美国国债长期利率是怎么反应的?
第一种思路是,加关税会导致通胀上升,长期通胀预期上升,国债利率上升,国债下跌。
第二种思路是,局势变紧张,大家卖出股票,买入国债避险。
同一个事情可能有两种解读。我就问 Deep Research,它做了大量分析,告诉我 2018 年每次特朗普宣布新的关税政策时,美国国债利率都会下降,大家买入国债避险。
我当然不只是根据这个,也看了很多历史数据,后来做了买入美国国债的操作,最后证明是对的。
我真的感觉到,问它一个问题,5 分钟就给你答案。任何助理都不可能 5 分钟给我一个这样的答案。
程曼祺 Manqi Cheng
你是当天晚上就买了吗?
戴雨森
没有,开玩笑。随时响应这一点很重要。
我很喜欢读书,天天推荐 AI,当然主要说的是 OpenAI 的 AI,是因为它改变了我的生活。
读书时经常遇到一个情况:觉得某个东西很有意思,想研究一下,第一要花很多时间,第二书就读不下去了。
我有一个很明确的例子。Reid Hoffman 的新书《Superagency》里写了一个例子。
美国 GPS 刚出现时,担心 GPS 精度太高会影响国家安全,所以一开始给 GPS 加了一百倍的误差,导致它只能做很粗放的事情。
后来发现,这样限制 GPS,它就没有商业价值。克林顿政府后来宣布解除限制,让所有人,包括手机,都可以获得更精准的 GPS 定位,于是才有美团外卖、滴滴打车等应用。
我看到书上这个例子,就想研究一下,因为它也可以反映一种政策选择:对于 AI,到底是因为国家安全而限制,还是开放共赢、建设生态。
我就让 Deep Research 研究 2018 年 GPS 政策的前因后果,重点研究它为什么从不开放到开放,再和现在的 LLM 政策做对比分析。
如果我读到这里,自己做这个研究,可能一个小时就过去了。但我可以让它先去做,我继续读书。它做完之后,我发现里面有更具体的细节。
比如美国当时掌握了定向屏蔽 GPS 信号的技术,在某些地区发生战争时,可以暂时屏蔽信号。因为具备了收放自如的开关,它才可以在平时开放。
所以,虽然结果是开放 GPS,但具体是怎么解决安全担忧的,很值得研究。
以前我读一本书,遇到这个例子,想继续研究,可能要花一个小时;现在可以交给 Deep Research,我继续读书。
我为什么愿意为它付费,就是因为对我来说,节省的时间很有价值。
程曼祺 Manqi Cheng
你觉得每月 200 美元完全值得?
戴雨森
每月 200 美元当然值得。一次 Deep Research 2 美元,肯定值得。
程曼祺 Manqi Cheng
最近有没有觉得很有意思、想推荐给听友的书?
10. Intelligence Has A History
戴雨森
如果是人工智能从业者,或者愿意深入思考的读者,我推荐一本还没有中文版的书,叫《A Brief History of Intelligence》,可以翻译成《智能简史》。
作者是一个科技创业者。这是我 2024 年的年度推荐书。
它从地球生命开始写到 GPT-4,把地球上 20 亿年的智能演进总结成 5 次大的智能突破,并解释每次突破的驱动原因、变化过程和最终结果。
我也推荐给了 OpenAI 的研究员,他们读完之后觉得非常好。
它会让我们对智能是怎么产生的,有很多新的启发。读完之后也会觉得,我们现在可能正处于第六次大爆发的前夜,或者已经开始了,所以很激动。
这本书的作者叫 Max,书名里的 intelligence 应该还有一个大脑的图案。
另一本我最近读到、觉得很有意思的书,叫《第一只眼》。它讲的是寒武纪生命大爆发。
寒武纪之前,地球上已经有 20 亿年生命,但那 20 亿年里,生命一直像鼻涕虫一样,是软体动物在海里漂浮。
到了寒武纪,短短几百万年里,生命突然爆发成十几种不同门类,出现大量进化。原因有很多理论,比如空气含量变化、海水成分变化等。
书里提出了一个“光变假说”。后来李飞飞在她的新书里也引用了这个假说,我觉得很有道理。
在某个时点,一个原始三叶虫身上出现了一个感光斑点,获得了感受光线的能力。一开始所有生命都是瞎子,只能漂浮,偶然撞到另一个生物,就把对方吃掉。
第一个感光点出现之后,它获得了很多优势,可以去亮的地方,回避暗的地方。于是感光细胞越来越多,感光面积越来越大,它越来越能看见世界。
过了大约 100 万年,在进化史上这是非常快的时间,第一个眼睛出现了。
在一个所有生物都是瞎子的世界里,出现了一个有眼睛的生物,它立刻获得巨大的生存优势,开始捕食。被捕食的生物开始进化出甲壳,也开始进化出眼睛,地球于是进入生命进化竞赛。
这让我想到现在的 AI。DeepSeek 的发布也是这样。开始竞争之后,就像《爱丽丝漫游仙境》里那句著名的话:红皇后假说,你必须全力奔跑,才能留在原地,或者不被消灭。
生物圈的进化就是大家拼命奔跑,进化出越来越多的生物。AI 也是一样,不管是模型不断奔跑,公司不断奔跑,还是未来 AI 的攻防不断奔跑。
这种奔跑让我们获得更好的技术,让世界不断发展。这既是生存竞争,也是生命和智能的特点,是进化和进步的原因。
程曼祺 Manqi Cheng
你刚才说的《第一只眼》很有意思。
如果思考智能这件事,语言其实比较晚才出现,是比较高级的一种智能形态。语言模型一开始用语言压缩智能,肯定是对的,因为语言是智能含量最高的东西。
但显然还有很多智能无法用语言表达。用语言训练智能,会不会受到语言本身的限制?
如果 AI 非常聪明,它会不会重新发明一种语言,而不是和我们现在的语言一样?
戴雨森
刘慈欣有一本科幻小说,里面就写过,外星人认为人类靠语言交流是一种非常低效的方式。
我们从语言模型开始,但最后也许会超越语言模型。
如果 AI 用语言沟通,它的思维速度比我们快 1 万倍,智能也比我们高很多,那么它的语言可能不会和我们一样。
所以,现在回头看智能是怎么产生的,非常重要。我们看到的语言,是智能经过几十亿年演进之后的结果。但如果重新走一遍,未必还会走到语言这条路上。
回到源头,探索智能产生的原动力,以及每一次变化的原因,这本书很有意思。它也提到强化学习是怎么产生的,里面有很多进化学上的例子。
所以我觉得,读它给了我很多启发。
程曼祺 Manqi Cheng
今天非常感谢雨森做客《晚点聊》,和我们从 o1、R1 这两个改变 AI 格局的进展聊起,再聊到它们带来的一系列涟漪和变化。
2025 年,我们可能会期待看到很多新的东西,包括 Agent PMF 的出现和出圈,以及更强、更密集的李世石时刻。
今天的节目就到这里,谢谢大家收听。
戴雨森
非常荣幸能够和曼琪畅聊 AI。我也相信 2025 年会看到更多惊喜,李世石时刻会不断出现。
现在我们还处在 AI 智能革命大爆发的第一天。
Day One on.