推理将成为10万亿美元市场:没人看见的变化 | 软件投资者要遭殃 | Naveen Rao
- Almeida 认为,判断不稳定是 AI 自动化的首要障碍。 模型有时像爱因斯坦,有时像憨豆先生——“95% 的时候可能是爱因斯坦,剩下 5% 是憨豆先生”,这让它们无法胜任会计等影响重大的后台工作。Jev 要解决的是让决策可靠;推理更便宜、更快只是次要问题。
- 他的优先级是先选对任务,再看数据、算力,最后才是算法。 “数据远比算力重要”,但要用的数据往往得围绕新目标专门创造,不能指望从企业数据库里直接捞出来。他把 GPT-4.5 视为盲目扩张预训练规模的反例,同时承认,自己对其模型规模的判断取决于定价是否能反映算力消耗。
- 他认为,工作流工程可以打造专有智能,不必让每家公司都训练自己的模型。 了解客户问题的既有企业有望迎来一波“SaaS 盛宴”(SaaSapalooza),但胜利并非板上钉钉。Harry 强烈质疑他对 Harvey 的描述;Almeida 承认自己了解有限,并指出 Copilot 仍远未实现自主执行。
- 他所说的“超大杰文斯悖论”,前提是自动化先跑通,之后支出才会增加。 更便宜的 token 起初让项目变得可负担;可靠的结果则必须进一步证明,扩大预算值得。他预计,后台决策模型消耗的 token 将远超文本 LLM,同时坦承,面对真正实现自动化这一巨大任务,Jev 和其他方案目前都还“差不多是 0%”。
- Almeida 怀疑,在各自的伦理和法律约束下,美国开源模型能否追上中国模型。 他说:“我的猜测是不行,除非中国决定不再努力。”不过,如果能力触及平台期,差距也可能变得无关紧要。他不会在不做任何修改的情况下把中国模型用于编程智能体,但支持具体分析威胁、训练和安全防护措施。
- 他正为一场由需求落空引发的 AI 泡沫破裂做准备。 FOMO 和“承诺过高、交付不足”会在客户发现能力边界后逆转支出。他认为强化学习能让模型变聪明,但以目前情况来看,他猜测当下许多投资都缺乏合理性,也认为不少新实验室是在浪费钱。
- 融资故事一边是令人咋舌的采用数据,另一边是 Almeida 声称 TypeSafe 已实现盈利。 Harry 提到,约三分之一的《财富》500 强企业在使用 Jev;Pat Grady 称公司 7 天内营收从 0 增至 1 亿美元,估值达到 75 亿美元。Almeida 说,融资的目标是“找盟友,对抗全球最大公司”,而不是把募资额或估值推到最高。
1. 可靠性不足,AI 就无法从辅助迈向自动化
Almeida 区分了系统正常运行时间和“智能可靠性”。模型可以在数学上表现惊人,却仍不适合做会计:“95% 的时候可能是爱因斯坦,剩下 5% 是憨豆先生。”即使峰值表现亮眼,这种波动也会让高影响自动化的预期结果无法接受。
他的工程标准是前期投入精力,之后让软件在后台持续运行、长期解决问题。这要求智能可靠性达到“好几个 9”。他说,企业多年来一直没能自动化会计工作,原因就是能力不够可靠:“这根本不是扩散问题。”
他指出,ChatGPT 能稳定地产生可辨认的对话:不会输出随机字符,用户要求写一封礼貌的邮件,也不会收到满篇辱骂。在他看来,问题出在文本里的决策。症结在于优化目标:RLHF 优化的是让人满意,RLVR 优化的是基准测试表现;按他的说法,两者都没有直接瞄准能够可靠运行的后台软件。
2. 任务设计决定什么数据有价值
Almeida 总结的“最痛教训”是:“先做对任务,再看数据、算力,最后才是算法。”他说,单靠规模推动预训练的叙事,在 GPT-4.5 上失灵了。他的限定条件很重要:假设实验室定价大致反映推理算力成本,GPT-4.5 仍是按 token 成本计最大的模型,却没有取得商业成功。他也坦言,自己并不了解各家实验室的内部情况。
定义一个新任务,往往意味着要创造一套现成不存在的数据集。Almeida 说,研发 RLHF 时,互联网上和公司数据库里都没有现成的人类对 LLM 输出的比较数据。团队必须制定标注指引、招募标注员,再不断迭代。企业数据湖里即使存有信息,数据形态也未必适合提升目标任务的表现。
他解释 RLVR 时,强调的不只是可验证的奖励,更是隐藏的推理过程。2021 年,人们尝试用单元测试来做强化学习,却没有加入推理,结果一直失败。任务结构改变了结果。有效样本还必须贴合前沿模型的能力:什么难度最合适,取决于哪些内容能真正提升那个模型。
合成数据“更像一种工具,而不是要顶礼膜拜的偶像”。Jev 使用了大量合成数据,但 Almeida 说,关键在于它如何帮助实现可靠智能。Harry 认为数据供应商会迎来巨大市场;Almeida 同意数据仍有必要,但无法估计客户转为真正商业化经营后,能够持续承受多少支出。
3. Jev 的优势,在于盯住基准测试掩盖的失败
Almeida 说,人们误解 Jev,是因为只盯着价格和速度。真正要问的是:“准确率为什么是 97%?缺的那一块是什么?”有时答案是更聪明的模型,更多时候则是提示词、语言歧义或开发者培训。即使基准测试获胜,也不能免除追查失败原因的责任。
Harry 直接反问:OpenAI 和其他供应商都想赚企业收入,怎么可能不重视可靠性?Almeida 回答:“你他妈根本不知道他们有多不在乎。”他的论点在于激励机制:月活用户,以及如今编程智能体的类似指标,鼓励的行为与专门优化可靠判断的决策模型不同。
他目前觉得“没有真正的竞争”,但认为这种情况终会改变,也希望出现严肃的对手。他对炒作的看法也变了:起初他觉得产品发布时的热度至关重要;但其他产品上线后,他接触到的人说自己试过了,觉得表现不行。这让他开始相信,“承诺少一些,交付多一些”(underpromise and overdeliver)比预想中更行得通。
4. 可靠 AI 可以改变软件本身,而不只是给软件添个助手
Almeida 的挫败感在于,软件的编写方式已经天翻地覆,软件本身却基本没变。他用蓝色 LED 打比方:在红、绿 LED 之外增加蓝色,并非只是让 LED 市场扩大 50%;它催生了屏幕和高效白光照明。这个缺失的组件拓展了人们能造出的东西。
他希望 AI 成为“第四种基础逻辑门”。在软件构建所依赖的三种基础逻辑门之外,增加一种可组合的基本构件,带来的可能性应远超 33%——甚至可能扩大“几十万倍”。他的目标是把过去不可能实现的自动化,变成只需投入工程资源就能解决的问题。
他认为,如今企业 AI 的交互方式,是模型不可靠的直接结果。企业不敢把 AI 放进影响重大的业务逻辑里,只好外挂一个助手,再让用户检查输出。“所有检查的负担”都落到了用户身上。企业有动力采用 AI,但激进采用者也已经吃过大亏。
Almeida 不认同“SaaS末日论”,更喜欢 Martin Casado 提出的“SaaS 盛宴”(SaaSapalooza)。既有企业掌握工作流知识,也有资源投入大量工程研发,但并不意味着它们一定能赢。他举了 TurboTax 的例子:准确知道界面该在哪些地方改动,是前沿实验室所缺乏的宝贵经验。优势来自贴近实际问题,而不只是分销能力。
5. 专有智能可以沉淀在应用代码里
Almeida 把 AI 同事称为这个时代的“无马马车”。自动化应该发挥自身长处,而不是照搬人类岗位。他举的工业例子是把瓶盖拧到瓶子上:自动化这个具体操作,一劳永逸地解决问题,不必等着造出完整的人形同事。
Harry 提到,有些公司正通过 Fireworks 构建专有模型。Almeida 承认,能力触及平台期后,窄领域模型可能更便宜、更专业。但他提醒,内部团队有动力证明自己做得更好,以维护自身的战略重要性。他不知道那些特定模型到底有多好。
他更看好通过模型周边的软件来构建企业专属智能。工程师不喜欢更新依赖;一旦自动化能够可靠运行,他们就应该希望它保持原样,直到升级带来显著好处。他的数据库类比是有意为之:关键的智力工作在于如何使用数据库,而不只是公司拥有什么数据库。
Harry 强烈反对把 Harvey 描述成薄薄一层的封装,并以其法律领域专长和深度产品功能为证。Almeida 承认自己没有律师执照,也不了解它当前的情况。他的理解是,原本更大的自主项目目标后来变成了律师 Copilot。领域工程很有价值,但他想突破两位数的效率提升,让后台任务可以连续运行数周——工作组织方式也可能与人类截然不同。
6. 编程进步不能证明单位成本的广义智能提升
Almeida 不认为“每美元对应多少基准测试分数”是有意义的衡量方式。据他了解,单位算力成本对应的通用预训练智能“目前几乎没有变化”。编程表现之所以能大幅进步,可能是因为训练数据越来越多地涵盖编程,而不是底层模型在所有活动中的智能都均匀提升了。
他认为,编程智能体最大的一次跃升大约发生在去年 11 月,但记不清是哪一版 Opus。之后关于 Fable 5.2 或 Opus 5.5 的讨论,在他看来显示出边际收益递减。相比之下,过去 9 个月写作能力似乎没有变好,不过他也明确承认:“也许是我没用对它们。”
7. 基准测试持平,开源竞争仍未有定论
Almeida 认为 Anthropic 的模型最好,尽管中国模型的基准测试成绩已与之持平,而 Anthropic 在许多公开基准比较中也并非处于前沿。他认为,公开衡量智能的方式很差;没时间亲自试用模型的人尤其容易受影响。实验室有内部代理指标,却缺乏公开最佳指标的动力。
他强调,差别在于激励机制,而不是谁有义务诚实。他认为 OpenAI 和 Anthropic “基本诚实”,因为它们确实能在顶尖水平竞争。第二梯队的实验室则面临自欺欺人的压力;他提到 Llama 4、Google 和中国实验室。争夺“美国开源领头羊”这个安慰奖,可能会让基准测试优化走向极端。
Harry 提到中国模型可能存在后门和提示注入。Almeida 说:“我不会把未经修改的中国模型直接用在我的编程智能体里。”但这只是其中一种威胁模型:重新训练、测量偏差、加上防护措施、使用单独的决策模型,都可能改变风险。他提到 Jev 有个用途,转录稿在此处对“Jev [?]”标注不清:判断工具调用是否安全,包括它们会不会偷偷向中国的服务器打电话。
被问到美国开源模型能否追上时,他明确说这只是猜测:“不行,除非中国决定不再努力。”按他的理解,难点在于美国模型受到更高的伦理和法律标准约束,而非能力不足。不过,如果能力真的触及平台期,剩余差距也可能无关紧要。把未经修改的单一模型用于编程智能体视为唯一架构,是给自己戴上不必要的“马眼罩”。
8. AI 泡沫可能因需求减弱而破裂
Almeida 不喜欢新实验室常见的套路:招揽前沿实验室的研究员、买 GPU、做实验,最后等着被收购——“就是把钱往火炉里扔”。他认为强化学习有价值,因为模型确实在变聪明,即使收益递减。他自己不会做这类投资;风险投资或许能接受 1% 的登月式成功概率,但以他的期望值判断,眼下的支出并不合理。
他认为 AI 是泡沫“已经有一阵子了”,并按泡沫破裂来做准备。Harry 看不到需求冲击;Almeida 则认为 FOMO 本身就会制造需求。客户高估模型能力后,一旦结果不如预期,就可能反过来削减支出。他提到,一些企业依据 AI 预期裁员,后来又不得不收回决定。
Harry 反驳说,即使模型能力不再提升,仍有大量价值尚未释放。Almeida 认同其大意——“这些模型他妈的确实很聪明”——但质疑企业能否通过现有交互方式稳定地挖掘这些价值。激进采用者已经吃过亏,这让“剩余空间迟早转化为持久需求”的假设更难成立。
Harry 提到,Cognition 作为编程智能体领域排名第四的公司,营收达到 16 亿美元。Almeida 不愿预测市场最终规模:过去几轮 AI 热潮都经历了涨落,这一轮也不一定会持续上涨。对 TypeSafe 来说,提升效率也能让公司避开新云厂商和 GPU 市场的动荡。
9. 杰文斯悖论要先有可靠项目,预算才会扩大
Harry 问,使用成本如此低,怎么支撑一家营收 100 亿美元的公司?Almeida 给出的答案是一条因果链,而不是自动发生的弹性:成本下降让项目变得可负担;可靠性让项目成功;证明其价值后,企业才会启动更多项目,最终扩大预算。只是在不变的 AI 预算里重新分配便宜的调用,不足以证明杰文斯悖论成立。
他刻意用一个让人清醒的指标衡量真正的自动化:“Jev、Fable 和 Astra 目前都差不多是 0%。”零星成功案例确实存在,但剩下的机会还很大。他认为,后台 AI 仍是一个正在形成的行业,规模可能远超编程智能体——后者或许能让软件编写效率提升 20%。
Almeida 预测会出现“超大杰文斯悖论”,决策模型的 token 消耗将远超文本 LLM。被问到能源和基础设施是否承受得住时,他回答可以:Jev 讲求效率,不走补贴驱动的套路。与此同时,效率研究仍有必要,开发者也得继续发现有用的应用。他认为,技术边界和应用边界才是核心瓶颈。
10. 融资买的是盟友,不是花钱的任务
Harry 在开场给出几项 headline 数字:约三分之一的《财富》500 强企业在使用 Jev;红杉的 Pat Grady 称公司 7 天内营收从 0 增至 1 亿美元;估值为 75 亿美元。Harry 说,Andreessen 的 Martin Casado 领投,红杉也参与投资。
Almeida 说,这轮融资由投资人主动找上门,公司没有融资演示文稿。投资人介绍自己的被投企业如何使用 Jev,让 TypeSafe 得以了解采用情况;由于公司不查看客户数据,原本无法获得这些信息。投资人在最初几天和几周里热情的变化,也成为额外的市场信号。
他说 TypeSafe 已实现盈利,账上现金还在增加。投资人甚至愿意按 3 倍估值投资,但公司没必要把融资额或估值做到最高。“我们需要的是盟友,来对抗全球最大的公司。”融资不代表公司打算立刻把钱花出去。
Andreessen 凭借理念契合和对技术的热情打动了他。谈到红杉时,Almeida 更强调 Sonya Huang 独特的战略视角,而非机构本身。这也符合他对公司价值的非传统定义:“慢慢做出好的决策。”他希望了解重大决策背后的推理,而不是让业务活动自动驾驶。
11. 不同的研究文化,可能造就不同的软件
Almeida 最难招人的,是数据领域团队。新任务需要新的数据形态,这会催生一个类似内部研究子领域的工作方向。他希望聪明的人,即使不把自己归类为机器学习研究员,也能意识到自己可以向领域专家学习,并直接让模型变得更聪明。
TypeSafe 有意给出不错的薪酬,但不跟最大的实验室比待遇:“我们不想要雇佣兵。”他担心过高薪酬会吸引只为钱来的职业打手,也会促使候选人表演文化契合。他希望所有岗位都具备“技术热情”——共同热爱技术,才能支撑起带来“技术震撼与敬畏”的雄心。
他提出“软件研究员”这一岗位,挑战把机器学习研究员排在机器学习工程师和软件工程师之上的等级体系。探索 AI 驱动的软件和新交互界面,是他认为最被低估的方向。至于最被高估的领域,他的直觉是机器人,因为可靠性等前提条件还远未满足。
他对未来 5 年的推测延伸到了委托代理问题,包括选民与代表、股东与公司之间的关系。AI 或许能帮助人们更直接地表达和落实意图。他认为,人们可能对根本目标意见一致,却对如何落实目标所需的具体规则各有分歧。
完整逐字稿
几乎所有关注 AI 的人都知道,可靠性是最大的瓶颈。你可能有 95% 的时候像爱因斯坦,另外 5% 的时候像憨豆先生。数据比算力重要得多。我不想被称为一家新兴实验室,因为在我看来,大多数新兴实验室都极其浪费。
Anthropic 的模型就是最好的,即使中国模型在基准测试中能与它们匹敌也是如此。我觉得现在似乎没有真正的竞争。我真心相信,我们会看到一个巨大的杰文斯悖论。AI 显然很厉害,但软件本身却没有改变。大家戴着单模型的眼罩已经太久了。
我一直觉得 AI 处于泡沫之中,所以我想继续为泡沫破裂的可能性做打算。我们需要盟友,一起对抗世界上最大的公司。我们不需要钱,也不需要估值。
Harry 介绍了 Diogo Almeida,他是 TypeSafe 的创始人,也是 Jev 的开发者。他说,财富 500 强中约有三分之一在使用 Jev,并引用了红杉资本的 Pat Grady 的说法:Jev 在七天内从零做到 1 亿美元营收。这家公司在一轮融资中估值达到 75 亿美元,融资由 Andreessen 的 Martin Casado 领投,红杉资本也参与了投资。
我太期待这次交流了。Eric 做 Modal 节目之后,我们有过一次很精彩的交流。我昨晚还跟他聊到了你,所以我特别期待这次对话。欢迎来到节目。
谢谢。那次交流很短,不过我很高兴你喜欢。真的很有意思,我没想到它会发展成现在这样。
我们说过这会是一场火花四溅的讨论。在聊具体的火花之前,我想先打好基础。请用 60 秒向不了解 TypeSafe 和 Jev 的听众做个介绍,好吗?
我认为 Jev 并不是一个专用模型。对于那些不只是软件开发者的人,我更想聊聊 AI 的现状:AI 怎么能在那么多事情上如此聪明,比如解决数学领域的千禧年大奖难题,却完全没有改变软件?我们用的 SaaS 基本和十年前一样,而且几乎没有任何一整份工作实现自动化。
我们连得来速这种事情都一直做不好。虽然有 AI 客服,但重大决策还是不能放心交给它。怎么会这样?它有些事情做得那么好,另一些事情却那么差。Jev 正在做的,就是试着弥合这个差距,让 AI 的自动化效果好得令人难以置信,而不只是提供需要人类参与的辅助。
我和红杉资本的 Sonali 聊过。说到端到端自动化,她问:“为什么可靠性是自动化面临的最大障碍?”
1. 可靠性瓶颈
我先说明一下我说的可靠性是什么:我指的不是正常运行时间、可用性或吞吐量,而是智能的可靠性。我还在想有没有一个合适的词来描述它。它指的是智能表现不那么参差不齐。
几乎所有关注 AI 的人都知道,可靠性是最大的瓶颈。举个例子:你的数学水平怎么样?我的数学水平又怎么样?我相信我们根本不可能帮忙解决千禧年大奖难题。我还没读过相关解答,但我敢打赌确实如此。可这些模型连会计工作都没法胜任,而会计要简单得多。问题是,为什么?
这些模型的方差极大。大家很喜欢我总结的这句话:你有 95% 的时候像爱因斯坦,另外 5% 的时候像憨豆先生。问题是,这样算下来期望值不成立。公司很明智地发现,你其实没法真正把事情自动化。过去四年里,随着 AI 几轮热潮起落,我见过很多公司尝试自动化会计工作,但它们一直失败,因为算不过来。
这完全不是扩散的问题。关键在于可靠性。也许你可以牺牲一点爱因斯坦式的表现,换取更稳定的输出,同时保持相同的实际智能水平。在我看来,这就是 Jev 的超能力。
那我们要怎么做到?怎么把憨豆先生去掉?虽然我很喜欢憨豆先生。
我也很喜欢憨豆先生。
我喜欢智能体表现得很离谱。“永远坏心情。”这是个特别有趣的故事,但我不想让后台运行的软件也这样。
作为工程师,我想写好一个程序。我愿意在前期投入大量精力。也许一开始没想到会花这么多力气,但实际总是如此。然后我希望它能在后台运行,永远把问题解决掉。
要做到这一点,你只需要让智能可靠性达到好几个 9。我认为实现方法是……真希望我能在这里放出幻灯片,不过我试着用手比划一下。我把它称为 AI 最苦涩的教训。
Sutton 提出了“苦涩的教训”,大致意思是,算力比算法更重要。
从 2019 年到 2022 年,再到 2023 年,我们经历了这样一个规模化时代:只要扩大规模,模型就会变得更好。
2. 数据胜过算力
这种趋势在 GPT-4.5 左右基本停滞了,后来整个领域也就不再继续扩大规模,因为投入开始没有回报。我认为这里有个苦涩的教训:数据比算力重要得多。做过应用机器学习的人都明白这一点,但旁观者似乎没有意识到。数据显然比算力更有价值。
最重要的事情远胜于其他一切,那就是你的北极星:你如何定义正确的任务?在 Jev 之前,LLM 领域有两个正确的任务:RLHF——
嗯。
——也就是基于人类反馈的强化学习,意思是“让人类满意”;还有 RLVR,意思是——
嗯。
——在基准测试中取得高分。但这两者都无法真正转化为在后台运行的软件。
嗯。
我认为这才是所有问题的根源。问题并不是 AI 能力不足,因为它显然能力很强。问题在于——你有现实世界的经验。所有有现实经验的人都知道,你优化什么,就会得到什么,对吧?而我们恰好优化的是让人类参与其中。
哦,太感谢你一口气给我这么多直接的追问了。
哦,我能说一点吗?我也想补充一点可靠性方面的事。ChatGPT 从来不会在“做 ChatGPT”这件事上出错。你上次遇到它随机输出一串字符是什么时候?这有点奇怪,因为……就算你让它写一封礼貌的邮件,它也不会突然开始说——我大概不该在播客里骂人——但它不会突然开始说歧视性辱骂的话,对吧?人类有时可能会犯这种错。
问题不在于它不礼貌,也不在于它谄媚。问题在于它会在文本中做出错误的判断。有意思的是,它在某些事情上很可靠,在另一些事情上却不可靠。如果你把优化重点放在那些需要可靠完成的重要事情上,也就是决策和判断上,就能实现真正的可靠性。
你刚才提到算力带来的收益趋于平稳。首先,我们真的到了这个阶段吗?你是认真的吗?我以为重点是——
你是说预训练?
当然,单说预训练。但投入越来越多的算力,还是会带来越来越好的输出,不是吗?
是,但你需要的数据比人们以前以为的多得多。也许有人把这件事说得好像自己从一开始就判断正确,但过去的说法就是:“规模一路扩到天上去,你就会得到 AGI。”GPT-4.5 打破了这种说法。
我当然不知道实验室内部发生了什么,但如果我们认为实验室大致是按照推理算力来定价,那么 GPT-4.5 仍然是有史以来按 token 成本衡量规模最大的模型,却没有取得商业成功。我认为原因显而易见:你不能不加思考地一味增加算力。大家在训练上投入了大量算力,但同时也需要大量数据。
这就是为什么你会看到那么多“卖数据、卖强化学习数据给实验室,快速致富”之类的说法。没有这些数据,很多事情根本做不了。如果你看到——哎,我记得可能是 Dwarkesh——他最近在 Twitter 发了一条帖子,比较数据、算力和算法哪个更重要。数据的效果要好很多很多倍。那是本周的事。自机器学习诞生以来,大家就都知道这一点。这甚至不只是 AI 特有的现象。只是算力规模化的时代在这一点上成了一个奇怪的例外。
我们说数据的价值,或者说数据为什么比算力更基础时,指的是合成数据吗?是每家公司都拥有的专有企业数据吗?是 AI 系统生成自己的经验吗?是某些特定类型的数据,还是各种数据都算?你能帮我理解一下吗?
真希望我这里有那些图表。让我再从我最惨痛的教训倒着讲,按重要性排序:先做对任务,然后是数据,再然后是算力,最后是算法。这是我们做 RLHF 时学到的,学得非常、非常深刻。只要任务做对了,底层算法的质量其实没那么重要。一个 GPT-2 规模的模型就能胜过类似 GPT-9 的东西——当然,GPT-9 还不存在。
要有数据,首先得知道正确的任务是什么。任务所需的数据——通常来说,当你创造一项新任务时,相关数据根本就不存在。我们做 RLHF 时,网上任何地方都没有用于比较 LLM 输出的人类偏好数据。公司的数据库里也没有。我们必须先定义它、弄清楚指令、找来人工标注员,不断迭代,再摸索出这类数据应该是什么样子。
嗯。
一开始,只有把任务做对,才能挖掘出相应的数据。问题在于,启动一项新任务很难,因为从定义上说,相关数据并不存在。
嗯。
我们遇到的情况也类似,RLVR 也是如此。在 RLVR 出现之前——我还想指出一个关于 RLVR 的正确任务究竟是什么的棘手问题——RLVR 指的是基于可验证奖励的强化学习。如果我讲得有点太深入,抱歉。
不,不,不。继续说。
RLVR 完全不是在讲可验证奖励。RLVR 的关键在于那条潜在的思维链,或者说隐藏推理,这样模型就能私下思考,然后再作答。早在 2021 年,可验证奖励就已经存在了。人们试过做 RL,比如在单元测试上用 PPO,但不让模型进行推理,结果一直失败。所以问题根本不在可验证奖励,而在任务的结构。结果就是,一旦采用 RLVR,模型在这方面的表现就好得多。
什么样的数据才算好,如今取决于模型有多好。这就是为什么数据制作方需要接触最前沿的模型,因为数据好不好,实际上要看它能不能提升这些模型。数据的难度必须恰到好处,才能推动模型进步。数据是否贴合策略,其中有很多细微之处。
不过回到最初的问题:正确的数据是不是存在于企业数据湖里?我认为不是,因为它们可能没有以合适的形式构建出来。肯定有人在尝试这么做,所以很多数据供应商都在努力挖走这些数据,再拿去卖。也许他们能加工一下,让数据派上用场。但最重要的是,得专注于如何利用这东西推动我们的任务向前发展。如果忘了这一点,你就是在优化一个局部目标,陷入古德哈特定律的陷阱。
3. 数据业务与合成数据
我们该如何利用这东西推动任务向前发展?提供数据的公司 Surge 和 Macaw 是好生意吗?它们现在算服务型公司吗?是不是必须提供端到端服务,真正参与落地实施并关注模型效果,而不只是像早期那样提供数据?它们是好生意吗?
这问题更该问你,不该问我。你觉得它们是好生意吗?
我个人觉得是,因为这些 LLM 在数据上的支出规模对应的市场实在太大了。而且我认为,如果你相信我们会进入一个公司拥有自己智能的世界,那么数据就始终需要补充。这样一来,TAM 就会从 LLM 扩展到所有人。
有意思。这或许可以展开一场有趣的辩论:公司究竟会不会拥有自己的智能。我倒是会说,我们还处在炒作浪潮之中。总会有一个幻灭低谷,然后才会看到现实。我认为我们还没到达现实阶段。
未来,我相信 RLHF 和 RLVR 都极具价值。我不知道人们还会不会像现在这样投入那么多资金,但我认为它们各自都会带来……即使 RLVR 从未出现,ChatGPT 也会是一个极有价值的消费品牌。要做到这一点,你就需要数据。数据始终不可或缺,但当那家公司真正需要成为一家真实、可持续的企业时,它愿意在数据上花多少钱——我不知道这个数字是多少。很难估算。
合成数据对改进模型有什么价值?
我不认为合成数据只有一种形式。我觉得合成数据更像一种工具,而不是供人顶礼膜拜的偶像。
这取决于团队如何运用它。如果你读研究论文,可能会觉得合成数据被大大高估了,因为它主要只是用来让小模型赶上大模型,却无法用来改进大型的最先进模型。所以关键确实在于你怎么用。我们用了很多合成数据,但用法和别人不同。我们认为,更有意思的不是它是合成的,而是我们如何运用这个工具,把全部注意力集中在正确的任务上,也就是智能的可靠性。
你刚才说到炒作和低谷,朋友。那简直疯狂——
这个词读作“trough”。知道了就好。
不,我刚才是想优雅地说出来,好吗?我是英国人。
是,是。
这可是你的魅力所在。
哦,是吗。
你担心投入其中的资金规模吗?还是觉得这笔投入是合理的?
我想,我是为这个世界感到担忧。把钱往火炉里扔,对世界不是好事。我真的不想说得太负面,但我也不想被叫作新实验室派,因为在我看来,大多数新实验室都极其、极其浪费。感觉它们的商业模式就是招来一群前实验室员工,搞到一堆 GPU,玩一阵子,最后被收购。
在我看来,这像是在浪费资源。一方面,我不喜欢这种做法。另一方面,人们正在往 RL 里投很多钱,我觉得这其实还挺酷的。虽然边际回报大幅递减,但模型确实越来越聪明。这对世界算是好事。我觉得很酷。
我会用自己的钱做这笔投资吗?不会,显然不会,因为我们有钱是为了下注,而我们显然不会这么做。所以我对世界上的这种做法也不喜欢。不过,风险投资的账或许算得通:有 1% 的机会押中一个超级突破项目,预期价值实际上为正。等等,你刚才问的是我担不担心,而且还有一个——
你担心吗?还是觉得这合理?
哦。根据我的预期价值计算,我猜这不合理,但如果事实证明我错了,我会非常高兴——至少就目前而言是这样。嗯。
4. Jev 做对了什么
你预料到它能这么快奏效吗?
好几年来,甚至在 TypeSafe 出现之前,我一直觉得自己肯定对这个领域有什么地方没看明白。显然,我后来认定自己并没有漏掉什么,但这个方向在我看来实在太奇怪了。它又显而易见得离谱。显而易见到我第一次想到这个点子时就放弃了,因为我觉得 Anthropic 肯定已经做完 80% 了。这是我听说过最显而易见的事。
所以在我看来,这在世界上显然会很有价值。我仍然觉得人们还没理解它,尽管它的发布显然非常成功。我没预料到的是它会出现“面向开发者的 ChatGPT 时刻”。
嗯。
甚至非开发者也在谈论它。这是我完全没法预测的。那真是——
什么——
——太奇怪了。
人们有哪些地方还没弄明白?大家对 Jev 和你最常见的误解是什么?
我的团队很讨厌我谈这个,但我的原则是,在播客上我可以放开来说。我认为,谈 Jev 真正在做什么会让我处于竞争劣势,因为人们总是抓不住重点。要是我们什么都不告诉任何人,我们就能永远稳坐山头。我太在乎这个领域了,忍不住要声嘶力竭地喊:“这他妈到底是怎么回事?”
人们真正没弄明白的是,这个模型的特别之处不在于成本或速度。还是那句话,在于智能的可靠性。
嗯。
人们还在用 LLM 的思路思考。我觉得有太多人正在耗尽别人对他们的好感。未来应该会出现仿制模型,但在我看来,它们应该非常重视可靠性。现在推出仿制模型的人并不在乎这一点。他们想做的还是 LLM 那一套:把基准测试成绩拉满,制造炒作,再展示一些无关紧要的数据,比如速度和成本。他们真正需要做的是躲进地堡里,埋头把模型变得非常、非常聪明。
人们没有意识到,这才是我们真正关注的事。看到基准测试结果时,即使我们的领先幅度大得惊人,只要模型表现得很蠢,我们还是会感到难受。这才是我们的关注重点,我认为业内所有人都应该关注这个。要问:“嘿,为什么准确率是 97%?缺的那一块是什么?”说清楚一点,问题不总在模型上。很多时候,问题出在提示词上。
但开发者工具就是这么做出来的,对吧?我们得让大家了解它。我们得想办法把提示词写得更好。我们得弄清楚,这种语言里是否有某些细微之处能帮助大家写出更稳健的提示词,或者我们是不是得让模型变得更聪明。这才是人们真正忽略的地方。
我觉得开发者懂这一点,而且他们理解得比我想象中快得多,因为他们本来就不在乎那些基准测试。他们只会说:“你们的模型显然最擅长处理新问题。”但那些说“哦,这无聊透了,不过就是个分类器”的人,最后却做出了山寨品。他们不明白为什么你能投入这么多精力,让模型变得越来越、越来越、越来越稳健。
你刚才说了“山寨品”。我能直说吗?
当然。
OpenAI 和其他公司——
没问题,尽管说。
——在你们推出产品后,很快就推出了自己的推理模型产品。为什么大型模型提供商不能直接抄你们,然后把你们挤出市场?
我不觉得这个问题有多直白。我觉得这完全是个公平、合理的问题。假如有一天他们开始非常重视可靠性,那倒会变成一场有意思的较量。所以——
Diogo,他们怎么会不在乎可靠性呢?他们想要企业客户。他们想要——
你他妈根本不知道他们有多不在乎。
什么?怎么会?他们想要企业客户,想要营收。如果没有可靠性,你怎么让 CIO 签约?
我觉得人们很难把智能理解成一种产品,所以才拿基准测试来当创可贴。基准测试算是一种代理指标,能帮助人们理解底层事物的智能程度。但据我观察,过去九个月里,整个行业已经明白基准测试根本说明不了什么。Anthropic 的模型就是最好的,即使中国模型在基准测试中能和它们打平。哪怕你衡量的是刷高基准测试的能力,你依然会觉得 Anthropic 的模型比对手更好,尽管它们在几乎所有基准测试上都不处于帕累托前沿。
基本上,我觉得 System 1 或决策模型这个子领域很快就明白了这一点——竞争大概晚了一周才开始。感觉大家两三周内就都懂了。我们当时会说:“哦,对,其他那些不过是在刷高基准测试,简直一塌糊涂。”两者的不同很容易看出来。我觉得要真正重视可靠性,需要的是另一种类型的组织。
如果他们不在乎——
请说。
——可靠性,那他们在乎什么,Diogo?
这真的取决于他们的业务目标,对吧?在“ChatGPT 无所不能”的时代,也就是 Claude Code 出现之前,他们在乎的是月活跃用户数。这个指标和优化最佳聊天机器人体验完全不同。谄媚就是这么出现的,而且之后不断循环:“哦,它更会迎合人了。有时候它会撒谎,但嘿,这就是用户想要的,所以我们就在某些领域继续这么做。”你优化什么,就会得到什么。这就是 ChatGPT 当时优化的目标。
我觉得现在大家优化的是编程智能体对应的月活跃用户数。如果他们没有为此训练专门的模型,也没有投入大量精力深入思考,我不认为他们近期能做出旗鼓相当的模型。我希望他们都能这么做,因为我觉得这对世界很有好处。显然,这对我们的生意不利,但眼下感觉还没有真正的竞争。总有一天这种局面会改变,对吧?
我希望竞争能够出现,然后我们证明自己是最好的,因为我们最在乎这件事,也因为我们有最聪明的人竭尽全力、全神贯注地朝着北极星前进。但再说一次,这还算不上竞争。
5. 杰文斯悖论与软件的未来
看看你们所在的决策模型产品市场,三年后会是什么样子?会像 Uber 和 Lyft 那样吗?还是像 GCP、AWS 和 Azure 那样?三年后这个市场会由哪些玩家构成?
我觉得自己有点技术理想主义。我不太会去想竞争格局会是什么样,更在乎技术格局。我们的优势始终会是带来令人震撼的技术突破,所以我们必须持续推出很棒的东西。
我看这个市场时,会先不考虑竞争。就 Token 数量而言,我真的相信会出现一个规模巨大的杰文斯悖论。它不会是那种不太明显的杰文斯悖论,也不会像 LLM 那样是个假的杰文斯悖论,而是会大得惊人。使用量会多得不得了,我觉得它会彻底超过字符串型 LLM 的总 Token 消耗量,至少会远远超过。
我觉得这些东西会无处不在,我们终于会有在后台运行的 AI。我觉得人们对 AI 的感受会开始转变:它不再是一个不断往他们面前塞垃圾的东西,而会成为真正改善生活的东西,因为人们确实喜欢能让生活变得更好的技术。
你说“规模巨大的杰文斯悖论”时,你预见的需求会那么大,我们有足够的能源和基础设施来支撑吗?
有。
那通往技术乌托邦的瓶颈是什么?
相比之下,我们的模型效率极高。我们没有采用那套常见的补贴打法。
实际上,我们能以极高的效率提供这些服务。
对。
在效率方面,还有很多可以突破的地方。当然,我们得做一些厉害的研究,但这正是我相信我们能做到的事。要让那个规模巨大的杰文斯悖论出现,我们还得大幅提升效率。
我觉得最大的瓶颈会是……眼下感觉有点像单人游戏。从 AI 技术的角度看,突破技术边界是我们的责任;从整个行业的角度看,我们需要和开发者多多互动,也得帮他们突破边界。
这就是我一直在说的,也是我梦想中的一种角色。我受够了地位游戏,尤其是在旧金山,ML 研究员高人一等,ML 工程师又高软件工程师一等。我觉得这完全不对劲。
我希望我们能创造一种新的角色,我把它叫作……我现在最喜欢的名字是“软件研究员”:真正推动软件边界的人。假如你知道自己身处互联网或移动技术的寒武纪大爆发时期,你会觉得有那么多边界需要突破,也有那么多唾手可得的机会,需要有人去开路,建起灯塔,告诉大家:“嘿,这里有价值。我们去那儿掀起淘金热吧。”我非常期待鼓励大家去突破这些边界。真希望我自己有时间去做。这里有太多疯狂又令人兴奋的事可以做。
我觉得,要让 System 1 模型无处不在,让 AI 真正自动化处理那些破事,最大的瓶颈就是这两点。如果我还能多说一句:我不知道你是不是软件工程师,但我敢保证,每个做过软件工程师的人,心里都形成过“这个我能自动化”或者“这个我没法自动化”的概念。你得知道,对吧?如果你想自动化一个移动文件的流程,你能做到。如果你想给笔记本电脑做一个语音界面,这样就不用动手打字,你就做不到。
我希望 AI 能彻底消除“没法自动化”这一类情况。剩下的只会是需要投入多少精力的问题。关于软件的未来,我有一整套长篇大论。这想法还不成熟,我以后再好好展开说。
对。
我觉得有个比喻特别美,能说明 AI 是怎么回事。AI 明显很棒,可软件本身却没有改变。这确实改变了编写软件的方式,但软件还是老样子,这很令人惋惜。
我很喜欢蓝色 LED 这个类比。红色和绿色 LED 存在时,它们的用途非常有限。除了用作指示灯,它们几乎派不上别的用场,因为效率很高。但加入蓝色 LED 后,LED 的市值并不只是扩大了 50%,而是让各种各样的事情成为可能。没有这个缺失的、可组合的关键部分,我们就不可能拥有今天这样的屏幕,也不可能有高效得多的白光 LED。
我希望 AI 最终能成为第四种基础逻辑门。所有软件都是建立在三种基础逻辑门之上的。它们非常简单,但正是软件工程师的聪明才智,让我们能够运用这些位级比较,创造出如今软件中的一切。如果我们能加入第四种逻辑门呢?我认为这应该让我们的能力提升远远超过 33%。它应该让我们能做的事情增加几十万倍,这就是为什么我特别期待软件领域出现一次寒武纪大爆发。
6. 企业 AI 与工作流
你为什么觉得当前的软件现状有点像一场悲剧?看看如今的企业软件,顶多就是在企业软件上点缀了一点 AI。你能谈谈你对此的看法吗?
是的。
你能谈谈你对此的看法吗?
我觉得这其实完全合乎逻辑。我不认为这是分发的问题。企业采用 AI 的动力非常强,而那些采用得最彻底的人,恰恰是之前被 AI 坑得最惨的人。
我一直提出的论点是,大语言模型并不可靠,所以不能把涉及公司重大利益的决策交给它们。
嗯。
但你总可以让它们做那些涉及用户重大利益的决策,因为公司往往不太在乎用户。很悲哀,但事实就是如此。结果就是,AI 没有深入到应用的核心逻辑里。最终出现的是在传统 B2B SaaS 旁边附加一个 AI 功能:它不能处理高风险的事情,却可以向用户抛出一堆垃圾内容,因为用户多少会喜欢它能及时响应。公司确保了所有核实内容是否正确的负担都落在用户身上。
考虑到目前的可靠性水平,这其实完全合乎逻辑。我觉得很悲哀的是,人们浪费了那么多资源,绕了一大圈才走到今天这一步。我也认为,鉴于模型目前的智能程度和可靠性,这正是它们应该处的位置。
最大的收益会落到拥有分发渠道的现有企业手里吗?看看 Salesforce 这样的公司,再想想你刚才说的当前软件现状这场悲剧,收益会属于拥有分发渠道的公司,还是会落到新一代公司手里?
首先,所谓的 SaaSpocalypse 显然不会发生。Martin Casado 把它称作“SaaSapalooza”,我很喜欢这个说法。我不一定认为这意味着大型 SaaS 公司会胜出。我觉得最有胜算的是那些最在乎这件事的人。
相比 AI 公司,SaaS 公司有个巨大的优势:它们确实熟悉这些工作流。它们有足够的规模,能够投入前期资金来开展工程工作,考虑所有细节,并真正解决人们的任务。这才是这里真正有价值的东西。
我不一定认为大型 SaaS 公司永远会是赢家,但我认为它们处于最有利的位置。这完全不是因为它们有分发渠道,而是因为它们最接近问题。它们明白:比如说,我不知道 Intuit 那边的人怎么想,你知道,如果我们看 TurboTax,能在哪些地方改进界面,让它更顺畅?OpenAI 或 Anthropic 的人根本不可能知道怎么做,对吧?他们还住在象牙塔里,觉得软件这个概念以后都不会存在了。所以——
对。
——它们有可能成为最大的赢家。
你刚才提到了了解流程、了解工作流,以及这有多重要。我请过 Fireworks 的 Lin 来节目,也请过 Modal 的 Erik 来节目。他们都谈到了公司掌握自身智能的重要性,以及拥有这些独家专有数据所带来的好处——
嗯。
——还有针对每家公司打造专用模型的好处。Diogo,如果关键在于流程和工作流,那这肯定就是圣杯了,对吧?
哎呀。我该怎么用优雅又英式的方式表达呢?我觉得这种观点顺应了当下世界的运作方式,以及人们当前看待 AI 的思路:AI 被设想成一位同事,AI 也被呈现为一位同事。这正是 Anthropic 大力推动的方向,它的界面某种程度上和人类一样。我觉得这就像无马马车——
是啊。
——是 AI 时代的无马马车。就像工业时代,人们会说:“我们就把它做得像马车,只不过没有马。”我认为 AI 同事也是这种思路的产物。很自然,如果你要做自动化,自动化的能力特点就会和人类不同,你应该发挥自动化的优势。
嗯。
这有点像工业革命时期,你不必等一个完整的同事,比如人形机器人,来替你完成任务。你只要找出一个极其具体的环节,比如把瓶盖拧到瓶子上,然后将它自动化,这个问题就永远解决了。所以我认为,工作大体上会朝这个方向发展。
如果你认为 AI 同事是正确方向——我绝对不这么认为——而且你还假设大多数公司都愿意、也有能力和意愿去训练它们,因为它们需要针对你公司的分发渠道接受训练,那么我觉得由公司掌握自身智能的发展方向,某种程度上是说得通的。
我确实觉得实验室采用的通用智能 AI 同事路线更说得通。几乎任何公司,只要给它们无限多个成本低 1,000 倍的实习生,它们大概都能找到很多能提升生产力的用途。我们这个领域应该回答的问题是:为什么现在还没有出现这种效果?那些说公司必须掌握自身智能的人,给出的理由是:“哦,你需要持续学习之类的东西”,或者“你需要更专用的东西”,但我觉得这和现实并不吻合。
Fireworks 已经帮助过硅谷几家非常顶尖、知名度很高的公司。
我觉得 Harvey、Ramp 和 Cognition 在打造自有模型这件事上可能有些地方做错了。你的意思是,走这条路是个错误吗?通用模型或其他模型的表现会一样好,而这基本上是一种徒劳吗?
哎呀,这很复杂。我完全相信专用模型可能行得通。首先,基准测试极具误导性。制定基准的人有很多不良动机,可能想让自己的模型在内部看起来更好,或者在对外叙事上避免给人一种他们会被大模型彻底击垮的印象。我不知道这些模型到底有多好。我猜它们可以变得更便宜、更专用。我认为,当我们的能力水平趋于停滞时,这就是成熟的一个信号。
嗯。
我觉得 AI 往往是以更离散的阶段逐步提升的。当你开始获得特定分布的数据时,这些提升就会发生。我觉得很难否认,编程智能体表现最大的跃升发生在去年 11 月前后。
当然。
我记不清当时是哪一版 Opus 了。那时他们把它投入了实际使用。从那以后,大家一直在说:“我们喜欢 Fable 5.2 或 Opus 5.5。”看起来此后收益递减了。当你看到收益递减时,就可以开始做一些微调优化,比如降低每个 token 的成本。
我的看法是,这些都是问题尚未得到可靠解决的迹象。我认识的软件工程师,包括我自己,都讨厌更新依赖项。我们讨厌升级到最新最好的东西。我们更新的唯一理由,是之前的东西不够好用。否则,我们就会把它锁在地下室里,等它便宜得多了再更新。
我认为,现在有很多自动化做得不够,这也是我觉得数据最能说明的问题。当然,我有偏见。我的看法是,由于杰文斯悖论以及类似的模型,我们会开始真正固定使用自动化方案,而人们不会想要更新它。
公司获得专有智能的方式,不是训练自己的模型,因为这很难做到,而是在模型周围构建软件。Harvey 和 Cognition 这样的公司强调自己拥有智能,这一点非常重要;否则,它们就只是套在大型语言模型(LLM)外面的一层轻薄封装,看起来毫无护城河。
不过,软件和工程非常了不起,即使它们不是护城河也是如此。提前投入精力理解真实问题并将其自动化,让这些问题再也不必重新解决,也让人们不必再做那些铺路的工作,这对世界非常有益。我认为,这是未来的公司更有可能采取的发展路径。它们的专有智能体现在代码层面。这有点像你用哪种数据库可能构成一些护城河,但真正的核心在于你如何使用这些数据库。
Diogo,我很好奇。我对 Harvey 所在的法律市场相当了解。你觉得他们只是薄薄一层封装吗?在我看来,这是一个非常具体的领域,需要深入的产品功能,而这些只能通过垂直领域的方式实现,这也是他们存在并且非常成功的原因。我很不认同把他们称为薄薄一层封装。
哎呀。“薄”是相对而言的。他们比我——哦,这话现在听起来还挺政治正确的。要看我希望它深入到什么程度。据我了解,上次我关注 Harvey 的时候——当然,我连许可证都买不起,所以也不完全清楚——当年 Harvey 和 OpenAI 合作时,他们的设想是逐步自主地自动化越来越大型的项目。但这种做法最后没能奏效。他们最终不得不转向为律师提供副驾驶工具,据我了解,他们现在仍然是这样。
作为律师的副驾驶工具,你可以做很多领域特定的事情,但围绕副驾驶工具能做的工程也有限。是开发领域特定的 MCP 工具,根据真实法律资料检索 RAG 内容吗?现实是,人们想自动化大块的工作,而不只是让人们的效率提高两位数百分比;很多 AI 最终只能做到后者。
我觉得他们围绕这件事做了很多工程工作,这很棒。我认为后续还会有更多工程投入。就连系统消息也是一种非常粗糙的工程手段:你可以编程让 LLM 按特定方式表现,但没有任何保证,也无法确定效果,更没有真正的办法测试它有多有效,除了靠现在人们做的那些非常古怪的评测。
我希望所有地方都能有更多工程投入,尤其是那些与 AI 相关的领域。我希望有一天我们能超越副驾驶工具,在后台直接自动化那些需要花几周才能完成的工作。自动化可能会让这些工作和现在人类会做的很不一样,因为自动化往往要求根据现有技术调整可用的方案。
7. 如何衡量模型进步
你刚才开头那段两三分钟的发言里提到了代币成本。
哦,妈的。
你说——
我有那么糟吗?哦,妈的。
没有,哥们。我喜欢。
好吧。
太棒了。不过麻烦在于,我得记住你说过的部分内容。我本来想问的是:看当下的原始智能,单位代币的原始智能真的像我们听说的那样在提升吗?
哦。我很好奇你怎么看这个问题。我其实想写篇博客来谈谈。
不。我觉得现在已经不是了。我认为它曾经大幅提升。我觉得原始智能仍在提升,但幅度很小,小到几乎察觉不到。这有点像遇到一个 IQ 180 的人和一个 IQ 190 的人,你分辨不出区别。所以答案是会提升,但幅度不大。
我觉得用 IQ 180 到 190 的类比来形容 LLM 现在的表现,已经非常宽容了,因为我不会说它们是 IQ 180 或 190 的人。有时候它们可能达到 180,我也不太清楚。但有时候你得到的又像是 IQ 80,甚至更差。
我的看法是,这不是一个单一维度的问题。第一,基准测试不重要,我们应该把它们丢掉。如果你想看每美元对应的基准测试表现如何随时间变化,那完全是胡扯。第二,我认为有一种一般意义上的智能,也就是每美元算力对应的预训练智能;据我理解,这方面目前几乎没有进展。
但我确实认为,随着数据增多,并且针对不同的任务子集进行训练,你可以让模型更贴合分布内任务。回到“苦涩教训”:在那个数据分布范围内,模型的表现会好得多。从单位成本智能的角度看,我们在编程方面是否取得了巨大进步?当然,进步非常大。但这并不是因为基础模型本质上变得更通用了,而是因为我们让编程任务在训练分布中占比更高,所以模型在这方面更可靠。
嗯。
但过去九个月里,写作能力有进步吗?我不这么认为。也许是我用它们写得不对。还有很多其他能力完全没有提升。如果你不断增加编程智能体领域的数据,并不会因此让很多其他类型的数据也得到改善。这方面的收益会递减。我觉得这件事复杂而微妙。
你提到了模型能力的差异:有时像 180,有时像 80。现在看各种模型,开源模型在很多方面已经尽可能接近前沿水平了。你怎么看开放模型的现状?
哎呀。
还有哪些很多人应该知道、但他们并不知道的事?
最后这个问题很难答。哎呀。
你可以随便说。就咱俩在这儿。
我觉得人们应该知道,基准测试简直全是胡扯。所有基准测试都很糟糕。它们会带来扭曲的激励;讽刺的是,受害最深的恰恰是那些没时间亲自体验模型的人。基准测试会操纵他们的判断,而且影响很大,包括在所有开放权重和开放研究领域都是如此。
有办法衡量智能,但这非常难。实验室不会公开谈论这些。他们内部当然有一些代理指标。很遗憾,公众面临的现状是错误信息太多,而且没人有动力公布自己最好的智能衡量方法。我觉得这很可悲。
Diogo,谁最会胡扯?
谁最会胡扯?
你在 X 上说过一些挺辛辣的话。
我给你来点辛辣的。
哦,好,好,好。
这——
顶尖实验室有动力说实话,所以我相信 OpenAI 和 Anthropic 大体上是诚实的。第二梯队的实验室则有动力骗自己。他们想相信自己能成为第一梯队。他们内部有很大的压力,要把基准测试分数刷到最高,但他们不能承认自己在这么做。否则,组织架构就会乱成一团。
Llama 4 就是这么回事:他们把刷基准测试刷得太明显了,尽管内部有很强的动机这么做。Google 现在也是如此,很多其他中国实验室也一样。我觉得他们的目标是冲到顶尖,因此不会明目张胆地刷基准测试。
我觉得很多争夺安慰奖的人,刷基准测试已经到了完全离谱的程度。要是我想说得尖锐一点,一个例子就是美国开源领域的领头者这个不太确定的定位。这算是一个足够边缘的安慰奖,他们反正也没冲击顶尖水平;而这纯粹是胡扯和造势,因为根本没人真正使用那些模型。那又有谁会揭穿他们?
在我看来,推理模型领域的情况更糟,因为根本没人理解什么才算好的表现,所以他们全都把基准测试刷到了极致。这对我们来说倒是挺好的,因为没人会相信那些基准测试。这让我们能在基准测试本身上拥有很大的影响力,我觉得这对整个领域来说是理想状态。理想情况下,从来没人会在乎任何机器学习模型的基准测试,无论是系统一还是系统二。但现在这种情况实在太普遍了。
咱们展开聊聊,哥们。顶尖实验室有义务诚实吗?还是说作弊对他们有利?
不,抱歉,我的意思不是说这是一种义务。他们不需要作弊也能处于领先位置,而且他们也想真正相信自己做到了。士气非常重要。他们确实想成为顶尖实验室,而且他们也做得到。所以答案是,他们不需要作弊。
我觉得社区里有一种看法:我们需要有一家美国的开源领军企业,也需要推动这家公司向前发展,无论它是 Reflection、Poolside 还是 Thinking Machines。你觉得我们需要推动美国开源模型的发展吗?
“我们”是谁?“推动”又是什么意思?
我觉得大家有个共识:中国开源模型效率很高,除非我们有能与之抗衡的替代方案,否则中国开源模型会被广泛采用,并威胁到美国安全的某些方面。
深入探讨一下威胁模型其实挺有意思。如果直接使用它们经过后训练的原始模型,肯定存在威胁。但如果你实际上利用——我记不清你是怎么描述的——企业的私有情报,理论上——
嗯。
如果你训练这些模型,就能在不同程度上消除很多偏见。理论上,这完全做得到。所以这实际上取决于威胁模型是否真的是把这些模型原封不动地接上就用。
所以你不认为中国开源模型会带来威胁吗?比如存在你不知道的危险提示词注入,或者后门?
说清楚一点,我不会在我的编程智能体里直接使用中国模型。但那说到底也只是其中一种威胁模型。如果你认为编程智能体就是人工智能的唯一形态,那当然,这确实是个很大的威胁。
但我们还得考虑另一种可能:美国开源模型的能力究竟如何?它们能赶上中国模型吗?据我所知,美国模型对自身设定了更高的伦理和法律标准,因此要赶上中国模型可能会很难。如果这些模型实际上不够有用,那关键就在于更聪明一点的模型究竟能带来多大差别——这很难预测,尤其是现在各方面进展都在趋于停滞。但如果它们无法具备竞争力,那推动它们或许就是白费力气。
如果你只假设最狭隘的用法,也就是把模型原样接入编程智能体,那么这就只能是这个领域的开放问题。但如果你设想还有许多其他选择——比如衡量偏见、针对偏见建立威胁模型、通过训练消除偏见,再加上防护措施——那保障安全的方法就多得很。这正是我们现在一个很重要的应用场景:Jev [?] 可以判断工具调用是否安全,或者是否在向中国或其他地方发送数据。大家长期以来都戴着单一模型的眼罩看问题,我不接受这个前提。
你觉得美国开源模型能赶上吗?
如果说真正的智能,我猜不能,除非中国决定不再努力——不是因为能力不够,而是因为伦理限制。但这可能也无关紧要。如果这个领域足够明显地陷入停滞,领先那么几个百分点或许就不重要了。
你觉得我们对中国实施出口禁令是对的吗?
哎呀。我的理解是,这件事有不同方面——我不知道你指的是 GPU 出口禁令,还是——
对,具体说 GPU 出口禁令,因为他们展示了——
哦——
——一些最新的 DeepSeek 模型和其他中国最新模型,实际上是用最新的 Blackwell 芯片训练的。
哦,对。那是 Will Depue 的研究结果。我一直在和朋友聊这件事。网上有些说法挺劲爆的。我在网上听说,用同样的技术可以判断 DeepSeek 4.1 Flash 并不是以那种方式训练出来的。
嗯。
也许这符合这个领域的情况,我也不知道。我的工作是设法应对疯狂的硬件泡沫和新云计算热潮,同时争取实现我们想要的未来。因为我们的效率很高,所以可以置身事外,不必成为 GPU 领域的主要玩家,也希望能平稳度过眼下发生的种种疯狂局面。
8. AI 泡沫风险
你提到正在发生的这些疯狂事,还有新云计算。老兄,新云计算这一层真是个疯狂的领域。
嗯。
未来 12 个月,新云计算领域会发生什么人们没想到或没看到的事?
嗯,我觉得人工智能已经泡沫化一段时间了。所以我想继续为泡沫最终破裂的情况做准备。
泡沫破裂时会发生什么?在我看来,问题不会出在供给端,而会出在需求端。我们还没看到需求端的冲击,那什么会导致泡沫破裂?
天哪,好吧,我们可以聊聊这个。这话题挺劲爆的。编程智能体确实改变了人工智能的局面,但这个论点其实已经被提出很多年了。
我觉得,把许多不同的指数级变化叠加起来看,非常有意思。我认为,有一部分需求是由害怕错过造成的。人们觉得自己取得了不错的成果,认为必须全力押注这类技术,于是产生了害怕错过的心态。我确实认为,当人们开始面对人工智能实际能做到什么时,需求可能会很快崩塌。
据我观察,很多在人工智能上花钱的人,并没有充分理解人工智能的能力。他们的判断相当失准,实际上高估了人工智能能做到的事。我觉得这类情况可能导致需求冲击。人工智能领域一直有太多过度承诺、交付不足的问题。
这和大家常说的完全相反。大家的说法是,即使模型能力很长一段时间没有提升,人类仍有大量尚未挖掘的价值可以从模型中提取。这跟你的说法有点矛盾。
我觉得这么说的人,恰恰是那些努力从现有模型中提取价值的人,所以这多少带有偏见。我不反对他们观点的核心,也就是:“天哪,这些模型真他妈聪明。”我同意,它们确实真他妈聪明。我只是觉得它们的交互界面,以及展现这种智能的方式,都不够理想。
再说一次,我们也得看看另一面:那些在人工智能上押注过头、结果栽了跟头的人。有很多公司曾说:“我们裁掉大批员工吧,因为人工智能能解决所有这些问题。”现在它们不得不收回这种做法,这会对公司未来产生许多长期影响。
这些人不只是想尽可能多地提取价值,或者把赌注押得过重;他们是根据人工智能确实能做更多事情这一现实,试着做出理性的下注。所以谈到人们是否有能力提取出大量价值,即使模型能力暂停进步,现实情况——或者说整个论述——都非常复杂。
我觉得很多人看着这些公司的利润率,就说它们有泡沫的样子。你们的利润率好吗?
不错,是的。
老兄,你们怎么才能把收入做起来?你们价格太低了,这很棒。
嗯哼。
而且使用 Jev 的成本优势很大。但要做到年收入 100 亿美元的规模,所需的体量实在太惊人了。
没错。
你怎么帮我做到?
杰文斯悖论,对吧?杰文斯悖论通常的运作方式不是变魔术:让东西更便宜,它就变得更好。世界要真是这么运作,那也太离谱了。合理的运作方式应该是:“嘿,我有这么多人工智能预算。Jev 把成本降了这么多,于是现在这个项目可行了。理想情况下,它还能运行得非常可靠,因为在自动化真正重要的维度上,Jev 也更聪明。这样我就能开展其他项目,或者把智能用于以前根本不会考虑用智能去做的事情。”
即便如此,如果你开始把智能用于以前从没用过智能的事情,也不代表你会增加预算。杰文斯悖论意味着预算会增加。你需要看到的是,那些项目终于成功所创造的价值巨大——而人工智能往往做不到这一点——让你觉得:“嘿,这真的管用。我们继续投入,直到预算恢复到原来的水平,甚至超过原来的水平。”
这就是为什么智能的可靠性如此重要。我常说,按照真正重要的宏观指标,也就是实际自动化程度,Jev、Fable 和 Astra 都差不多是 0%。是的,零零星星有一些成果,但还有大量工作需要自动化。我们正在努力打造一个目前还不存在的行业,也就是后台持续运行的人工智能。显然,它的规模会远远超过整个……
规模更大。
……远远大于编程智能体辅助软件工程师,让编写软件的效率提高比如 20%。
你今天怎么看编码代理市场?你看 Cognition,目前排第四,已经是一家营收达 16 亿美元的公司。这个市场的空间非常大。你今天怎么看这个市场?三年后它会是什么样子?
谁排第三?
有 Claw Code,有 Codex,有 Cursor——
啊。
——还有——
好,行,行。
——Cognition。还有 Factory。
坦白说,我并不分析编码代理市场。我个人希望 Jev 能被用于编码代理,我觉得有些非常酷的科幻应用可以做出来。实际上,我认为我们离编码代理市场越远,他们就越能继续打他们的小仗,而我们也能继续专注于自动化。
从公司角度来看,短期内 Jev 要是完全没有编码代理用户,或许反而更好,这样事情会容易一点。不过现在说这个已经有点晚了,但我也说不准。我不分析这个市场有多大。我觉得它会是一个非常大的市场。它会比现在大很多吗?我不知道,因为 FOMO 对这类事情的影响确实很大。
我在 AI 领域待得够久了,你肯定也一样。你应该见过 AI 看起来像这样一路指数级上涨,但实际上它经历了很多次起起落落。
当然。
前一轮上涨带来的每一波 FOMO,都会叠加到下一轮里。但很多轮最后都崩下来了。我觉得,认定这次会一直涨、一直涨、一直涨,是有点傲慢。
9. 融资与打造 Jev
我记得 2015、2016 年的时候,有大概一年的时间特别火,有 Bloomsbury AI、Message.ai,还有一大堆类似的公司。情况一模一样。所以,是的,我完全懂你的意思。
我们聊过那种泡沫时刻。恕我直言,你们融了他妈一大笔钱。
当然。
跟我讲讲那轮融资吧。是不是就这样:去一家 VC 那儿坐坐,拿一份投资意向书;再去另一家,拿一份投资意向书?“啊,我已经拿到 28 份意向书了。”那轮融资是怎么谈成的?
那段时间我们真的非常非常困惑,简直有点疯狂。天哪,我们从 VC 身上学到了这么多。
你学到了什么?
VC 投资组合里的公司在技术上有多先进。基本上,所有投资人都是主动找上门来的。我们连演示文稿都没有。我们只能跟大家说:“嘿,我们没时间准备这份演示文稿,而且看起来其他人也不需要。你们告诉我们看到了哪些市场信号吧,因为现在一切都忙得不可开交,我们实在没时间把这些东西整理出来给你们看。”
看到不同 VC 在最初几天和几周里的变化,真的太酷了:他们的兴奋程度如何变化,以及他们怎么告诉我们自己的被投公司正在如何使用我们。我们不会窥探他们的数据,所以其实不知道他们拿我们的产品做什么。听他们说“我靠,你们真有两下子。你们至关重要。这就是未来”,实在太酷了。
这是一个非常有意思的额外信号。说实话,我很怀念这个能反映行业现状的信号。听说谁在用我们、为什么用、怎么用,真他妈酷。这也是那轮融资能谈成的原因。
你一开始是按 7.5 亿美元的估值要 7,500 万美元,还是后来金额涨上去了?
变化很大。刚开始谈的时候,我们并不清楚自己到底想通过这轮融资筹多少。最后我们决定:“嘿,我们其实不……”这可能听起来有点疯狂,因为我们确实融了很多钱,但我们意识到,没必要把估值拉到最高。没必要搞什么傻逼分批投资之类的。我们不在乎这些,也不需要一大笔钱。
我们需要的是能和世界上最大的公司交手的盟友。我们要找到最适合加入团队的人。这才是我们真正着重优化的事情。其他方面都只是细枝末节的优化;我们真正要找的是:“嘿,我们要最聪明的钱、最好的盟友,以及能帮我们闯过前方坎坷水域、险恶水域的人。”
对。
我觉得,我们优化的目标和其他公司很不一样,因为我们是盈利的。我们银行里的钱现在还在增加。坦白说,一家此前只融了我们这么少的钱的公司,不该计划马上把融到的钱全花光。
我真不敢相信“傻逼分批投资”如今竟然成了一个说法,不过就这么说吧。我懂。这完全他妈的离谱,让我简直——
等等,你肯定知道这回事吧。
当然知道。我自尊心可强了。
对,这事也找上我们了。很多人都想这么投。甚至有人说:“如果你们按三倍估值融资,算我一个。”问题是,我们不需要这笔钱。
但那就是泡沫,那就是胡扯。抱歉,我真的很喜欢你,哥们。有人会说:“YOLO,210 亿美元,无所谓。”
嗯。
你知道吗?你得有点自尊,因为那感觉就像是坐在那儿眼睁睁看着。
我们不需要钱,也不需要那个估值。
你们为什么选红杉和 Andreessen?我很喜欢他们,但你们为什么选他们?
天啊。这听起来可能像是在拍马屁,但我真的很喜欢他们。Andreessen——我对技术和技术乐观主义有点痴迷。我觉得 a16z 就是这种精神的化身。他们在理念上和我们的契合度非常高。
我觉得大多数 VC 从战略角度来说都热爱技术,但他们也是金融机构,非常在意怎么打好手里的金融牌。Andreessen 这家机构从上到下都特别特别在乎技术。我和 Martin Casado、Ben Horowitz 做的那期播客特别有意思,感觉我们像老朋友一样在交心。也许他们太会说服人了,给我推销了一些假得离谱的东西。但我不这么认为。我觉得只是因为我们在理念上非常契合。
我们之所以走到今天,我也希望以后能继续这样,是因为我们坦诚展现自己在乎的事情,并在 AI 领域闯出自己的路。我很愿意依照这一点行事,也很高兴他们加入。显然,Martin 非常出色。
说到红杉——坦白说,我当时并不想拿他们的钱。我想要的是 Sonya Huang。这就是红杉参与进来的原因。我还不算特别了解红杉这家基金,但我也很喜欢 Sonya。我也很喜欢我们有——
现在你得让我明白。我想当最好的宣传大使。Sonya 到底哪一点这么打动你,让你选了她而不是其他所有人?
天啊。我会说,她不只是聪明,而且聪明得很特别;我觉得我们特别希望有这样的人站在我们这边。那是一种很独特的聪明劲儿,无论我和多少顾问交流——
只要和 Sonya 谈一次,我就能得到一个不同而且很有意思的视角,我觉得这应该成为我们战略上的一张牌。我很重视自己的战略思考。我有一条比较特别、但经得起推敲的价值观,叫“慢慢做出好决策”。这很不像创业公司的做派,但我觉得事情就该这么做。她在这方面是非常有价值的思想伙伴。
“慢慢做出好决策。”那你快速做过什么糟糕的决定?
我觉得自己做决定可能比大多数人都慢。我的感觉是,商界很多人都在自动驾驶。
嗯。
我讨厌和传统的生意人共事。他们就是做事。如果事情做得好不好无所谓,我不介意直接做;但对重要的事情,我很在意为什么要做。背后的理念是什么?框架是什么?该怎么做?每次和传统的生意人共事,我都觉得自己快被逼疯了,因为他们从来没把事情做好到让我不用操心的程度。我要是开始操心,就得弄明白为什么要这么做,然后我就会想:“哦,这人只是在瞎搞。”
我觉得制定计划很重要。有太多事情,我都应该花更多时间去思考。我希望能多花些时间考虑我们的数据和数据路线图。我想更多地思考产品、如何让人更信任我们,以及我们招聘的每一个岗位,确保找到最合适的人。我应该承认,自己没时间把这些事情全都顾上;但思考、思考、再思考,真的他妈重要。
如今招聘市场有多难?你们必须招到最优秀的人。说真的,到底有多难?
最难的部分是为我们的数据领域团队招聘人才。回到“苦涩教训”:当你有一项新任务时,就会有一种新类型的数据。你需要一种新的数据形态才能让它发挥作用。我们基本上有自己的一个小分支领域。想象一下世界上最好的实验室,但设在公司内部,专门以我们创造数据的方式来创造数据。我原以为这应该是世界上最容易招聘的岗位,因为它酷得不可思议。可我们招人却特别难,因为没人知道怎么进入这个领域。申请的人总是类型不对。
对我来说,这才是让我夜不能寐的事:我们要怎样才能说服那些才华横溢、却觉得自己不是机器学习研究员就无法推动机器学习边界的人,来做这个岗位?我们有一个专门的领域,他们还能得到世界顶尖专家的指导?这会非常有价值,因为你实际上是在让模型变得更聪明。我不知道该怎么把这件事传达给全世界,这真让人沮丧。其他一切都很好——
薪酬是不是高得离谱?我们听 Modal 的 Eric 说,他不得不和别人争抢人才,开出 2000 万美元的薪酬包,有些应届毕业生确实才华横溢。薪酬待遇是不是已经高到前所未有?
我们不是这样。我很高兴我们把这件事想清楚了。我们真正明白了自己不想要雇佣兵。我们想做得好,但不必像那些疯狂的实验室一样。我觉得这样很好。我认为 Anthropic 最近有点受雇佣兵文化过度泛滥之苦。他们显然想要的是理想主义者,但他们给的薪酬又高过任何人。所以加入的动机不只是吸引雇佣兵,也会让人去假装符合他们的文化面试要求。现在甚至出现了一个专门培训人们应对 Anthropic 文化面试的市场。
我很庆幸我们决定不这么做。我们想给员工不错的薪酬,但不必开出史上最高的薪酬。我们对自己在算法方面的薪酬水平很满意。这种做法既能照顾好员工,也能筛掉那些只为钱而来的高手。
最后一个问题。如果你能把——
哦,对。
——一种性格特质植入潜在员工身上,你会选什么?对我的公司来说,我会选“执着”。
我需要一个对自己的手艺极其执着、沉迷于把它做得更好的人。他们会因此夜不能寐。这种执着会全方位地驱动他们。就是能够对某件事着迷的能力。
我不确定每个岗位都一样,但如果非要选一个,我想不出更好的词。这个词听起来有点色情,但我们的意思不是色情:technophilia(科技迷恋)。先说清楚,是非色情的。不是色情,好吗,放轻松。我们真的热爱科技。这种氛围在一个小圈子里特别美好,而我希望每个岗位的人都是这样,这样我们就能在午餐时或闲逛时聊科技。我希望身边都是我喜欢的人,也希望我们成为一个大团队,持续不断地推动科幻技术的边界,因为只有这样,我们才能真正带来令人震撼的技术突破。再说一次,非色情。我想不出更好的词了。科技爱好者,科技迷——对,对。先说清楚,如果你们把这段剪掉,那就太尴尬了。
别担心。我们会留着。没有色情——
对。
现在来一轮快速问答。我说一个简短的问题——
哦。
——你马上说出你的想法。
好。先提醒一下,我不太擅长快速问答。我会试试。
过去12个月里,你在哪件事上改变想法最多?
炒作有多重要。
炒作有多重要?
对。我觉得它远没有我原来以为的那么重要。Jev 刚推出时,我的反应是:“我靠,炒作太重要了。”后来又有其他产品推出,它们把基准测试分数刷到了极致。可我们和真正的用户交流时,大家都说:“对,我们试过那些产品,烂透了。根本没人关心。我们已经看得出来你们是最好的,而且你们最用心。”
我当时就想:“哇,这也太方便了。”我们只要做自己最喜欢的事就行,也就是少承诺、多交付。这简直是最理想的世界。我在产品发布时完全没想到会是这样,这对我们来说太棒了。
你最坚信、但前沿实验室里最聪明的人可能会反对的观点是什么?
如今 AI 能做到多少,以及可靠性有多重要。
你为什么不从 OpenAI 招人?
我觉得,能进入 OpenAI 需要经过某种筛选,而这种筛选在我看来反倒是个负面信号。首先,我感觉你得认同某种特定的“迷魂汤”。其次,我这么说主要是指我不会从 OpenAI 招研究员。
嗯。
OpenAI 的研究员从一开始就热衷于做算法,然后再扩大规模。他们往往讨厌数据。在大多数实验室里,数据是地位很低的工作。显然,他们也不会去思考正确的任务,因为这样的人相当少。OpenAI 可能只有三个人在思考正确的任务。我也不会招他们,不是因为他们不出色,而是如果你痴迷于正确的任务,为什么会想来做我这里的正确任务?我这里的正确任务是机器原生 AI。
如果你痴迷于让文生图成为现实,就像 Aditya 在 OpenAI 做的那样——我靠,他开创了一个完整的领域。这真他妈酷。他优秀得不可思议。你不能把他调去做另一项任务。他就该继续钻研他的科幻愿景,因为一个人在某件事上如此出色时,就应该这样做。
从结构上来说,剩下那些可能适合招聘的机器学习研究员,全都是痴迷于算法的人。在我看来,如果你想把钱扔进火炉里,这倒是个不错的做法。
如今炒作最过头的类别是什么?
我的直觉告诉我,是机器人。不是说机器人不酷,但从整体的可靠性来看,它还远远不够成熟。如果你想想必须先解决哪些问题,就会发现还有大量前置条件没有满足。我认为机器人离这个目标最远。
炒作最少的是什么?
软件研究的这个方向:人们把 AI 和软件结合起来尝试创造新东西,尤其是新的交互界面。这方面受到的关注实在少得离谱。真让人惋惜。
最后一个问题。你现在相信什么事情,看起来很疯狂,但五年后会变得极其普遍?
我认为,世界上到处都存在委托人与代理人的问题。当委托人,比如选民,由一个有时与其利益不一致的代理人,比如民选代表,来代表时,为什么选民不能直接表达自己的意愿,让制度更像真正的民主?这只是一个人为设想的例子,但类似情况到处都有:向你汇报的人,股东与公司之间。委托人与代理人的问题实在太多了。
我认为,我们会找到好得多的办法来解决这些问题。到时候,我们会觉得不可思议:今天竟然容忍了这么严重的利益错位。那会是一个多么美好的世界,我们可以开始落实法律的精神,而不是只照着法律的字面条文办事。
AI 本质上就是这样。法律就像编写软件:制定一套详细的算法,照着执行,从而做到公平且可复现。过去只是缺少能够表达法律精神的基本工具。我认为,这会真正凝聚社会,因为即使面对最具争议的话题,很多人也能在事情的本意上达成一致。问题在于,事情的本意无法被强制执行,所以你得把它写进法律条文,而这样一来,各种分歧就会大量涌现。
Diogo,你知道我对你的意见是什么吗?就是你实在没什么活力。
我的错。我的错。Discord 上的人叫我“可卡因实验室拉布布”,是有原因的。
哥们,这次聊得太开心了。
哦,对。
太感谢你带来了这么多活力。
当然!
也感谢你这么愿意敞开心扉。
当然!聊得特别特别开心。我们该保持联系。这次聊天确实挺火辣的,比我原本打算的还要火辣。