# 硅谷坐标 x 前Meta AI总监田渊栋: 解析大模型护城河、记忆存储瓶颈与Agent对社会冲击 硅谷坐标 Silicon Valley Vector · 2026-03-07 · 62 min · https://www.youtube.com/watch?v=tfLTHCpPsSY ## 逐字稿 田渊栋 硅谷里应该很难有一个秘密能保留很久。可能一个新的方案做出来之后，过了1个月、2个月、3个月，大家就都知道一点了。 曹卿云 Qingyun Cao 未来的AGI是一个脑容量不断扩大的系统，还是一个脑容量固定、但会持续进行记忆升华和主动遗忘的系统？ 田渊栋 我觉得应该是后者。当然，容量扩大当然更好，但我觉得后者应该是让一个人变得聪明，或者让AI取得飞跃性进展的一个很重要的因素。 曹卿云 Qingyun Cao 最后问你的一个问题，你下一站去哪里？ 田渊栋 大家好，非常感谢今天有幸被City Computing Vector的同学们邀请过来做访谈。我是田渊栋，之前在Meta做研究总监，主要做强化学习、搜索优化，还有大模型的推理和应用。在Meta已经快11年了，现在已经出来自己创业、开公司了。 曹卿云 Qingyun Cao 袁总，今天欢迎你来到《硅谷坐标》，跟大家分享一下你在AI前沿看到的最新动向。我们看到，2026年才过了2个月，模型赛道的竞争其实已经非常激烈。不管是开源模型还是闭源模型，都发布了最新版本。你怎么看待现在各家模型你追我赶的局面？似乎领先优势很快就会被追上。 田渊栋 我觉得这是一个非常普遍的现象。应该说，从大模型在2022年底开始爆发以来，这样的趋势就在慢慢加剧。 从技术上来说，我们有蒸馏这样的技术。一个不是特别好的模型，可以通过蒸馏更强模型的输出来，很快达到更强模型的水平。所以这种趋势应该说是不可避免的。随着以后更多的人掌握这些技术和流程，模型的迭代速度应该会更快。现在的迭代速度确实已经非常快了，可能快要接近人类的生理极限。 至于这些AI Lab如何保持领先优势，这完全取决于每个AI Lab的定位和方向。有些AI Lab背后是大公司，对它们来说现金流并不是问题。现金流不成问题的话，它们的目的就是向大家展示公司本身的技术实力和强大的人才储备，不停发布各种更新的模型和结果，让大家知道这个公司仍然处在人工智能的顶尖位置，或者说第一梯队。 我觉得谷歌其实是一个很好的例子。它通过发布各种不同的模型和结果，让大家知道谷歌确实在这方面非常领先。比如最近他们用Gemini来做很多比较难的数学问题，发现用最新版的Gemini 3.1 Pro能够找到一些很好的数学问题解答。这些问题以前肯定是未解问题，后来发现通过大模型的搜索和探索，能够找到一些很好的证明。这样大家就会觉得，谷歌仍然领先，仍然在大模型竞赛中占据第一梯队。我觉得这是一个很好的策略。 另外，一些初创公司之间的你追我赶，是因为它们需要证明自己很强。通过这种方式，它们可以获得更多融资和认可，获得下一轮资金的注入，让这个AI Lab、这个初创公司能够继续活下去。 我觉得这其实是两种不同的策略。但也许以后总有一天，初创公司如果把钱烧完了，就需要在钱烧完之前找到一个商业模式，让自己能够活下来。像OpenAI现在其实也在考虑，如何在ChatGPT中做广告。比如把广告插入ChatGPT的对话中，或者放在旁边的栏里，让大家看到一些相关的广告信息和知识。这样，它也可以找到现金流的输入，让自己长久地活下去。 我觉得对于大厂和创业公司来说，证明自己的模型非常强都是必不可少的。所以我相信，在不久的将来，这个趋势还会继续发展下去。 曹卿云 Qingyun Cao 在你看来，AI Lab真正可持续的护城河是什么？是算力和基础设施，还是数据、算法或者人才？如果让你给这4个维度排一个未来3到5年的重要性顺序，你会怎么排？ 田渊栋 我觉得最重要的应该是数据。可能数据和基础设施都比较重要，但是基础设施应该会慢慢发生变化，因为现在用AI写代码的趋势越来越强。 以我自己来说，和3个月前相比，我的工作效率应该提高了至少10倍。以后可能会有越来越多的人开始用AI写代码的方式来构建自己的系统，做一些查错工作，或者让程序运行得更加顺畅。这些比较日常的工作，可能都会让AI来代替。 如果是这样的话，基础设施的护城河可能会有所下降。这是我的一些想法。但是数据本身可能还是比较难获得的，数据应该非常重要，特别是对于一些比较难的垂直领域。如果一个领域的数据非常少，就没办法用很少的数据训练出很好的模型。所以数据还是一个比较重要的因素。 至于算法，目前看起来，算法的改动还不是特别大。有很多方法其实都是在原来的算法上做一些小修小补，做出一些比较fancy的修改，但不一定真的有用。 像DeepSeek可能在1个月前发布了一篇文章，做了对残差连接的一些改动，觉得非常有意思。但后来我看到有人发现，有些算法可以改得非常简单，和原来差不多，效果还是可以。所以，算法上的一些修改不一定会导致完全不一样的结果。 目前算法处于一个比较稳定的状态，这可能是一个很大的瓶颈。我相信现在可能处在这样一个阶段：要么大家改来改去，改不出什么东西；要么就出现一个完全不一样的新方案，能够把原来的东西颠覆掉。我们现在处于这样的状态，但这个跳变什么时候发生，现在还不太清楚。我也希望这样的跳变能够发生，这样我就可以得到下一代模型。 但如果跳变不发生，那么现在算法可能没有数据和基础设施重要。大概是这样的逻辑。 另外，人才是会流动的。你会发现各大研究实验室的人和人之间会有很多变化：2个月前这个大佬在这里，过2个月可能就去了另外一个地方。通过这种人才流动，很多新的想法和思路会从一个地方流到另一个地方。 所以，硅谷里很难有一个秘密保留很久。可能一个新的方案做出来之后，过了1个月、2个月、3个月，大家都会知道一点，之后可能就传开了，大家都知道怎么做了。算法和人才应该没有数据、基础设施那么重要，大概是这样的逻辑。 至于算力本身，也是一个很大的瓶颈。算力主要体现大厂和初创公司之间的区别，但大厂之间可能差别没有那么大，因为它们都能给AI Lab提供很大的算力配额。 曹卿云 Qingyun Cao 在你想象的终局里，会不会是一家或者几家大模型公司占据主导，再加上几家在垂直领域拥有独特数据的小公司？ 田渊栋 我觉得有可能是这样。 曹卿云 Qingyun Cao 今年开源模型在网上有很多讨论，也有一些争议。你怎么看待开源模型的发展？ 田渊栋 我觉得开源模型是一个非常重要的方向。地球上不可能只有闭源模型。如果只有闭源模型，可能会导致一个非常糟糕的未来。 我在2023年的时候其实就有这个想法：我们的模型一定要开源，至少要有开源模型的一席之地，这是非常重要的。 为什么呢？我觉得对于指数增长的技术来说，最坏的结果是少数人掌握了这个技术，而大多数人不知道。少数人利用这个技术去做一些不太好的事情，那么地球上大部分人可能无法获得这项技术带来的便利，还会产生很大的等级区分。这是开源模型需要避免的一件事情。 有了开源模型之后，大家就相对平权了。大部分人可能获得大致一样的计算能力和模型能力。有了这个之后，大家能够同步往前走。 或者换一个比较有意思的说法：如果大家都有核武器，就会形成威慑，相对来说会有一个比较好的平衡点。如果只有某些人或者某一类人拥有这样的工具，可能会产生一些不必要的问题。 我以前的公司Meta，在大约1年前还是比较倾向于开源，但现在可能更偏向闭源策略。我觉得这个策略本身没有什么问题，因为它完全取决于公司的战略。 如果一家公司觉得开源有利于竞争和发展，那它就开源；如果觉得闭源有利于公司的发展和竞争，那就采用闭源的方式。公司不需要坚持一定要做某一件事，特别是这件事如果和主营业务没有关系，其实完全可以灵活处理。 曹卿云 Qingyun Cao 你现在用得最多的模型是什么？ 田渊栋 我现在用得最多的模型，应该各种都在用。比如OpenAI的模型、Surface的模型，我也在用开源模型。像GM5、MiniMax 2.5，这些都还不错。MiniMax 2.5可能快一点，我觉得还是挺不错的。 你会发现有很多事情让我觉得很吃惊。半年前使用这些模型时，它们可能还没办法完成一个完整的任务，会有各种各样的问题。但现在再去用，你去问Crawl Code，它当然做得很好；你去问MiniMax，其实也可以做得不错。 它可能会有一些问题，比如会忘记某些东西，但大概的流程和逻辑基本还是正确的。这让我非常吃惊，模型的进步已经这么快了。我觉得以后可能还会有更多新的好模型出现，给我们的日常生活和工作效率提供很大的帮助。 曹卿云 Qingyun Cao 接下来想重点和你聊一聊大模型的记忆，这也是你的研究重点之一。你先跟大家讲一讲，大模型到底是怎么记东西的？ 田渊栋 大模型的记忆一直是一个很大的问题。2023年上半年，我们其实就已经开始做一些相关工作了。当时我们做了一些长文本、长上下文的大模型扩展。 2023年6月，我们有一篇文章叫《Positional Interpolation》，研究的是如何把大模型的context window，也就是上下文窗口长度变长。原本这个长度可能只有4K，也就是4096个token，或者是2K、4K这样的量级，非常少。 在我们的方法出来之前，大家一直以为，要把窗口拉长，就需要把更长的数据放进来，用更长的数据训练模型。但这个训练过程非常耗时。比如一个模型训练完之后，窗口是2K，也就是2048个token，这个窗口大小就定死了。 如果想扩展窗口，就得再拿一大堆很长的上下文数据，让模型再训练一遍。这个过程非常慢、非常痛苦，需要花很多卡，而且模型质量还不一定好。 当时我们发现了一个很有意思的现象：只要把长上下文窗口映射到短上下文窗口，把每个token的位置编码简单地除以2，就可以映射过来。映射之后再做微调、再训练，所需的训练成本会小很多，而且质量还不错。 后来这个现象被大家广泛应用。从这里开始，大家发现原来可以这样做，窗口突然之间就变得很长了。应该说从2023年下半年开始，有很多工作开始证明如何做长上下文预测。我记得包括Gemini、Kimi，其实都有相关工作，研究如何让文章变得非常长。 之后我们还做了一些其他工作，比如Attention Sink，也就是注意力陷阱还是注意力呈现，反正有一些中文的翻译，我也不确定哪个是官方译法。 它的逻辑是，如果只保留整个句子最前面的几个token，把中间的部分全部去掉，模型仍然能够输出比较正确的话。虽然中间被去掉的部分没有记忆，但它说话至少还比较连贯，不会出现爆炸性的结果。当然，如果真的问它中间那部分的事实，它可能会开始出现幻觉。 之后我们又做了一些扩展，比如把被去掉的中间部分再找回来。我们有一篇文章叫H2O，也就是Heavy Hitter Attention、Heavy Hitter Oracle。通过这种方式，模型的记忆大小首先是固定的；另外，把那些重要的记忆找回来之后，一些比较关键的问题仍然能够回答正确。 这些文章都是关于记忆的，都是在研究如何在两种方案之间达到平衡。一种方案是希望把过去所有的上下文全部记住，但这需要付出很大的代价，不过效果比较好。另一种方案是有选择性地去掉一些过去的记忆，这样可以保证存储大小没有那么大，同时模型还能输出比较好的结果。 最近很多关于记忆的文章，其实都遵循这个逻辑：一方面使用大量内存，把记忆全部存下来，但速度慢、存储开销大；另一方面去掉一部分记忆，这样速度变快、内存变小，但可能会忘记一些东西。所以在记忆这个方向上，永远存在这样一个路线之争。 以前一直很火、现在也很火的线性注意力模型，它的逻辑就是把过去的上下文压缩成一个固定长度的向量。压缩完之后，就把这个向量作为过去的记忆。这样做的好处是记忆量非常少。 但问题是，如果真的想找到过去历史中的所有细节，线性注意力可能就不太行，因为有限的空间容纳不下无限的过去历史。这就是其中的trade-off。 今天讲的这些内容，应该说都是短期记忆，也就是上下文记忆，这部分非常重要。还有一部分记忆存在模型权重里面，这是更长期的记忆。 模型权重里的记忆，从预训练开始就建立起来了。预训练的意思是把海量数据，甚至整个互联网都放进训练中，让模型进行大规模训练。权重会从初始化开始慢慢演化，最后达到一个比较好的状态。 这个记忆演化的状态，就是长期记忆。长期记忆规范了模型本身对世界的整体理解，这部分记忆很难改变，而且对模型的能力有很强的影响。 如果模型在预训练阶段训练得不太好，最后会怎么样？它在做后训练任务时，就会表现得像一个比较笨的孩子：什么事情都必须给它讲得很清楚，它才能记住；它无法举一反三，新的事情和新的任务来了之后，它又不会了。你得再给它说一遍，把过程一步步讲清楚，它才能做出来。 但如果预训练训练得比较好，它对世界的理解非常深刻、非常一般化，具有很强的泛化能力，就像一个聪明的孩子，一点就通。它在后训练过程中会很快适应任务，并且能够举一反三。这大概就是两类记忆。 曹卿云 Qingyun Cao 现在在记忆研究中，你们碰到的最难的问题是什么？ 田渊栋 我觉得最难的问题之一，是记忆如何从背诵、死记硬背，转变成顿悟。这应该说是一个比较难的过程。 你去看任何一个小孩子怎么学习，就会发现很有意思。我有时候会观察我女儿的学习过程，通过这种方式看看AI的学习能力和小孩子有什么区别。 小孩子在学习时，3岁或者4岁之前，你跟他讲很多东西其实没有用，因为他记不住。你讲得再多，他也会觉得记不住，然后开始哭闹，不想学这个东西。但过了一段时间之后，突然在某一天，这些事情他都会了。 我一直在想，小孩子的脑子是怎么长的。他可能在某种情况下、到了一定时间之后，内部记忆发生了重组。重组之后，记忆的表示发生了变化，于是他突然理解了之前无法理解的逻辑。用这个逻辑，他可以举一反三，做很多事情。 比如数数。你可能在两三岁的时候教他数数，他会机械地记住“一、二、三”，但这些数字之间的关系并不清楚。过了一段时间，比如4岁以后，他会突然对数字的大小产生感觉，大概猜出两个数字相加是什么，还会猜出一些两位数之间的关系。很多时候不用教，他就自动会了。 这个过程非常重要。但对于这个过程，我们现在的理解仍然有很大困难：它为什么会发生，什么时候会发生，以及怎么样让它更快发生。这是一个很大的问题。能不能让模型的学习变得更加有效率、更加像小孩子一样学得更快，也是一个重要问题。 现在有很多记忆方式和新的范式，但它们的过程还是比较机械化，没有小孩子学习时那么灵动。比如Google去年那篇比较火的文章《Nested Learning》，它的想法非常简单。 他们希望在设计网络架构时，打破优化器和神经网络架构之间的界限，希望所有东西都是一类东西，叫作associative memory，也就是联想记忆。 什么叫associative memory？在生物学、脑科学中有这样的概念：输入一个东西，就输出另一个东西，是一种一一映射，像一张表格。比如输入“今天天气”，输出“今天的天气是什么”，这是非常清楚的映射。 他们希望把神经网络中所有的学习过程都映射成associative memory。这样就相当于把神经网络的每一部分，都作为记忆模块的一个特例。 这个逻辑本身我觉得挺有意思，因为它可以把事情统一起来。但另一方面，我不是很认同这个方向。对我来说，所有memory的效率还是不够高，因为它只是把一个点记住，然后再把这个点弹出来。 但对人类来说，学到一定程度之后，会形成对这个世界的整体理解。就像诸葛亮说的“观其大概”，不是看细节，而是对整体理解得非常深入。这样面对一个问题时，就能很快给出一个很好的答案。 所以我觉得，associative memory相对来说还是比较简单，对于人类记忆形成过程的建模还不够。这本身是一个很大的问题，可以慢慢再去解决。 曹卿云 Qingyun Cao 在你的愿景里，未来有一个能够持续学习的AGI。它是一个脑容量不断扩大的系统，还是一个脑容量固定、但会持续进行记忆升华和主动遗忘的系统？ 田渊栋 我觉得应该是后者。当然，容量扩大当然更好，但我觉得后者是让一个人变得聪明，或者让AI取得飞跃性进展的一个很重要的因素。 前者其实更像互联网。全世界的互联网越来越大，我们可以把TB、PB级别的数据放进内存和硬盘里。这样多的数据堆积在一起，会让检索变得非常有效率，但它并没有升华成一个有自主意识的人，也没有变成一个对问题有更深理解的系统。 过去的搜索时代并没有做到这一点，还是需要人把数据整合起来，然后获得一些新的知识。但大模型出现之后，一个很重要的贡献就是，它通过训练把数据和知识整合到了权重里面。这种整合让模型对数据和知识的理解上升了一个层次。 所以，再去查询模型时，它给出的回答会非常灵动，很像人。这就是这一代技术和上一代技术的区别。上一代技术比较机械，是精准匹配，匹配完之后得到结果；现在这一代技术已经开始说话，思维更像人，能够对问题进行分析和理解。 这两代技术最大的区别，就是我们用了神经网络和大模型。大模型通过训练，让知识的表示和存储发生了质的变化。 如果从大模型出发再往前走一步，让知识的表示和存储发生更加质的变化，或者让训练和存储的成本降低、学习能力增强，使模型能够很快适应这个时代和不断变化的世界，那就是下一代模型。 曹卿云 Qingyun Cao 现在我们看到context window的长度越来越长。你认为之后还会持续变长吗？它的天花板在哪里？ 田渊栋 很难说天花板在哪里，因为现在确实存在这个需求。以前使用大模型主要还是聊天，聊天的频率不会特别高。一个人在网上待10个小时，可能聊天10万字已经很可怕了，这基本就是一个人一天能够消耗的token上限。 但现在大模型的用途已经不只是聊天了。很多时候它被用来写代码，或者做问题分析。这种情况下，你动不动就要把整个代码库放进去，或者让模型进行多轮工具调用，也就是tool call，或者做多轮问题分析和迭代。 这样很快就会发现，上下文超过1万甚至10万token是经常发生的事情。你很快就会发现上下文用完了，这是一个非常快的过程。 另一个问题是，大家都希望模型能够长期工作，不需要人干预。这应该说是最近半年各大厂和研究实验室都想做的事情。 以前一个工具可能每隔3分钟就要向你汇报一次：“我做完了，下一步是什么？”这对人的注意力要求很高。但以后我们当然希望模型能够工作1个星期，或者连续工作几天几夜，不需要任何人干预。这样一来，就需要大量token和大量上下文，让模型能够持续工作。 所以，总的上下文应该会越来越长。上下文越长，它对世界的理解就越深入，决策也应该会越准确。我相信这是一个很大的趋势，应该很难改变。 当然，最近也有一些把上下文记忆做得比较好的机制。像最近比较火的Clawdbot，它的memory机制就比较有意思：把memory组织成各种各样的Markdown文件，有短期记忆，也有长期记忆。 这些文件首先是可读的，也就是human-readable。我们真的可以打开这些文件看，如果觉得某一行不该被记住，就把它删掉，让它真的不再记得这件事。这种方式目前看起来还比较awkward，比较难看。 这些文件本身也有层次感：有些是近期任务，有些是比较远期、但需要注意的重要记忆。通过这种方式，可以让bot对这个世界的理解更加深刻。我觉得这个设计挺有意思，大家可以去看一下。 另一方面，虽然这个设计很有意思，但我们最终还是希望AI能够自动发现这种结构。如果要让AI自动发现，就得给它很长的上下文，让它自己去挑选。 这意味着，做任何探索时，都需要先从很长的上下文开始，希望AI能够在里面不断挑选，把好的内容放到当前的上下文里，把事情做好。 这方面的代表性工作，是MIT最近的一篇文章《Recursive Language Models》。它研究的是如何把上下文作为一个数据库，然后动态地从里面调取内容，用来做预测和解码。 我觉得这个趋势以后还会持续，会有很多文章出来。但不管怎么样，即使最终上下文比较短，在研究过程中也需要很长的上下文。大家的第一反应往往是先把东西全部塞进去，看有没有效果，然后再慢慢调整，可能就是这样。 曹卿云 Qingyun Cao 接下来想聊一个和刚才非常相关的话题：从物理世界来看模型的发展。 从去年开始，我们看到内存和存储产业链都出现了供不应求的状态。AI的需求非常大，产能跟不上，整个产业链的产品都开始进入提价周期。 谷歌、微软和英伟达的采购高管，甚至很长时间都待在韩国首尔。有人说，他们在首尔的时间可能比在Mountain View的时间还长，就是为了保证三星和SK海力士的产能。 感觉AI的发展正在把整个存储系统里的热数据、温数据和冷数据的产能都占据。你觉得最大的增量来自哪里？是刚才提到的context window增长吗？这个增量可持续吗？未来有没有什么好的解决办法？ 田渊栋 首先，context window变长，肯定是一个重要的增量。另一个增量还是来自训练模型的需求。 现在模型还是很大的。比如Kimi K2，大概是1T参数；DeepSeek的大小也是600多B参数。现在模型规模已经变成一种标配了。以前可能觉得70B的开源模型就已经很大、效果还可以，但现在大家胃口变大了，希望模型拥有更大的参数量，训练效果更好。 这样会导致什么问题？训练模型时，当然希望用同样的算力搭配更多内存，让效率变得更高。 如果同样的算力但内存不够，就要讨论同一个模型如何放到单卡上。如果单卡放不进去，就得把内存切片，把模型切片。可以使用tensor parallelism、data parallelism，或者expert parallelism等方式。 比如一个非常大的矩阵，一张卡存不下，就把它切成几部分，可以横着切，也可以竖着切，用各种方式切分，让每一部分权重放在不同的卡上。这样可以减少单卡内存消耗，但代价是卡和卡之间需要通信。 通信需要花时间，会增加整个pipeline的延迟，也就是latency。相当于如果一张卡内存不够，就通过增加延迟的方式让系统跑起来。这是一个不太好的trade-off。 比较好的方法是，在单卡或者CPU上增加很多内存。内存变大之后，可以把整个模型放进一张卡，或者放进一个8卡的大机器里。这样通信成本会降低，训练过程会变快，出结果的速度也会变快。 如果想在AI竞争中胜出，当然希望速度更快、效果更好，同时让设计变得更简单，减少出bug的概率。所以我觉得以后大内存会是一个很大的趋势，因为确实存在这样的需求。 自然地，英伟达的黄仁勋也好，AMD也好，大家都想把内存做得越来越大，最后就会导致存储方面的压力。这一方面是AI Lab竞争的需求，另一方面是上下文变大的需求。 有了这些需求之后，你会发现所有卡的内存都在往更大的方向走，这是非常正常的事情。比如现在去外面租卡，你会考虑租H100还是H200，我觉得H200肯定更好，因为H200内存更大。 同样的算力下，如果有更大的内存，就能用更好的办法做训练。同一个模型，用H200时，因为内存更大，就可以用更少的卡获得同样的性能。这样算下来其实还是合算的。所以大内存的卡会这么受欢迎，主要就是这个原因。 曹卿云 Qingyun Cao 如果未来Agent应用的数量越来越多，任务复杂度越来越高，之后还有多模态和世界模型，这个需求是不是就无解了，会呈指数型增长？ 田渊栋 确实会很大，应该说会变得很困难。我刚才说的还只是语言模型，另外还有图像模型。 图片输入之后，可能需要高清输入，比如4K照片。这样内存需求会非常大。图像模型主要不是参数量很大，而是一张图或者一个4K图输入之后，需要大量内存存储中间结果。这部分会消耗很多内存。 内存变大之后，批次训练时，原来可能只能放128张图，现在可以放256张图，训练速度自然就更快了。 所以，内存其实卡住了训练速度和效率，也影响最终serving的效率、速度和容量，包括Agent的效率和速度。大家都想要大内存，但内存厂商就会遇到瓶颈，这个瓶颈很难被克服。 曹卿云 Qingyun Cao 所以你觉得这个问题短期、长期都存在，甚至现在还看不到特别好的解决办法？ 田渊栋 我现在确实很难看到很好的解决方法，还是挺困难的。 当然，最近也有一些方案。比如有一家公司把整个大模型的权重都刻到ASIC电路里面，通过这种方式提高速度。 原本需要用内存存储权重，现在把权重从内存移到ASIC电路里，就可以用内存存其他东西。这也是一种可能的方案。 但这种方案可能不够灵活。如果模型改了一点点，那些电路就没用了。所以如果想做研究，想做比较灵活的探索，还是需要原来的架构。 曹卿云 Qingyun Cao 我们再回来讲预训练。你一直对scaling law持比较悲观的态度，觉得scaling law只不过是使用更多权重、更多数据和更多算力，把模型做得更大，但这个过程其实效率很低。 现在包括谷歌、OpenAI在内的大厂，似乎仍然在沿着scaling law继续发展。你怎么看这件事？ 田渊栋 首先，我之前的观点一直是：scaling law是有效的，只是它需要大量资源，甚至是指数级的资源来支持。 刚才我们说存储就是一个很大的问题。如果现在大家都卡在存储上，还能不能把这件事继续做起来，这是一个问题。电力也是一个问题：能不能保证大规模集群跑起来，而且保证电力供应稳定，这些都是很大的问题。 但对于大厂来说，它们有自己的路径依赖。大厂已经把所有团队都建好了，每个团队各司其职，把这件事做下去。所以你很难让大厂转向一个不太可能、或者说很难看到希望的新方向，这是很困难的。 大厂一定会沿着路径依赖，把原来的路线走到底。你看到OpenAI也好，谷歌也好，都会沿着这条路线走，一个原因是它们别无选择。 另外，这条路径不需要花太多脑筋，见效也比较快。只要花时间和精力把原来的事情做得更好，就能把问题做得更好，这是一条比较安全的路径。 确实，人的一些insight，加上大量数据的生成和训练，能够让模型变得更强，这个问题是不大的。只是最后的收益会有多大的diminishing return，这其实是一个问题。 比如，如果模型再增加10倍算力、10倍数据和10倍人力，能够让模型能力往前提升一点点，直到这个提升能够让模型变强，那么大厂就会去做。 等到最后发现return越来越少，大厂才会去想其他办法。 曹卿云 Qingyun Cao 你有没有看到一些新的范式，觉得是比较有希望的？ 田渊栋 现在其实很难说。最近有一些continuous learning的文章，想要探索新的范式。 还有一些文章在探索：在做强化学习时，能不能不进行model weights updates。这些方向以前也挺有意思，但现在仍然在探索中。可以尝试，也值得关注，但要让它真正scale up，目前还比较困难。 曹卿云 Qingyun Cao 刚刚你提到continuous learning，也就是持续学习。为什么模型训练完成之后，记忆就停留在当时，而没有办法持续学习？ 田渊栋 我觉得主要还是因为预训练阶段学习的是大量数据，所以模型得到的表征，或者说内部知识，具有一种比较特殊的结构。这种结构能够举一反三，能够为后训练提供很好的基础。 但后训练，或者说continuous learning，这条路径的问题在于，它能够学到的东西比较有限。它可能只能学到某个领域里的单独知识，所以泛化能力没有那么强。 也就是说，我可以让它在这个领域里效果还不错，但要让它举一反三、应用到其他地方，可能在某个节点上还是需要把这些数据放回预训练里，让模型重新训练。这样，它的泛化能力才会变得更强。 所以现在大概是这样一个想法和状态：还没有办法做到只用很小的样本、很少的数据和一点点计算资源，就让模型突然发生飞跃性变化。目前还比较困难。 但持续学习肯定是一个重要方向，能够把这件事做好仍然是一个愿景。 曹卿云 Qingyun Cao 我们再来讲推理侧。现在推理侧似乎也有一个scaling law：一个小一点的模型，如果给它更多思考时间，增加test-time compute，也可能取得和更大模型差不多的效果。这是未来的发展趋势吗？ 田渊栋 应该说，在2024年下半年，Owen刚出来的时候，大家确实非常兴奋。大家发现，test-time scaling也是一条不错的路线：横轴变成运行时、或者推理时的计算资源消耗，纵轴变成推理效果。看到这样的scaling law，大家会很兴奋。 我觉得这也促成了最近一年的强化学习能力发展。突然之间所有人都去做强化学习推理，做强化学习和RLVR，也就是基于可验证奖励的强化学习。 这个方向已经做了很多，但后来也出现了一些不同意见：强化学习最终的上界，可能被预训练锁死。 为什么呢？因为预训练提供了大量思维素材和思维方式，只是在推理过程中被放大了。 比如预训练时，模型知道一道数学题可能有100种思路。这100种思路里，有些是对的，有些是不对的，大部分可能都不对，但只要其中有一种是对的就可以。 强化学习通过不停迭代、不停搜索，找到了这100种可能性中的一种，然后加以放大。这样经过强化学习之后，模型就能够以很高的概率快速解决这道题。 但如果前面的预训练对世界理解不够深刻，对问题了解得不够透彻，模型可能永远无法发现后面的解题思路。 所以，有些人观察到强化学习做后训练时存在上界，是很容易解释的。如果有些问题在预训练阶段根本做不出来，预训练里没有相关知识，或者知识不够丰富，无法提出问题的解决方案，那用强化学习也做不出来。 因此，强化学习的scaling law会受制于前面的预训练，或者说受制于模型对世界表示的上界。 我们在2024年下半年看到的test-time scaling law，可能只是前面走了一小段。之后它是继续这样走，还是换一种方式走，现在不好说。我有点倾向于认为，继续scale下去也可能会逐渐接近上界，模型能力会受到限制。 这也是为什么现在大家开始做continuous learning。大家意识到，单纯使用后训练推理、不改变模型权重是不够的。希望在后训练和推理过程中同时改变模型权重，这样模型对世界的表示才会更好，也许这条曲线能够继续往前走得更快。 曹卿云 Qingyun Cao 你现在看到的推理端，未来3到5年最有前景的演变路线是什么？ 田渊栋 首先，我们的推理过程能不能更快、更有效率，这肯定很重要。我们有一些不同方案可以做，比如能不能让推理链变得更短、更有效率。 我们之前做过一些相关工作，比如隐空间推理。推理过程的每一步不一定是人类语言，也可以是一种抽象语言。这种抽象语言可能用某种高维向量来表示。 用高维向量表示时，一个向量可能相当于一句话，甚至一段更长的话。这样可以让推理更有效率，以更快的速度找到推理结果。 我们也证明过，隐空间推理的一个好处是，一个推理向量里可以同时存储几条不同的推理路径。因此，它的效率会比正常的语言推理更高。 你可以把隐空间推理的向量理解成量子力学中的叠加态。这个叠加态里的多条推理路径，可以同时处理不同的探索路径。通过这种方式，可以让推理效率变得更高。 最近也有很多团队在这个方向做探索，看看隐空间推理能够提高多少效率。 另外一条路线，是最近几个月比较火的parallel thinking，也就是并行推理。这里面仍然使用语言进行推理，但希望在某种情况下让语言推理并行进行，而不是串行进行。 比如领导讲话时会说：“接下来有5点要求。”这5点要求列出来之后，每一点都可以分别进行推理。5个要求可以同时进行，不需要按顺序进行。这样就可以利用更多计算资源来做推理，不需要等前面的推理结束之后再做下一步，速度会更快。 当然，还有一些方法是让推理变得更加扎实、更短，同时抓住本质。另一个问题是，如何在推理时快速去掉不必要的，或者明显错误的推理链，让整个推理过程变得更快。 我们这边有一篇文章叫deep comp，就是通过这种方式降低推理所使用的token数量，同时让效果更好一些。 曹卿云 Qingyun Cao 但Coconut不是并行的，它还是串行的。只是每一步推理的内部表示不是语言，而是latent vector，也就是隐空间变量。这样是不是会增加token的消耗？ 田渊栋 从长度上来说，它是变短了。当然也有其他消耗：以前只需要存一个token的ID，现在需要存一个完整的vector，所以存储消耗会变大。 你会发现，设计各种算法时总会有这样的trade-off：一方面变强，另一方面变弱。如何平衡，是一个问题。 曹卿云 Qingyun Cao 还想问你一个hallucination，也就是幻觉的问题。你觉得幻觉问题最后会怎么解决？ 田渊栋 幻觉应该说是根植于模型本身结构的。在训练过程中，模型权重除了学到一些有意义的结构之外，可能也学到了一些没有意义的东西。 这些没有意义的东西，在训练数据集上可能没有作用。但如果测试时输入的数据超出了数据集本身的分布边界，这些没有学好的权重方向就可能影响模型。 用数学语言来说，权重本身有两部分：一部分是有signal、有信号的子空间；另一部分是null space，也就是没有信号的子空间。但没有信号的子空间里，权重本身也有一部分分量。 这些分量平时不会打扰正常推理过程，但如果输入数据和正常推理过程不一样，这部分权重就可能产生影响。 如果想比较好地解决这个问题，最终还是要打开大模型的黑箱，知道里面的权重是怎么样work的。这样可能才能更好地解决幻觉问题。 曹卿云 Qingyun Cao 今年Clawdbot出来的时候，你当时还在朋友圈发过一个帖子。你用了之后感觉怎么样？ 田渊栋 我其实只用了2个小时，也没用太多。因为我装上之后，越用心里越虚：它要求我把各种API的key都交出来，所以让我觉得有点慌。 我当时就在网上发了一个帖子，说与其用Clawdbot，不如用我现在AI辅助coding的方法，自己写一个，或者写一些更加专用的工具，而不是依赖Clawdbot去做它想做的任何事情。这样我心里不是很踏实，万一它做了什么坏事，我也不知道。这是一个安全性问题。 现在Clawdbot变成了这样一种模式：相当于我有一个小孩子，这个小孩子就是Agent，手上握有我所有的秘密，然后到外面去跟各种人聊天，帮我把事情做完。但这个小孩子的智商又不够高，所以有可能被别人骗。 比如小孩子跑到菜市场，别人跟他说：“你的小孩子真乖。我给你5块钱，你能不能把你家的地址告诉我？”小孩子可能就把地址告诉他了。接下来，家里可能晚上就被人撬开门，东西被偷走。 现在就是这样的状态。这个小孩子脑子里可能有你所有的密码，比如OpenAI API key。这个还算好，因为如果key被偷了，可以通过某种方式删掉原来的key，就没事了。 但还有一些其他东西，比如Google邮箱的access，机密文件的密码，或者能够访问重要文件夹的token。这些东西都非常重要，也非常危险。甚至你可以把别人存密码的密码告诉别人，这样对方一看，里面所有密码都知道了。 所以，有这个问题就会导致：你不能保证这个小孩子不会被骗走。网上有各种方式可以骗它，还有专门的平台把这些Agent放在一起，让它们相互讨论，找到欺骗人的方法。 你可以认为，这就是其中的一个问题。所以可以用，但要特别注意。最好的办法是一边用，一边想清楚它里面是怎么work的。我非常建议大家去看它的代码，这样会理解得更深，也许还可以自己做一个。 曹卿云 Qingyun Cao 我们看到Agent越来越成为大家工作流中的伙伴。你觉得未来Agent会如何影响科技组织的架构，以及大家协同工作的方式？ 田渊栋 以后很多基本常识、基本知识，以及人与人之间交流的很多事务，都可以让Agent来完成。 比如我本来要和你面对面聊天，或者约什么时候吃饭、见面，安排一个meeting。过去可能需要秘书相互对接，现在可以说我有一个Agent，你有一个Agent，让两个Agent对接，就把meeting和其他事务性工作完成了。这会是一个很大的变化。 其实这个趋势我在1年多以前就看到了。当时在Meta，我写过一个proposal，叫Omni Agent。我说，将来人和人之间的交流可能由Agent完成。当时只是觉得这件事可能会在5年内发生，没想到这么快就已经发生了。 以后可能还会有这样的疑问：我们还要不要上街购物？还要不要浏览亚马逊的网站？还要不要上网看各种东西？ 很多事务性的搜索，不是出于经验或娱乐的搜索，都可能被AI代替。为什么要花2个小时浏览网站找到一个东西再买？让Agent帮我买就行了。 网上已经有人跟我说，他用Clawdbot帮自己买东西，觉得很开心、很喜欢。因为Agent知道他的所有preference，当然能够买到很合适的东西。 而且对Clawdbot来说，它不需要花很多时间浏览网页。对它来说，所有网页都是一个连接，它可以马上看完，然后找到这个人想要的东西。 这个过程应该说会颠覆整个电商逻辑，或者说颠覆人与人之间的交互逻辑，未来应该会有很大的影响。 以后网站做得再花哨，可能也没有用了。很多网站会放吸引用户点击的东西，比如广告条、很闪亮的东西，或者特价信息，希望人看到之后产生点击欲望。 但对Clawdbot、对Agent来说，它没有欲望。它的任务是，我事先告诉它要完成什么，希望找到最好的deal。这些广告对它没有用。 所以整个逻辑可能会不同。到底会怎么不同，现在还在演进中，但会很有意思。 曹卿云 Qingyun Cao 你觉得个人助理会越来越强大吗？比如以后可能出现一个包含衣食住行需求的super app，打车、购物等都不用依赖Uber这样的单个平台，直接用一个super app就能解决所有事情？ 田渊栋 这是有可能的。以前如果要约一个水管工，或者联系银行、联系其他人解决事情，可能需要打电话。但如果这些人每个人手上都有一个Agent，就没必要打电话了。 你可以让Agent 24小时在线，只要有任何需求或者信息过来，它马上通知你，达成协议并完成任务。这个效率远远高于打电话。 事务性的工作其实不需要太多经验，我们希望把这些经验教给别人，让它快速完成，这样自己就能把更多时间花在想要的经验上。这件事一定会发生。 另外，这里面还有一个裹挟效应。如果世界上的人都在用，而你不用，就会被淘汰。 比如一个水管工说自己平时只接电话，但其他同行都开始使用bot。bot可以24小时在线帮他接生意，还能自动把这些生意组织起来，形成一条很好的路线。 比如今天要走访5家客户，这5家在哪里，怎样开车最快走完一遍，这些都可以让AI自动完成。如果你不用，效率就低于其他同行，最终就会被淘汰。 所以不管主动还是被动，大家最终都会去做。有些人是主动的，希望提高效率；有些人是被动的，因为别人做了，如果自己不做就会被淘汰。大家都会进入这个过程，这会是一个很快的变化。 曹卿云 Qingyun Cao 按照你的描述，这个事业是不是才刚刚开始，未来还会有更多变化？ 田渊栋 我在年终总结里说过，我觉得现在的变化非常大。洪水马上要来了，只是很多人还没有感觉到，因为很多人不是AI从业者，也不知道发生了什么。 很多非AI从业者一直觉得岁月静好，突然有一天，就像地震一样发生大事情，发现自己被裁了。 这种被裁和以前不一样。以前可能是和老板有矛盾，或者觉得公司做得不好，去另一家公司还能找到工作。但到那个时候，你会突然发现整个行业的逻辑变了，思路和以前不一样了，所以你的技能在任何地方都没有用了。 这是一件很可怕的事情。我只是想在洪水来之前告诉大家，这件事会发生。大家不一定会听，但到了某个时间点，大家突然会说：“原来事情发生变化了。”只是那时候变化已经发生了。 曹卿云 Qingyun Cao 你会怎么教育下一代？ 田渊栋 对我来说，还是希望他能够做自己想做的事情。 因为下一代，再过20年会是什么样子，现在很难想象。我们的想象力已经落后于发展的速度，这和以前不同。 以前我写科幻小说时，会想一个想法可能50年之内都不可能发生，所以可以慢慢写。但现在反过来了：如果这个idea不赶紧写，它可能就消失了，因为它已经发生了，不再是未来的科幻，而是过去的历史。 变化的速度就是这么快。所以20年之后会发生什么，真的不知道。 能够预测的可能是，人还会在那里。人最重要的是目的性、经验和目的。很多事情和目的性绑定在一起，这部分东西机器不能替代。 机器替代之后，就意味着这件事不再是你的了。所以这部分应该是比较长久的东西。比如写一部小说，完成一部作品，或者完成一个艺术家个人的目标。 这些事情的缘起和设计，本身是艺术家通过自己的内心经历产生冲动。这个冲动变成一个作品，冲动、目的和想法是人类独有的。 所谓人类独有，并不是说AI不能取代这部分，而是说，如果这部分被AI取代了，这个作品就没有意义了。作品的意义在哪里？在于人如何把这个意义写下来，作为自己的动机，把事情做成。 这部分是机器和人很大的区别。所以最终教育孩子或者教育下一代，应该是希望他有很大的动力，能够做自己想做的事情。 有动力之后，学习过程会变得非常愉快，他也愿意使用所有工具来完成自己想做的事情。我觉得这才是重要的。 曹卿云 Qingyun Cao 怎么看待现在Agent和大模型的发展？很多人担心，如果做Agent创业，自己选择的方向很快就会被大模型的能力侵蚀掉。 田渊栋 首先，速度要快。其次，如果有客户，客户本身会对你产生黏性。客户还会产生一些数据，这些数据可能会变成你的护城河。 要么做一些很快的项目，让项目的发展速度快于大模型的发展速度；要么做一些很难的问题，这些问题现在大模型还解决不了。这两种方向都是有价值的。 曹卿云 Qingyun Cao 最后一个问题，你下一站去哪里？ 田渊栋 我会去一家startup做co-founder。当然，我们现在公司的名字和方向暂时不能公开，因为还在融资。我们现在在融Series A，马上就要结束了，整体还是挺顺利的，很多人愿意投资。 具体的方向和人员组成暂时保密。我们希望之后到了一个关键时间点，再对外宣布。 曹卿云 Qingyun Cao 非常期待知道你下一步的动向。谢谢。 田渊栋 谢谢。