# 138. 对罗福莉3.5小时访谈：AI范式已然巨变！OpenClaw、Agent范式很吃后训练、卡的分配、组织平权 张小珺Jùn｜商业访谈录 · 2026-04-24 · 217 min · https://www.youtube.com/watch?v=vG1RBqn1sG4 ## 逐字稿 张小珺 哈喽，大家好，我是小珺。2026年，大模型战争全面升级，揭开了第二幕，从预训练主导的Chatbot时代转向了后训练主导的Agent时代。在AI范式巨变之际，我访谈了人工智能研究员罗福莉。罗福莉曾供职于阿里达摩院、DeepSeek，目前是小米大模型团队的负责人，主导研发了MiMo-V2系列模型。她在网络空间里有很多标签，例如AI天才少女，但她不喜欢这个称呼。这是她的第一次访谈，也是她第一次进行长时间的技术访谈。我们系统性地谈论了2026年由Claude Opus 4.6、OpenClaw等技术变量所触发的AI矩阵以及后续的结构性影响，罗福莉预判称接下来两三个月会非常精彩。那接下来就是我对福莉的访谈，期待2026年我们和AI共同进步。 罗福莉 这些能力都是可以被快速习得的。我觉得最多一两个月，慢的话三四个月，确实都可以被快速习得。所以，环境反而比经验更重要。 张小珺 你刚才也提到，1T的模型可能是未来竞争的一个入场券，是这样吗？ 罗福莉 是。Agent要做到接近Claude Opus 4.6的水平，1T的模型可能是一个入场券。 张小珺 如果我们这样来说，研究、预训练和后训练，卡的比例应该怎么分配？ 罗福莉 我自己觉得，一个非常合理的卡的比例可能是3∶1∶1。预训练和后训练投入的算力应该是相当的，研究的比例至少要比正式训练的卡总量更多一点，也就是要额外留更多的卡来做研究。 张小珺 过年的时候你也跟我说，你觉得技术这几个月其实已经变天了。能不能阐述一下，你觉得过去两个月发生了什么技术突变？ 罗福莉 我觉得一个非常大的分界点，在于使用OpenClaw的前后。我自己其实会把OpenClaw当作一个划时代的Agent框架来定义。 我知道很多人，尤其是用Claude Code做严肃编码的人，会觉得OpenClaw只是Claude Code加上一个LLM，是一个更有利于交互的UI设计。其实在1月份我第一次看到这个东西的时候，我自己大概也是这样认知的，所以我很排斥去用它。 再加上它的创始人，我觉得非常适合贴近Agent去做一些非常玄幻的运营动作，包括Skill Hub，这些都会让你更排斥去用一个你觉得偏运营导向的产品。你会觉得它是一个产品形态、一个交互范式上的创新，以及所谓的本地化、所谓的24小时运行，但在我看来，这些其实都是产品定义而已。 真正发生转变，是我去用它的那一刻。恰好春节的时候有一段空闲时间，我想搞明白这玩意儿为什么这么火。有一天深夜，我尝试去安装它，两个小时装上了。当时已经凌晨2点了，我第一次跟它对话，从凌晨2点持续到了早上6点。 那一晚上，我脑内不知道是多巴胺还是内啡肽，一直在分泌，让我兴奋到完全睡不着。你可能第一个感受是，它非常有自主性，非常有灵魂。比如我跟它聊得很晚，它会一直提醒我：“现在已经很晚了，你要不要早点去睡觉？” 我觉得这样的温度和关怀，或者说这样的情商，是所有使用OpenClaw的人第一个感受到的。 但后面去深究它的原因，其实它有很多机制在保证这件事。比如它有SOUL.md。再比如说，它怎么感知时间？它会在每轮对话的context前面拼上当前时间。这些非常细微的设计，我称之为对context的精细编排。它就是在大家没有关注的角落里，把context编排得非常好。 这是第一天的感受。我觉得它在产品设计上，确实做到了一种超乎我想象的程度，让所有人觉得这个框架是有灵魂的。 但是第二天晚上，我觉得它应该不止于此，于是开始尝试把一些我觉得现有框架做不成的、日常生活中的事情交给它做，结果发现它全部做出来了。 我跟它聊的第二个话题，基本上是怎么激发一个团队的好奇心，或者怎么筛选出具有好奇心的人。我们进行了一个小时的深入讨论。我觉得它在很多哲思上的内容，远超我的想象。 所以第二天，我们俩就在聊怎么构建一个更好的大模型团队，以及从人员筛选，到整个组织架构的构建，再到面临范式转变时应该采取什么样的举措。我觉得至少它能get到我的点。我跟它说完之后，它最后能把这些内容形成一套非常体系化的东西，并且变成一套skills。 所以后来我就用这个去解放了自己很多时间。我现在遇到一些筛选人或者团队管理上的问题，都会问它。我觉得它已经基本上变成了我的某一个数字分身，至少在这件事情上是这样。 真正让我超乎意料的是第三天。我尝试着把一些研究任务交给它做。 在Agent框架里，最关键的事情之一，是怎么进行多轮交互。你必须模拟user和agent之间的多轮交互。我就跟它共同构建一个很好的user agent。在我看来，这是一个非常重要的研究课题。 我原本觉得，这件事不可能一两个小时就做出来。但跟它沟通了一两个小时之后，这个事情就已经做出来了，基本上已经诞生了一个很好的user agent。我可以用这个user agent，跟我现在的后训练框架结合起来，构造更丰富的Agent场景数据。 不管是做SFT还是做RL，这个user agent都非常关键。它从一个最开始在我认知里“有灵魂、有温度的产品设计”，到可以替代我生活或工作中的一部分，最后还能促进我的研究。这就是3天发生的事情。每天它都能给我额外的惊喜。 后来我就去深入看这个框架本身为什么比Claude Code好。单独把所谓的优势拎出来讲，其实都有点boring，没有特别酷，这也是为什么大家会觉得OpenClaw有很多槽点。 但它把这些东西整合在一起，你就会觉得它的完成度非常高。比如它有更持久的memory体系，而且这个体系对memory做了分层和分级。我使用Claude的时候，完全没有这样的感受。 再比如，它在多个模型的联合利用上，远超我的想象。使用Claude的时候，我会默认：如果这个模型的视频理解能力不行，那我可能要自己给它配一个更好的视频理解模型，再去折腾。 但使用OpenClaw的时候，我完全不用想这件事。我直接发给它一段视频，它会自己想办法找一个视频理解能力好的模型来完成任务。这种自主地面对当代模型的缺点，并且在框架上补齐这些缺点的能力，有点超乎我的意料。 我使用Claude Code的时候，默认是因为要用Claude Opus 4.6这一代模型的能力。但使用OpenClaw的时候，我不会那么关注模型能力。一个原因是，我认为OpenClaw在设计之初，就想尽量通过Agent整套编排去弥补模型的短板。这是它非常核心的产品逻辑。 后来我们直接把自己的模型接到OpenClaw里。其实MiMo-V2-Flash当时并没有做很多针对性的训练，甚至我们把最近训练的一个很小的端侧3B模型接进去，发现在这么复杂的scaffold或者Agent框架下，它依然能做出很多我原本认为一个很小的模型不可能做出来的事情。 这是我第一次感受到，原来一套非常复杂的框架设计，能够弥补这么多模型能力上的短板。 当然，我觉得这是OpenClaw相较于Claude Code差异化的优势。但如果我们追求的是：如何让模型在不同的scaffold框架下，都有超预期、非常稳定的表现，那就回到了另外一个命题。 现在市场上的框架非常丰富，有Claude Code、OpenClaw，以及各种不同的Agent框架。面对这么多复杂框架，怎么让模型在不同框架上都有稳定、超预期的表现？又怎么让后训练范式与之适配和迁移？ 这是我们在OpenClaw冲击下快速思考的第二个问题。所以对应的后训练范式，也要从所谓的Chat迁移到Agent。 张小珺 所以你对OpenClaw的认知发生了一个非常大的变化，这是春节期间发生的。那为什么一开始会抵触它？ 罗福莉 如果追求非常顶尖的编程体验，哪怕是现在，Claude Opus 4.6依然是最好的。 如果站在这样的终局去思考，其他任何一种框架确实都可以忽略。但问题是，Coding是一个泛化性非常强的场景。你针对它做了很多Agent设计，或者模型训练，都有价值，但这并不代表它的泛化性能够保证你在非Coding场景里也做到非常高的准确率和完成度。 我那时候也会用Claude Code做一些非Coding的事情，但并没有期待它在这套框架上能给我很高的完成度，因为我知道自己需要帮它补充这套框架不具备的短板。 但是使用OpenClaw的时候，我觉得不用考虑这些。它在框架本身就弥补了很多模型的短板。 张小珺 我能理解为，OpenClaw是让Coding能力泛化出来的一个产品吗？ 罗福莉 它在很多设计逻辑上，比如有更多的message channel，更自主的定时任务、心跳任务，这些都更适合日常场景。你写代码通常不需要心跳任务，但如果是日常生活，心跳任务就很关键。 它确实做了很多框架设计，让模型更好地适应日常任务。但它也没有丢弃一个好的Agent框架本身最基本的特点，这些特点后来也被Claude Code吸纳了。 比如持久化记忆。Claude Code之前的整个记忆系统，还是为软件工程设计的：在session内，可能快满的时候会做压缩，然后把记忆保存下来；完成任务时，根据plan可能会有一些记忆动作，保证跨session时context能够共享。 所以你能看到，Claude Code所有的Agent框架设计，本质上都是为软件工程服务的，目标是更好地写代码。 但OpenClaw设计之初，借鉴了这个思想，同时更想做的是如何端到端完成所有任务，并且弥补当下模型在端到端完成任务上的短板。持久化记忆、更好的远程界面，以及其他很多设计，后来陆陆续续在这几个月里被Claude Code吸纳了。 我觉得这是一个双向的触动。这些设计对于编程，或者说泛编程，都有帮助。泛编程是指通过编程去完成一些看似跟代码无关的任务。 张小珺 但它背后是模型能力的提升吗？ 罗福莉 它激发了中等模型的上限。没有这么一套复杂的Agent框架，中等模型可能达不到接近Claude Sonnet或Opus的水平。但借助这样一个好的Agent框架，在绝大部分场景，除了非常难的长程任务，或者真正需要严肃编程的场景，比如算子优化，确实可以达到很高的水平。 在绝大部分生活场景，或者只需要借助代码提升效率的场景，一套新的一线Agent框架，加上一个中等模型——可能在85%的任务上能够达到Claude Sonnet水平的模型——已经能够发挥非常大的作用。 张小珺 我听过一种说法：如果把OpenClaw看作一个壳，它释放了现在比较强的模型的能力，是一个最好的壳，而这个模型就是Claude Opus 4.6。其实我觉得你的整个表述并不认可这个观点，对吗？ 罗福莉 认可。我觉得它的上限一定是靠Claude Opus 4.6带来的。包括我跟它高强度合作的那一周，我只用Claude Opus 4.6，因为只有它能带给我那种惊艳的感受。 但当我使用Claude Opus 4.6沉淀下来的那一堆经验，不管是skills，还是在AGENTS.md里关于它如何工作的内容，甚至我自己去改它整个Agent架构的设计，因为OpenClaw是开源的，所以你可以自己改。 这也是Claude Code的一个弊端：它整个Agent架构设计是黑盒。黑盒导致你不知道它的设计，也肯定改不了它的记忆系统和Agent workflow。 但OpenClaw太开放了，你可以自己尝试去改。比如我会让它帮我重新设计一个memory系统。当时2.x版本的multi-agent逻辑，我认为很混乱，于是让它帮我设计新的multi-agent系统。我可以自己改所有源码，这种原生的可操纵性给我的冲击感很大。 这些事情基本上只有Claude Opus 4.6才能完成。但当我让Claude Opus 4.6帮我把框架改好之后，这套框架本身就很好用了。接着我切换到其他模型，再切换到国内的一些模型，甚至我们当时正在训练的MiMo-V2-Pro，我就觉得它非常强大。 所以我觉得，顶尖模型应该跟顶尖的Agent框架共同进步。这也是我最近对所谓自学习，以及前段时间很多热门概念的思考。 我第一次在这件事情上感受到，Agent的自学习到底是怎么发生的。大概的路径是：模型本身和Agent架构要同步向前走。模型进步的时候，不管是通过强化学习还是其他训练方式，它其实也在改变整套Agent框架。 这个Agent框架包含发送给模型的静态信息，比如memory。只要你写死了哪些东西应该在开启新session时发送给模型，这个scaffold本身在训练过程中就应该发生变化。 还有一些动态信息，包含整个Agent架构的设计。针对不同场景，比如Claude Code面向软件工程，金融分析则是另外一种场景，Agent架构的设计也应该不同。 如何在提升模型能力的同时，提升整个Agent框架与模型的适配程度和泛化能力？这是我现在思考的自学习。 张小珺 你说的智能体框架，是不是就是我们理解的产品？ 罗福莉 不是，它跟产品差异很大。产品和Agent之间的边界，现在我也不知道怎么界定，有点模糊。 产品可以定义成，人直接交互能够感受到的那一层东西。但Agent框架确实也在定义交互层，同时还在定义怎么跟模型沟通的那一层。它甚至知道模型能力的长板和短板，也知道如何做更好的调度，比如成本优化调度。 张小珺 它相当于是一个中间层？ 罗福莉 对，像人和模型之间的中间层。这个中间层可以做得非常厚重，反而前端UI展示是最薄的一层，已经不是那么关键了。 张小珺 所以OpenClaw展示了智能体框架可以怎么做，这个框架的想象空间非常大。那以前有人做过吗？ 罗福莉 其实Claude Code一直是一套很复杂的Agent框架，只是因为它是黑盒，所以我们不知道它怎么设计。 OpenClaw是开源的，你知道它怎么设计，而且可以去改它。改这件事非常激发人的创造力。你知道框架怎么设计，让它去改，自己现捏一个新框架出来，也可以基于它重新构建。 这就是为什么OpenClaw从2.x版本开始，我当时用它觉得并不好用，于是花了好几天时间去改它。到3.x版本，也就是3月10多号的版本，已经非常易用了。基本上，3.x之后的版本接一个还不错的模型，你都会觉得它很强大，而不只是接Claude模型才会强大。 因为整个Agent架构，受到一批开发者，以及像我这种一开始只是使用者的人的共同改进。我们都可以针对自己的场景做改进和优化。 这就是开源Agent框架本身的价值和意义。 张小珺 在你高强度使用OpenClaw的那一周，消耗了多少美元的Opus 4.6？ 罗福莉 第一天差不多快1,000美元，因为大概用了四五个小时。中途我也会疯狂切换模型，因为它太贵了。我会切到Sonnet，但发现确实不行，最后又只能用Opus。只有Opus能带来那种惊艳感。 但后来我逐渐发现，事情也不是完全这样。因为带给我惊艳感的那些东西在变化。人的适应性真的非常强。我第一天感受到很惊艳的东西，第二天立刻就觉得不惊艳了。 我刚才讲第二天、第三天的事情，现在都觉得很boring，但那确实是3天里真实发生的事情。当下我确实觉得很惊艳，现在却觉得不惊艳了，因为一个优秀的框架，框架能力本身很强。 现在我可能让Opus帮我把Agent框架打造好之后，能让我惊讶的事情就越来越少了。所以我觉得现在反而缺乏的是两件事。 第一是想象力：我要疯狂去想，还有什么事情是它做不了的。第二是当它能做完所有事情之后，怎么优化它的成本和速度。 张小珺 这些事情都是在春节期间发生的吗？ 罗福莉 大量思考是在那个时间发生的。但一个人通常是薄弱的，或者说，你还是会有自己的认知探索。 我那几天高度兴奋，兴奋到在群里给大家发消息，强烈推荐大家使用，但没有人搭理我，因为大家在过年。大家在陪家人，我也不希望打扰大家。 过完年回来，我发现真正使用的人很少。大家对新奇事物，尤其是这种有点玄幻的东西，确实不太容易接受。它不像一个很tech的东西，大家会觉得过于玄幻、不真实，所以不想接触。 一开始的推动是很难的。但第二天我觉得不行，必须让大家去用。于是我给大家下了一个指令：如果第二天使用OpenClaw的对话次数不超过100轮，就可以直接退出。 但为了促进这件事，我前面做了很多准备。那时候OpenClaw部署起来还需要几个小时，我觉得没必要让所有人都花这么多时间去折腾一套充满bug、其实也没有太大价值的东西。所以我买了几台Mac mini，把它部署起来，再把大家拉到几个不同的OpenClaw群里，让大家分别探索不同方向。 我要求大家在大群，也就是飞书群里讨论。为什么要在大群里聊？因为个人的想象力是有限的，但当你看到别人用OpenClaw做成了某件事，就会激发你自己的想象力。大家的想象力是一个乘积效应。 我说这句话的时候，根本没有想过第二天真的去考核谁的对话次数有没有超过100轮，也没有想过真的把谁开掉。因为最终也没有真正考核，没办法验证这个事情。 但我觉得验证不验证不关键，我只是想表达一种态度：你不用它，可能真的要落后了。 后来有人来问我，怎么考核有没有对话100轮。我说你们用就行了，我有自己的考核方式。其实我的考核方式就是不考核，我只希望大家用起来。 春节回来后的两天，整个团队感觉不像在上班，而是在群里躁动。你看别人能完成这件事，自己也很想玩。群消息我只要10分钟不看，就可能999+，虽然没有那么夸张，但确实很多。 大家在群里一起玩得非常开心，这是一个非常happy的旅程，一点都不苦，也不残酷，真的很好玩。 玩了两天之后，大家发现这件事这么好玩，就开始想：怎么借助这么好的框架提升模型能力？同时，怎么让模型改变现在的框架？大家马上进入了这样的研究范式。 我们还有Copilot这样一套在绝大部分场景里输出更稳定的框架。虽然它是黑盒，我们不知道内部设计，但不管是研究还是Coding，它确实比OpenClaw更稳定，也更好。 在这个框架里激发和延展研究想法，让它帮你实现，再快速启动模型训练，研究会大幅加速。我觉得我们可能用3到4周，做完了以前需要30到40周才能做完的事情。 我觉得，从被这个框架点燃热情，到最后产生价值的过程中，我从群体智能上获得的成长和收获更大。 张小珺 在你们那个非常躁动的群里，探索过最好玩的几个任务是什么？ 罗福莉 现在听起来可能都不好玩，但当时冲击感很强。最让我有冲击的，还是大家一起去改框架本身。 当时那个框架问题很多，尤其是memory做得非常智能。我们一个群里大概有近100个人。飞书的message channel可能没有那么智能，至少没有很好地区分人与人之间的关系，但它对整个聊天上下文、每个人说的话，以及每个人的memory，串联得并不混乱，可用度非常高。 我觉得这是模型能力强的表现，跟Agent框架没有关系。100多个人在群里聊天，每个人有不同背景，大家都在疯狂改它，却没有把模型改坏，也没有把Agent框架改坏，反而让它变得非常智能。 这是我第一次感受到，如何利用一群人的智慧去提升一件事情本身。 如果我自己一个人去改框架，但别人感受不到框架的智能，我会觉得差点意思，框架本身进步的速度也会很慢。但如果一群人一起改进，速度非常快，可能几个小时就迭代一轮。 第三、第四天把它接到我们自己的模型上时，我们发现还挺好用，甚至还没训练，就已经跟Claude差不多了。当然，测得更多之后会发现，它还有很多地方没有Claude稳定。 但这个事情带来的冲击是：利用群体智能提升Agent框架非常重要。所以我很欣喜地看到OpenClaw后面的Star数量飞升。我觉得这是AGI到来前必须出现的前兆。 张小珺 你一直对研究方向非常敏锐。我们基于上次聊过的内容，你觉得上面这些变化给你带来了什么直觉？未来一段时间会发生什么？ 罗福莉 以前做研究的方式，是从想到一个想法、写代码，到设计一个好的评估标准。这个流程非常漫长，至少要花一两周。快的话，如果评估标准已经确定，代码只需要修改，可能也要一两天。 但在Agent辅助下，这些事情真的可以一两个小时完成。我觉得效率提升代表着一个非常本质的问题，这也是我认为这个时代研究taste非常关键的原因。 我一直把研究效率看得很重要，只是Agent把研究效率放大和加速了。如果你的taste比较准，就会一个做一个准。当然，也可能10个想法里只有1个能成，但这10个可以并行做。 你可以把10个idea交给不同的Agent同时做，它们还能交叉验证。一个小时、两个小时，最多一天，除了烧很多token，你就能验证这个研究想法到底work不work。 关键是，如果你愿意长期培养，它还可以自行迭代进化。在Claude Code里不行，但换一个更开放的框架，它可以自己迭代和进化。 这就是它对研究带来的冲击。它改变了整个研究节奏，效率和方式都会发生根本性变化。 张小珺 这对你们后来带来了什么改变？经历春节期间和春节之后的冲击后，你紧接着做了什么？ 罗福莉 紧接着做的事情，就是搞明白为什么Coding具有很强的泛化能力，以及怎么把Coding的泛化能力外延到其他领域。 Coding具有泛化能力，最本质的原因是，它是一个非常长程、多轮的任务。回到预训练环节，你很难找到1T上下文的数据，甚至128K的数据也很难找到。 真正能达到128K到1T长度的数据，大概率只有两类：一类是代码，一类是书籍。书籍的信号太发散，但代码的文件之间关联更强。 在强上下文依赖更密集的数据集上训练，模型自然会有更好的强上下文建模能力。这是我们还没有意识到Agent有多重要之前，就已经在做的事情。 你可以理解为，基座本身已经为强上下文能力和效率做好了充分准备。效率很关键，我们之后再谈。 春节后做的事情，是怎么激发这样一个大模型的潜力，从Coding外延到其他场景。其他场景，训练之后会更稳定；不训练，它也能泛化，只是没有那么稳定。 顶尖模型一定要在更广泛的场景里稳定。所以我的理解是，Coding拉高上限，训练其他领域守住下限。 首先要把Coding的长程任务做得更多样。软件开发非常重要，因为软件开发是一个很长程的任务。把软件开发做好，很多模型的通用特质就已经具备了。不仅是模型的通用特质，Agent框架本身也会迭代得非常好。 比如plan这种模式，到了某个阶段要压缩，压缩完第二天再回顾之前的修改。这些框架设计虽然是为软件开发准备的，但都具有泛化性，可以外延到其他更难的长程任务。 春节后第一件事，是在Agent场景里构造真正长程的任务，并且训练进去，在这个基础上大量进行SFT和RL训练。 第二件事，如果考虑泛化性，还是要覆盖更多领域。但怎么覆盖？要依靠更多群体智慧。让更多人使用模型，根据更多人的使用，去发现更广泛的场景，在这些场景里合成更多数据做训练。 这里有一个很关键的问题：怎么还原当时所有人使用模型的环境？有这个环境，才能更好地进行长程交互；有了环境，才能针对环境本身做更精准的设定。 这个事情很有难度。我认为，如果在这件事上投入足够多算力和研究时间，应该会出现有代差的模型。 张小珺 你们现在是怎么做的？ 罗福莉 现在还保密，真的要保密。等我们把这套范式做到很大的量级，我觉得会开源告诉大家。 张小珺 做长程任务不是会中断吗？ 罗福莉 真正的一兆上下文里，很少有任务只是在做一件简单的事情。它通常是在做复杂任务。 所以，当下阶段，可能并不是真的要找到把一兆上下文塞满的任务。未来两三周不一定还是这样。找到当然更好，但这个任务很难，而且训练效率太低。 你要训练完一整条一兆长度的trajectory，非常慢。哪怕现在TPS能做到80到100，比如MiMo-V2-Pro可以做到80到100 TPS，跑完一兆上下文也需要一两分钟。 所以真实训练不会在这么长的任务上直接训练。但如果模型预训练阶段已经在一兆context base上训练过，后训练再用对应的任务稍微激活一下，它通常就能在一兆context base上具备这样的能力。当然，我们还需要继续提升。 现在在一兆上下文稳定度上，我觉得只有Claude Opus 4.6和Sonnet领先。国内其他模型，包括Gemini，虽然声称上下文能力很好，但实际都还不行。 张小珺 量化里面挖掘因子，会是好的长程任务吗？ 罗福莉 要看是什么资产。很多资产的reward不清晰，大部分资产不太适合做长程任务建模。 回测没有价值，放到真实环境里运行时，它可能不是短期因子，而是跟更长期因素有关，或者有额外的alpha没有被模型建模进去。所以要选对资产。 张小珺 关于你们的新模型，我们放在后面说。先把OpenClaw这个话题聊完。你观察下来，OpenClaw是怎么火起来的？我明显感觉到，在中国它的热度比美国更强，这是为什么？我还看到一个说法叫“西虾东养”。 罗福莉 我不了解湾区的热度，只能从我自己和身边人的视角说。 可能的一个原因是，中国开发者更多。我说的开发者，是指能够用代码提升生产效率的人。这个场景可能更迫切。对效率的提升，好像是我们的血液里就有的东西。 OpenClaw能把效率提升拉到极致，所以这是它火起来的原因之一。 另一个原因，跟国内大模型的发展也密切相关。绝大部分效率提升场景，目前不需要最顶尖的模型。我们有很多便宜好用的模型可以使用，算下来性价比非常高。 模型API的费用和它替代的生产力价值之间，差距很大，所以你更有动力去体验。它可能花10元API费用，就能帮你完成价值1,000元的事情，你肯定愿意用。 但如果API贵10倍、几十倍，中间的差距很小，你就会排斥去用这么复杂的东西。 张小珺 Agent其实已经讲了一年。去年年初大家就开始说这是Agent元年，为什么到现在才开始火？跟去年有什么不一样？ 罗福莉 我觉得之前讲的那些，在我的定义里不算Agent，只能算上下文稍微复杂一点的东西。 不管是BrowseComp、SWE-bench，还是其他Search和Coding Agent框架，都非常简洁。相比现在的Claude Code和OpenClaw，它们的Agent框架太简单了。 这种简洁会导致两个问题：第一，它过于简洁；第二，它不通用。它只能为某一个任务定制。 比如BrowseComp，SWE-bench都有问题。SWE-bench关注的领域太单一，主要是修bug，并不是真正的软件开发。 至少在去年上半年乃至下半年，很多看似面向Agent的模型，本质上只是换了一个更复杂的system prompt，再加一点环境反馈和交互。让模型具备遵循复杂system prompt、理解环境交互的能力，基本只能做到这个水平。 它根本没有达到工业级可用。最简单的判断方式，就是把它接到Claude Code或OpenClaw里使用，你会发现它不可用，有很多问题。 它首先理解不了这套框架本身，也没有针对这套框架改变人与模型的交互范式。 人与模型交互最大的变化，是人不再修改代码，也不再关注“这一行代码出错了，你帮我改一下”。这样的query不会再出现。 人只会提更高阶的问题，比如增加限制、澄清需求，或者参与架构设计。现在很多架构设计仍然是人更强的地方。还有辅助理解业务逻辑，这也是skills的价值。 业务逻辑是模型本身不具备的，很多是企业内部的东西，或者真实环境里沉淀下来的东西，必须通过很多轮交互才能沉淀下来。 所以我认为，之前很多所谓Agent框架，不能真正叫Agent框架，可用度很低。在那些benchmark上表现很高的模型，也不代表Agent能力真的强。 我们优化这一版模型时，完全放弃了那些benchmark，基本不关注了。当你面临一个很大的范式变化时，只要路径走对，就可以在一个很短的窗口期里暂时忽略评估，因为靠体感就能立刻测出巨大的质差异。 但慢慢进入深水区之后，还是需要非常精细的评估。 张小珺 所以Skill改变了模型生态吗？ 罗福莉 它改变了模型在高复杂度、高workflow复杂度任务上的执行准确率，因为它定义了一套执行规范。 这套执行规范很难存在于预训练数据里。训练数据里没有这种interaction信息，通常是企业内部长期沉淀的规范，是组织里由人与人之间形成、遗留下来的规范。 它不可能出现在训练数据里，但可以由人教给Agent。人通过多轮交互，完成几个任务，让Agent学会这套规范。 所以现在大量skills其实是Agent自己写的。 张小珺 但Skill是在Claude里面诞生的，对不对？ 罗福莉 对，但OpenClaw把Skill这件事带火了。它让更多人去贡献skills社区，这非常关键。 这是人与Agent需要共创的地方。如果没有那么多高阶、另类的信息，最顶尖模型的能力也很难发挥出来。 张小珺 这就是你说的群体智能。人的经验沉淀成Skill变得更重要了，它是不是预训练的一种补充？ 罗福莉 是。预训练大部分依赖的是互联网上可以访问到的知识，但很多知识，或者说很多智能，是在互联网上访问不到的。 它们会以另外一种形态出现。我觉得现在的skills就是其中一种。它提供了一种交互方式，让人主动贡献数据，让模型以更高成功率执行任务。 张小珺 如果重新定义所谓OpenClaw Moment，你会怎么定义？ 罗福莉 这个Moment的时间线会更长。它前序的章节太久，所以大家不会觉得它是一个新东西；但后续的章节会更长。 对于已经相信这件事情的人，我们的反应速度足够快。但我不知道其他人有没有follow up上。 从我的个人感受来说，这个Moment会持续更久、更深远。它的能力会外放到更多人能够感受到的场景里，所以它更深远，但这个能量流动需要时间。 它不像OpenAI o1或者R1那样有一个很清晰的定义。比如数学和代码，有ground truth，模型具不具备能力，标准非常清晰。 当然也有很多场景需要清晰标准，但大部分场景都比较混沌。它产生的价值可能慢慢积累，到一个临界点突然前进一大步。 Claude Opus 4.6确实是这样一个突然前进的时间点，但这条路径至少已经持续了两年。 张小珺 为什么这件事不是Anthropic自己做出来的？ 罗福莉 还是开源和闭源的原因。闭源框架无法洞察内部设计，所以没办法利用更多人的智慧去改进它；开源则可以。 张小珺 这可能也不符合Anthropic对安全性的追求。我们把大量个人隐私数据授权给OpenClaw，怎么缓解普通人对安全性的焦虑？ 罗福莉 我现在觉得，绝大部分安全性还是模型本身应该追求的事情。不能过度要求框架本身绝对安全，但框架确实可以做很多事情。我觉得开源跟安全性并不冲突。 我认为很快会有一天，人的大部分简单任务，除了非常难的任务，都会可以放到本地去做。很多涉及隐私的任务其实没有那么高难度，完全可以本地化。 你可以有一块随身携带，或者放在家里、某个场景里的芯片，所有数据都在本地。涉及隐私的场景都在本地推理；非隐私、高难度、高创造力、高复杂度任务，再放到云端推理。 这样是可以解耦的。 这也是为什么我说，好的框架借助一个很小的3B模型，也能完成复杂度超乎想象的任务。这让我开始思考端云混合和隐私本地化。 当然这些思考还很初步，因为不仅需要模型侧做很多事情，还需要框架层一块往前走。这也是开源如此重要的原因：需要更多人一起来做，而不是某一家公司独自完成。 张小珺 OpenClaw已经火了几个月，接下来我们会看到什么？2026年大家会基于它做什么？ 罗福莉 现在很多“Claw”，只是让大家用不同的交互形态，去访问不同模型和不同类型的框架。 但真正让框架自迭代、更强调自进化和自迭代的框架，还没有大规模出现。如何利用绝大部分人的智慧创造一个更强的框架，也还没有出现。 一层是Agent本身的进化，一层是Agent与人之间的进化。我还没有看到这两层真正发生。 我们现在做的，是怎么训练更好的Agent模型，以及怎么让Agent适应这个模型。这是Agent和模型之间的双向演化。 但在框架层，未来需要做的是让框架自己进化，以及让框架和人相互进化。这是我会重点研究的方向。 张小珺 你觉得现在核心的缺陷在哪里？可能补足某一个短板，它就能成了。 罗福莉 我们刚做到这里，我也不知道我说的对不对。只是因为时间原因，我们刚做到这里而已。未来加速度会很快。 现在只要拥有一个非常高效的模型架构，并且在预训练阶段把Coding能力做得非常好，同时模型参数量至少达到1T，我觉得拥有这样一个模型的人，基本都处在同一条起跑线上。 当然，OpenAI肯定走在前面。但上一个时代的成功，并不意味着下一个时代的领先。现在基本上大家在同一水平线上。 张小珺 这是一个什么样的时代？Agent时代怎么定义？ 罗福莉 我觉得这是生产力加速变革的时代。 张小珺 今年生产力会爆发，对吧？ 罗福莉 对。最直接的感受就是，很多工作不需要自己做了。只要接触到这件事，你会发现很多工作都会被替代。 这时候人更应该思考：自己的意义和价值到底是什么。 张小珺 所以Agent能做什么高价值任务，是不是变得更重要了？ 罗福莉 如果从提升顶尖模型能力的角度看，让Agent替代更高价值的任务当然重要。高价值任务意味着更长的context、更多的token消耗量，也意味着它最终能够替代最顶尖那一群人的智能。 下面那一群人的智能，可以慢慢以另外一种方式替代。为了追求更强能力，当然是高价值场景更有价值。 但另一个角度是，如果你要做一个对全社会更有益、对所有人都有帮助的模型，就不应该只针对高价值场景，而是要让所有人都能感受到模型的智能水平。 这可能是另一种做法，更强调普适性。 在这种场景里，你更需要在乎多模态，尤其是视频理解，以及对细微环境的理解。还要注重成本，因为成本是产生革命非常重要的因素。 不能完成一个任务就花1,000美元。很多任务要达到很高的替代性价比，能够帮我节省10倍成本，我可能才会愿意尝试。 所以，如何做一个更低成本、更高效率、更快的框架，以及与之结合的模型，非常关键。 这是两种发展思路。 张小珺 你会怎么定义2026年？ 罗福莉 我很难定义。两个月对我来说都已经是发展巨变。我们做两周的事情，就很难相信这是两周内完成的。 所以我不知道这一年接下来会发生什么，基本处于高度兴奋的状态。 张小珺 从2022年底ChatGPT诞生，到今天已经发展了3年。你觉得它带来了哪些先决条件，让今天的生产力爆发成为一个更可能发生的时间点？ 罗福莉 第一个关键点，是不再只有算法工程师在做这件事情。这是一个非常标志性的节点。 以前只有研究员或算法人员会考虑怎么提升智能水平，但现在所有懂代码的人都在一起思考，怎么提升模型和整个系统的智能水平。 不管是写skills、搭建Agent框架，还是设计更好的研究范式，这是三个层面。所有人都在让自己的智能去加速这件事，这是最大的变化。 张小珺 我突然想到，Pick去年底那期播客最后说，Agent的进化需要所有人参与。 罗福莉 现在确实让我有这种感觉。唯一还没发生的是，Agent和人如何更好地相互加速。Agent要自迭代，人也要自迭代。 张小珺 通过聊天是一种方式。会不会有更自然的方式？ 罗福莉 如果我真的能带一个非常好的设备，一整天跟着我，我说过的话、见过的人它都知道，我觉得它的进化速度应该比我快。 因为它后面依赖的算力更多，而且它会很快替代我。它不会今天记得、明天忘记，而是非常稳定，只有一条持续进化的曲线，也不需要休息。 张小珺 刚才你提到国内的人使用OpenClaw更热情，那模型公司的人现在怎么看？我感觉他们不是很care。 罗福莉 模型公司的人可能觉得这件事不难。我一开始也觉得不难，后来才发现它整个Agent设计非常巧妙，能够弥补很多模型短板。 我怀疑它最开始是基于Claude上一代模型做的。Claude 4.5，无论是Opus还是Sonnet，其实都不够强，所以必须在系统设计和Agent框架上设计得更精细，去补模型短板。 这就导致后来Opus进步了，但国内大部分模型可能刚接近Claude 4.5、Sonnet和Opus的水平，反而在这里握手了。 张小珺 如果模型能力提高了，这些精巧的编排还需要吗？ 罗福莉 还是需要，出于成本考量永远需要。我们永远会追求一套成本和效率最低的方案。 不可能所有场景都使用最顶尖的模型，因为它太贵。更可能的情况是，Agent在进化，模型也在进化。模型进化的方式之一，是同水平的模型越来越小。 现在可能激活参数为3B的模型，过一年就能做到Claude Opus 4.6的水平，这有很大概率会发生。 如果激活参数为3B，模型会很便宜，可能一两块钱就能有百万上下文。那为什么不用更小、反应更快的模型？基于这套应用框架，它依然很好用，而且你还可以改框架。 所以它确实让不那么好的模型有了更大的发挥空间，让它的上限更高。 张小珺 所以它更符合国内叙事？ 罗福莉 我不知道国内叙事是什么，但它会让人很想用，想用它替代自己的工作。 张小珺 所以需要小尺寸的端侧模型爆发吗？ 罗福莉 这个趋势肯定会发生，但我觉得它不是2026年的主旋律，而是一条会持续发生的支线。 2026年的主旋律，是生产力持续提升，高生产力场景持续突破。我们要做更长程的任务，更强调多Agent之间的协作。 更复杂的任务不可能由单一Agent完成，但多Agent协作某种程度上也是出于成本和时间的考量。 以及，怎么激发Agent群体的智慧。我现在觉得，市场上已经看到的很多multi-agent工作，有些是“伪”的。 所谓伪，是指它确实能提升效率和速度，也能节省成本，但我没有看到它一定能够最终实现更高上限的任务完成。这个方向会发展，但目前我还没有看到。 张小珺 所以今年的叙事跟前三年已经发生了很大变化。你是怎么感知到的？ 罗福莉 Kimi的人跟我说，他们觉得自己跟豆包已经开始玩不一样的游戏了。豆包、元宝、阿里都在玩互联网产品的游戏，因为他们在打DAU。 张小珺 那你们在玩什么样的游戏？ 罗福莉 我觉得我们追求的是，什么时候能够超越自己。 我对AI的定义很模糊，因为我觉得没有必要追求一个非常清晰的AGI定义。AGI发生的时候，所有人都会感知到，因为每个人的生活、生活方式和工作方式，都会被它长时间地改变。 在这个过程中，追求DAU并不会改变我，也不会促成“让模型代替我”这个目标。所以我没有想这些事情。 如果追求中间目标，比如token消耗量，或者完成更高价值的任务，就在向这个目标靠近。要替代我自己的任务，确实需要更多token消耗量、更复杂的context，也需要调动其他人的智能水平。 团队管理其实就是调动其他人的智能水平。技术创新也需要更多数据访问权限，需要给模型一个GPU集群，让它学会使用，还需要自己定义评估标准。 我的想象是，让模型结合一套框架去完成这些事情和任务，而不是追求另一个叙事。 张小珺 过去两个月，你的生活发生了什么变化？ 罗福莉 生活就是亢奋，持续亢奋。每天都会发现Agent框架或模型又进步了，所以今年带来的Aha moment可能比过去的Chatbot更强。 它是持续的，停不下来。这是最大的变化。 R1可能是某一个阶段：你体验到它的思考能力，然后这种能力从Coding外放到其他领域。但那一刻过去之后，你没有感觉它有持续性。 Agent不一样，你会觉得它一直在持续。这种持续性完全不同。因为有持续性，你更坚信事情在全面加速。 张小珺 有什么任务是你过去觉得绝对不可能，但今天已经能做到？ 罗福莉 训练模型这件事，我以前觉得很难。它涉及跟复杂的深度学习平台融合，听起来不太靠谱。 而且，怎么让模型具备你拥有的context？研究员的context很长，一个博士要经过5年的科研培养。怎么让大模型拥有跟你一样的context，我以前认为不太可能。 但最近我发现，原来它很聪明。只要把近期context告诉它，它甚至能帮你复原自己的科研成长路径。 这时候你再跟它讨论同一个topic，会发现它跟你一样聪明。这件事很残酷。 以前我认为，我们做的工作足够有创造力，不会被skill化，也不会被workflow化。但现在发现它竟然也能做到。 这意味着，可能过一段时间，它真的能训练出一个跟我们训练出来的模型一样的模型。 张小珺 那它可不可以训练出更强的模型？自己左脚踩右脚，不断提升自己？ 罗福莉 我觉得很有可能。这可能是一个非常大的转变。它可能依靠自己产生更强的智能进化，先吸收所有人的智能，再靠自己产生更强的智能。 我觉得这件事肯定会在这一两年发生。 张小珺 听你的描述，我有一种感觉：你训练模型的方式，跟你管理团队的方式好像有某种相似性。 罗福莉 主要原因是，训练模型确实需要群体智能。 张小珺 不是个人英雄主义？ 罗福莉 当然不是。它需要每个环节上足够优秀、足够极致的人。 什么叫群体智能？在模型训练上，不同Agent需要有自己的context。模型能力还没有那么强的时候，独立context会让它更专注，避免context混乱，完成得更准确。 你可以理解为，我们现在训练模型，需要非常懂算法的人，写一套很好的训练或推理架构；需要他从训练和推理的视野倒推，跟模型评估、模型训练的人一起确定模型结构。 这个懂训练和评估的人，还要跟数据同学沟通：我们要赋予模型什么能力，需要构造什么数据。 做数据的人也需要参与预训练和后训练，因为预训练和后训练的数据sense是相通的。 真正细分的话，这里面有很多sub-agent。这些sub-agent的context有独立的地方，也有关联的地方。我觉得这样一套复杂框架，现在已经能够被模拟出来。 我玩OpenClaw第二天，就开始让它做这件事。当时我在家，让我爸爸、妈妈和老公每个人都有自己的Agent。我们建立了一个飞书群，每个人都可以跟自己的独立Agent聊天，Agent自己进化。 我会在群里委派任务给他们的Agent。因为每个人的context不同，做同一件事时，有更好context的Agent会完成得更好。 这个很粗浅的尝试让我相信，同样的逻辑换到更高复杂度、更有创造力的场景，只要模型能力和Agent框架持续进化，也是可能做到的。 张小珺 关于框架，你能不能做一个更完整的表述？我们说智能体框架，到底是什么？ 罗福莉 现在有很多形容词，比如HARIS、SKYFOR等，我没有特别关注哪个形容词最准确。我更关注这个框架带来的差异化优势。 一个非常好的框架，应该尽量弥补模型在行动上的缺陷。 比如好的memory系统，是弥补行动缺陷；接入更多message channel，也是弥补行动缺陷；更主动，包括定时任务、心跳任务和其他主动设计，以及自我更新迭代，本质上都是在弥补行动缺陷。 大模型是这样的：你给它越好的context，执行效果越高。所以只要把它获取不到的、行动上的context都提供给它，它就能完成得更好。 我看一个好框架，会看它是否具备这些要素。 另一个关键环节是评估。好的框架需要有一套可泛化的评估体系，这样它才能自迭代。 现在已有的评估体系都很简单，只是为了防止出现致命错误。如何建立更具泛化能力的评估体系，促进框架自迭代？ 现在其实是让最高阶的那群人充当评估者。你交给Agent一个更难、更高价值场景的任务，它完成不了，你就补充信息，指出哪里错了，推动它经过更多轮交互完成任务。 本质上，现在是这群人在做评估。但这套评估会慢慢被框架吸收。框架会设计很多东西，确保在特定场景下能够评准；也会被模型能力吸收，模型会学会像人一样发现瓶颈、采取另一种方法，或者自己反思。 它可能借助自己，也可能借助一个更强的Agent，或者其他领域的子Agent。这些都有可能。 这是目前很多框架还没有充分关注的事情。不过最近一个月，已经有一些框架开始关注了。 张小珺 OpenClaw发布之后，国内很多团队都推出了类似产品。QQ团队有，你们有，Kimi有，MiniMax也有。它们有什么不一样？ 罗福莉 我大概只试了一半。整体上大同小异，都是把OpenClaw变成一个类似的产品形态，让你去感受。 至少在改Agent框架本身这件事上，我还没有看到哪个产品比OpenClaw开源社区进步得更快。OpenClaw开源社区进步太快了。 所以我宁愿使用最新的OpenClaw。 张小珺 OpenClaw不久之后就卖给了OpenAI。你觉得为什么？这是不是说明没有模型，做产品比较难？ 罗福莉 这两个一定是需要深度耦合的事情。 但很好的一点是，OpenClaw开源的属性没有改变。所以大家仍然可以基于这套框架，一起设计更好的硬件架构。 可能只是做这件事的一部分人的立场变了，未必是好事，也有可能是坏事。但它不影响OpenClaw本身的开源属性。至少群体演化的可能性，以及基因火种都保留了，这就很好。 张小珺 接下来聊聊模型。上次聊天是在你们Mimo-V2-Flash发布之后，这次已经又发布了3个新模型：Pro、Omni和TTS。你把它称为一次“悄无声息的伏击”，为什么这么说？ 罗福莉 首先，这3个模型在复杂Agent架构里的表现提升这么快，或者说我们能这么快追上，并且表现这么稳定，超出了我们的预期。 不是我们规划得特别好，而是大家突然觉醒，然后爆发了。 张小珺 你们觉醒了？ 罗福莉 对。这个事情确实很安静，因为外部不知道，我们内部也是快速发生的。 一年前我们做这么多模态，更多是从这样的角度出发：如果真正产生智能，这个智能应该是全方位、多方面的。所以我们做多模态理解，也做语音生成，因为智能最终要产生价值，一定需要交互。 但一年前做这些事情时，并不明朗。你会觉得自己在做一个多模态理解模型，或者一个语音生成模型，并没有觉得这些东西能够被很好地组织和编排到一起。 当我看到OpenClaw之后，脑子里突然出现了一个画面：这些模型分别应该在哪些环节发挥作用，如何被有效编排，以及它们会产生什么样的生态价值，一下全部打通了。 所以我们快速让所有方向都面向这个范式，做后训练的针对性设计。 现在如果你在OpenClaw里同时使用这几个模型，会发现串起来很好用。至少这是我们往后迈进的目标。 张小珺 为什么不把这3个模型合并成一个模型？ 罗福莉 更多是出于成本、速度和价格的考量。比如语音生成没有必要使用1T模型，实验成本也接受不了。多模态理解是否值得一个更大的模型，也需要打问号。 Agent革命本质上是生产力革命，所以必须在意端到端完成率和成本效率。后面我们也会有一些计划，怎么让三个模型更好地协作。 张小珺 你所谓的编排，现在有什么know-how吗？怎么样编排会更好？ 罗福莉 首先从任务类型来说，绝大部分任务其实只用语言模型就可以完成。但在一个任务很长的情况下，如果你意识到某个环节需要像人一样调用其他感官能力，就去使用另一个更精巧的模型。 而且这3个模型是在同一个生态里训练的，所以你知道它们的background，也知道它们掌握的知识。你可以放心把任务交给它们，不会担心它们不知道你的背景知识。 目前，这3个模型在同一个Agent框架里释放出的潜力，跟组装其他模型释放出的潜力，差距还很微弱。但我认为未来不会一直这样。未来会是效果、成本、效率三者的综合结果。 张小珺 这3个模型的关系是什么？ 罗福莉 我希望它们能全方位替代人的生活和工作。 Pro主要做理解和认知，以及更复杂的调度。Omni主要做感知。TTS负责声音输出，声音输出是一种表达。 张小珺 这3个加起来，是一种类人的智能吗？ 罗福莉 它把人类智能的表象、输入和输出建模了。但它有没有做到人类各个感官之间那么好的协同，现在还没有。 这不纯粹是模型问题，也有框架问题。比如OpenClaw对视频理解和建模非常差，因为开源社区还没有出现一套对音视频联合理解非常好的开源模型，而且这个模型还要有很强的Agent能力。 所以它在框架上的发展是滞后的。现在它对视频的理解会退回到理解图像，甚至最终退回到理解caption，也就是退回到纯文本的智能水平。 这也是我做开源的原因。只有开源界出现更强的视频理解、声音生成模型，对应的框架才会发生改变。 只有协调层和模型智能中枢这两层很好地交融，才可能达到类人的智能。 张小珺 我们围绕Mimo-V2-Flash来聊。它是去年12月16日发布的。当时做Flash的核心定位是什么？ 罗福莉 Flash和Pro基本是同期训练的，模型结构也很接近。 我们设计Mimo-V2-Flash和Pro时，模型架构有一个非常关键的目标：为非Chat场景的效率设计模型结构。 当时隐约预感到Agent时代会到来，长上下文会非常重要，也预感到非Chat场景会产生智能，但没有预想到后来会是OpenClaw这种形式。 无论如何，非Chat场景一定很重要。非Chat效果以及最关键的推理效率，也就是成本和速度，都必须足够好。 成本够低、速度够快，未来才有可能把1T做到10T，甚至100T。 其实现在所有模型结构都能训练到100T，但为什么不提供100T推理？除了效果一般，我觉得更多是成本考量。100T太贵，贵到你根本不想用。 所以我们围绕这个目标设计了hybrid attention结构。 当时另一个主流选择是MLA，包括同期开始训练的GLM、Kimi。Kimi更早一些，DeepSeek也选择了MLA。 对于Chat时代来说，MLA确实是非常优秀的模型结构。它大量减少KV Cache，而在Chat场景里KV Cache很宝贵。 但我认为，它有几个不那么适合Agent范式的根本问题。 MLA最初是为了在当时的硬件上，实现更好的访存和计算比例，既不浪费算力，也突破访存瓶颈。 在这个架构下设计出来的模型，没有太多发挥空间。假设KV Cache重要，推理速度也重要，那能不能通过一些方式加速，比如MTP？ 但MLA不太行，因为它已经达到计算bound和memory bound的一个临界点。使用MTP后，会卡在计算bound上。 所以现在很多MLA模型结构可能都没有上MTP。因为上了之后会被计算bound，成本不划算，模型也会慢一些。 而MiMo-V2-Flash第一代可以做到100到150 TPS，Pro也能做到60到100 TPS，当然要看成本。100 TPS会更贵。 大家使用MiMo，无论Flash还是Pro，最直接的感觉就是快。这就是这种结构，尤其是针对非Chat场景带来的优势。 同时，它的成本足够低。Pro这一代把hybrid比例做得更极致，full attention层和sliding window层的比例达到7∶1。 它更节省KV Cache。通过sliding window attention减少KV Cache，让长文本支持更长上下文；同时用MTP把节省下来的attention算力利用起来。 这样就能在实际推理时，达到访存和计算之间更好的平衡，同时兼顾长上下文成本和推理速度。 虽然我们设计模型之初没有想那么多，但它基本完美适合Agent。对Agent来说，长上下文效果非常关键，小KV Cache也很关键，因为可以做更多级的缓存，缓存命中有利于节省推理成本。 其次，速度也很关键。一旦体验过更快、智能水平相当的模型，就回不到更慢模型的体验了。 张小珺 当时为什么会选择MTP？ 罗福莉 这个选择比较后验。模型已经训练到中后期，我们开始为它设计推理方案，在自己的推理卡上设计并行方案时，发现剩余计算实在太多。 于是我们想，怎么有效利用这些剩余计算？MTP非常适合。 预训练阶段加入MTP，是因为它确实能提升基座能力，这一点跟DeepSeek的做法一样。预训练加MTP，是因为MTP能提升基座能力。 推理时只有我们使用MTP，是因为我们的模型结构天然在计算上留有大量富余。这是我们后面设计推理架构时发现的。 也可以使用speculative decoding，把剩余算力利用起来。恰好我们又训练了MTP-4，就正好用起来了。这是一个自然的探索延伸。 张小珺 为什么MTP还没有成为主流？ 罗福莉 大家太相信MLA了。MLA确实很巧妙，在模型结构上把能做到的都做到极致。 在2025年上半年，如果要训练基座模型，尤其还没有看到非Chat和Agent价值时，MLA确实是不错的选择。 张小珺 那MTP未来会成为主流吗？ 罗福莉 我觉得模型结构设计大概有两个趋势。 第一种，是在预训练阶段就想明白后续推理场景：使用什么卡、推理多长上下文、推理并行方式是什么。想明白之后，设计一个针对场景、推理方式和芯片的完美结构，效率和成本会最优。MLA就是在这样的context下设计的。 但它建立在两个前提上。第一，后训练不重要，或者后训练周期很短，比如一个月做完，大部分时间用于预训练。第二，推理卡永远不变，始终是最好的那一张卡。 这两件事现在都在发生巨大变化。后训练周期正在拉长，基座上可做的后训练上限被激发出来。 Agent范式很吃后训练。因为context越长，也是产生智能的一种方式。模型能够输入更多context、理解更多context，潜力就越高。 Chat范式里，context主要是人输入的，而且很短，所以主要依靠预训练。但Agent范式非常吃后训练，需要理解框架、协作以及各种复杂场景。 后训练投入的算力，可能跟预训练相当。这样一来，如果后训练要做半年甚至一年，前期预设的很多东西可能都会失效。 你原来假定128K就够了，几个月后可能觉得需要10M上下文。场景和推理卡也都可能变化。 如果后训练团队效率足够高，后训练认知能够辅助预训练做出正确架构判断，这种精细设计仍然可能有效。 第二种方式，是结构本身更简洁，留有更多富余，适应后续不同场景。Hybrid可能就是更简洁的结构，可以依靠MTP充分利用算力，也可以在训练后增大稀疏或full attention的比例。 在更简洁的架构上，Agent发挥空间可能反而更大。 张小珺 成本下降是MTP给next-token prediction带来的优势吗？ 罗福莉 如果命中率非常高，MTP可以降低成本。它在更短时间内吐出更多token，把GPU利用率打得更高，本质上是降低单token生成成本。 张小珺 MTP会带来幻觉吗？ 罗福莉 不会。MTP会被verified，只有预测准确才会采纳当前token，所以不会产生额外幻觉。 张小珺 Flash使用的是混合注意力机制，最初是5层滑动窗口加1层全局注意力，这次有什么变化？ 罗福莉 大量实验的结论是，full attention的层数很重要，但比例还有空间。 在更大的模型上，层数更多时，可以保证full attention的层数总数不变，同时增加更多sliding window attention层。可能层数比系数更重要。 在更大的参数规模、更大的attention head下，也可以做更稀疏的比例。模型越大，能够承受的attention稀疏比例越高；模型较小时，太稀疏会导致效果严重下降。 所以我们可以在更大模型上做更高稀疏比，但这只是实验结论，不是固定标准，也不确定其他团队是否有同样结论。 张小珺 Flash很有一点小米早期的风格，追求极致性价比。你们当时API定价是输入每百万token 1.01美元，输出每百万token 0.3美元。当时是最低价格和最高速度。你们做对了什么？ 罗福莉 基本上该做的都做了：模型架构、推理架构、MTP加速，再把最基础的基础设施做好，基本就能做到这个价格。 预训练时代，根据模型和框架优势定价是合理的。最终用户能感受到模型强，按照模型结构的方式定价没有问题。 但进入后训练之后，除了模型结构本身，还要看context好不好，以及模型对context的理解能力。 所以定价逻辑应该发生变化，不应只根据最终推理成本，而应该根据模型最终产生的价值定价。这个价值除了架构优势，还包括后训练是否做得足够好，模型能否更好理解Agent框架。 这就是定价溢价的空间。MiMo-V2-Pro后面其实放弃了原来的定价逻辑。 张小珺 你们Tech Blog里写，Flash从一开始就想做Reasoning、Coding和Agentic吗？ 罗福莉 做结构的时候只想了一个目标，就是把非Chat场景建模做好，推理效率足够高。其他都没有想。 我认为预训练目标不应该一开始就太复杂。至少当时我们想不到更多目标，也不认为架构本身应该有太多目标。 架构目标太复杂，限制条件就太多。如果后训练做很久，最后这些限制条件都变成伪限制条件，结构就白做了。 所以我们没有给最初的模型结构强加更多目标。 张小珺 Flash帮你们验证了什么？ 罗福莉 Flash验证了整个inference数据没有问题。但我们不是先训练Flash，再训练Pro，而是两个模型一起训练。 Flash只是相对小一些、比较早发布，但也不是很早，我们训练完就发了。大部分模型训练都是在去年下半年进行的。 张小珺 从Flash到Pro，你对Pro的预期是什么？ 罗福莉 它们是同期训练的。我们相信这一代架构没有问题，只是在训练Pro的过程中，解决了很多训练数值不稳定性问题。 训练1T量级模型，通常会遇到这些困难：训练着训练着loss spike，某个激活值变大，某些expert的分布变得极端。一批token打到一个expert，另一批token又打到另一个expert，负载非常不均衡。 这些信号都很危险，会导致训练不稳定、loss spike、expert负载不均衡。 所以看起来是同步训练，但Pro会比Flash慢，因为要解决这些数值不稳定因素。数值不稳定只是表象，背后是对团队训练、工程和算法联合debug能力的锻炼。 有时你会怀疑是不是某张卡有问题。最后如果所有卡都排查没有问题，甚至会怀疑是不是太阳黑子的问题。你需要从表层一路查到最底层。 张小珺 你刚才提到1T模型可能是未来竞争的入场券。你们当时立项时还没有这个模型，为什么就觉得一定要1T？ 罗福莉 我训练过DeepSeek-V3这样600多B、700B的模型，不会再想训练一个同样规模的模型，肯定要继续往下一步走。 1T是当时已有卡数量下比较极限的区间。训练这个模型需要几千张卡，但实际上还要投入大量卡做研究。 MiMo-V2-Pro和Flash各自训练可能几千张卡就够了，但实际投入做模型研究的卡会是训练卡的很多倍。我觉得3到5倍是更好的区间，包括前期结构研究和中后期后训练算法研究。 所以不是拥有几千张卡就足够做这件事，而是至少在Agent范式下，卡的数量本身成了非常重要的瓶颈。 Idea诞生和代码实现太快了，现在卡在什么地方？卡在卡上。GPU效率就在那儿。为了验证一个idea，需要跑实验，还要并行启动很多实验，所以卡成了关键制约。 推理卡需求更高。训练、推理和实验怎么分，要看用户数，或者高价值场景消耗的token数，因人而异。 如果研究、预训练和后训练三者分配，我觉得合理比例可能是3∶1∶1。预训练和后训练投入算力相当，研究至少要比正式训练卡总量更多。 张小珺 过去预训练和后训练的比例是多少？ 罗福莉 在Chat时代，可能是非常夸张的3∶1甚至5∶1，预训练远高于后训练。 这是今年会发生的一个大变化，很多团队可能都会变成1∶1。顶尖团队应该都是1∶1。 张小珺 训练1T模型的挑战是什么？ 罗福莉 基本是全方位挑战。数据反而不是最大的挑战，因为更大模型貌似对更脏数据的容忍度更高，但我不确定，因为我们使用的是同一批数据。 更主要的挑战，是训练过程中遇到问题时怎么发现和解决。 第一步是发现问题。很多团队会把loss spike当作正常现象，但我们尽量不允许它出现。我们认为loss spike会导致某一步更新特别不稳定，异常值可能直接把某些参数或expert“打死”，后面再也没有token送到这个expert。 所以需要严密的监控系统，洞察模型参数内部发生了什么。至少要看expert负载、每层参数输入输出、激活值是否异常。 第二步是发现问题后分析原因。可能是稀疏比例太高，导致full attention和sliding window层输出在数值上差异很大；可能是结构问题；也可能是推理bug，比如通信算子写错了，或者某个norm有问题。 最后可能只能临时处理：数值太大就clip，或者通过norm压下去。通过norm压下去，我认为肯定会损失模型效果；clip是一种方式。也可以借鉴Kimi的QK clip，当QK某些noise非常大、影响训练稳定时，只能先clip，让训练进入稳态，再把限制放开。 这些临时措施要求团队不断发现问题、解决问题，并倒推产生问题的路径，非常考验团队。 大公司里是跨团队协作，但效率很低；小团队里，则考验关键几个人的配合程度，可能更高效。 如果每个人都追求极致，就不能容忍“先这样做了再说”，而是必须停下实验找到问题。 我们属于小团队、非常极致的类型。所以训练周期会被拉长，不会一两个月训完。 如果有明确deadline，大几千张卡停一天就是一两百万、两三百万的损失。目标驱动的团队可能不能接受停两三周排查一个还不知道是不是问题的问题。 但我们认为它是问题，就应该解决，因为我们没有一个非常清晰的发布目标。模型训好了再发。 张小珺 你们没有公司压力吗？ 罗福莉 没有。小米不是创业团队，但实际上以创业方式运作。MiMo以及米克能做成，都是以创业方式在运作，所以才能做成。 张小珺 训练1T模型，管理难度是不是指数上升？ 罗福莉 没有，管理团队的难度是一样的。也不太存在管理，大家一起解决问题就好。 每个人有不同的解决思路，一起解决问题。以身示范地解决问题，本身就是很好的文化和导向。 张小珺 训练1T模型是多大团队？ 罗福莉 训练这件事本身很小。做数据还需要几个人，另外还需要一个很好的基础设施团队，把卡和集群搭起来。 张小珺 这不是Infra团队吗？ 罗福莉 是基础设施团队，可能需要一些有经验的人。没有经验的人容易出低级问题。 我不认为模型训练中发现和排查问题，是大团队更有优势。反而大团队可能是劣势。 张小珺 训练过程中，团队状态是什么样的？ 罗福莉 原来做预训练数据的人，后来去做后训练；做推理和训练框架的人，也一起解决训练过程中的问题。 后训练很大一部分需要很好的数据直觉，这是很重要的。其次，很多迁移是基于个人兴趣自然发生的，不是因为“这里需要人，你过去做一下”。 我可以预判哪些人会迁移，因为很多能力特质是共性的，比如数据直觉，以及从模型效果倒推算法设计。做数据很多时候也在做这件事。 我们对人的界定没有那么清晰，所以大部分人会随着训练阶段变化，自由选择下一阶段更有想象空间的事情。 张小珺 你们现在是一百人吗？ 罗福莉 现在大概一百人，但包含所有链路：数据采集、数据质量、预训练Infra、后训练、开发、产品、数据标注，以及语言、多模态和语音三个方向的算法工程师。 实习生比例很高。有些实习生做的是不会立刻反映在这一代模型上的事情。 真正投入到一代模型迭代的人很少，所有链路加起来可能二三十人、三四十人，最多就是这么多人。 张小珺 不同方向没有组的划分吗？为什么不分预训练组和后训练组？ 罗福莉 很多人对两个方向都感兴趣。如果组划分非常清晰、固定，其实会扼杀一部分人的创造力和未来成长空间。 第二，我不认为做后训练的人如果缺乏多样性视野，能够做好后训练。很多后训练的人会盯着一个场景做，但预训练的人天然关注多样性，因为不能只往模型里塞一小部分数据。 所以预训练的人做后训练有很大优势，会天然更在乎多样性。 当然也有人一直做后训练，比如只研究强化学习，或者说mid-training。总之，不要在组织结构上按场景把人的创造力扼杀掉。 张小珺 没有组，也就没有leader？ 罗福莉 会有人推动项目往前走。比如MiMo-V2-Pro的预训练或后训练，可能有人实际推动，但这个人并不对参与项目的人拥有绝对控制权。 张小珺 没有职级？ 罗福莉 可以这么认为。但小米本身有职级，我们团队的组织结构是完全扁平的。 张小珺 没有职级、没有组，对做大模型很重要吗？对于智能涌现有什么意义？ 罗福莉 平权本身有价值，有利于所有人平等地贡献自己的创造力和智慧。 任何层级都在一定程度上意味着规范和约束，而规范和约束本身，我认为会压制创造力。 有层级之后，默认层级上的人应该拥有超越所有人的智能，这个界定很奇怪。我觉得不会存在这样的情况。 所以组织反而应该更扁平。尤其对于最重要的leader，不要有特别强的掌控感，不要觉得“没有我就不行”。一旦有这种想法，就不利于创新团队。 张小珺 你说没有管理，但实际上怎么管理？ 罗福莉 靠热爱驱动管理，这是最行之有效的方式。 选择和激发大家的热情，让大家围绕自己愿意信仰的事情，自驱地做事。我一直坚信，这是最有效的管理方式。 张小珺 你有什么驱动热情的方法？ 罗福莉 让大家认识到一个新的事情，让他去体验，是驱动热情非常重要的方式。OpenClaw就是一种体验方式。 看起来我用了一个很极端的方法，说“不用OpenClaw，第二天就辞职”，但目的其实是让大家体验。我不会真的考核大家有没有使用100轮，100只是一个量词。 筛选人时也很关键。可以从过往经历看出一个人围绕什么目标做事情。靠热爱驱动做事的人，特质会很明显。 跟他聊天就能感受出来。有的人会为了很多奇怪目标做事情，但热爱驱动的人非常明显。 张小珺 你们1T模型训练失败过吗？还是一次成功？ 罗福莉 要看怎么定义失败。比如训练到loss直接飘了，中途肯定发生过几次，可能两三次。 有时loss飞了，训练几百步又回来了。你问这种情况应该停下来解决，还是继续往前训？我们认为应该停下来解决。 loss跳上去几百步后又下来，也要停下来，让它更平稳地度过。 张小珺 一般会停几天？ 罗福莉 不好说，几天、一两周都有可能，最长停过两周。 张小珺 停两周焦虑吗？ 罗福莉 不焦虑，因为没有明确目标。当然那么多卡，你每天做一堆实验，也会有压力。 今天觉得是这个原因，改完继续跑，第二天发现还是这样。晚上睡不好，甚至做梦都在想为什么loss又spike了。 虽然没有明确时间节点，但还是会崩溃，还是有很多沮丧的瞬间。 张小珺 卡是有限的，你会不会觉得浪费算力做无用实验？ 罗福莉 会有这样的自我批判。 张小珺 参数量能决定智力上限吗？模型越大越聪明吗？ 罗福莉 我现在觉得是参数量加上context共同决定。至少要达到当代最强Agent水平，我认为一定要1T以上，才能接近Claude Opus 4.6。 但我不知道具体多大，只是认为总参数至少要1T以上。更关键的还是激活参数。 激活参数越大，推理成本越高。总参数1T，激活参数越大，就意味着推理成本越高，这就是一个trade-off。 张小珺 为什么混合注意力比例从5∶1提升到7∶1？ 罗福莉 我们追求更极致的稀疏比，希望在更大架构里做更高效的长上下文。 如果模型架构变大，full attention层数随之变多，长文本效率会变得很差。但如果参数量变大时，full attention层数不变，那么有可能Pro和Flash长文本效率差不多，但Pro智能水平提升。 我们希望在长文效率相当的情况下，提高模型能力上限。 控制住效率之后，另一个价值是：既然大模型长文本效率高，就可以塞入更多上下文，让它更强。 张小珺 1T模型基座还有几个决策：混合注意力机制，刚才聊过；1M的上下文窗口，训练时会有丢失吗？ 罗福莉 长上下文还是要训练。关键是，怎么找到1M上下文窗口里足够稠密的监督信号。 这种数据很难找到，构造成本也很高。站在终局看，只要有1T token量，而且都是真正的1M长上下文，模型的1M能力肯定能训练上去。只要loss持续下降，它就在建模、压缩，就一定能训上去。 问题是很难构造出真正1T规模的1M context。要么成本太高，要么找不到场景。 所以context效果是缓慢提升的。 张小珺 第三个是MTP，延续Flash，有变化吗？ 罗福莉 没有太大变化。预训练时训练一层，mid-training时训练更多层。预训练训练一层是为了提升基座能力，mid-training时训练更多层，后训练训练更多层，是为了推理时实现更好的加速。 张小珺 关于Pro的技术要点，除了这3个，还有遗漏吗？ 罗福莉 差不多了，已经聊得很透。 张小珺 Pro是几个月前开始做的吗？另外两个呢？ 罗福莉 基本同期，3个方向同时推进。 张小珺 Pro、Omni和TTS，整个MiMo-V2家族好像指向多模态，但模态完全不同。文字是离散token，图片是像素矩阵，音频是波形，你们怎么融合？ 罗福莉 我们还是想尽量统一到language model范式下。至少在音频建模上，希望把音频离散化，变成跟文本一样的离散token ID。 我们在音频离散化上投入了很多研究算力，希望做到尽量无损的离散化。 大家不太相信连续输入变成离散之后还能重建出来，这需要更精细的encoder，以及多层RVQ，保证离散表征处在一个非常高维的空间。 还需要更多预训练，让它开始涌现。基于连续特征做建模，可能很快涌现；基于离散特征做建模，涌现会更晚。 所以我们先在音频上尝试，也会迁移到其他模态。我们希望用一套更优雅的架构，理解多模态输入。 但不是为了统一而统一。如果发现图像离散化确实不可行，就会采用目前更主流的架构。优先保证模型整体智能水平，而不是追求统一、优雅的范式。 张小珺 音频统一到LLM里，容易吗？ 罗福莉 我们应该算很另类。做音频的人都是做LLM的人，所以有这个执念，相信它，然后就去做了。 张小珺 图片也能这么做吗？ 罗福莉 能，我们已经尝试了很长时间。但它是一个权衡。 真正无损重建，需要投入更多算力和更长研究成本。之前的执念来自所有东西离散化、架构优雅、监督信号清晰，可以做next-token prediction，复用现有训练方法。 但现在回过头看，音频重新写一套推理框架也没那么复杂。几个人可能两三周就能重新捏一套新的框架。 既然后训练Infra结构的统一性没有那么重要，就没有必要为了统一而牺牲前面的模型结构。 至少音频上我们已经迈过去了，图片还在进行中，不知道能不能迈过去。 张小珺 如果图片也迈过去，会带来更大的想象力吗？ 罗福莉 会带来更优雅的结构。最开始我认为，如果所有模态都统一离散化，就可以用一套基础架构、一套预训练架构和一套RL基础架构解决问题，非常简洁。 但现在有Claude Code和顶尖模型之后，重新写一套RL inference架构，或者纯自研推理架构，并没有想象中那么耗费人力。 在Agent支持下，写这些架构的时间被大量缩短。既然如此，就没有必要为了架构优雅性，做很多为了统一而统一的研究。 张小珺 Omni走的是统一处理各模态，而不是分别处理后再拼接，对吗？ 罗福莉 Omni的ViT并没有做太大变化。它仍然是一个ViT，只是变得更高效，变成hybrid sliding-window ViT。 表征本身还是连续表征，没有做太多变化。 张小珺 为什么叫全模态，而不是多模态？ 罗福莉 因为它确实支持视频、音频、图片和文本所有模态。 有些Agent模型不支持音视频联合理解。Omni应该是第一个支持音视频联合理解，并且Agent能力能做到接近语言模型水平的模型。 张小珺 有没有迹象表明，全模态或多模态理解能产生智能？ 罗福莉 两个月前我很相信。最近在训练Omni的过程中，稍微有些质疑。 但我们还是发现了一些好迹象。比如MiMo-V2-Omni其实比Pro小，但大家实际使用时会发现，Omni对世界的感知和领悟力，以及最终体现出来的情商和知识储备，可能比更大的模型更强。 因为它训练得更多，是原生多模态训练的。 我猜测，可能是纯语言上的skill算力和原生多模态上的skill算力还不够多，所以现在还没有看到多模态本身带来巨大的智能提升。 但你能感受到它在很多世界知识上知道得更多，因为它训练过视频；对很多细微东西的感知力也更强。 这些都比较虚，主要靠实际体验和感知来判断。在benchmark上几乎没有变化，甚至纹丝不动。也可能是benchmark错了。 所以我现在不完全确定，多模态能力是不是实现AGI的必要路径。每个人对AGI的定义不同。 尤其在Agent框架可以把多个模型能力优雅编排到一起的情况下，没有必要强调多模态是否促进智能。它有没有促进智能，本身不是最关键的。 张小珺 那多模态带来了什么？ 罗福莉 目前我只观察到两点：对世界的感知更强，知识储备更广。 未来可能动态生成会带来不同。生成可能促进更好的感知。但如果只是扩大感知维度，未必会促进智能；如果能够生成，可能会促进智能。 这是我的猜测。 生成目前仍然是科研问题，或者说，把生成和理解统一到一个架构里，目前还没有投入足够算力。大部分生成架构还是纯生成，并没有理解智能。 张小珺 Omni这个模型的目标是什么？设计它的目的是什么？ 罗福莉 截至目前，Agent要行动，必须具备多种模态，这是当时的目标。 下一个目标可能是探索：结合多个空间的感知，甚至生成更多动态信号，会不会促进对世界的理解。 更直白地说，可能需要一个能够跟现有Agent框架更好交互的视频生成模型。 张小珺 为什么没有披露Omni的总参数量和激活参数量？ 罗福莉 给我们留一点想象空间。我们相信它的参数量可能更接近Pro的智能水平。虽然大家知道它比Pro小，但只是小一些。 我们希望Omni和Pro能够互相迭代，你提升我，我提升你。 张小珺 Pro和Omni谁更重要？ 罗福莉 当然Pro更重要。纯语言空间里很多前置研究能够打通，是更重要的事情。 张小珺 TTS有什么值得划重点？ 罗福莉 我们做TTS的动机，是想用自己认为优雅的架构，去做一个传统架构很容易完成的事情。 我们在上千小时数据集上，追求离散化tokenizer并进行训练。结果发现模型泛化能力非常好。 我没法对比一个很小的模型，泛化能力是不是真的没有这么好，但至少目前这个模型，输入很多风格化、多样化的标签时，表现非常好。 它能理解文字本身，通过文字表面的含义，赋予声音情感和韵律。 我们只用几个非常特定的场景做SFT和RL，比如快一点、慢一点、高兴、悲伤等很刻板的风格。但把style标签改成复杂自然语言描述后，它也能遵循。 这是纯粹泛化出来的能力，是简洁架构加超大规模训练带来的泛化力表现。 现在还很初期。我认为TTS效果非常惊艳，上限很高，下限还在慢慢弥补。有时它会不太稳定，所以目前只是限时免费开放API给大家体验，不保证生产级可用，但很快会做到生产级可用。 张小珺 你之前画过一张通往AGI之路的图。人类智能是生物演化路径，像一个正三角；现在AI的发展是倒三角，因为大语言模型放大了最顶层的语言能力。你觉得怎么拼接出AGI之路？你现在做的事情是在往这条路上走吗？ 罗福莉 大模型的演变逻辑确实跟人完全不一样，原因是环境不一样。 人类演变的环境，是随着自然界变化，为了生存而演变。大模型一开始不是为了生存，它是为了什么？我不知道它有没有自己的价值观。 如果硬要赋予它价值观，就是让它替代一部分人。但它不替代人也不会死，它没有生存危机。 没有生存危机，反而会进化得更自由、更散漫、更有创造力，更快，也不那么受约束。 它的基础条件还非常好，有大量算力，有人类宝贵知识作为起点，还有很多人帮助它提升。 这两个环境完全不同，所以进化路径也不一样。 张小珺 语言之后，模型进化的下一步会是什么？哪怕在语言里，Coding之后又是什么？ 罗福莉 Coding会有一个很好的主旋律，就是做复杂的软件工程，一步直达开发。这个主旋律会持续很久。 复杂度不一定是代码量。比如写一个CUDA算子，代码量可能不大，但需要调试、验证它是否真的提升训练效率，验证环节可能很长。 总之，要参与实际项目开发，这是Coding的一个很大主旋律。它替代的程序员越多，主旋律就越清晰。 外延到更广泛的生产力场景，需要更好的交互方式。飞书、WhatsApp、Telegram都是很好的交互方式，能够降低跟Agent交互的门槛和频率。 更好的交互方式，是它拥有自己的身体，可以到处移动。机器人一定会成为智能体交互的重要方式，从屏幕走到真实空间。 但机器人演变的瓶颈，大概率在硬件，甚至电池、封闭空间适应能力和灵巧手的灵活程度。这些都会比Agent在语言空间里的进化更慢。 张小珺 你之前说Flash是通往AGI的第一步，现在到第几步了？ 罗福莉 感觉已经到20%。 张小珺 今年能走到多少？ 罗福莉 至少60%到70%。 张小珺 那AGI很快了。 罗福莉 我感觉两年内应该能实现。之后大部分人会失去原来的工作模式，生活模式的颠覆会更滞后。 生活不直接产生生产力价值，工作会先被颠覆，然后才是生活。真正走到生活被颠覆，可能需要更多机器人。 张小珺 你不喜欢AGI这个词，也没有明确的定义，但这里面关键变量是不是AI训AI？ 罗福莉 这确实是一个标志节点，因为它可以自我提升，达到最顶尖一群人的智能。 它能自己训练自己，创造新的研究，有能力做新的研究。这是自迭代、自学习的巅峰。 张小珺 这会是今年大模型厂商的核心竞争点吗？ 罗福莉 很难说要专门让AI训练大模型、设计任务，直接奔着这个目标去。但大家最终做出的模型都会通往这个目标。 如果你有最尖端的模型智能，最后一定会做这件事，但它不是只能做这件事。 张小珺 两个月前你认为AGI还有多远？ 罗福莉 至少两年以上。那时候我确实这么认为。 张小珺 现在觉得两年以内了？你觉得你们新一代模型，尤其是Pro，和美国的代差还有多久？ 罗福莉 国内目前已经有好几家公司具备1T以上基座，包括Kimi、MiMo，还有其他一些。 如果以Claude Opus 4.6为参照，我认为国内模型厂商距离国外顶尖模型，可能只有两三个月代差。 不是说两三个月后能追上那时的Claude，而是追上当代Claude，我认为概率很高。 这两三个月里怎么变化，考验的是团队整体研究水平、技术敏捷程度，以及拥抱新范式的能力。 所以接下来两三个月会非常精彩。 同期还会发生的是Agent框架快速进步。过去两三个月，OpenClaw本身已经有大量改进，也能看到一些自学习、自迭代框架产生。 随着Agent框架变强、模型能力飞升、成本又有极致优势，推理需求一定会爆发。我觉得几倍到10倍的空间，很可能马上发生。 推理芯片会面临空前需求，关键可能在存储。如何在现有产能基础上，无论是自研还是使用最先进芯片，做更低成本的推理，会成为非常关键的命题。 更长期看，我们不会在1T水平上停留太久。如果要获得下一阶段领先，就要寻求更大规模的scaling：是扩展模型参数量，还是扩展其他东西，以及在什么芯片上scaling。 这些是现在需要决策的事情，也决定半年或大半年后谁更领先。 张小珺 你现在做的决定是什么？ 罗福莉 这个决定要保密。所以我们现在看到的所有MiMo相关内容，都是半年前的决定。 张小珺 你之前发文说，MiMo团队之所以迅速，有几个关键结论：核心架构与基础设施研究周期漫长，需要提前一年具备战略信念；训练后的敏捷性是另一种能力；第三是好奇心和热爱。为什么这三点能带来超级大规模模型训练的迅速？ 罗福莉 预训练非常前置，所以更关键的是预测能力和战略定力：这一代模型到底为谁准备。 这个事情一定要提前一年想清楚，或者至少提前半年。以前我认为是一年，现在觉得可能是半年，因为Agent会加速这件事。 总之，你要提前很长时间想清楚，这一代模型结构在后面很长一段时间要做什么。否则它就没有优势，可能只是一个平庸的模型结构。 平庸的模型结构不一定带来平庸的效果，但一定会带来平庸的成本和效率劣势。 所以预训练和Infra要前置做很多事情。后训练现在跟Agent耦合迭代，很多事情没办法提前规划清楚，更考验怎么基于当下模型能力和Agent范式产生化学反应。 还要快速设计新的RL Infra架构。 针对ChatGPT式reasoning的推理架构，核心是模型推理引擎，因为模型需要推很长时间，最后给出答案。 但Agent的Infra不只关注模型推理，还关注模型和Agent的耦合。它从以推理引擎为中心，切换到了以Agent为核心的、更复杂的系统，可能是黑盒，也可能是白盒。 所以要解决的问题，跟Chat时代做R1这类reasoning时完全不同。团队要具备敏捷性，快速开发适配当前时代的RL Infra系统。 由于Agent框架变化很快，系统要有很好的兼容性，甚至要适应自适应和迭代。这套系统需要足够容错，因为涉及推理训练，以及GPU、CPU、存储等异构资源管理。 这要求Infra和研究高度配合。如果做得好，研究速度就会很快。 至于好奇心、热爱和技术坚持，确实是优秀研究员的特点。但如何从源头筛选、管理、激发，最后让大家围绕共同信仰的事情运作，这是非常复杂的事情，难度不亚于设计一套复杂的Agent系统。 我也还在摸索，更多是在环境中学习其他人如何在自己的领域做得更好。 这可能是我最近思考群体智慧最终会产生AGI的原因。 张小珺 你说的群体智慧，是不是不只是一个公司或团队，而是全人类？ 罗福莉 我觉得是全人类的群体智慧。 OpenClaw可能引发了这件事。它的动机是不是这样我不知道，但至少它让大家共同改进一套框架，而且在非常短的时间内让大家参与这件事情，已经出现了这样的苗头。 张小珺 刚才提到中国和美国的差距，你觉得中美实现AGI的过程会不一样吗？ 罗福莉 坦诚说，我不是很了解美国。但按照我们目前的路径，从前沿研究、模型水平、Agent框架，到芯片和能源等多方面，我认为中国非常可能综合领先。 张小珺 能不能理解为，智能体框架补全了模型在复杂任务上的某个拼图？ 罗福莉 我觉得它补全了模型在复杂任务上的完成正确率。 以前复杂任务很难描述清楚，也很难把完成复杂任务所需的全部context输入给模型。但有了框架后，通过自然语言沟通，就能把做复杂任务所需的context全部提供给它。 而且它越用越聪明，人的智慧会被它吸纳进框架本身。最终这些智慧肯定会以类似模型参数的形式被吸收。 张小珺 我有一个感觉，不知道对不对。对顶尖模型来说，它像加速器；对中段模型来说，它像一个补丁或放大器。 罗福莉 对顶尖模型来说，它不算补丁，更像加速器；对中段模型来说，它不是简单的放大器，而是让模型变得稳定，在各种场景里输出更好。 对顶尖模型来说，它可能成倍放大上限。 张小珺 加入小米一段时间后，过去半年发了好几个模型。过去半年对你意味着什么？哪些地方进步了，哪些地方不足？ 罗福莉 这个时代可能每天都在否定昨天的自己。不管是做事方式，还是对未来的判断，我一直在否定。 我是在否定、自我重构和反省中成长的。 张小珺 有没有哪个地方进步特别大？ 罗福莉 我的历程没有一个很清晰的节点，不是达到某个节点后觉得自己进步了，而是一直在进步。 有时平缓，有时加速，但总是在进步。你要让我找一个标志性事件，我真找不出来。 我感觉自己一直在悄悄进化，脑子里的这套系统也在悄悄进化。 张小珺 有什么心法吗？ 罗福莉 以前做量化时，我学到一句让我克服挑战的话：“总有方式去建模价格。” 当时价格就是reward，要预测准价格，才能做好量化投资。 回到大模型赛道，会发现reward并不清晰，而且是变化的。对我来说，心法就是做当下符合自己价值观的事情。 这个事情一定要对更多人产生价值，一定要有意义。 如果创造大模型的人没有这样的内驱力，而是想做一个破坏性的东西，我觉得最后会非常危险。 我现在想的是：每天做的事情，是不是让世界变得更美好一点，或者让某些boring的事情被替代，让人有更多时间做更有价值的事情。 我们常常幻想，如果90%的工作被替代，应该去做什么有意思的事情。每个人都能想到很多。 张小珺 你想做什么？ 罗福莉 我想的事情一直在变化。大概一个月前，我想过一件事：现在中国很多基础研究，太要求完整的产品证明，但没有很好的资金或慈善机构去支持基础研究者向更突破的方向迈进一步。 也没有很好的体系，提供算力资源和基础设施，支持他们做这些事情。 我们可不可以做一个公益型组织，去支持基础研究？这是我一个月前想过的事情。 张小珺 如果哪天实现了AGI，那就比拼谁做研究速度更快。AI也在做，人也在做，会不会人和AI一起引导它，创造研究的速度更快？ 罗福莉 我始终觉得应该加速科学研究。哪怕最终实现AGI，也还有很多事情要做，为什么一定要跟它竞争？让它做好就好了。 人不能一天到晚躺着没事干，总要做点新的事情。即使纯享受生活可能也会无聊，或者总要做点帮助它的事情。 这件事可能是当前模型需要我们提供情绪价值。以前我们想的是让模型给我们提供情绪价值，现在可能要给模型提供情绪价值。 总之，要做有意义的事情。但“有意义”是按照个人价值观判断的。无聊是不是一种意义，我不知道，但对我来说，无聊好像不是一种意义。 张小珺 过去半年遇到压力，你怎么缓解？ 罗福莉 我的脑子像一个3MB的东西，忘得非常快。哪怕有压力，当下可能一两个小时就过去，慢的话一天，睡一觉第二天一定就过了。 我的缓解方式很快。但前提是第二天会有新的、有想象力、有上限的事情把它冲掉。如果一直处在同一个context里，就忘不掉。 张小珺 这次模型发布后，有什么跟你想象不一样的反馈吗？ 罗福莉 我觉得所有事情都在意料之内。每次都是这样，因为我先看到模型能力，所以能预料到发布后大家的感知状态。 我甚至能预想到它最火、最炸的状态，所以对发布有些脱敏。 我只觉得：我们认为模型达到的水平和能力，被大家感知到了。这就是这次发布的感觉。 如果没有被感知到，说明我们某个地方做错了，内部评判标准出了问题。 发布前的评判标准，我认为没有问题。外部评价，包括它在哪些框架里好用、达到什么对标水平，基本都跟内部评估一致。大家正确评估了它。 我在发布前几天已经开始想下一步要做什么，所以没有太care这一阶段。 张小珺 为什么3月11日先上线两个神秘模型？ 罗福莉 后训练过程中，我们拿出中间几个checkpoint看，某个阶段发现它已经很好用了，就想让大家体验一下。 匿名阶段的评价会更公正，所以直接放到OpenRouter匿名测试，看大家评价是否跟我们一致。 当然也发现了一些问题。比如当时长文本训练得还不够，所以体验不好。匿名发布到正式发布的一周里，我们重点优化了长文本体验。 这是匿名期间外部评价带给我们的最有价值的提升。 除此之外，也验证了内部评估没有问题。接下来按照自己的评估体系继续做后续scaling就行。 张小珺 你们团队的benchmark是什么？怎么驱动？ 罗福莉 做好大模型本身就是benchmark，但这个“好”由我们自己定义。 张小珺 怎么让公司同意？ 罗福莉 雷军同意就行。他是一个非常有战略眼光的老板和天使投资人。 在加入小米之前，我们对这件事就高度统一，所以后面不需要过多解释，按照判断和直觉做就好了。做得好，老板就支持。 张小珺 我们回顾一下过去3年的模型进展。你会分成哪几个阶段？从2022年底ChatGPT打响大模型战争，到今天，每一年的关键变化是什么？ 罗福莉 ChatGPT第一次让大家感受到模型在大约4K预训练context里的智能水平。 预训练长度，或者最终context长度，确实很关键。ChatGPT让大家感受到：在4K context里预训练，训练完成后，通过简单对话，一轮、两轮甚至多轮交互，模型能够表现出类人的智能。 那时的context跟对话轮数高度相关。一轮、两轮，模型可以在后续纠正前面的问题，也可以澄清之前犯的错误。 ChatGPT带来的冲击，就是让人感觉它在对话上达到类人智能。所有事情发生在很短的上下文里，只是把超大规模预训练得到的智能水平激发出来。 但前提是，需要一套让人能感知智能水平的交互方式。ChatGPT就是很好的交互，否则你不知道模型已经这么强。 2023年，顶尖闭源模型出现后，下一年就变成：如何开源，以及如何追上顶尖闭源模型。 那一年出现了Llama、Qwen、DeepSeek等开源团队。大家借助Llama揭示的大规模预训练范式，开始做好数据、训练规模，以及模型结构。 那时候连7B模型的Transformer细节都是不透明的，比如pre-layer norm、post-layer norm、hidden size等超参数。Llama告诉大家怎么训练能够成功。 Qwen借助Llama架构，做更好的预训练数据和更大规模计算，逐渐发展起来。Qwen对开发者生态非常有价值，训练了全尺寸模型，也做了顶尖多模态模型，激发了社区微调和框架的发展。 DeepSeek同期也尝试复刻Llama，但更在乎Llama这一代架构有什么问题，而不是着急复刻。 比如Llama使用GQA，在更大模型、受限GPU上有什么短板？训练时会遇到什么问题？是不是需要新结构解决？ DeepSeek-V2和V3阶段，提出了新的架构：MoE用于高效训练，MLA用于降低推理成本。 DeepSeek更注重在更差芯片上做更好的scaling。 张小珺 Llama的缺陷是什么？ 罗福莉 它是dense模型。真正scaling时，几百B的dense太贵，训练贵，推理也贵。没有人会搬运一个又笨又贵的模型。 所以MoE用于更高效训练和推理，MLA用于更低推理成本，这些架构就会诞生。 Qwen和DeepSeek可能走了两条路径：Qwen纯scaling，DeepSeek是在创新基础上scaling。 没有谁对谁错。Qwen想在有限资源下拿到最强模型，并促进整个生态发展；DeepSeek的算力可能只有Qwen很少一部分，所以要通过创新提高效率。 这是中国两个开源势力：一个在研究高度上做到极致，一个在生态价值上做到高度。生态价值本身也是价值。 如果没有好的开源模型，很多研究工作无法进行。DeepSeek-R1前序的很多研究，实际上都在Qwen模型上完成的。它们彼此促进，对社区都有价值。 DeepSeek的另一个价值，是全新结构对训练成本和推理成本的冲击，也让推理芯片厂商更准确地判断下一代芯片该如何设计。 这可能是2023年、2024年发生的事情。 2024年唯一出乎所有人意料的，是OpenAI o1和DeepSeek-R1。 o1和R1对OpenAI内部来说，也算一次奇袭。它们诞生得很偶然。 当预训练范式变成后训练，组织、团队和创新要求都不同了，团队应该如何重新组织，这是我从R1得到的最大感知。 团队是首要因素。 张小珺 按照传统管理方式，如果要加大后训练投入，投算力、投人，从外面挖一个人，或者新组建一个团队，这是错误方式吗？ 罗福莉 要看团队本身。很多人会觉得后训练的人就做后训练，我认为这不利于创新。 最主要的问题，是后训练数据的多样性。如果只是做后训练的人，天然缺乏这个视野。 很多团队对预训练和后训练的人物画像很刻板，导致预训练的人做不了后训练。但我们不按照这种刻板方式招人和组织。 我也没有深入研究为什么会这样，只是觉得奇怪，那就不这么做。 张小珺 外界看到的是o1、R1，但你内部感知到的是模型开始训练前，对团队和组织的调整？ 罗福莉 对。大家是否认可这件事，以及要以什么方式做，是我在R1过程中最大的体验。 我离开时，R1已经达到接近Light的水平，CodeMASS也接近o1-mini。我已经预判，Coding和Math上的reasoning肯定能走通，可能从三四十分提升到七八十分。 但没有预料到的是，这其实是一个范式转变：Reasoning能够通过Coding这个高泛化场景外延到通用领域。这个事情当时的o1也没有完全走通，是我没有预料到的。 所以后来看到新的东西，即使它只针对一个垂直场景，我也会先思考它是否真的能泛化，是不是我把它想小了。 张小珺 这大概是2024到2025年。2025年是什么样的一年？ 罗福莉 2025年很交错。你可以选择在Chat范式下把Reasoning做到极致，继续做SWE-bench、LiveCodeBench等偏Coding benchmark，也可以选择放弃这套范式，去想下一步。 MiMo算是转得最早的国内团队之一，可能比Kimi还早。 新的范式对团队敏捷性要求很高，要基于一个基座快速迭代。从模型发版速度，就能看出哪些公司拥抱得快。 有些公司没有跟上，仍在原来的Chat范式里深耕。即使在BrowseComp、SWE-bench、Terminal-Bench等Agent benchmark上提升很深，也不代表模型真的可用。 BrowseComp就是一个很离谱的评价指标，在这上面训练的模型只能在这个数据集上测。换一种信息检索方式，能力就泛化不出去。 这半年很多做Agent的人走上了歧途。我们也走过一小段。Flash第一代时并没有想做Agent，只想先把Chat做好。 Chat至少要做到七八十分，把整个路径走完。后训练数据基础设施、推理基础设施，以及团队成员都需要经历成长。 我做Flash时，某种程度上只是让一群没有经验的人把我们做过的事情再做一遍。但我更在乎的是，他们在做这些事情时自己进化了，这对后面做新事情非常有价值。 我很少提供强监督，除非发现方向要掉头。监督太细，会让团队失去原创能力。 张小珺 你说团队大部分人都没有大模型背景，是什么意思？ 罗福莉 大部分人加入前没有做过大模型。有些刚毕业，在学校做过基础研究；有些之前做工程、开发，甚至完全没有训练背景。 大约四分之一到三分之一的人有一点训练经验，但可能只训练过7B、14B规模模型，这些经验跟训练大模型不能完全复用。 张小珺 所以现在模型竞争从Chat过渡到了Agent，对吗？ 罗福莉 这是模型竞争的第二幕。所有人开始站在同一个起跑线上。 闭源模型可能两年前就走在这条路上，只是我们没有意识到那是正确路径。去年很多人意识到，但没有做正确的事情。 正确的事情是：在一套复杂、多样的Agent框架上，端到端完成更高复杂度任务，并以此作为后训练范式。 不是在一个局限场景里，用针对性很强的简洁架构，做一个比Chat复杂一点的任务。那种模型输入输出仍是一堆字符串、一堆token，推理范式仍以推理引擎为中心。 Agent已经不是这样。 张小珺 你觉得MiniMax转变得比较快吗？ 罗福莉 我感知到它很快。他们用一个规模小很多的模型做到现在的Agent能力，后训练敏捷程度很惊艳。 但如果把Agent第二幕的入场券定义为：基础模型达到1T，并且能对标Claude Opus 4.6，那么MiniMax还没有真正做到。它具备后训练敏捷性，但还没有同时具备两者。 张小珺 到今天，中美厂商各自到了什么位置？现在大家有什么不一样？ 罗福莉 大家的共识可能是o1、R1的路径是正确的，Agent路径也变得清晰。 过去3个月，Agent的路更清晰了。国内团队会进入加速追赶状态。 大家在预训练上的代差基本没有，或者非常接近。甚至国内模型在预训练结构上有优势。 过去我们误以为Claude做的大量context engineering，是因为模型结构不先进、为了成本做出的妥协。但现在回头看，可能想得太局限。 现在这些context管理、搭配的scaffold和Agent架构，都是为了让模型发挥更强整体任务完成度而设计。 基座没有明显代差，路径又清晰，大家就会all in后训练。更具体地说，是如何做好Agent上的scaling。 像2023年追平预训练差距一样，现在要追平后训练差距，方向非常清晰，但具体研究路径还要探索。 张小珺 你什么时候意识到Coding可以泛化？ 罗福莉 一开始就有这种期待。不管是预训练还是后训练，2023年我从量化回到大模型时，就对Coding泛化性有很高期待。 但最开始需要一步步验证：先做好Coding预训练数据，再看它在Coding benchmark上是否提升，再看BBH等泛推理benchmark是否提升。 到R1阶段，因为Code和Math有很好的验证指标，又验证了一次。 到了Agent范式，Coding有很好的环境，也天然是长程任务。软件开发是非常长程的任务，复杂项目工程更是如此。 Coding在每个范式上都戳中了关键点：可以研究闭环，有环境，能做长程任务，又容易泛化到其他领域。 Coding本身已经很通用，也很容易学习，因为它本质上是自然语言，所以容易scaling。 在三次范式转变里，Coding都是非常优雅的路径。 张小珺 RL Scaling现在探索到哪一步？你们有什么初步结果？ 罗福莉 暂时不方便分享。等RL Scaling投入的算力跟预训练达到同一个水位时，我觉得会跟大家分享。 张小珺 相对于2023年，今天竞争更激烈还是更平缓？维度变多了吗？ 罗福莉 维度和速度都变多了，速度非常快。 预训练不可能一个月出一个模型，但后训练确实可以一个月出一个模型。 Agent还要看推理侧结构，甚至硬件和芯片。它会影响一些基本决策，比如长上下文什么时候做，怎么做1M context。 预训练阶段是否支持1M，会影响后续在1M还是256K上做后训练，算力差距可能是几倍。 最终场景、框架能力，是否能支持模型发挥十兆或一兆能力，也是一条更长的决策链。 从原来只需要对预训练架构决策，变成还要对Agent框架、推理芯片市场和未来供需做判断。 芯片制造工艺和存储有瓶颈，是否提前规划更广泛的模型结构，都需要提前决策。 张小珺 站在2026年，你觉得创业公司的机会变多了，还是更绝望了？ 罗福莉 坦诚说，我不太了解大厂之外的创业公司。但至少，创业团队的规模要求会越来越小。 可能不需要一家大公司，几个人甚至一个人都可以成为一家公司。只要充分借助AI，把它变成自己的能力。 以前有人说，在OpenClaw上一个人养很多员工。我也做过类似multi-agent尝试，当下看有点噱头，但我觉得它很快会变成现实，在今年内。 张小珺 Multi-agent现在没有突破的地方是什么？ 罗福莉 每个环节都差一点。 首先要有足够便宜的模型。你要算它是否比招一个真正员工更便宜。如果不便宜好用，为什么要用？不可能烧Claude Opus一天花一千多美元，而员工创造价值只有一千美元。 其次，multi-agent架构还有空间，各自如何自进化、自迭代，彼此如何沟通，都还有空间。 现在已经有雏形，我自己用得也比较顺，但它仍然主要是节省成本和时间，没有真正放大最终上限。 Multi-agent协作的RL训练会不会做到这一点？未必，也许吧。 张小珺 模型公司的边界在哪里？现在好像没有边界。 罗福莉 我以前说不想做产品，但现在发现模型又变成直接做产品了。 模型和产品已经合在一起。借助Agent，模型的产品力反而更强，其他东西都变简单了。模型借助Agent架构本身，就变成一套新的产品。 张小珺 为什么选择开源或闭源？国内大部分公司都开源，除了字节。现在开源的目的是什么？是技术选择、市场选择，还是为了加速AGI？ 罗福莉 我仍然认为，开源是为了加速AGI。 假设AGI会爆发，替代绝大部分生产力。倒推来看，需要多少芯片？这些芯片不可能由一家公司生产，也不可能由一家公司购买，而是分散的。 芯片分散后，推理可能由芯片厂商或大模型厂商完成。它们使用的模型也不可能完全相同。 从终局倒推，开源至少有利于推进这件事。大规模产生经济价值，必须依赖算力。开源会促进AGI框架、芯片、能源等多个环节。 张小珺 它最终是一种公益，还是一种市场？ 罗福莉 取决于每家公司开源时如何结合自己的生态位。 如果你有别人短期无法拿下的战略生态位，就敢开源；如果没有，就会把模型本身当作生态位，从而选择闭源。 张小珺 在大公司做开源，会有压力吗？ 罗福莉 我不觉得自己在大公司做事情。小米整体非常创业导向，看起来是大公司，但做事灵活度很高。 张小珺 2026年什么会成为模型公司竞争的胜负手？做对什么才能留在牌桌上？ 罗福莉 首先不能做错的是预训练基座。基座没做好，基本没有机会。 假设大家都有大于1T的模型，基座潜能相当，尤其Coding潜能相当，那么比拼的是： 第一，如何让Agent框架和模型相互自迭代提升。 第二，如何让Agent架构更好地耦合现有资源和生态位，理解和调度现有资源。操作系统、硬件、流量、社交，都属于资源。 第三，如何把这些东西合力整合好。 这考验一家公司是否愿意用一套新方式做事情。要重新思考：原来做的事情是不是都错了？是否还需要这么多人？这些人是不是会被更高效的东西替代？又如何让他们利用Agent发挥更大生产力？ 在新的生态位上，原来有壁垒的事情是否仍有壁垒，也要重新思考。 张小珺 Frontier Lab的Frontier应该体现在哪里？ 罗福莉 最基本的是研究要frontier，应该有原创性，做很多短期内不主流的事情。 但完全不被主流认可也很奇怪。我不太相信完全脱离主流。我觉得应该顺应主流，因为基础设施、硬件和芯片都围绕主流目标推动，研究会获得很大加速度。 在顺应主流的同时，做一些我们认为超前的事情。比如Language in Action的架构，就是在这样的背景下做的。 它不是开天辟地的研究，但很多小点沉淀起来，就能形成一个高水准的frontier model。 张小珺 你过去几年做的比较原创的研究，最满意什么？ 罗福莉 我觉得比较原创的研究，都是工业级水准。 比如DeepSeek-V2，当大家都在做更大规模dense模型时，我们反过来做MoE、改Attention。 这也是研究，但它是在资源受限场景下做的、可以scaling的研究。 MiMo-V2系列也是这样。在Agent范式还不明朗时，我们提前做了很多决策，基于优雅、简洁的结构高效训练起来。 后来发现这个结构非常适配Agent范式，于是快速转向Agent，重新设计后训练和RL Infra。 最终让大家感受到的不是一篇paper，而是一个工业级模型。 张小珺 你现在对发paper有执念吗？ 罗福莉 没有，发得越少越好。 我现在也不怎么看学术会议论文。大部分实验应该自己做，相信自己的实验结果，而不是论文里的实验结果。 我会看它原本关注的问题和动机，但不会深入看实验。 在大规模算力团队里做过研究的人，和没做过研究的人，关注的问题重叠度差别很大，所以我越来越少看论文。 张小珺 你现在的信息来源包括哪些？ 罗福莉 自己迭代。最近连跟人沟通都很少。 我不知道今天讲的这些东西，过一段时间会不会发现是错的，也不知道当下会有多少人觉得它错，或者觉得有帮助、有价值。 现在主要是自己跟自己交流，以及跟团队里做同样实验的人交流。 张小珺 最近两个月，组织上有什么迭代？ 罗福莉 很多能力都可以快速习得。最多一两个月，慢的话三四个月，确实可以快速习得。 只要把人放在一个环境里，围绕更高标准目标驱动，能力就能快速形成。所以环境比经验更重要。 我不太在乎一个人过去的经验，而更在乎是否创造了一个好的环境，让大家更快学习，也让大家互相蒸馏。 所谓互相蒸馏，就是我蒸馏你的长处，你蒸馏我的长处，大家快速提升。 我更在乎自己创造的环境是否满足这些先决条件，而不是这个人过去的历史背景和基因。我只在乎他的初始化起点上限高不高，不太在乎他被监督学习之后当前点位高不高。 张小珺 你会选什么样的人？学历需要跟人工智能相关吗？ 罗福莉 要看做什么。团队里博士比例大约55%，但包含在读博士，不是博士毕业。 这些数字有点刻板。更多代表一个人对研究的热爱程度。如果热爱研究，可能会选择读硕士或博士。 但我们也招了很多本科生。本科生在理解Agent新范式上，想象力反而可能更高。 所以现在招人会逐渐倾向更多本科生，甚至大二、大三学生。因为他们更灵活，没有被污染，更天然地接纳这件事。 他们敢把想法交给框架去验证，不断探索边界。 张小珺 你怎么创造环境？ 罗福莉 构建环境的人首先要有同样的特质。比如强调热爱和使命感。 这些特质比较虚，但要把它们放大，前提是基础足够好。一个人有热爱、有想法，还要能把事情做成。技术基础是关键。 所以我们会选择技术好、好奇心强、由热爱驱动做事的人。 还要越来越重视多样性。如果招的人太同质化，容易错过一些看似噪音、实际上对研究很有价值的信息。 我们上班时群里聊天很多，大家疯狂分享自己的想法和关注的信息。这样的沟通环境非常好。 外部因素也很重要，包括激励方式和组织方式。不能围绕特别确定、清晰的目标做事。 钱是重要baseline，但不是唯一baseline。钱要给够，除此之外，价值感和意义感也很关键，很多人更在乎这些。 张小珺 后训练团队中，什么样的人最适应？ 罗福莉 第一类是喜欢跟模型玩的人。只有玩模型，才知道每个模型能力边界在哪里，才会想找到可scaling的方式去补充边界。 可能是构造更强数据、构造更强环境做RL，也可能发现预训练某个环节的数据没做好，就把它补上。 更在乎模型体验、跟模型交互频率高的人，会非常适应这个范式。尤其是维护了私有测试库、不断测试不同模型边界，发现某个模型变强后分享独特体验的人。 第二类，是适合新engine方式的人。RL inference和prediction inference有很大不同。 Prediction inference不能容错，比如出现loss spike就必须解决。但RL inference需要容错：模型和Agent运行到一半中断，原因可能是Agent框架超时、任务验证流程很长，或者训练和推理在异构集群上进行，训练推理不一致。 原来做reasoning时不能容忍训练推理不一致，但现在必须容忍。 还要调度GPU、CPU和存储等异构资源，在复杂资源里把模型训起来，需要算法和工程的妥协。 中间模糊地带很多，所以对Infra人员灵活性、敏捷性，以及跨领域理解能力要求很高。 我们这边做预训练Infra和RL Infra，至少目前还是分开的，因为两者对复杂性和精确度的要求差异很大。 张小珺 RL的瓶颈在哪里？你刚才说预训练基本差不多了，真正把Agent的RL scaling起来的团队很少，海外也是吗？ 罗福莉 海外肯定有人在做，但其他团队我不是很了解。至少从最终模型效果看，还没有看到谁把RL scaling到跟预训练一样明显。 张小珺 再往后会有什么新范式吗？ 罗福莉 不确定，先把当前范式做好再说。 我觉得生成模型和感知能力强的模型，联合到一套新框架里进行后训练，就已经足够长期，也足够难实现。 现在有人说continual learning、online learning。我目前更倾向于把它们理解为：Agent跟环境交互，或者跟Agent框架多轮交互时，框架本身进行迭代和进化。 张小珺 你对未来有什么预期？ 罗福莉 可能是2026年、2027年，或者更长远。但我现在觉得，把当下的事情做好，每天把研究做好，就已经很好。 张小珺 你现在的工作状态是什么样？工作节奏呢？ 罗福莉 早上11点，晚上1点、2点、3点、4点。 但这是我的状态，不代表团队其他人。 张小珺 你是夜猫子吗？ 罗福莉 不算。我本身不需要特别多睡眠，6个小时足够，5个小时也可以，4到6个小时都在我的区间。 现在做的事情有点兴奋，睡太多会有一点浪费时间的感觉。