少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

There's something there. 今天我们请到的是浩楠。你之前是在混元？

我在混元多模态，负责后训练基础强化学习团队下面的 Infra，也就是多模态的 RL Infra。UniRL 是我在混元主力推进的工作。

最近刚刚去了新公司？

对。

就是一家具身公司吧。你现在在这家公司负责具身模型训练，是吗？

对，负责整个具身模型团队和预训练。后面可能会做后训练，但目前主要还是以预训练为主，后训练还是以研究为导向，我们叫预研。真正上生产环节的，还是预训练。其实各家具身公司的模型训练情况也差不多，还是以预训练为主。

因为这个圈子还没到真的能做出特别好的真机模型的阶段。

对对对。我们之前其实很少聊具身相关的主题，因为我觉得大家做得都差不多，聊不出太多差异。但我觉得今天浩南来挺好的，正好可以把从多模态到具身的这个过程讲一讲。

过程。

对，我们先从多模态开始聊。去年我们觉得，多模态和 Agent 是两条应用落地的主线，对吧？现在 Agent 的方向已经非常明确了，尤其是 Personal Agent 这些东西出来以后，大概能看到它在往哪个方向走。多模态这条线，目前大家关注得比较多的，还是去年我们讲的实时互动之类的方向。不知道你看最近这一年，多模态上有哪些新的进展？

说一年这个时间，我们往回倒一下。我们今天是 2026 年 10 月，回看 2025 年 10 月，我对那个时间点记得还蛮清楚，因为当时我比较清楚自己在做什么。我那时在 Marman。这家公司可能熟悉的人不多，但它是最早期做 Agent 的公司之一。

圈内人还记得，2025 年 2 月、3 月开始 RL 大爆发，就是 DeepSeek-R1-Zero 那个时候，DeepSeek 可能刚过完春节。上半年到 5 月之前，大家都在猛猛做 RL；到 9 月，o1 还在做 RL。那时候大家对 Agent 的重视程度其实非常不高。我算是特别早的一批开始接触 Agent 的人，从 2025 年 7 月一直做到 2026 年 2、3 月。

那个时候是戴老师那边吗？

对。

我发现你待的好多公司都比较水下，但圈内人会觉得还是挺有志向的，对吧？戴老师那家公司最近刚被《The Information》报道融资了。

还真是。那家公司我觉得挺厉害的。

自己好像也拿了亿级融资。

拿了亿级融资。

对，这名字还蛮有意思的。Anyway，讲回来，你在那边做了一段时间 Agent。

对。当时我做的不是多模态 Agent，而是纯 Language Agent，也就是大家常见的那种搜网页、看新闻、读网页，帮你搜新闻、写报告的 Agent。他们搜得非常好，报告也写得非常好。

我都不知道你还有过 Agent 这一段。那你不就全了吗？Agent、多模态、具身。

我 Agent 做得确实很早。我 2026 年 1 月毕业，所以当时找工作时，给得比较高的 Offer 其实大多是 Agent 方向。2 月、3 月还有一个重要事件，就是“龙虾”，行业刚爆发，大家都想做，所以那时候我面试拿到的 Offer 也以 Language Agent 居多。

做 Agent 那段时间还挺有意思的，不过后来也看到，当时 Agent 有一些问题——也不一定叫问题，可能是跟自己的兴趣和志向没那么匹配，所以我后来没有一直做下去。回到刚才说的，看 Agent 的这一年：去年 9 月、10 月，确实是两条路，一条多模态，一条 Agent。当时我看到 Agent，觉得自己大概知道一年后会做什么，所以没有特别选这个方向，反而想看看做多模态能做什么。我也觉得多模态是个很好的落地方向，恰好后来有机会，就去做了多模态相关的工作。这可能就是我当时心路历程上的一个转变。

我可以细说一下为什么当时没选 Agent。2025 年年底，12 月的时候，我意识到一个问题：如果做 Agent，我大概率会以造数据为主，干一整年。我会觉得这件事对个人积累和成长可能不是特别有利，对我来说也不够有趣。

你当时也是做后训练那一块，是吧？

对，我主要参与的是 Meta-training，也就是后训练、SFT 这一块。当时在 Marman 的 Meta-training 组，我主要做 Web Search 数据的构造。那时大家对 Agent 数据应该是什么样、应该怎么造，包括 MCP 应该是什么，都还没有特别清晰。这一年确实发生了太多事，我们当时一直在摸索这东西该怎么做。

我可以理解，后训练日常确实可能有很多无聊的、跟数据相关的事情。但多模态的后训练不也一样吗？不是也要搞很多数据？

这时候就有事情发生了。到了找工作的时候，我面试了几家，然后我的好大哥庞天宇拉我，说：“要不咱们去腾讯干？”我问：“庞少，咱们做什么？”他说做图片、视频生成，也就是 Diffusion 生成。我说：“那我做什么呢？”他说：“你要不要做做 RL Infra？”

去年年底有件事特别火，就是 RL Infra 很火，主要是翁嘉毅当时在 Y-Now 上讲了一个问题。翁嘉毅又是我们当时 CAA Lab 的早期员工，他在 CAA Lab 干了一年之后就去 OpenAI 了。我当时也私下跟他聊了聊，他觉得这件事确实很重要。

我也觉得 RL Infra 很重要，而且我很感兴趣，就说：“OK，没问题，庞少，跟你干。”我反而选了一个可能对自己成长没有帮助的事，去了混元多模态，负责 RL Infra 这一块。

所以这块跟上一个的区别，就是更偏 Infra、更偏底层架构这些东西了。

对，解决一些在 Language 上已经探索过一段时间的 RL Infra 问题。

我听过一种说法，国内虽然也讲了很长时间的 RL，也有很多人在做，但好像跟海外在 RL 上的差距还是蛮大的。

对，工程实践上的差距，也就是 Infra 上的代差，其实没有那么大。最大的差距我觉得可能还是卡不够。RL 费卡，Diffusion 也费卡，导致我们在这块投入少，整体效果就有代差。但短板并不是主要来自 Infra，不是我们没写出这一套东西，主要是训练上的各个环节，比如数据，还有你能投入多少卡、能训多久。

明白。卡少，实验就少，你的积累和经验就慢了，整体进度也慢。

对。对体感来说，SFT 效率还是高。假如我们同样租某某云，租一个月，目标是在一个月内把分数往上推，那确实 SFT 效果最好，暴力往上刷的能力最强。

所以你这段 RL Infra 做起来，跟你的预期差不多？

整体来说，收获比较多的是我自己在 Infra 这一圈学了很多知识，也了解了这套东西怎么搭。对我个人来说，这是很大的积累；对公司来说，当时我们也在把这件事往主线上推，后面希望 Diffusion 这块都能用起来。

再结合我们组内研发的算法，它其实是一个闭环：组里有 Infra，有 Algorithm，也有 Reward。尤其是图片、视频，需要训一个非常好的 Reward，这三者就绑在一起了。我们希望通过这个方式把事情做起来。

1. Agent Meets Multimodal

说到这件事和 Agent 的关系，当时我们的感觉是有两条路：Agent 和多模态。后来我们觉得要以 Agent 为主线来做多模态，包括后面做混元 Creator，也是想做一个类似于 Coding 里的 Cursor 的多模态工具。比如视频生成三段，你选一个；Coding 也是给你生成一个方案，让你看一下，选 Yes or No，或者 Reject。它给你提一、二、三个方案，第四个可能让你自己填东西。你生成了三段视频，觉得不满意，就可以说：“我希望在第一个方案的基础上再怎么样，做成这样一个 Agent。”

当时我们希望后训练跟 Agent 结合得最紧密，因为 Agent 能力主要是在后训练里训练出来的。我们就围绕 Agent 这整套使用方法来搭建多模态。Agent 是一个很合理的人机交互方案，所以做多模态也要往 Agent 方向走，或者说多模态加 Agent，而不是完全不做 Agent，那也不太合理。

做 UniRL，包括后来做具身多模态 RL，其实也借鉴了不少之前非常优秀的库，比如 VERL 和 slime。

这两个都做过以后，跟只做一个相比，你认知上有什么区别？很多人其实不像你这样，两边都有机会试。

我觉得工作的另一方面，就是让你对这个圈子有更深刻的理解。很有意思的一点是，大家都觉得对面挺好、挺有意思，有点围城。

围城嘛。

对。做 Agent 的人觉得：“我天天洗数据，没劲。”做视频的人觉得：“视频不体现智力。”年初的时候，做 GUI 的人都快觉得这条路要黄了，觉得是不是又回到 CLI 的单一模式了。

所以第一感觉是，还好这两个圈子都有比较有意思的事可以做。有些公司更重视多模态，比如视频生成做得非常好，Kling、Seed-Gen 都做得不错；也有些公司完全不做，不少初创公司，包括“六小龙”里的一些公司，都不打算做这块。

我觉得 Agent 确实是现在交互的主线。从个人职业发展的角度来看，做 Agent 的优点是，即使公司做得不好，你也可以换下一家公司，但还在主线上。这是做 Agent 的人现在天然有的好处。

做多模态呢，会觉得里面有些事情做起来相对有趣。比如我看视频底层、Review 数据，一条条读爬出来的 Trace，或者写规则让它筛，过程上会更有意思，工作体验也会好一些。但缺点是，如果这家公司不做多模态，是不是就没有很好的发展方向了？我猜很多做多模态生成或者理解的同学都有这个感受。

多模态分成理解和生成两部分。站在现在这个时间点，理解这边的 GUI 很火。腾讯有 WorkBuddy，现在 GPT-6 Extra 的电脑使用能力也非常强。我觉得做理解的同学今年好像又不错了。做生成的，后半年有一波人纯粹在做 World Model，后面又有一波人去做具身，包括我。我本来做多模态生成，后来去做具身，大概就是这么分下来的。

我刚才问的是，两边都做过以后，怎么看 Agent 和多模态。但你的结果是两边都没选，反而选了具身。

对。

你也提到了，多模态或者大厂里面也有 World Model 这条线，世界模型至少在国内基本上等同于具身。你背后的选择和考量是什么？

大厂做具身实际上不太容易。具身相对于大厂的主线业务来说不太够赚钱。具身真要做，更像汽车或者手机行业，是产业链很长的行业，不是大厂喜欢的那种情况，他们对产业链的控制能力也弱。

我觉得具身公司更适合做这件事，因为它们对产业链更了解。产业链长，利润率天然就没那么高，也没那么暴力，不像软件。这就导致我觉得做具身还是要去具身公司。大厂可以做做模型研究。如果你觉得这个行业还起不来，在大厂做模型研究可能是个好选择，不少同学这么想，我觉得有道理。但如果真要做具身，那就得扎根基层，看看素材怎么弄，亲自上手摇一摇采两条数据。

在大厂天然很难做到这些。尤其越大的大厂，分工越清楚，很难去数据部门干数据部门的事，你干了别人会觉得你越界了。

但你这个点在所有领域里都一样吧？这是大厂固有的问题。

对，大厂固有的问题。

所以你刚才讲的是大厂和真正做具身的公司之间的选择。那从多模态到具身，这个选择是怎么做出来的？

多模态最后看下来，我觉得有两条能够继续往下推进的路。一方面是沿着 Diffusion 继续做视频生成，另一方面是做 Action 生成。生成 Action 也是用 Diffusion 模型，所以从多模态的技术角度来讲，迁移能力更高，逻辑也很相近，也很方便用原来的 Codebase 试一把。

最早开始做 World Action Model 的那波人，早期可能都有过 Diffusion 的经验，所以很自然就转型过来了，技术门槛没那么高。某种程度上，具身的 Action 也是一种模态，就像生成视频的同时生成音频一样。站在这个角度看，它本质上还是在做多模态模型，只是从视频和音频一起生成，变成视频和 Action 一起生成，逻辑很相近。所以我觉得转具身很丝滑，我周围也有好多同学这么转了。

你刚才讲的是为什么能转。那为什么要转？也是你刚才讲的两条路：一条是继续做多模态生成，另一条就是去做具身。为什么没有继续做多模态生成？

当时是年初，我们觉得去年做了一整年 Language Reasoning，去年年底到今年初就在想，视频生成里会不会有一个 R1 时刻。当时我们认为有，后来做了半年发现不行，因为它并不存在比较高效的 Scaling Law。

为什么 Seedance 做得这么好？它的核心是什么？

我觉得跟他们的数据质量非常有关系。

但你觉得这个数据质量并不是直接和 Scaling Law 挂钩的？

我这里说的更多是后训练，是 Task-specific 的 Scaling Law。比如 Language 效果好，是因为 Language Training 的 Scaling Law。我觉得大家追的都是 Curve 的 K 值，或者说 Scaling Law 的 Log 是什么样子，实际上跟你的模型结构更相关，就是你能不能高效地 Scale。

总的来说，堆数据是能推动 Scaling Law 往前走的，只是我们认为 Training 的 Scaling Law 不够高效。你肯定不可能指望纯靠堆 Training，就能让模型把现在这么多 Agent 的题都做好。你还是要靠别人用 RL 训一下，做一做这些东西，才能有 R1，效果提升不少。

当时我们一厢情愿地认为，Diffusion Task 里能不能做到这一点，后来发现不太行。加上前面的 Caption 改写，最后也不太行，它还是更偏预训练那部分的能力提升。

所以按你说的，当下视频生成更拼的是 Pre-training。

我觉得是。

你觉得未来一段时间也会这样吗？

据我了解，字节的后训练是 Work 了的，但大部分公司都还没把多模态 RL 做到 Work。即便他们做成了，我认为最重要的能力来源和提升，还是前面那部分。

那就说明多模态的竞争可能没那么激烈，对吧？更有巨头效应。

我还真觉得是这样，确实更靠堆数据。Pre-training Infrastructure 大家都做得挺好，而且 Infra 是便宜的，弄十来个有经验的同学，两个月就能推到一个相对合理的水平。Infrastructure 这圈子开源做得也比较好。

Data 没人开源，纯粹看自己的积累，走不了捷径。要不然就花钱，要不然就有产品，帮你做数据回流或者积累。最后看起来，确实得在有产品的地方做这件事，才更容易做成。

所以你觉得这条线比较难快速往上走，就选了具身这条路。

对。我觉得这个方向更吃资本、更吃大团队，也更吃公司，而不是一波比较厉害的人就能把这件事做起来。我们好像尝试过了，半年没成。

明白。我们先把视频生成这条线讲完。我最近又在 B 站刷到一些 AI 短剧。前两个月我经常给人推荐《被裁掉的女孩》，拍得非常好。但最近刷到的，我觉得又比那个高了一个 Level，几乎达到 Netflix 的水平了。现在的 AI 短剧，我能看到的就是这样。从你的经验和判断来讲，你觉得现在模型大概处在什么阶段，后面还会往哪走？

我觉得这个能力还没有到头，还会变得更好。而且我觉得做到接近电影的水平是没问题的。

我不知道你看到这个没有？

没有。

《无敌超人》。

哦，我看过这个。

这个真的，我也想推荐给大家，可以感受一下。但我觉得它里面应该加了很多专业人士的因素。

你说对了。这跟我们刚才说的混元 Creator、各家要推出自己的 Studio 很相关。创作的时候人可能需要参与，但不再像以前那样要很重地做很多事。更多时候，你是希望自己的 Taste 能影响它的导向。

这跟 Coding 有一点小差异。这也是为什么我认为，多模态或者视频里的 Harness、Agent 很有必要，因为交互体验的成分其实大于 Coding。Coding 相对有一个最优解，我们都希望它又快又好、整洁、好读，这些标准大家都认可。但影片不一样，它很多时候需要你自己施加影响。

总的来说，有些基础能力，比如连贯性、可编辑性，大家都希望有。目前这个圈子还停留在一些玩视频的人用这些工具来创作的阶段，还不够便捷。多模态生成的模型能力还需要提升，刚才说的电影质感还没有达到；另外，Harness 或者交互模式也没有一套成熟的产品，能让大家都用得上这种电影质感。

我觉得未来一定会出现一款这样的 Harness，或者交互式中间层，套在有电影质感的模型上，把它的能力最大化，也让用户更方便地操作。这可能是我觉得多模态生成和 Agent 接下来半年要推进到的水平。

现在整个生成模型里，最猛的应该是 Kling 2.5 吧？

对，做得非常好。

你觉得它在生成这条线上，大概到 GPT 级别了，或者说是一个多少分的状态？

我觉得还在半山腰。要是他们能做到一百分，现在应该做到了六十分，差不多。我觉得他们还……

那后面的空间还很大。

非常大。比如徐猛自己做一条短剧试试，操作起来还是非常 Suffer、非常痛苦的。它的 Context 管理也不好，各方面都做得不到位，我觉得还有很大空间。

但抽卡这件事会长期存在吗？只是抽到的概率越来越高？

我觉得抽卡这个概念以后可能会有变化。现在抽卡，是因为有些 Clip 非常差，你觉得形变很糟糕，或者稳定性不好。未来抽卡可能就不是质量问题了，生成的都很好，只是你和我的偏好不一样，我们对什么样的影片算好影片，Taste 不一样，所以才要选、要抽卡。

我觉得抽卡一定会存在，但从这个时代到下一个时代，存在的意义应该不一样。这也是为什么我说它才六十分。

我觉得抽卡很像以前线下拍摄，某一段拍坏了，或者拍了好几段，最后让导演选一段。

对。

但现在里面会混一些莫名其妙的东西，以后可能就是你要选刘德华还是陈道明，给你两段让你选一段。

对。你可能不希望它用这种镜头语言，但它给你弄出了这种效果，你就要告诉它：“不要这个，要那个。”当然，镜头语言也可以通过非常精细的 Caption 来控制，现在通过 Rich Caption、Rich Description 都能做到。

它是这么做 Constraint 的。但要让人在手机或电脑上敲非常丰富的东西，也很累。你肯定还是希望机器根据前面的影片，给你提几个合理的方案。比如它觉得接下来用这种镜头是合理的，就提出来让你选。这个我觉得就是所谓的 Taste：你希望用什么样的镜头来表达这部分内容。

最近还有一个 PR 做得比较厉害、在开源社区挺火的东西，好像能够快速复制一个热门视频，然后换人之类的。这类东西过去几年也陆续出来过一些，但好像都没有自己变成产品。这种能力会被包到模型里面，或者成为模型泛化的一部分吗？

我觉得会。说实在的，模型做这个并不难，这就是所谓的生成、理解一体化。我们做 UniRL，“Uni”这个词也有这个意思：我们认为理解能帮助生成，生成不一定能帮助理解，但理解一定能帮助生成。

比如换人，需要非常好的影片理解能力，对细节理解得非常好，再去做生成才能生成得好。其实各家也都在这条技术线上推进，就是生成、理解一体化。

我不知道你有没有自己想过，或者跟同行聊过，沿着这条线继续走，未来影视或者视频领域会变成什么样？

首先现在看的人很多，但创作这个东西的人远没有消费它的人多。创作说起来没那么难，一个大学生学一学也会，但还是麻烦。

而且成本还是高的。

对，成本还是高。未来半年到一年，要把门槛和生成成本都降下来，然后让大家使用、让更多人生成，最后形成一个既是生成者又是消费者的平台。这是我觉得未来可能会出现的东西。我很白日梦地说，在我们聊天的圈子里，大家都认为会有这样一个产品或者平台。

讲到平台，我觉得最近大家经常提到实时互动视频这个方向。它真正进入大众视线，应该是 H3 出来以后。Fal 拿 H3 做了一个实时互动模型，在外网还有点火。我不知道你怎么看这个方向，包括它现在处于什么技术阶段。

我觉得它家的水平应该是 H3.0，模型能力大概在 2.0 的水平。

你说 H3 是吧？

对。它还是会生成不少失败的 Clip，比如你让它提三个方案，可能有的就不太行。2.5 确实更好。另一方面，2.5 的精细控制能力更强，做得挺恐怖的。它能加很多 Reference Image、Reference Video，某种程度上提升了可控性。

你可以插入很多叫 Storyboard 的东西，比如一个人物的正面、背面、发饰，或者一张图片里包含了好多张小图，这些小图是这个人物的素材，还有整体故事线的截图。2.5 能放很多图，然后按照你给的图生成一段视频，控制能力非常好。H3 不具备这个能力。我觉得自己在这一块有很强的优势。支持插入很多 Video、Audio、图片，这件事很恐怖。毕竟要落地、要商品化，模型能力得支持这些东西，产品才能更好地被使用。

这是纯生成这块，对吧？

对。

实时互动这块，我先讲一下我的粗浅理解。实时互动分两类：一类是真实时互动，一类是伪实时互动。伪实时互动比较好理解，无非是生成速度快于消费速度；其实还是你打完之后它再生成，只是生成得足够快，让人觉得有点像实时互动。另一种是真的实时互动，就是它真能对你的对话做出反应。

其实我觉得大家应该都在第一条路线上。当然第一条现在也不成熟。

第二条其实有点像世界模型了。

对。第一条的问题是模型效果容易崩。这件事我们当时还作为一个 Research 课题研究过一段时间。

崩是指一致性问题？

一致性问题。加速有很多 Trick，不管是 Scheduler，也就是降噪技术，还是英伟达的 TeaCache，通过跳层来做训练。跳层相当于不用每一层都做降噪，这样模型推理肯定会快。还有各种蒸馏技术，包括当时宋扬他们做的 Consistency，都是一步生成。

但不管怎么样，这些技术整体上容易让它更容易崩。比如镜头转回来，后面的东西就变了，或者人脸变了。很常见的情况是镜头转回来之后换了一张脸，细节也变了。

看起来有点像《盗梦空间》的感觉，是不是？

有点诡异。所以目前我个人觉得还是保质量比保实时更好。

它们都是一个阶段嘛，对吧？肯定两个一起往前走。

对。

但从学术和研究上，你们能看到什么节点真的能实现一致性和我们说的第一种方向吗？

我对真实时这件事多少有一点悲观，因为目前大家的模型确实越做越大。为了让 Consistency 更好，你在堆更多能力的同时，也把模型 Size 做得更大了，这东西天然就更慢。

你让我想到最近那个 Jeff 的感觉。现在大家先保质量，先保落地和实用，主线上可能没有追求实时互动和一致性。但会不会突然出现一个视频领域的 Jeff，舍弃很多东西，最后速度更快、成本更低？

对。这个时间点我肯定很难预测，因为目前大家攻坚的还是能力。我刚才说它才六十分，还没到能力溢出的时期。

我理解，按你说的，离那个点还有很大距离。

有距离。

那我好奇，最近 3D 这波，外网很多人在发，甚至有人说接入了一些直播平台，可以在直播间里实时看到生成的东西。这还是以 PR 为主吗？

对。我用过，也训过这玩意儿，训过它的后训练。我的体感是没那么容易，还是很慢。如果真的能做到生成速度非常快，我做 RL 也会很方便。现在生成一个视频要等半天，跑完这一圈才能做 RL，我自己感觉还差得挺远。

明白。

再说第二条路，它确实更像 Video World Model，用 WASD 上下左右去控制。我觉得这还是两波人在做。一波做 WASD 的东西，把它做成 Causal 生成：还是生成一段，给定一个 Action 之后再接着往下生成。比如之前有一个这个方向的 Demo……

最早是 Google 发的一个。

对。不过我想说的是最近有一些做出来的结果，很像《塞尔达》的感觉，可以在地图上闲逛、跑图。视频质量肯定还是不太行。总的来说有人在做，但这个圈子最近好像又不太火、也不太好。

你说的就是世界模型吧？世界模型最近又被骂了。

对，感觉好多哥们做得有点迷茫，不知道这东西做了是为了什么。尤其这个领域现在又有另一波冲击：像 Astra 这种 VLM 加上更小的 Diffusion 去做渲染，比直接给你一个巨大的模型来仿真整个世界、让你在里面逛，看起来更 Promising。

而且老大还把公司卖了。

对，这就很……

讲了好几年故事，最后扭头不做了。

大家就会说，如果真的能做好整个世界的仿真，做好那么好的交互，李飞飞站在这个圈子最前沿，她如果看到了，为什么要卖公司？她缺钱吗？肯定不缺。李飞飞在硅谷朋友圈的号召能力这么强，反正这会让大家迷茫。

而且听起来，如果你刚才说的连实时生成都还很远，那世界模型就更远了。

有点远。我觉得公司会觉得世界模型没落地，这件事在公司里发生过：这个东西能干啥？

但我特别不理解。我到现在回头看还是不理解。我能理解上半年大家很 High、最近一下 Down 了，这是市场情绪带来的。但从 Research 的角度，大家应该一直都知道这件事非常难，短期内做不出来。不可能是大家以为能做，做了一下才发现做不出来。

对。我觉得做 Research 的同学可能一直都觉得做不出来，只是市场情绪把大家架在那儿了，觉得马上就要做出来。但可能也没人想过：就算做出来了，首先你不一定做得出来；其次，做出来能干什么？

很多厂商都在做世界模型，很多小厂商也做过这种 Video World Model。

大家说做出来是为了具身。我正好要问你。

对，后来就发现，要做具身，为什么不直接做具身呢？具身没有必要一定走这条路。

但我发现具身也在讲这条路。当然它可能也是为了迎合市场，大家都在讲。

我真做起来以后觉得，确实没有必要完全走这条路。就拿两家公司举例子，李飞飞的 World Labs 和杨立昆的 AMI，大家都叫 World Model，但做的东西不一样。

对对对，这也是我看大家一直在讨论的。我看李飞飞这几年隔一段时间就写一下到底什么是世界模型，写了好几篇文章来定义世界模型。

还真是，Blog。

对。最后我发现身边的人都不太 Buy in 她那个 3D 路线。

是这样。你没有必要先理解整个世界，再去做一件事。比如杨立昆那条路就不是这样，他的 Latent 不是说“我来建模整个世界”，不管是李飞飞那种 3D 建模还是怎么样，都不需要你把草、叶子、树叶、光线这些都建模得很好之后再往下推进。

你可能只要理解，再做 Action，这就足够做具身了。这又说回来，为什么我觉得后来大家做着做着，发现具身好像也并不需要先理解完整个世界再做 Action。我只要理解当前的情况，做一步 Action，再理解下一步，继续往下做就结束了。

当时大家觉得，3D 能不能做仿真场景，是不是那条路能打通 Real-to-Sim-to-Real。慢慢好像有点变味了，这是我看下来的感受。

所以你现在觉得，正确地做具身应该怎么做？尤其你后面自己要做具身模型训练，大家有哪些路线选择？

这个问题比较宏大，我觉得分两波。第一波是想做巨大的模型。可能在 Astra、GPT-6 出来之前，很多人在做这个，希望训练一个非常大的模型。

你说国内吗？

国内有，国外也有。国内有几个大厂的组在做。他们会想：“我家有这么好的视频生成模型，能不能调一下做具身？”或者“有这么好的大模型，能不能调一下做具身？”这很像 Astra 他们的逻辑，就是希望拿大模型的思路来做。

显然有了 Astra 之后，有些人就觉得这条路不太 Promising 了。尤其初创公司基本不做这条路，因为说实在的，它们没有这个技术积累、基因、卡和钱。

对，市场上一直有一种说法，国内的具身公司融了很多钱，但真正花钱的还是少。你说的做大模型，是那些大厂的组？

对。

我觉得具身公司现在最高的估值在 200 亿人民币左右，可能融资两百亿，账上有五六十亿，都不到 100 亿美元。跟真正搞模型的公司比，还是少。

肯定做不了。

对，还是少的。

所以又说回来，很多公司希望拥抱 Astra。我认为具身公司讲道理应该做的，就是最后大概率变成两个系统，上面套一个，底下再套一个。

对，我们最近圈子里很多人在讨论 Astra 对具身的影响。很多听众可能不太了解，你可以先讲一下。GPT 发了这么多模型，为什么大家没有在讨论它跟具身的关系？为什么 Astra 出来以后，对具身圈子震动比较大？

具身本质上需要什么样的模型？它要能看懂这个世界，然后给自己的硬件下指令，操控机器人。不管你家是夹爪还是灵巧手，总的来说要操控它。核心是最后输出一个低维 Vector，可能二十多维，或者多少维。这个 Vector 每一维都有准确的意义，表示关节角度之类的东西，而不是大模型同学常规理解的那种 4096 维 Latent。它是一个非常有物理意义的 Vector。

所以它的输入可能是 Video，或者多个角度的 Video……

你说的 Vector，我能不能理解为机械手或者机械臂的每个电机要怎么动、转多少度？

就是这个意思。大模型的输出一般可能还是一个 4096 维的 Vector，然后再靠 Mapping 到词表；具身不是这样，它直接输出转角。

模型的输入和输出大概是这样：输入一个 Video，Video Tokenize 之后 Latent 进来，然后经过 Transformer、Diffusion 降噪，最后出来一个这样的小 Vector。所以它是一个从高维到低维的 Input-Output 结构。

之前说到用大模型替代它，就是替换中间这个模型。模型输入 Video，输出一大堆这样的 Vector。以前没什么震动，是因为你想让 Language Model 输出一个 Vector：左括号、第一个数、逗号、第二个数、第三个数、逗号、第四个数，最后再闭括号。你让 Language Model 生成一串数字，再解析成电机转角，让它操作，怎么想都很奇怪。而且你试了会发现它也不 Work。它输出的是文字，Next Token Prediction 还得输出“0.96，逗号”，这样一串文字，对模型来说有点变态，之前模型也做不到。

这次为什么很震动？因为 Astra 有非常好的推理能力，而且它能按照你的指令，真的给你输出一段有意义的序列，真的能操控。

它是特意基于具身去训的模型吗？

应该是。OpenAI 做具身的团队里有人，也收了很多数据去训练。但他们里面真正做具身的团队，有点不知道该怎么做。我的意思是，他们后来发现做的数据或者能力提升，是喂给 VLM 来帮它提升；而 VLM 发现，能力的主要提升来自 LLM。相当于最后所有的数据都回到主线 Language Model 上面去了。

我听说 OpenAI 里面有两条线在做具身。一条类似 C 的那条线，专门做 LLM，只是把具身当作其中一部分来泛化；另一条是专门做具身的。你觉得对于 Astra 来讲，到底哪条线更主要？

大模型这条线。

大模型？

对。我看他们那边做具身的人好像也有点不知道怎么搞，反正最后发现把东西堆到主线上反而最 Work。

那我能不能理解成这也是一种泛化？

对，也是一种泛化。就像它弄 Blender 这个软件一样，最后也是这么推过去的。

那这个泛化里面比较核心的是，它的多模态理解也要做得非常强。

理解能力强挺重要。第二，它真的得有具身数据。这波是真的训了具身数据，之前我理解是没怎么训，即便有也非常少，不像这次这么多。

我以前的理解是分成两部分：首先你得理解看到的画面和视频；另外你得有具身数据，才能把理解转化成我们刚才说的电机或者 Vector，变成最后能落地的数据。

对。我觉得当你家的主线模型很强时，会发现自己搞原来那种更弱的模型，不如直接往大模型里堆。

但我之前听过一个说法，因为现在具身每家的本体和设备参数都不一样，所以每一家还得自己做一个转换工作。可以这么理解吗？

我觉得是让大模型去操控你家的产品。如果你家的产品不是大家都用的，比如 Franka 机械臂，而是灵巧手，那就比较困难。它其实不准，是通过让关节动一下，看视觉效果，再猜这个变量的变化代表哪个关节会带来什么效果。

这个其实还挺强的，相当于你输出一段，再看一段视频，它能把输出的东西和产生的影响联系起来。

它自己去调？

对。它能把自己的输出和视觉挂钩，这个真的挺强。比如动一下夹爪，发现“哦，它是这样”，然后就大概理解了视觉和输出之间的关系。它通过多轮交互看明白了这一点，所以能动得非常好。

这不就是 ICL 了嘛？这个的 Reward 是什么？比如你设定今天要拿到苹果，如果视觉判断这段画面拿到了苹果，就是一个 Reward？

好问题。我觉得它是从其他领域迁移过来的。又说回来，我不觉得它真的是对着具身训练的。它应该是在其他领域，比如 Blender 里，看到了渲染效果，操作一下，就能知道视觉上的 3D 效果会怎么变，形成这种关系。

你用 Blender 的时候，它也是叮咣一顿操作，靠 Blender 软件把东西编辑出来。我觉得这个逻辑确实可以迁移。

你提到的也是我特别想问的一个问题。我理解现在数据上分两条线：一种是实体的、实机的 Ego-centric 数据，真机数据；另一种是虚拟仿真的数据，比如 3D、游戏这类数据。你觉得主要是虚拟仿真更重要，还是实机数据更重要？国内和美国现在主流应该都是真机数据。

这要看对谁来说。对大模型厂商来说，仿真数据还是很有价值的，它是一个很好的 Environment，像 Game 一样。对具身厂商可能不是这样。具身厂商最后关心的是东西能不能落地、能不能操控自己家的机器，所以它要用自己具体的机型去踩各种 Trace，不管成功还是失败。失败了可以加上 DAgger，让人接管，再继续成功。我觉得大家的态度不一样。

如果虚拟仿真已经把 Pre-training 做得足够好，然后我还能继续基于视频做 Post-training，不断针对自己的设备调整，那未来真机数据的价值会不会反而下降？

我没有觉得会。为什么呢？对于真正意义上的操控成功率来说，尤其你的灵巧手非常复杂时，还是得拿具体的真机数据去 Training、去调。

举个小例子，抓这个动作，两根手指能捏起来，但你真正想要的是五个手指非常贴合瓶子，把瓶子抓起来。如果全在仿真环境里，它最后可能用中指和食指把瓶子捏起来，但这不符合你想要的效果。这就是我觉得仿真环境最后的 Gap 还不太能让它真的成功。

除非仿真环境做得非常好，那就又回到 Real-to-Sim-to-Real。如果 Simulation 环境确实做得特别厉害，具身的发展路线可能就要重新考虑了。具身厂商和大模型厂商应该都会走那条路，但目前 Simulation 环境确实非常难做。World Labs 这条路很不简单，技术上就非常难，仿真做得不够好，各种物理摩擦系数都很难处理。

我还想再问一下。我对具身的理解大多限于各种 PR 文章，没有聊那么多。但我看各种 PR 文章里，基本上具身公司都在讲自己又做大脑又做小脑，对吧？估值才足够高。

对。

但按现在的发展路径，大脑也没钱没卡来做，大多数人也没有真的怎么做。然后 Astra 又已经这么强了，后面大脑这块是不是可能又变成 LLM 的竞争？比如国内是 DeepSeek、Timi 或者 Zeda 之类的，海外是 GPT 跟 Claude。那国内初创的具身公司是不是就不用管大脑这块了，做好自己的小脑和真正落地的部分就行？

这个问题还挺有意思，我分几部分说。第一，很多公司讲大脑是为了估值，或者说对估值很有益。第二，当年包括现在，我估计 Dyna 的主页上也是这么写的：System 0、System 1、System 2，而不是只有 1、2。当然那篇 Blog 是 Astra 出来之前写的，现在我觉得可能不要 0 了，0 和 1 是一个，2 是一个。2 就是那个最大、最大的模型。

所以我觉得现在的发展趋势确实是 1、2：一个直接操控本体，一个是语言思考能力非常强的、上面的大脑。两个组合起来推进。

再说具身厂商的卡远远不够，可能你后面加两个零都不够。具身厂商和大模型厂商的卡量，可能差两个零。

而且大模型是现在所谓的“六小龙”也好，几家公司在分卡；具身感觉是上百家公司在分那些卡，而且还得用大模型剩下的卡。

所以又回到最早问你的选择问题。你在今天这个节点加入具身，第一，具身的估值已经非常高了。我们去年就觉得具身估值怎么这么高，有泡沫了，结果今年没想到又更上一层楼。

更上一层楼。

当然站在你的利益角度，我们希望明年还能再上一层楼。但今天所有具身公司的估值都已经很高了。然后 Astra 这件事出来，对整个具身大脑的故事也有很大影响。你在这个点加入，没考虑过这些问题吗？

好问题。好多人问过我。刚才说过，做视频不好吗？不是的，也确实可以加入初创公司，或者去另一家大厂做。但这件事可能跟个人偏好有关。

我觉得它不是硬核生产力，它是精神享受。我想做的是在这个行业里从事几十年，或者十几年、二十几年，那我肯定希望能更多地影响大家。如果说“改变人类”，大家可能觉得有点抽象，但我确实觉得应该做一些能影响大家、偏生产力方向的东西。

所以我最后可能想做 Physical AI。Physical AI 就是把 AI 带到物理世界里，以各种形式。只有到生活当中、到 Physical 领域，才能改变大家的生活。我非常坚定地想做这个方向，所以才转了。

所以这不是一个短期利益驱动的选择。纯好奇，如果是短期利益驱动，最理想的选择是什么？

当年就做 Agent 了。

当年如果做 Agent，你现在得在哪儿做什么？

应该就在美国了。当时 TikTok 给了一个相当可观的 Package。

美国 TikTok 给你 Package，让你去做 Agent？

对。

他们现在出 Agent 产品了吗？

他们也是在北美 TikTok 的视频上面套了一套 Agent。

明白。如果是这样的话，你现在可能正在 Hiking。

对。当时我觉得那个 Offer 确实很香。

你 Agent 也搞了，多模态也搞了，具身也要搞，没考虑过 AI for Science 吗？

这个确实没考虑过。

另外一个 Buzzword。

AI for Science 这个事我还相对了解。后来我觉得有两波人在做。一波是搞 Science 的人搞 AI。因为我老板 PhD 是 MIT 物理系的，他们很 Solid，解 PDE、解 ODE，用 AI 解这些东西也很有价值。那些价值我不太了解，我可以描述一个应用场景，比如 Wi-Fi 信号覆盖。一个大场景里可能有遮挡，Wi-Fi 怎么布置最好，这确实是一个很好的优化问题。包括流体力学，这些都可以解一些 ODE、PDE，再用 AI 来做。

另外一个方向是最近大家跟 AI 的人一起做的，比如拿 AI 帮助化学做实验。但说回来，AI for 化学还是需要有一个实验工厂，或者能做湿实验，而不是纯干实验。

那不就跟具身线下的那些素材有点像？

我觉得很像，素材也是工厂。所以我觉得你还是需要具身这样的能力，才能做这件事。我不是说 AI for Science 不好，但在我的认知里，要不然是第一波的人在做，要不然第二波可能还稍微早了一点。当然你说夹爪做得比较简单，也可能能行，但我觉得具身做好了也能帮助他们做得更好。

我们总结一下。就从 Agent 开始吧，毕竟你也干过。Agent 当下和未来最重要的一两个点是什么？

Agent 这块，我觉得智力水平完全 OK，可能主要是怎么让大家更好用。其实也就是现在大家主线推进的 GUI、CUA 这块，核心还是一点：怎么让大家用得上。

我感觉 Personal AI 应该就是 Agent 这条线最终的终点了，对吧？都已经是 Personal AI 了，每个人日常都能用起来。

我觉得现在开发的场景还是不够多，比如 Game Agent，现在大家开发得少，还有很多东西可以开发。你问我下一个爆点是什么，我可能想不到，还是得看 Astra 下一波爆点是什么。但我觉得 Agent 这块还是有得玩、还有得做。

纯智力能力提升，我猜很多人会慢慢觉得，Coding 能力已经很强了。每次更新，你感觉“哦，可能强一点，体验好一点”，但已经很难准确说出它到底哪一点更好了，因为大部分情况下它已经能超过 AI 工程师的平均水平。我不觉得有人能自信地说 AI 写代码不好。

所以我觉得更重要的是让它在一些场景里做得更好。未来 Agent 还是会推进各种场景，但场景覆盖得还不够全。

多模态呢？

多模态我悲观地说，图片没什么可做的了，主要就是做视频，以及怎么把视频的可控性和 Harness 交互做得更好。这方面我还挺确定的，未来半年肯定会有更好的交互 Studio 或者 Harness 出现，让更多人能用。

但模型你觉得还是大厂竞争？

据我了解，也没有什么初创公司再重投 Pre-training、自己做 Video Model 吧。这实实在在不现实。视频挺贵的，早年间搞过视频的人肯定爬过 YouTube。现在 YouTube 反爬机制这么难，最开始我在学校做 Video 理解的时候，2024 年底、2025 年初还爬得动，现在怎么爬？根本爬不动，一爬就封号。各个平台的反爬机制都非常完善，都是为了防止别人偷他们的视频。

所以要不就看看那些还没被做出来、视频很多的公司，可能还能做一做；小厂应该做不了。

最后具身呢？

具身玩法不一样。大厂有大厂的玩法，就是做上面那一套；小厂要有壁垒，要有自己的硬件，不然怎么跟大厂做差异化？如果只是训练大模型的话……

硬件是指什么？基本上大家都有自己的本体。

就是说谁的硬件做得更好，谁能把自己的硬件和 System 绑定得更好，就是 Co-design 的逻辑。然后我在上面再套一个 Astra。这可能是我个人认为小厂的核心壁垒。不然就变成制造业了。

小厂的逻辑，我个人觉得是做 Co-design，让自己的产品绑定自己训练的 7B 到 16B 的小模型，把它调得更好，再对接外面的大模型，把这一套跑通，尽快落地。具身估值这么高，想让估值更高，就只能真正落地，真正有场景。

我举个例子，酒店其实是很好的场景。叠被子这件事是真的可以做的，因为酒店的地面是平的，你可以用轮式机器人，而不是双足机器人。酒店是一个既不是纯标准化、也不是非标化的场景。它在某种程度上是固定的，但也会有不同程度的混乱。我觉得这类场景能做。真的要落地的话，可以把成本降下来，替代一部分酒店整理的工作。

具身里面大家一直在讲等待 GPT-3 时刻。你觉得 Astra 算吗？

我觉得确实有点算，它真的挺强。它可能甚至能替代一部分遥操员。假如你的模型在一个场景里的成功率只有 50% 或 60%，而且没有专门训练过这个场景，这种泛化能力已经非常不错了。你让它去操作，出问题时及时让 GPT 接管。

可能有一个 Agent 实时读视频，然后判断：“OK，这个要接管了。”接着把后面的操作 Route 给 GPT，让 GPT 完成后面的操作。那条遥操数据就非常有价值，可以留存下来。你再用这些数据迭代，把自家的 7B、8B 模型成功率从 60 拉到 80，再让它去操作；没有人接管时，它出问题了，再 Route 给一个人。

这样的话，模型本身能做一部分操作，不行就让 GPT 接管；GPT 也接管不了，再让一个遥操员盯十台机器，而不是一个人盯一台，及时接管。这样形成一套比较好的数据管线。随着成功率提高，GPT 调用量会变少，人的负担也会减小。这样 Scaling Up 的逻辑可能才能真的成型。

所以 Astra 甚至能替代一部分遥操员。落地时大部分情况下可能都能成功，实在成功不了，GPT 再上来帮你操作一把，而不是让 GPT 直接操作机械转角。我觉得 GPT 操作机械转角不划算，太慢、太费了。

最后可能是一套大模型管线，叫 Speculative Decoding：小模型先给你 Draft 一遍，大模型只需要 Approve 或者不 Approve。具身里就是小模型先操作，快 Fail 的时候大模型接管。接管数据也叫 Error Recovery，失败了怎么回来，这在数据里非常有价值。数据再回流，形成真正能转起来的管线。

实际上，家用具身很难回流这些数据，不像 GPT，你用一用，它就可以回流数据。Astra 能把 GPT 放进这个 Loop 里，成为非常重要的一环。我觉得这能推进具身落地。

Astra 的具身这一块，你觉得未来会被其他模型蒸馏出来，然后变成开源的吗？

刚才咱们聊的也是一种蒸馏，对吧？它已经在蒸馏了。

但我想的是，这会是一家具身公司或者一家新公司，专门蒸馏一个具身领域的开源模型，还是会被已有的公司，比如 DeepSeek、Kimi 之类的做掉？

我觉得蒸馏分两种。一种叫硬蒸馏，就是让它 Roll 出 Trace，然后拿来用。这就像 Language 里的蒸馏。我觉得具身里蒸不了，成本实在太高，没必要。

第二种是软蒸馏。刚才讲的就是一种蒸馏：你操作一半，机器人可能失败了，然后它接管，生成的 Trace 你还是可以用。这个量小很多，而且它把你带回正常的轨迹或者正常的行为模式里，你自己的模型还能继续操作，相当于只蒸馏这一两步。我觉得这是大家能接受、成本也能覆盖，而且很有价值的数据。

这种软蒸馏我觉得大概率不是大厂在做，是具身厂商在做。具身厂商好布设备，好在现场布这些东西。我认为这是要蒸馏的，或者说刚才咱们讲的逻辑本身就在蒸馏，而且花的钱和带来的收益是能接受的。硬蒸馏是不行的。

所以我最后能不能这么理解：国内具身从 2023 年开始，到现在三年多，故事变了好几波。

变了好几波。

大家估值也都很高，但 Astra 出来以后，大家又拉到同一起跑线了，有好有坏，也解锁了很多新的可做的事情。

有好有坏。

所以未来几年估值和市场会怎么变化，我不知道，但从具身本身的发展和落地来说，会解锁各种新的可能性。

对，我是兴奋的。我认为 Astra 对整个行业是 Game Changer。刚才说它是不是 Game Changer，我觉得是。它让我第一次感觉到：“我靠，这东西真的能落地啊，真的能做啊，泛化能力这么强。”它还都不是 3.5。我觉得这是具身领域非常重要的一个节点。

好，非常感谢。

好。

我们从 Agent 到多模态到具身，基本都过了一遍了。谢谢。

好的。