欢迎收听晚点聊，我是曼琪。今天的嘉宾是刚刚从港科大博士毕业的一位年轻研究者高深远。他从去年开始在英伟达实习，接下来马上会正式加入英伟达的巨深智能实验室 Gear Lab。这次我们聊了深远二零二四年以来一直专注的方向世界模型。前一个多小时我们展开了整个世界模型的图景，它的分类，它是为了解决什么问题，它的现状、瓶颈和未来方向，以及各主要公司的思路。Show Notes 里有一些图示可以帮助理解。后一部分我们聊了 Gear Lab 在世界模型上的一些实践，尤其是去年到今年他们陆续发布的世界模型 DreamDojo，深远也是这个工作的联合一作，以及被认为有可能会取代 VLA 的 DreamZero。我们聊了这些模型的研发历程和具体的创新点，也延展聊了世界模型可能的竞争情况。这期又有非常多的干货，我们一起深度学习吧。
程曼祺
今天非常高兴邀请到一位很年轻的 AI 研究者高深远。深远正好是我们前段时间《巨深季报》里讨论到的一个成果——英伟达去年发布的 DreamDojo 的联合一作。深远，你可以和我们的听友简单打个招呼，做个自我介绍。
高深远
感谢曼祺的邀请。大家好，我是香港科技大学的 PhD，叫高深远，同时也是 NVIDIA GEAR Lab 的成员。我主要的研究兴趣是构造各种各样的世界模型，之前从自动驾驶的世界模型开始做起，也做过游戏世界模型。从去年开始，我更关注机器人世界模型的构建以及它的应用。
程曼祺
这次请深远来聊，是因为世界模型这个话题我很久以来就想自己学习、弄清楚。这个词比较大，我觉得它算是 AI 领域一个典型的 buzzword。你刚刚也提到过很多领域，比如游戏、自动驾驶、具身智能，可能都会提到世界模型。
我们第一部分可以先给大家一个世界模型的整体图景。比如，你自己作为研究这个方向的人，会怎么给世界模型分类？现在好像很多不同的东西都装在“世界模型”这个大概念里。
高深远
这是一个很好的问题。我自己从 2 年前开始做世界模型，今年我感觉这个词尤其受到大家关注。现在有很多不同的团队都在说自己做世界模型，所以我从上往下拆解一下。
在最高层次上，一部分人是有决策背景的。他们做的世界模型，可能就是有一个模型去模拟 world，或者说模拟环境，所以把它叫作世界模型。
但另一部分人，比如有一个模型，它有 world knowledge，也会把它叫作世界模型。现在做基础模型，尤其是多模态大模型的团队，也会说自己在做世界模型。我觉得这也合理：他们有一个模型，能够接收多模态输入、输出，你可以让它回答各种各样的问题。比如你用维基百科上的问题去问它，它基本上都知道，相当于它有 world knowledge，所以也可以说它是世界模型。
但对做决策的人来说，大家更关注的世界模型，可能是这样一种 formulation：它是一个预测未来状态的模型，同时，预测未来状态的过程受到某种条件控制，这个条件通常就是 action。
简单来说，它会根据过去的历史预测未来，而预测出的未来，是由你要执行的 action 决定的。
在这个方面，可能还要分几个派别。世界模型这个词之所以热门，我感觉主要是因为视频生成技术的发展，最有代表性的就是 Sora。Sora 发布的时候有一篇 blog，标题叫“Video generation models as world simulators”。
你可以这样理解：它有一个模型，你可以用不同的文本去控制它，而这个文本也可以理解为一种 action，是对世界的编辑或者干预。根据不同的文本干预，它会得到未来的一个画面或者一段视频。
假如你给它的是现实世界的场景，它生成的画面也比较真实，符合物理规律，所以说它是一个世界模拟器，我觉得没有问题。很多做 video generation 的团队会说自己在做世界模型，我觉得这也 make sense，它能够自圆其说。
但如果真正要对决策有用，光在文本层面去控制未来是不够的。文本可能用于编辑，也可能用于用户交互，但真正做决策时，机器人输出的是 action，游戏里的角色输出的也是一些动作或技能。自动驾驶则输出自车轨迹。
所以，一个对决策有用的视觉世界模型，应该接收 action 轨迹作为输入。
程曼祺
我想先补充问一下。你刚才说的 action，有几种不同的东西都可能被算作 action：比如给它一个文本指令，或者给它一条车的轨迹，再或者是机器人的一个动作。
如果更详细地解释，从 AI 或者计算机科学的角度来说，action 应该怎么描述？
高深远
Action 就是对世界的一种干预。比如你看到一个世界状态，它可以是一幅画面，也可以是其他形式的表示。把这个 action 输入进去之后，它会对世界产生一些影响，我感觉这些都可以是 action。
比如你用文本告诉它：“天上有一只鸟飞过来。”这也是一种 action。
程曼祺
但这个动作的主体是什么？在你刚刚说的几种情形里，主体好像不一样。
如果是车和机器人，我理解它就在那个世界里，是这个世界里的一个主体。但像视频生成模型，如果把文本也算作一个 action，这个动作并不是视频里的某个主体做出的动作，而是用户在控制视频接下来怎么样，有点像上帝视角。
这两种需要区分吗？还是说它们都可以算 action？
高深远
这个问题其实已经非常深了。一般在构建决策智能体时，通常只关心自身。比如讨论具身智能时，一般只关心自己的 action，因为一个 policy 就是一个具身本体，它很难凭自己的意志去改变其他人。
但对世界模型来说，它其实可以接受对其他 agent 的编辑，比如控制其他 agent 的 action。视频生成里，它编辑的是环境。
我觉得做一个通用智能体，首先应该是对外界无法直接操控的。能够操控外界，通常是因为你在做游戏，或者处于某种特殊环境里。像我们人生活在现实世界中，能控制的其实只有自己的 action。
所以，对具身智能来说，一个最有用的世界模型，应该从自身 action 出发，只接受自身的 action。但假如你能够控制第三方的事情，也有一些好处。
比如自动驾驶世界模型、游戏世界模型，假如你能控制其他东西，就可以构造一些比较奇怪的 case。最终，多智能体的世界模型，或者能够控制环境的世界模型，也会有用。
不过对于通用具身智能体来说，目前直接的意义还没有那么大。
程曼祺
这个算是有点扯远了，但你说的让我想到一个更未来的情况。现在讨论具身智能，更多还是一个单独的机器人到了一个新环境之后，能不能适应环境、完成比较复杂的任务。
但如果未来真的像马斯克说的，世界上有 100 亿台机器人，机器人之间又和人不一样，它们可以直接联网、直接通信，那么它们之间怎么交互，就会变成一个更复杂的世界系统。
高深远
你说的这个点很好。现在不是有车联网吗？我之前也研究过一段时间多智能体的感知。
机器人、车、游戏智能体和人不一样的地方，是它们可以通信。未来从安全或者决策质量的角度考虑，能够通信肯定更好，这是它们可以超越人的一点。
所以长远来看，多智能体世界模型确实更有必要。
但从通用性的角度来说，你不能假设把机器人部署到任何环境里，它都能直接和其他 agent 通信。所以从通用性的角度来说，自身的世界模型还是最通用的，就像人一样。
程曼祺
当年自动驾驶里，大家最关注的路线之争，后来最明显的当然是 Waymo 和特斯拉之间的路线之争。但更早的时候，中国其实也有一个车联网的风口。
当时有很多创业项目，会在路边的灯柱上装很多激光雷达。这样就可以通过环境给车一些信号，不是完全靠车自己适应环境，而是环境也给车提供帮助。
但后来最主流的，确实还是发展单独一辆车本身的能力。
高深远
国内在基础设施方面有优势。当时车联网、V2X 确实很火，现在可能也还在推进。
所以我觉得它可能有一个先后关系。从通用性的角度来说，还是先开发自身的能力比较好。
程曼祺
那我们继续说世界模型的分类。你刚才提到还可以按派别分，可以继续说。
高深远
按派别来说，我感觉根据表征来分类会比较明显。
世界模型有几个要素：一个是 action，一个是 condition，还有它要预测的东西，也就是世界状态。世界状态又可以有多种表征。
最抽象的，可能是用几何表示来表示物体的状态，或者用点、图来表示物体的结构。它的好处是把世界表示得非常简单，可以高效地进行模拟，因为只需要做一些矩阵乘法就可以了，可能也不需要很多数据去学习这种表征。
但问题是，它的泛化性不会那么好。比如不同物体，柔性物体或者其他物体，可能需要专门定义一种粒子表征。
除此之外，可能是显式的 3D 表征。比较有代表性的，比如李飞飞老师的 World Labs，就是把世界重建成 3D 表示。无论是点云、高斯 Splatting，还是 occupancy，可能它们不一定用，但自动驾驶里用得会比较多。
相当于你把世界重建出来，每个物体的位置、坐标都知道。有了 3D 表示之后，你可以很好地操控物体，对它进行移动，做空间位置上的编辑，都会非常容易。
它的一致性也会非常好，因为你已经把世界重建出来了。在这个世界里绕来绕去，绝对坐标还是那个坐标，不会因为生成过程出现遗忘，或者出现长程误差累积的问题。
但它的坏处是有一个显式重建的步骤。我们最终使用的还是观测，是基于观测做决策，所以这种 3D 表示最终用于观测时，还需要渲染。
也就是说，它先把世界重建成显式的 3D 表征，再把 3D 表征渲染成我们能看到的 2D 视频或画面。这个多阶段的步骤，导致它可能没法很好地做 data-driven。
首先，它需要 3D 标注才能学习这些表征；另外，它不是端到端优化的，所以仍然受数据瓶颈限制。
还有一种是 Yann LeCun 比较推的隐空间表征，比较有代表性的是 JEPA。它主打的是不需要显式的 3D 表征，也可能不是用粒子来表示，更不是用视频作为表征，而是学习一个表征空间。
这个表征空间会比视频更加紧致，也更容易预测，需要的计算量更少，同时包含一些高层语义信息，和决策更加直接相关。
我觉得这也合理。LeCun 很喜欢举一个例子：比如你在街上走的时候，不可能精准预测每个行人的脸，因为你根本不认识他们。预测每个人的脸，对你的决策来说也没有什么用，你只需要知道那里大概有一个人就可以了。
包括你到一个新的房间里，也不可能一下子预测出房间的所有信息和所有物体的位置。你只需要知道大概的布局，就已经足够做决策了。
所以，他想把所有和决策相关的信息压缩到一个隐空间，在这个隐空间上做世界模型预测，我觉得也有好处。
但不方便的地方是，你首先要构建这样一个隐空间，而且这个隐空间还需要和其他决策模型连接起来才能用。所以怎么衡量、怎么评测、怎么使用它，都会带来更多阻碍。
我自己比较相信的是纯视频预测，也就是用视频作为世界模型的表征空间。视频进、视频出，最终看到的也是视频，而且它是端到端的，可以直接用互联网上的视频作为数据训练。
从本质上来说，预测视频也不一定要求把每个精准像素都预测出来，它只是作为一种监督。我们已经看到，现在像 coding agent 和 LLM，它们的预测能力肯定比人强。
所以，LeCun 的担忧可能是，人做决策时没法把每个像素都预测出来，但现在的模型，尤其是视频模型，有能力预测这些细节。而且这些细节预测也是一种采样，不是确定性的，所以并不会损害模型的决策能力。
其实这并不冲突。以重建为目标去预训练世界模型，和决策有用性、效率之间，也不是完全冲突的。
简单来说，最抽象的是用粒子表示，用显式 3D 表示，或者用隐空间表示。现在最 data-driven、我个人认为最有 promise 的，是用视觉，也就是视频画面来表示 world state。
我感觉这样可以分成 4 个主要的世界模型派别。大家共同的目的，都是用 action 控制预测，然后去做决策。
程曼祺
你自己最相信的方向，包括你们做的 DreamDojo，是不是就是这种视频方向？Google 的 Genie 系列应该也是吧？
高深远
是的。基于视频的模型，可以用一种很好的数据驱动方式把规模做大。
现在从视频出发，本身就已经对世界有很好的理解。通往 AGI，包括通往具身智能，思路肯定是从数据非常丰富的领域开始，再往数据稀缺的领域做对齐。
目前最有代表性的两个数据丰富的空间，一个是语言空间，一个是视频空间。机器人的数据有 action data，相比视频来说是比较稀缺的领域。
所以，从视频开始接入 action，再去做机器人的世界模型，是比较合理的。
假如要构造一个新的表征空间，再去做世界模型，可能就没有那么 make sense。它可能有效率上的优势，但很难和现在的语言、视频基础模型直接接起来，也很难直接利用它们很强的泛化能力。
程曼祺
前面提到李飞飞老师的 World Labs 做 Marble，这种方式的一个劣势是它不是端到端的。
我想补充问一下，LeCun 他们做的 JEPA 是端到端的吗？构建一个隐空间，是不是也可以做端到端训练？
高深远
它可能是端到端的，具体技术细节肯定大家都不知道。但从他们之前的研究脉络来看，我觉得它是端到端的。
他们的问题是要切换到一个新的隐空间，而这个隐空间不是现在所有模型能够直接读懂的。比如 GPT、Gemini 这些模型读不懂，Sora 或者其他视频模型也读不懂。
这是我个人的观点：假如他们构造一个新的隐空间，想利用其他基础模型的能力，就需要把其他基础模型再对齐到这个新的隐空间上。
但目前来看，语言和视频这两个表征已经足够支持通往 AGI。新的隐空间当然可能更高效、更适合决策，但问题在于它构造出来之后，语言模型接不上，视频模型也接不上，基本上是这样一个情况。
程曼祺
所以你觉得它至少有一个可以看见的限制，就是不能很好地受益于整个行业现有的技术进展。当然，我感觉它也有希望，可能会有一个更高效、更适合决策的空间。
高深远
对，问题就在于这个空间构造出来之后，比如它预测出一个隐空间，你直接给语言模型看，语言模型接不上；给视频模型看，视频模型也接不上。
程曼祺
那在英伟达的 GEAR Lab，你们是大家都比较看好视频生成实现世界模型这个方向，还是也有很多不同的方向，研究员根据自己的兴趣来做？
高深远
首先应该是看大家的兴趣，各种有希望的路线我们都会尝试。
从我的角度来看，视频首先是一个数据非常丰富的模态，和文本一样，有很强的 scalability。另外，从现在的技术，包括计算和芯片优化来看，视觉预测并不是一个以前大家认为会非常慢的问题，它的效率也会得到解决。
隐空间也有优势，会更加高效。对机器人来说，尤其是要部署在真机上，效率也是一个很大的关注点。
但不管怎么样，学习隐空间还是在视频空间里学习，它的数据来源肯定还是视频。你构造隐空间，也是从视频数据中学习出来的，一切来源都是视频。
程曼祺
你提到 2、3 年前就开始研究世界模型，明显感觉到从去年到今年这个领域变得更火了。你觉得这是为什么？大家看到世界模型的价值是什么？
高深远
可能有多方面因素，最大的因素是生成模型的发展。
尤其是 Sora。现在的视频生成模型有很强的生成能力，有了这个能力之后，大家发现视频从一开始什么都模拟不了，到现在已经有可能模拟出非常高质量、非常逼真的物理规律，这是大家开始关注世界模型的一个方面。
另一方面是数据，尤其是具身智能这几年火起来之后，有很多数据供应商和开源数据集。
以前做具身智能，大家可能更关注训练一个决策模型。决策模型模仿专家轨迹，就可以得到一个 policy。
但世界模型的目的是做世界模拟器，所以更加吃数据。它不仅需要专家轨迹数据，还需要差的轨迹数据。世界模型需要这些数据，才能得到一个没有偏好、没有 bias 的 action 模拟。
所以，在数据不够的情况下，得到一个 policy 是比较合理的，但构造一个有效的世界模型，就得不到有效反馈。
第三点是这几年 policy 逐步发展，已经达到了一定水平。
以前大家训练的是非常简单的 policy，在实验室里做一些简单任务，这时候其实用不着世界模型。世界模型是为了帮助 policy 泛化，无论是场景泛化，还是 task、action 的泛化。
但 policy 水平还比较低的时候，世界模型很难用起来。首先，世界模型没有很多数据，无法得到一个比较公正的 action 模拟。
程曼祺
这里的 policy 是指什么？
高深远
比如 VLA 就是一种 policy。
世界模型和 policy 的关系是这样的：世界模型以 action 为输入，给它过去的 state，然后预测未来的世界状态。Policy 可以和世界模型互相交互。
世界模型把预测的状态给 policy，policy 再做 action。这个 action 给到世界模型，世界模型模拟出下一个时刻的观测。下一个时刻的观测再给 policy，policy 再输出下一个时刻的 action。
Policy 的输出是世界模型的输入，世界模型的输出是 policy 下一时刻的输入。
程曼祺
所以 policy 是一个模型？
高深远
可以这么理解。Policy 可以是各种各样的模型。
程曼祺
那世界模型要部署到具身机器人上吗？
高深远
可以部署到机器人上，也可以部署在云端。
程曼祺
部署到云端，再把状态传给它？
高深远
对。
程曼祺
所以世界模型在大小上的限制比 policy 更宽泛，对吧？比如 VLA 要尽量做得小一点，因为要跑在端侧，而世界模型既可以在端侧，也可以在云端。
高深远
VLA 也可以部署到云端，主要还是看部署环境。假如网络很好，就可以全部放在云端。
Policy 达到一定水平之后，输出的 action 就不会那么乱了。假如输出的 action 没那么乱，世界模型需要模拟的 action 就会处在一个比较窄的分布里。
对世界模型来说，需要模拟的分布更窄，就更容易模拟，也更容易提供可靠反馈，因而具备优化 policy 的条件。
总的来说，尤其是视频生成技术、视频数据和不同分布的 action 数据，再加上 policy 达到一定水平后，它输出的 action 分布变得可控，这时候世界模型介入就是一个比较好的时间点。
程曼祺
说到这里，我正好补充问一个之前可能没搞清楚的问题。
这次 GEAR Lab 发布 DreamDojo、DreamZero 之后，国内有很多文章会写，你们提出了一个新的范式，叫世界动作模型 WAM，大家会拿它和 VLA 做对比。它们俩是对等的吗？WAM 是一个策略，还是一个世界模型？
高深远
这个可以做一个分类。我们做了 DreamDojo 和 DreamZero 两个工作，可以简单地说它们都是世界模型，但功能上有些不一样。
WAM 输入的是文本。你把当前的任务告诉它，它会预测未来的视频以及未来的 action。WAM 的意思是 World Action Model，也就是 World 加 Action。
严格来说，WAM 不是一个 world simulator，它其实是一个 policy，功能定位和 VLA 一样。
但它和 VLA 的不同之处，是它不仅输出 action，还会输出未来的 world state，所以也可以起到世界模型的作用。
最开始我们说过，世界模型的 action 表征也可以是多模态的，可以是机器人轨迹，也可以是自动驾驶汽车的轨迹，也可以是一段文本。
文本就是 instruction。人做决策时有很多 action space。比如一开始做规划时，你想的肯定不是最终手怎么动，而是先拿起这个东西、举起这个东西、再放下，这其实是高层规划，可以在文本空间完成。
所以，假如把文本也当作一种 action，那么 WAM 就是一个 world model。它接收文本形式的 action，模拟文本 action 对应的未来世界状态。
从这个意义上说，WAM 也是世界模型。不过它输出的世界状态是用视频表达的，同时输出机器人的轨迹和动作。
它其实是一个组合词：WAM 既是 World Action Model，又包含 action。它输出未来状态，也就是视频，同时输出 action。
相比普通的 world model，它多了 action 预测功能，而且输入的 action 是文本空间；相比 VLA，它多了视频预测功能。
它既具备高层 action planning 下 world model 的功能，也具备 VLA 的功能。不过平时我们会把它当作 policy 使用。
程曼祺
所以它有点合二为一的意思？
高深远
对。
程曼祺
你说平时把它作为 policy 使用。如果把它放到机器人上，它自己已经输出了一个多模态的世界状态，还需要另外用一个世界模型给它状态吗？
高深远
如果把它作为策略使用，你完全理解了。
WAM 可以作为 policy 使用。你可以把它的 action 接给 DreamDojo，或者其他大家通常意义上的 world model。
World model 相当于你给它 action，它把未来状态给你。有了这个功能之后，你在执行 action 之前，不需要和真实世界交互，就能得到不同 action 的后果。
原本没有世界模型，必须在现实生活中做出动作，才能知道后果。有了世界模型，它可以替代真实世界，模拟各种 action 带来的后果，在真正执行之前就得到结果。
好处是，在真正执行之前，可以先做一次搜索。人脑中可能也在发生这个过程，只是非常快，几乎感觉不到。
比如做步骤规划时，可以先用 DreamZero 这个 world action model 做步骤搜索。每个文本步骤都会告诉你未来的状态，然后你可以选择哪一个步骤最有可能让你完成任务。
确定子任务之后，同时也得到了 action 轨迹。这个 action 轨迹还可能有优化空间，比如接近物体的速度、抓取物体的角度和力度。
这些低层 action，可以再给 DreamDojo，或者其他更偏决策意义上的世界模型。它输入的是真实机器人轨迹，输出的是 world state，然后可以继续用它做优化和搜索，最终做出决策。
程曼祺
我刚才想追问的也是这个。
你前面讲到，视频生成模型的发展、数据，以及策略变得更复杂，这些因素带来了最近两年世界模型进展加快、做的人更多。
但长期来看，大家很早就觉得世界模型有价值。你刚刚其实也说了，它是一个仿生的思路，模仿人或者动物在环境中的反应方式。提前做预测，会更高效，也会让它真正具备自主泛化能力，对吗？
高深远
对，会更泛化，也更安全。
人其实可以闭着眼睛想一想我要做什么，也能想象做完之后会变成什么样子。没有世界模型，所有决策都是先不管后果，反正做了再说。
有了世界模型，就可以在做之前知道后果，让决策更加安全。
这其实只是最基本的功能。还有很多其他功能，比如可以用世界模型做评测。
现在具身智能最大的一个问题就是评测很难，而且不公平。难在每次都要真机部署，还要有人看着。那个人下班之后，就没法继续测模型了，因为它受物理限制。
另外，假如模型很差，测出来它把盘子打碎了，盘子就真的碎在那里了。
还有不公平的问题。大家只能在自己的房间里测试，无法把场景完全摆到一样的位置。上午测一个模型，下午测另一个模型，光照可能不一样，物体的位置也不一样。机器人稍微动一下，传感器可能就不准了，校准也可能不准。
所以，所有比较永远都是不公平的。
没有世界模型之前，评测一个是不高效，另一个是不公平。有了世界模型之后，可以在世界模型里做评测。世界模型代表的是世界，policy 和世界模型交互，就能知道 policy 的表现。
另外，世界模型很容易把场景重置到完全一样的状态。只要把状态保存到电脑上，就能够一模一样地重置，比较也完全公平。
程曼祺
相当于拿算力换高效性和公平性。
高深远
对。
另外，还可以用世界模型生成数据。
比如有一个世界模型，像 DreamDojo 这样把世界模型做到实时之后，就可以直接遥操世界模型里的机器人。
以前采集数据，是遥控一台真实机器人，把机器人 action 录下来，才能得到训练轨迹去训练 policy。
但假如有一个世界模型，里面有一个机器人，虽然是假的、跑在虚拟环境里，只需要遥操这个世界模型里的机器人，就能得到数据。
程曼祺
这个遥操过程中间还是要带传感器吗？
高深远
对，设备可能还是需要的。原本怎么遥操机器人，就怎么遥操，只是不需要真的有那台机器人了，这是节省成本的地方。
程曼祺
如果是同样的遥操设备，当然我觉得设备肯定也可以简化。最完整的遥操设备，可能手臂的构型都要和机器人同构，但现在已经有很多简化到手套的设备了。
高深远
对。随着硬件发展，遥操设备也会越来越简单。当硬件和人的形态越来越像，设备就会更方便。
另外，现在 policy 进一步提升后，可能需要一些干预数据。假如有一个 policy、一个世界模型和遥操设备，就可以对运行在世界模型里的 policy 进行干预，得到纠正后的轨迹，提升 policy。
世界模型非常 promising。除了 policy 评测、数据生成，以及部署时做想象式搜索，还可以做强化学习。
世界模型相当于一个虚拟世界，在虚拟世界里失败是非常安全的，可以用来做自我进化。
像 QQ 农场这种，就是相当于它在一个世界模型里跑；你晚上睡觉，它晚上也过了一天，东西都长出来了。世界模型也可以这样运行。现在机器人没法像大语言模型或者 AlphaGo 那样进化，最大的问题是受物理时间限制，一天只有 24 小时，人还要上下班。
但假如有世界模型，就可以在里面跑仿真、跑强化学习，突破物理时间限制。算力越快，每天迭代的轮数越多；卡越多，可以构造的环境也越多。
假如世界模型和现实世界之间没有 gap，就可以在集群上跑一个月，可能会涌现出一些东西。当然现在还远远没有到那个阶段，但我觉得这是未来一个比较 promising 的方向。
程曼祺
哈萨比斯之前上 Google 的官方博客时讲过，他觉得世界模型，比如 Genie 系列，以及配合的智能体 SIMA，特别有前景的应用是：在模拟世界里做实验，进行科学发现。
他觉得这可以大大加速可控核聚变之类的、大家认为很难的科研成果。
但这里也有一个问题，我之前和别人讨论过，是一个鸡生蛋、蛋生鸡的问题。
如果世界模型能达到你刚才说的那种程度，我感觉 AGI 可能都已经实现了。可能要先有 AGI，才能模拟一个非常像现实世界的世界。
如果能达到这个水平，按理说具身智能应该在那之前就实现了吧？
高深远
你问的这两个问题都非常好。
首先，哈萨比斯的那套想法，我是很相信的，和我现在的想法非常像。他有一个基于视频空间的世界模型，还有一个通用智能体 SIMA。SIMA 也类似于 VLM 的架构，两个可以合成一个自我进化的 loop。
第二个问题是，我刚刚说现在还远远没有达到那个阶段，但并不意味着必须达到那个阶段，才能构造这个循环。它是一个循环上升的过程。
现在的情况是，世界模型可能还没法和通用 agent 完美连接，因为它们各自的泛化能力还不够。
现在这个循环里有 3 个部分。一个是通用的 agent，另一个是 policy，第三个是世界模型。
通用 agent 的作用，是定义 agent 现在要做什么 task，以及世界模型预测出来之后，评判各种 world state 是不是好。像 Gemini 这样的基础模型，其实已经达到了一定水平。
你把任务告诉这个 agent 之后，agent 可以做 action。这个 action 给世界模型，世界模型想象未来，再给通用 agent 去评测。这个 loop 转起来之后，就可以实现自进化。
现在的问题是，这 3 个模型之间的泛化能力会导致级联误差。
通用 agent 没有足够好的泛化能力，无法提供很好的 reward 反馈；policy 没有足够的泛化能力，无法在各种场景下可靠地预测或者提议 action；世界模型也没法在各种环境下都预测出非常逼真的未来。
但已经看到一些迹象，大家都在往泛化性方向推进。所以到未来某个时间点，我觉得可能就发生在今年。
一旦这个循环连接起来，误差累计达到一个可接受的程度，policy 就会开始提升，整个循环会变得越来越简单。
policy 变好之后，对各种场景都有更好的决策能力和泛化能力，也就意味着它可以自动在新的场景里采集数据。
以前很难采集更多数据，是因为把 policy 放到新房间里，它会乱动，把东西打坏，甚至把自己的机械臂打坏。
但 policy 一旦达到一定水平，就可以在新环境里自己采集数据。数据可能比较差，但没有关系，它已经能在一个可接受的范围内活动。
这些数据可以给世界模型，让世界模型有更多数据去学习物理规律，以及 action 的控制能力。
世界模型最关键的两点，就是对物理的模拟和 action 控制能力。这两点直接决定它能不能预测出一个好的未来，以及这个未来能不能提供精准反馈。
总的来说，policy 自动采集更多数据之后，世界模型有更多数据提升这两点；这两点又可以通过强化学习提升 policy。
前面也说过，policy 越强，输出的 action 分布就越窄，动作也越来越合理。拿杯子就是拿杯子，做什么就是做什么，不会输出完全抖动、不合理的动作。
这对世界模型是一个很好的趋势。action distribution 越窄，世界模型需要模拟的 distribution 也越窄。
原本世界模型需要模拟各种不合理的 action，才能得到好的 feedback；现在它只要聚焦 policy 可能输出的动作空间就够了。
所以对世界模型来说，压力会越来越小，模拟能力也更容易学。学得更好之后，它提供的 feedback 更准，对 policy 优化也更有利。
policy 又会变强，输出的 action 更合理，几乎不会做错动作。最终，世界模型只需要纠正 policy，或者模拟 policy 少量的错误，就能提供比较好的 feedback。
总的来说，现在还没法完全连起来，是因为大家的误差在累计，泛化能力还不够，导致只能在一些简单任务上运行。
但一旦这个循环连接起来，整个循环会越来越简单、越来越自动，形成一个飞速上升的过程。
程曼祺
你刚刚描述的是一个由 policy、世界模型和通用 agent 组成的循环。3 个要素泛化到一定程度、循环跑通之后，就会进入更快的自进化过程。
你还说觉得二六年某个时间点会发生。现在已经 4 月了，你们是看到什么迹象了吗？如果今年真的发生了，会怎么样？我感觉 AI 的发展速度会越来越无法控制。
高深远
现在在一些简单任务上，至少我觉得已经有信心把它连接起来。
首先，简单任务可以直接解决。policy 越来越强之后，也可以在更多任务上自动收集数据。
这也是我不觉得一定要构造新表征空间的原因。现在智能 agent 基于 VLM，世界模型基于视频，policy 比如 DreamZero，也基于视频 backbone，具有很好的泛化能力。
只要这 3 个组件都从数据丰富的表征出发，就很容易连接起来。
智能 agent 和 policy 的交互是语言，policy 和世界模型的交互是 action，世界模型和智能 agent 的交互是视频。这 3 种都是相对数据丰富的模态。
提升这 3 个模态的泛化能力，就可以很好地利用现有基础模型的能力，所以我觉得很 promising。
程曼祺
Google 现在就有你刚才说的那个循环：世界模型是 Genie，agent 是 SIMA。
如果在英伟达对应一下这个 loop 的 3 个要素，你能不能讲几个公开发布的成果？
高深远
英伟达主要是 Cosmos 那边负责做基础模型，包括视频基础模型。他们的模型可能没有那么直接面向决策，主要是先做视频 foundation model，还需要通过 post-training 得到 action 的输入输出。
程曼祺
Cosmos 相当于 Google 的 Gemini？
高深远
对。
Google DeepMind 的研究风格其实很明显，他们喜欢从游戏出发。Genie 3 其实也是键盘控制。理论上这套 pipeline 可以用到机器人上，但 DeepMind 的风格是先从游戏开始验证。
我觉得这也合理。游戏数据可以无限生成，而机器人数据在生成阶段受物理时间限制。游戏数据从生成阶段就不受物理时间限制，验证起来也更方便。
程曼祺
我正想问，DreamDojo 相当于 SIMA 吗？
高深远
DreamDojo 相当于 Genie，SIMA 相当于一个 policy。
SIMA 控制的是游戏里的 agent，而我们的 policy 是物理世界的 policy，比如 VLA 或者 DreamZero，控制的是机器人。
在具身智能语境里，DreamDojo 是世界模型，DreamZero 是策略。机器人可以理解成 agent，起到连接整个循环的作用。
这个 agent 有点像 Gemini 这样的 VLM。它输出文本，或者给 world state 打分。假如 world state 是视频，就可以直接用现有的基础模型来做。
程曼祺
这样对应起来就更清楚了。它相当于人脑里的想法：做一件事情之前，肯定有一个比较高层次的规划。
高深远
对。
程曼祺
现在整个世界模型探索中，比较大的瓶颈是什么？大家都想突破哪些问题？
高深远
问题很多，毕竟还是非常早期的阶段。
我觉得现在最值得做的是 3 个方向。第一个是泛化能力，第二个是长程稳定性，第三个是效率。
和 3D 世界模型相比，生成式世界模型交互多轮之后会有误差累积。第三点是效率。
后两点我感觉还好，但第一点泛化性最重要，决定了世界模型能够应用的上限。
泛化性又包含两个方面：一个是物理理解的泛化性，另一个是动作控制精准性的泛化性。
物理理解的泛化性比较好解释，就是遇到一个新的场景、新的任务、新的物体，怎么依旧能够模拟它。这也是 DreamDojo 主要在解决的问题。
现在机器人数据基本都是在实验室里采集的，可能只见过实验室里买的玩具。假如给它一个新的抹布，或者让它倒水瓶，如果机器人数据里没有这种数据，世界模型就不知道水或者纸质物体是什么，它的物理理解就会很差。
物理模拟很差，预测出来的世界就没有意义。它把抹布当成实体一样抓，模拟得越差，就越难得到好的反馈。
所以，我们希望世界模型能够模拟机器人数据里没有覆盖的场景和物体。假如它能模拟这些场景和物体，就能在这些场景和物体下给 policy 反馈，policy 也能在这些场景和物体下得到进步。
否则，policy 只能在见过的物体和场景下接收世界模型反馈，还是没有提升泛化能力。
另一个是 action 的泛化能力。前两年大家都在研究 policy，所以积累的数据都是专家数据。
这对 policy 来说是合理的：你应该给 policy 专家数据，让它做正确的事情。但世界模型是世界模拟器，它不应该对动作有偏好。
它也要学习失败的情况。你给它一个抖的动作，它就应该抖；给它一个丝滑的动作，它就应该丝滑。
现在数据都是专家数据，所以世界模型见到的训练数据也主要是专家数据，没法泛化到差的 action。
比如抓东西时抓偏了，但它没见过抓偏的数据，所以无论你输入什么，它都生成抓对的结果。这样就得不到反馈：无论抓偏还是抓对，世界模型都生成抓对。
程曼祺
所以它也得学那些失败的情况。
高深远
对。不过这不一定是最终的瓶颈，因为 policy 已经达到一定水平，具备自动采集数据的能力。
可以让 policy 自动做一些事情，采集它可能输出的动作。世界模型不需要模拟整个动作空间，只需要模拟 policy 可能输出的动作空间。
policy 越好，这个空间越窄。最终 policy 很强时，世界模型接收到的可能几乎都是专家数据，模拟也会越来越简单。
现阶段要和 policy 接上，因为 policy 还比较差，所以世界模型应该无偏地模拟各种不同 action。
DreamDojo 使用人类数据，人类数据里有很多随意的动作，包含更大的 action 分布。通过人类数据，可以让世界模型见过更多 action，在模拟失败 action 时控制得更精准。
总的来说，控制力的泛化和物理模拟的泛化，都能让模型的预测，以及预测和输入 action 之间的对应关系更加精准。反馈更精准之后，也能更好地提升 policy。
程曼祺
你说的 3 个方向里，泛化我理解是靠前面说的那个循环。如果循环接起来，policy 和世界模型都能提升。
但你后面还提到长程任务和效率。这两个在优先级上是在泛化后面，还是它们也需要专门解决？
高深远
这两点和现在视频生成的需求是对齐的。视频生成现在开始要生成电影，大家也会解决误差累积和效率问题。
所以这两点不是限制 policy 提升的主要瓶颈。
不过长程也很重要。现在大家关注的可能是短程任务，比如 1.5 秒的瞬时决策，让世界模型模拟一下就给反馈。
但最终通用机器人要做的，都是长程任务。假如世界模型能够进行长程模拟，并且具备记忆功能，就会帮助长程 policy 的训练。
现在可能还没有到那个阶段。
程曼祺
可以举一个长程任务的典型例子吗？
高深远
可以。长程包括长程稳定性和长程记忆。
比如把一个东西放进柜子里，关上柜门，过一会儿再拿出来。假如没有记忆，关上之后就完全忘了这个东西在房间里的哪里，或者再打开门时，那个东西就不在了。
现在的世界模型，包括 Dreamer，没有这种长程记忆。把一个东西放进柜子里，让世界模型生成，再把柜门关上，之后打开时那个东西在不在，完全可能是随机猜的。
这对 policy 决策是很灾难的，因为它得不到可靠的世界预测，也就得不到可靠反馈，得到的都是随机信号。
程曼祺
很多人认为，未来家庭服务会是具身智能最大的场景之一。
如果机器人真的像人类管家一样，知道家里的某个碗，比如给小孩用的碗放在柜子里的什么地方，而且一直知道它在哪里，这种能力还要多远？
比如拆快递时要用某把剪刀，剪食物时可能又是另一把剪刀，它们放在不同的地方。对我们来说，虽然偶尔会忘，但大概都知道在哪里，也能找到。
这种跨越很长时间的记忆，机器人什么时候能掌握？还是说不需要靠机器人自己的记忆，而是把家里的很多信息交给一个系统？
高深远
这可能是具身研究目前没有那么关注的地方，因为它和大模型的技术是共通的，比如 Gemini 或 Claude。
首先，这种事情在文本空间做可能更合理，不需要用视频。视频冗余度特别高，记这些东西会很复杂。对于抽象的位置或者大概的位置，用文本，或者构造一个大语言模型，会更合适。
现在大语言模型的 context 也很长，所以我感觉这不是一个很大的问题。
具身智能更关注的是，在具体做一个任务时，已经确定任务是什么，怎么把它变成成功率很高的 action。这是做 robotics 的人现在更加关注的事情。
程曼祺
除了你说的 3 个方向，我还有一个比较好奇的问题：世界模型现在怎么测评？这个领域有没有比较公认的 benchmark？
前面说到世界模型的一个价值，是用来评测具身智能模型。那另一方面，怎么评测世界模型？
高深远
这是世界模型最大的痛点。读论文会发现，每篇论文都自己做一个 benchmark，比较的也只有少数几个模型。
最主要的问题是，世界模型没法 zero-shot。世界模型的输入是 action，受 action 控制去预测未来 state。这个 action 肯定和使用的机器人绑定。
比如宇树机器人的自由度是多少，星海图机器人的自由度是多少，都不一样。所以一个视觉模型通常就对应一个机器人本体。
大语言模型、视频生成模型能够有公开 benchmark，很好比较，是因为它们都是 zero-shot，而且输入输出空间天然统一。
语言模型输入输出都是语言，没有 gap。把任何语言模型拿过来问问题，它输出的都是语言。
视频生成模型也是用文本输入，输出视频，输入输出天然统一。
但机器人不一样，大家使用不同机器人、不同 action space。要有公平 benchmark，要么有一个世界模型，能够 zero-shot 支持很多机器人，把不同机器人的 action space 接进来；要么所有研究团队都收敛到同一个机器人上。
不过到了前一种阶段，世界模型已经非常强了。
现在为了比较，大家会把不同世界模型训练成适配自己机器人本体的 action space，再做评测。
这和大语言模型的问题不同。评测大语言模型，直接调用 API 就可以测，可以测一个很大的表。但评测世界模型，必须拿其他团队的世界模型过来，自己再训练一遍，代价很高，所以只能比较有限的模型和有限的 benchmark。
程曼祺
那业界具体怎么评估？如果大家都在做机器人决策世界模型，就没有一个直接评估了。指标上也没法直接看，基本上都是拿过来自己试一下？
高深远
一个问题是 action space 不同，另一个问题是观测也不同。
即使大家都用宇树机器人，action space 一样，训练出的世界模型也可能不一样。有人把相机装在这里，有人把宇树的头拆掉，在脖子上装一个相机。相机位置不同，也会影响世界模型的 zero-shot 能力。
程曼祺
这也让我想到一个问题：世界模型领域的创业，对投资人来说可能更难判断。
哪怕是做研究的人，也比较难判断别人做得怎么样，更不用说不是专门做这个领域的人了。
高深远
现在还是比较早期，只能试有限的一些模型，大概判断哪些团队做得比较好。
程曼祺
那你可以讲讲业界认为做得比较好的团队吗？说说你自己的感觉。
高深远
学界有很多团队在做。因为这是比较早期的阶段，还有很多研究问题可以让高校去做。
大厂里比较旗帜鲜明地做世界模型的，首先是 NVIDIA。另一个是 LeCun 的 AMI，他们做隐空间世界模型，主要也是为了决策，但现阶段更像是在做一种新的表征。
李飞飞老师的 World Labs 可能更多是为了做游戏。用显式 3D 表征做游戏有优势，做自动驾驶可能也有优势，但对机器人来说，视频可能更好。
还有一个我关注很多的是英国自动驾驶公司 Wayve。他们做了一系列叫 Gaia 的世界模型。
还有一个大佬叫 Ansoni Hu 好像，他加入了一个叫 General Intuition 的 startup，他们也是做游戏世界模型。
他们的思路是，疫情期间大家都在家玩游戏，积累了很多游戏数据。游戏可以突破物理时间限制，数据积累很快。
同时，人类创造游戏时加入了很多 3D 知识，这对训练决策智能体也有用。
我们团队之前也做过一个工作叫 EgoScale，相当于把机器人的 VLA 训练成游戏里的 VLA，也非常有用。
反过来也是一样，在游戏里学到的决策知识，和现实生活中的决策可能很像。游戏数据突破了物理时间限制，生成数据比机器人积累数据容易，所以在游戏里做世界模型和 policy 验证，可能是一条不错的路线。
他们目前没有公开模型，但我很喜欢他们公司的脉络和布局。
我自己最愿意 follow 的是 Google DeepMind。他们有 Gemini 3、SIMA，思路很典型，就是所有东西都往基础模型上对齐。
Agent 往 Gemini 上对齐，VLA 也可以往 Gemini 上对齐，世界模型则从他们的视频模型 Veo 出发。你把 action 数据、决策数据，都对齐到数据丰富的语言和视频这两个模态上，继承它们很强的泛化能力，形成自我进化的 loop。
他们会先在游戏里验证，我觉得这就是他们的思路。
程曼祺
OpenAI 和 Anthropic 在探索世界模型、agent、policy 的自进化上，做了些什么工作？
高深远
Anthropic 可能比较少，OpenAI 的情况我不太清楚。
程曼祺
Anthropic 可能比较少。OpenAI 的话，Sora team 不是解散了吗？
高深远
也不叫解散，Sora team 重组到 Robotics Lab 下面了。所以我感觉今年竞争也会比较激烈。
可以看到，Sora 团队的业务停了，但合并到了 robotics 组。
程曼祺
OpenAI 的 robotics 现在有多少人？这是一个大力投入的方向，还是只是有人想做就去试一试？
高深远
他们很早就有 robotics，也有很多 demo。
从我知道的一些信息来看，GPT 成为主线之后，可能就没有那么推进，但最近好像又在认真做这个事情。
尤其把 Sora 重组过去之后，我觉得他们可能想在世界模型上做出一些东西。
程曼祺
你觉得 Anthropic 不做这个方向会是一个 miss 吗？还是无所谓，只要把它聚焦的领域做得足够强就可以？
高深远
我觉得不会 miss。
假如能够统治整个虚拟世界里的 agent，本身已经很强了。
做 robotics，或者更广义地说做 physical AGI、通用智能体，我感觉有两条路线。
一种是现在就碰机器人和 robot data，做机器人的世界模型和 policy。这可能是现在大多数 startup，包括我们，正在做的事情。
另一种路线是，像国内的字节、AMI，以及 Anthropic——我不知道它会不会投入 robotics——可能会先做一个很强的 agent，让它看各种图，解决各种虚拟任务。
虚拟任务其实已经包含多模态，包括图像、文本、视频，也就是刚刚说的两个最 data-rich 的模态。
他们的路线可能是先做一个很强的基础模型。它们也可以把自己叫作世界模型，因为模型里有很多 world knowledge。
假如把文本作为 action，它也能实现刚才说的、在 text action condition 下的世界模型效果。
所以解决 physical AGI 有两条路线：一种是现在就开始碰 robot data，另一种是先把基础模型解决，再利用很强的表征解决机器人问题。最后一步才是 robotics。
我觉得两条路线都 make sense。
我们为什么用 DreamZero 去做 policy、改变之前 VLA 的格局？是因为我们发现视觉模态和 action 有很强的对齐能力。
所以，假如 Sora、AMI 或者字节这样的团队推进基础模型，最终再解决 robotics，我觉得也是有可能的。
程曼祺
在你最看好的 physical AI 世界模型路线，也就是 video-based 路线里，你觉得谁最有可能做成？
我之前在《巨深七宝》那一期和 Peter 陈哲聊，他觉得在这条路线上，谁能把视频生成模型做好很关键。这个事情可能非常吃数据和算力。
至少目前真正把视频生成做得领先的，是 Google、字节和快手，它们都有很多视频数据，虽然我不知道这些数据能不能直接使用，可能也有合规问题。
高深远
首先，做好世界模型，尤其是视频世界模型，基础模型肯定要足够强。
另外，现在视频生成基础模型也有一些分叉。大家开始做电影级别的生成，可以把分镜都做进去。
具体细节我不知道，但我的感觉是，快手这类公司做的视频基础模型，当然也能学到非常通用的物理规律，但它们接下来调整的数据分布，是不是对 robotics 决策这个具体方向有用，其实不一定。
假如重点是电影级生成，它和机器人决策的需求可能不完全一致。
总的来说，赢家最终还是要有一个很强的基础模型。NVIDIA 可能会推动开源路线，startup 就可以使用这些开源模型来做。
程曼祺
前面聊的是世界模型的一些大脉络，中间也进入了不少细节。接下来可以展开聊聊你们最近的成果，DreamDojo、DreamZero 等。
我看了一下你之前发布的论文，从 2024 年到 2026 年，你一直陆续有世界模型的成果发布。更早是在上海 AI Lab 做 GenAD，那时候是自动驾驶领域；最近一两年则主要和 GEAR Lab 相关。
你可以讲讲自己研究方向的变化。到了 DreamDojo、DreamZero，主要在关注和解决哪些问题？
高深远
我大概从 2023 年下半年开始做世界模型。一开始做的是自动驾驶世界模型。
说来话长。最初做的是多智能体感知，当时车联网、V2X 比较热门，Diffusion 这类图片生成技术也发展很快。
多智能体最大的问题是，大部分数据都是单智能体数据，多智能体数据很稀缺。所以我当时开始用图片生成技术做多智能体数据生成。
后来特斯拉发布了一个世界模型。当时我就在想，既然都是用生成技术做自动驾驶数据生成，为什么不直接做自动驾驶世界模型？
高深远
从通用性角度来说，单个 agent 的决策模型，以及它的世界模型，会更加通用。所以当时觉得，做通用单 agent 的自动驾驶世界模型更有意思。
当时学界的问题是，大家都使用同一个公开数据集，可能只有 5 个小时，而且只是在新加坡采集的。基于这个数据集，没法很好地模拟其他城市和其他场景。
但世界模型，尤其是视频世界模型，关键就在于能吃下所有视频，通过数据驱动提升泛化能力。
所以我们当时比较大胆，从 YouTube 上收集了一批数据。整个开源社区里，我们应该是第一个用互联网上的自动驾驶视频数据训练世界模型的团队，做了 GenAD。
程曼祺
但特斯拉的世界模型是在你们之前发布的，对吧？它算是业界做得比较早的？
高深远
对。特斯拉非常有前瞻性，包括端到端自动驾驶。我感觉整个学术界其实都走在特斯拉后面。
程曼祺
你后来又做了 VISTA？
高深远
对。VISTA 是基于视频数据集，研究怎么让物理知识和 action control 的模态更加丰富。
总的来说，我最关注世界模型的两个点，一个是生成质量，另一个是 control 的精准度以及各种模态。
后来我发现，在学界继续做自动驾驶世界模型没有特别大的意思。工业界有很多高质量视频，如果我在学界继续做，就要从 YouTube 搞数据，这是天然劣势。
像 GenAD、VISTA 都有很多问题要解决，包括怎么处理 YouTube 视频，怎么把视频下载下来，怎么处理，怎么给它标 action label。
但对车企来说，这些都不是问题。我们还是比较大胆，第一个从 YouTube 搞视频和数据训练世界模型。当时业界可能还没有开始做。
假如业界知道世界模型很有用、很 promising，做这个事情会更简单。
程曼祺
你 2025 年加入 GEAR Lab？
高深远
对。我 2024 年就和他们聊过，2025 年决定去。
程曼祺
你加入的背景，是当时整个 GEAR Lab 也比较看重世界模型？
高深远
对，而且之前很多研究方向也比较契合。
我之前有个工作叫 AdaWorld，用 Latent Action。GEAR Lab 的 Joo、Zhang、Sen、Yang、Ye 也做过用 Latent Action 连接 policy 的工作。
我当时想，一个 latent action policy 能不能和一个 latent action world model 接起来？
程曼祺
可以稍微解释一下 Latent Action，也就是潜在动作，或者隐式动作。
高深远
对，Latent Action 就是隐式动作。
总之，Jim Fan、Joo 他们的 research taste 或者 style，和我比较 match，所以当时也很想和他们合作。
程曼祺
是他们看到论文来找你，还是你们之前就有接触？
高深远
我 2024 年参加会议时找过 Jim Fan。当时我是博二，还想自己多发一些一作 paper，不太想直接参加大型项目，所以没有去。
后来又参加会议，碰到了 Yuke Zhu。我今年毕业了，对工业界机会也会更向往。从去年开始又去 NVIDIA 实习，第一次面试通过了，所以第二次申请就没有面试。
程曼祺
你说的“开会”是参加学术会议？
高深远
对。第一次是在西雅图，第二次是在新加坡。
我本来是去玩的，也没想找 intern。逛论文海报时看到了 Yuke Zhu，就回去给他发邮件，问能不能第二天聊一下。
他对我的 background 比较感兴趣，我们聊了一下。我说自己去年已经通过了面试，后来就直接继续合作了。
程曼祺
具体到这次发布的成果，DreamDojo 和 DreamZero 是谁发起的？你们在 GEAR Lab 里是怎么做起来的？你当时想解决什么问题，提出了哪些新的东西？
高深远
GEAR Lab 有两条主线。一条是 policy，比如 GR00T N1、N2；另一条就是 Dream。
DreamDojo 一开始是 Joo 发起的。之前还有一个 DreamGen 的工作，也是用视频模型作为 backbone 去做 policy。
我感觉这个顺序是这样的：先用视频模型做一个 world action model，它会有比较好的泛化性。我觉得这条路线可能在 2、3 年内达到比较成熟的架构和训练方式。
这个成熟之后，相当于你有了一个泛化性比较好的 policy，起点比较好。
之后还有另一种世界模型，就是 DreamDojo 这种 action-conditioned world model，它可以提供一个虚拟环境，给 policy 提供自我进化的循环。
这一类真正成熟可能会更远，可能需要 5 年，才能成为一个大的爆点。
我自己之前做自动驾驶和游戏世界模型，都属于第二类。我比较想看到第二类如何赋能其他东西，对这个更感兴趣。
程曼祺
结合你前面说的，世界模型作为环境模拟器，和 agent、策略这 3 个部分，你觉得今年就能碰到一起开始加速自进化，为什么又说这个爆点可能要 5 年之后？
高深远
我感觉今年大家可以看到这个故事很 promising，但 action-conditioned world model，包括 reward model，怎么让它在任何场景下都能很好地模拟和泛化，这是一个很大的问题。
首先需要等待数据，也需要等待视频基础模型进步。
程曼祺
所以前面描述的循环，你觉得今年能初步跑通，业内也能看到迹象，但要真正变得特别有用，让更多人感受到，可能还需要更长时间？
高深远
对。可能先在单个任务上跑通，把理论路线走通，之后再连接到更多任务、更多场景。
程曼祺
你做的是 action-conditioned world model。你加入之前 GEAR Lab 就在做这个，还是你加入之后才有了一个新方向？
我觉得大家现在都在做 policy，policy 还有很多提升空间。但 policy 之后是什么？你还需要一个世界模拟器。
高深远
他们本来就想做这个方向，也看到我在做类似的事情，所以把我招进来一起做。
这也是一个比较好的时间点：policy 已经达到一定水平，可以用 world model 和它连接，做一些事情。
程曼祺
经过前面的讨论，我大概理解了：DreamDojo 是一个更靠近模拟器的世界模型；DreamZero 是一个类似改进版 VLA 的策略，但里面也有世界状态。你们把它叫世界动作模型。
高深远
对。
程曼祺
那你可以再补充讲讲 DreamDojo。它的输入是什么、输出是什么，现在能达到什么效果？
高深远
DreamDojo 现在想做一个比较通用的世界模型。相当于我们有一个预训练好的世界模型，开源给大家。大家有新的机器人之后，都能够比较快地接上我们的世界模型，微调一下就能使用。
我们主要想突破的是：相比以前只在单个数据集、有限物体和有限场景下训练的世界模型，能不能从人类视频中迁移一些泛化能力给机器人世界模型。
主要工作是让人类第一视角视频中广泛的场景、动作和物体交互知识，迁移到世界模型里，同时当它变成具体机器人的世界模型时，这些泛化能力仍然能够保持。
我们的实验也证明，在新场景和没见过的物体下，模型具有比较好的泛化能力。人类视频里有这些数据，但机器人数据里很少，所以把人类视频中的新场景、新物体迁移过来之后，给世界模型的研发提供了一个更好的起点。
另外一个进步是我们把模型做到了实时。
以前的世界模型，要么能够实时，但泛化能力几乎没有；要么有一些泛化能力，但实时性很差。
实时世界模型很有用。首先，你可以连接遥操设备，几乎实时地控制它。其次，有了实时世界模型，部署 policy 时可以更快得到每个 action 的后果，在部署时通过世界模型做搜索，提升模型性能。
程曼祺
把第一视角视频迁移到机器人上，之前的难点在哪里？是因为人类第一视角数据量不够吗？
高深远
数据不够，而且之前也没有人做这个事情。
泛化能力要到一定数据量，才能展示出来。比如只有 10 小时机器人数据，指望从 10 小时人类数据里迁移出能力，效果可能很微弱。
首先有人类和机器人的本体构型 gap；另外，10 小时人类数据里包含的物体多样性也可能比较有限。
但当人类数据足够多之后，里面包含很多物体和物理规律。模型要很好地预测人类视频，就需要理解更通用的 knowledge，所以可能更好地迁移到机器人上。
程曼祺
你们用了大约 4.5 万小时的数据。这个量级是怎么确定的？是事先知道到这个量级就能看到效果，还是一直加数据，试到这个时候才看到效果？
你们是怎么获得这些数据的？找人带着摄像头，自己拍第一人称视频吗？
高深远
数据肯定越多越好。
我们停在这个点，是因为内部验证发现方法是通的。知道方法可行之后，我们不知道用户或者开源社区会在哪些场景下测试，所以尽可能引入更多数据。
数据越多，覆盖的场景越广。这个数量级就是训练最后一版模型时手上的数据，所有数据都用上了。
但我们没有很好地调整数据分布。如果调整分布，迁移能力可能会更好。这也是目前的局限。
程曼祺
这个量级的数据在处理过程中间，难度大吗？
高深远
世界模型有一个好处。Policy 需要用专家数据训练，但世界模型可以吃下任何数据。
即使不对数据做分布处理，拿来训练世界模型也是合理的。
我们的数据非常 diverse，人类在做各种各样的任务。这些数据也可以用来训练 policy。
我们还有一个工作叫 EgoScale，也是基于这批数据做的，不过它用的数据可能没有这么多小时，也做了一些 filtering。
一方面是质量问题，另一方面，做 policy 时不希望把所有数据都喂给 policy，因为 policy 要学的是最优决策过程。
但世界模型学习的是各种动作下世界如何变化，所以现实世界里能够发生的数据，喂给它都是对的。
世界模型对数据质量和标注没有很高要求，只需要有 action 就可以。
程曼祺
什么时候可以用第三人称视频训练世界模型？第三人称视频量更大，也更有多样性。现在不能这么做，卡在哪里？
高深远
我觉得不是不能做，是可以做。
第三人称视频也在学习物理规律，只是它和最终使用的视角可能差得比较大。
我们的模型是从 NVIDIA 的视频基础模型 Cosmos 出发，先做人类视频预训练，再做机器人微调。
但在我们的人类视频预训练之前，还有 Cosmos 的预训练阶段。这个阶段本身就包含很多第三人称视频。
Cosmos 预训练完成之后，我们再拿第一视角视频预训练，最后在机器人数据上微调。
我们发现，假如拿掉 Cosmos 的预训练阶段，不使用它的预训练权重，直接开始自己的预训练，效果会变差。
这说明第三人称数据放在第一个预训练阶段是有用的。
程曼祺
那第三人称视频放在第二个阶段，有没有必要？
高深远
可以试。首先要看怎样让它迁移最多物理知识，同时不要遗忘更通用的知识。
VLA 训练其实也是这样。以前大家只用机器人数据预训练 VLA，现在有很多工作会用视觉问答数据一起预训练。
也就是说，它不仅预测 action，也回答视觉问题，比如图片标题是什么。它们把这些任务放在同一个阶段训练，当然可能需要一些调整。
把通用任务、不同视角放在同一阶段一起训练，有助于模型保持通用知识。
我们没有这样做，主要是计算量问题。假如资源足够，完全可以尝试，我觉得以后也会有人尝试。
作为一篇 research paper，主要是定义合理的研究问题，设计实验，用有说服力的方式解决问题，所以没有继续投入更多资源做这件事。
程曼祺
DreamDojo 里用的是 Latent Action，所以不需要动作标签。这个方法实现上有难度吗？现在是主流方法，还是比较新的方法？
高深远
我觉得自己算是推动这个方向的人之一。
DreamDojo 之前，我还有一个工作叫 AdaWorld。直白地说，DreamDojo 是把 AdaWorld 里验证过的一些简单想法，扩展到机器人和人类数据上。
AdaWorld 做的也是类似的事情：有很多没有标签的数据，怎么用 Latent Action 表示它们的 action，再训练一个世界模型。
当时 AdaWorld 是在很多游戏视频上做的。因为买不起数据，也没有很多资源，我就自己搞了一千多个游戏在那边乱跑，不停生成数据，再用 Latent Action 抽取动作。
Latent Action 的性质是，可以用一种非常简单的方式给所有无标签数据打上 action 标签，而且不用考虑它是什么本体、什么视角。
它非常简单粗暴，也很符合数据规模：有多少视频，就能给多少视频打标签，不会损失视频数据的 scalability。
程曼祺
但以后 Latent Action 还值得继续研究吗？
高深远
我觉得要打一个问号。
现在有很多数据，大家都在提供高精度的 label。具身智能最终是不是一个跨本体问题，其实也不一定。
假如大家最终都越来越像人，无论外观还是动力学都越来越像人，那么最终可能只需要得到一个人的 policy。
所以，是不是需要用 Latent Action，还是用人的手部表示来表示 action，都值得探索。
Latent Action 用最不需要动脑子的方式，能够利用所有没有标注的视频，自然地绕开跨本体问题。
但假如所有数据都有 label，而且跨本体不是一个很大的痛点，Latent Action 可能就没有必要了。
程曼祺
我想到跨本体这件事，对动物和人来说好像很自然，也符合我们的行动直觉。
你看过《冰与火之歌》吗？里面的布兰不是可以进入动物的身体吗？他可以进到狼的身体里，也可以进到乌鸦的身体里。
我觉得乔治·R·R·马丁写的 skin changer，很符合人对跨本体的想象。现实世界里虽然没有人真的进入狼或者熊的身体，但有些人因为失去双臂，会用脚完成很精细的操作，正常人做不到，但他因为用不了手，反而能够做到。
我感觉人本身就有适应新构型的能力，动物可能也是这样。
高深远
Latent Action 是一种有噪声的 action 表示，不能很好地描述每个具体本体，但相比所有本体，它是一个比较好的媒介。
从 Latent Action 映射到一个新本体，通常是比较近的。比如人失去双手，或者某天突然变成一匹狼，可能都需要适应。
但如果有 Latent Action 作为中间表示，从 Latent Action 出发，映射到各种不同 action space，可能是一个比较自然、比较居中的起点。
假如最终训练数据都有高质量标注，而且高质量标注和目标机器人本体之间没有很大 gap，就没有必要再绕 Latent Action 一圈。
大概就是这样。Latent Action 更高效、更省事，可以用更多数据。
程曼祺
你说的是没有 Latent Action 的标签吗？没有那个标签，就能使用更多数据？
高深远
对，不需要那个标签，就能使用更多没有标注的数据。
不过现在有标签数据的增长规模也达到了令人惊叹的速度。
程曼祺
是因为打标签很便宜吗？
高深远
对。以前采机器人数据，都是刻意去采。比如在实验室里摆一张桌子，摆一些东西，采完重置，采完重置，一天采 100 条。
以后采数据的模式肯定会变。比如做家务时，人在完成工作，同时就可以采数据。只要带一些外设，就能记录高精度 label。
以前采数据本身就是工作，之后会变成在工作中采数据。只要带一些便携外设，不影响原本的工作，还能自带标签。
这样数据积累会非常快，合成数据也可以自带标签。
程曼祺
为什么 DreamDojo 对应的数据集 DreamDojo-HV 还没有向开源社区开放？接下来有计划吗？
高深远
应该会开放。不过我们可能还想基于它做一些其他 research，可能会随着后面的 project 一起开放。
程曼祺
还有一个我比较好奇的问题：DreamDojo 这次用的本体是傅利叶 GR-1。现在大家选择机器人本体时是怎么考虑的？
我之前了解，GR-1 可能是使用最多的本体之一。你们当时是怎么想的？
高深远
没有特别的考量。
我们之前内部已经有一些傅利叶 GR-1 的数据，在这个基础上构造测试集比较方便。
程曼祺
我问这个问题，是因为以后本体可能会逐渐统一，这也是一个很好的技术或商业机会。
研究机构选择某个本体时，主要考虑哪些因素？
高深远
首先会考虑各种本体的故障率和易用性，以及有多少人在用，是不是一个受欢迎的本体。
第三点是它和 cross-embodiment data 的接近程度。比如使用人类数据，最好是一个有灵巧手的本体。
程曼祺
你们选择 GR-1，是因为它有灵巧手，还是因为刚才说的几个因素都比较好？
高深远
主要原因是我们本身有一些内部数据集，在 GR-1 上构建评测集比较容易，并不是因为它特别好。
程曼祺
DreamDojo 的评估方式也像前面说的，没有公开 benchmark。你们自己做了 6 个 benchmark。
在评估自己的进展时，DreamDojo 主要考察哪些能力？
高深远
世界模型的目的是得到更加精准的反馈。精准反馈主要体现在两个方面：一个是预测未来的真实度和物理合理性，第二个是受到各种 action 控制的能力。
评测主要也是从这两个维度开始。
在加入数据之前，我们先用 GR-1 做了一些内部数据集，初步看到迁移能力之后，又用了一个开源数据集 EgoDex。
EgoDex 里有很多物体，我们根据它做了对应的测试集，也看到了一些迁移能力。
有了这两个信心之后，我们再加入人类数据，覆盖更多环境和不同物体。
简单来说，先用内部数据验证，再用开源数据集验证更多物体下的迁移能力，之后直接加入更多数据。
虽然主要用 GR-1 作为测试本体，但最终目的是给整个社区提供一个通用预训练权重。
程曼祺
所以它是跨本体的，别的本体上应该也有效果？
高深远
对，我们也提供了其他本体的实验结果，其他本体也可以使用。
这就是 Latent Action 的好处。虽然从人类视频中学习，但最终迁移到不同的机器人本体，比如一个夹爪，也可能有迁移能力。
程曼祺
我看你们的测试里很多都是泛化测试，也就是 out-of-distribution 数据能不能完成任务。
这个分布外的范围具体指什么？
一开始你们有 Cosmos 这样的视频基础模型，里面理论上已经见过很多东西。如果遇到一个连 Cosmos 的数据分布里都没有的场景，它还能处理吗？
高深远
问题是，一个基础模型变成 action-controlled world model 之后，可能会损失很多原本的泛化能力。
我们加入人类预训练和 Latent Action，相当于让它更适合做 action-controlled world model，在新环境下进行泛化。
程曼祺
这个“新环境”具体新到什么程度？在哪个阶段没见过，才叫新环境？
高深远
新环境指的是机器人数据里没有见过的环境。
如果把 Cosmos 也算上，就是 3 个阶段：Cosmos 训练、人类数据训练、机器人数据训练。
机器人数据里没见过的新物体和新环境，就叫分布外。
程曼祺
那你们测过它在人类数据里也没见过的新环境中的表现吗？比如成功率怎么样？
高深远
首先，我们的人类数据非常多。4.4 万小时的人类数据覆盖了很多物体。我们的测试集里的物体，至少在数据中出现过，或者有类似物体。
其实，大语言模型和视频生成模型发展到最后，可能已经不存在严格意义上的分布内和分布外了。
一开始机器学习和人工智能会专门解决分布外问题，但当你把整个互联网视频都训练进去之后，很多问题就变成了分布内插值，而不是分布外问题。
通过 scaling law，最终所有问题都可能变成分布内问题。AGI 可能也是这样，所有问题都变成建模问题，最后被解决。
对机器人来说，它还是分布外；但对人类互联网视频来说，最终所有物体和场景可能都在分布内。
总体来说，我们发现通过人类视频训练，对于机器人数据分布外的场景，模型的泛化能力确实有很好的提升。
程曼祺
你们最后是用成功率来考察模型吗？比如稳定性之类的指标？
高深远
我们也会看下游效果。
有了世界模型之后，可以给 policy 提供反馈。能提供反馈，就可以用 policy 的成功率表示世界模型的可靠性。
我们做过实验：有一个 policy，然后用世界模型选出更好的 action，让 policy 执行。
如果直接看世界模型的反馈好不好用，还是要和 policy 一起看。单独有一个世界模型，做不了太多事情，因为世界模型只是对世界的模拟，真正做机器人决策，还是需要一个东西输出 action。
现在常见的做法是，有一个比较好的 policy，让它输出一些 action，再让世界模型帮它选一个最好的 action。
假如世界模型足够好，它应该每次都能选到最好的 action。假如世界模型很差，就相当于每次随机选择，policy 加上世界模型和不加世界模型，成功率差不多。
所以要做控制变量：加上世界模型反馈之后，policy 的成功率和其他指标应该提升。
世界模型最终的目的，还是提升 policy。
当然，也有一些中间指标，比如它是否遵循输入的 action，输出的未来是否足够真实，这些都和反馈是否准确直接相关。我们平时迭代模型，也会直接看这两个指标。
程曼祺
接下来准备怎么发展 DreamDojo？现在有什么问题，接下来怎么优化？
高深远
特别细节的我就不讲了。
长远来看，我刚刚说过，最 promising 的是把这个循环建立起来。
现在有两拨人。一拨人觉得世界模型完全没必要，只要一直做 policy，做出一个很好的 policy 就够了。
但我觉得有了世界模型，可以做很多事情。最激动人心的是建立自我进化循环：有一个 policy，有一个 agent 去定义任务、给 world state 打分，再有一个世界模型把 policy 到打分的循环接起来。
Policy 把 action 给世界模型，世界模型预测未来，再给 agent 打分。这个自我进化循环一旦接上，就突破了物理时间限制。
现在 physical AI 很麻烦，因为它不像语言 agent 或 AlphaGo，有一个可以反复迭代的虚拟世界。具身智能还没有一个能够让 policy 像语言 agent 那样迭代的虚拟世界。
以后假如有这样的虚拟世界，就能突破 24 小时的限制，像虚拟 agent 一样迭代和进化。
程曼祺
你们这个优化思路，需要和 GEAR Lab 里做策略的团队紧密合作，对吧？
高深远
对，需要和 DreamZero 那边合作。
程曼祺
你们实际上也是交叉的？
高深远
团队本来就比较小。
不过理论上，任何 policy 都可以放进我的 loop。SIMA 也可以放进来，Google 自己的其他模型也可以，甚至 VLA 也可以。
只要接口是通用的，模态能够对齐，也就是 action、文本和视频对齐，就都能接起来。
程曼祺
你刚才说，相信纯做策略也可以做得很好。这一派的代表公司或者代表人物，想法可能也在改变。
他们之前接受采访时似乎也是这么说的。我感觉主要原因是，他们认为做一个世界模型比做一个 policy 难得多。
Policy 需要专家数据；世界模型不仅要模拟专家数据的未来，还要模拟其他 action 的未来。
高深远
但我觉得有一个问题：世界模型要真正开始帮助 policy，并不需要完美。它是一个循环上升的过程。
所以这不是一个很大的 concern。世界模型即使有噪声、泛化性还不够好，在某些 case 下也可能已经足够提升 policy。
随着两个模型一起提升，误差累计和反馈准确性都会越来越好。
程曼祺
如果你相信这条路会变得更主流，做世界模型的创业公司有多大机会参与推动这件事情？
听起来世界模型很耗资源，视频数据处理本身就吃算力，是不是只有大公司才有机会？
高深远
我觉得没有那么让人绝望。
现在数据供应商很多，价格也会通过竞争下降。未来大家都可能拥有很多数据。
GPU 和模型效率也会持续发展，最终这会变成大家都能做的事情。当然，最后可能还是有几家公司胜出，像现在 LLM 的格局一样，但大家都可以参与。
这个 loop 里有很多 component。怎么设计一个提供 reward 的 agent，怎么设计一个泛化的 policy 和世界模型，都可以在合理的实验 setup 下验证。
你可以有自己的专长领域，比如家居或者其他领域，在这个领域里把 loop 构建起来。
数据和模型规模都有 scaling law。可以先基于 data scaling law，在小规模上验证能不能跑通。
假如你是最快验证它能跑通的团队，后面有足够信心把它推到更大规模，也可以有很大胜算。
程曼祺
Cosmos 是 NVIDIA 自己的视频生成模型，你们基于它做训练。
如果这个环节是分开的，也就是创业公司不做 Cosmos 这一步，只做后面的人类数据和机器人数据训练，不掌握视频生成模型，会对效果有多大影响？
高深远
我感觉会有影响。
假如模型是自己掌握的，就能控制训练过程，包括预训练分布。
NVIDIA 的 Cosmos 可能对自动驾驶有天然倾向，因为它要推动 physical AI，所以对机器人和自动驾驶视频的模拟会更好。
另外，假如有内部支持，继续训练时在 infra 上也会有更多支持。
程曼祺
我想到的是，按照你们的流程，创业公司理论上可以不做 Cosmos 那一步，只做后面的事情，成本会大幅降低？
高深远
我觉得成本肯定会大幅降低，因为 Cosmos 那一步成本非常高。
但这样可能会影响竞争力。假如 OpenAI、Google 都投入很多资源，不能直接 access 最强的预训练模型，就会有一定延迟。
程曼祺
DreamDojo 的速度现在会是个问题吗？
高深远
我不确定。应该是 DreamZero 才有这个问题，DreamDojo 我感觉不是问题。
首先还有很多工程优化可以做。其次，视频模型的速度优化和视频模型主线是一致的。
不仅 robotics 领域的人在推动，视频生成领域本身也在推动。就像以前做大语言模型，整个领域都在提升 context 长度和速度。
这是整个领域的痛点，和整个领域的前进方向一致，所以不是特别令人担心的问题。
程曼祺
你博士毕业之后的计划，是去 NVIDIA？
高深远
对。
程曼祺
可以讲讲你为什么这么选择吗？不涉及机密，但对业界有价值的内容都可以。
高深远
工业界喜欢做已经看到成功迹象的路线，再用更大的规模把它做出来。学校可能更适合做原创性探索。
现在给我的感觉是，已经进入一个有很多成熟技术路线可选择、进入规模化的阶段。
整个人工智能，包括深度学习，通往 AGI 有很多路线。关键可能是数据、算力、正确的训练目标，以及目标一致的团队。
但具体怎么做，需不需要世界模型，都可能通往 physical AGI。所以现在这个阶段，可能不需要很多原创性探索。
我觉得现在去工业界是一个比较好的 timing，这是我做这个选择的原因。
程曼祺
你接下来想探索什么具体方向？比如从现在到 2027 年年中，未来一年左右。
高深远
今年世界模型很火。机器人世界模型大概分两类：一个是 world action model，另一个是 DreamDojo 这种 action-conditioned world model。
我一直在做 action-conditioned world model，更希望看到它最终能 enable 什么，能做出什么应用。
最终目标是实现自我进化循环。主要 bottleneck 是各个组件的泛化性。只有泛化性达到某个临界点，才能在新任务下提升。
现在大家做的还是单个任务，因为单个任务不需要考虑泛化性。但使用基础模型的初衷，不就是借鉴语言模型和视频模型的泛化能力吗？
单个任务从头训练模型，也可以把 pipeline 做通。但既然用了语言模型、视频模型，最终最强的点应该就是泛化能力。
所以，世界模型包括 world action model，都应该走向更多 task，持续解决泛化能力问题。
这也是现在整个行业都在推动的 upper bound。效率、计算效率，我感觉都不是 concern，最终都会被解决，是整个领域共同关注的问题。
我们可能更关注视觉模型和 world action model 的泛化能力推进。
程曼祺
今天非常谢谢深远做客《晚点聊》，分享他在世界模型，尤其是 DreamDojo 这种动作控制世界模型上的研究经历，也分享了加入 GEAR Lab 的过程，以及他们最近的进展。
我今天最大的收获是，之前我也看过 GPT-3、SIMA 2 这些成果，也看过哈萨比斯关于用世界模型加速科学发现的讨论，但以前理解得比较模糊。
今天深远把 3 个要素讲得很清楚：策略、世界模型，以及中间负责连接和评判的 agent。三者形成一个 loop 之后，可能会带来非常大的变化。
如果以人类来类比，大脑里的任务规划和思考是 agent，大脑控制身体的部分是 policy，我们生活的环境就是世界模型。
Policy 输出的动作，是世界模型的输入；世界模型输出的状态，又是 policy 下一刻的输入。
Agent 一方面给虚拟角色或机器人规划任务，用文本把任务输入策略模型；另一方面也会评估世界模型预测的未来状态和策略是否合理。这个评估可以是一个分数，也可以是一段文本信息，进一步用来优化策略模型。
由于目前这 3 种模型的泛化能力都还不够好，这个循环还没有完全跑起来。但深远认为，这是接下来很多团队，包括他自己，会努力推动的方向。
我们可以一起看看这个循环是否会跑起来，以及多久能跑起来。如果这种自进化真的实现，就可以突破物理时间和空间的限制，进行很多实验和训练，可能会是一个非常大的变化。
今天先做个标记，未来再见。
高深远
谢谢曼琪，拜拜。
程曼祺
拜拜。
嗯。本期连点呈现推荐第一百五十七期我和Peter陈哲聊的二六年Q一的巨深季报。在这期季报里，陈哲列出了一季度的Top五重要进展，其中一项就是英伟达的一系列成果，包括Dream Dojo、Dream Zero，还有Ego，还有Ego Scale等。同时也推荐一百五十七我自己录制的二零二五年年末AI回顾，在巨深的那一部分讨论模型进展时，我当时简单的介绍了DeepMind的Gee Lee和Cima的进展。这些成果和想法我们在这期节目里都有涉及，这次录制也解决了我自己之前的一些疑惑，让我对英伟达Gear Lab以及Google DeepMind的思路都有了更清楚的了解。简单来总结的话，Dream Zero、Ego Scale还有Google的Cima都是策略，是Policy模型，它是直接让一个主体去产生动作Action的那个模型，这个主体可以是虚拟世界的一个角色，也可以是物理世界的一个机器人。以前更主流的策略模型的架构是VLA模型。Dream Zero这个工作之所以很受关注，就是因为它引入和初步验证了以视频为 backbone 的思路，就是以视频生成作为基础来做机器人的策略。而 Dream Dojo 和 Genie 这类模型则是一个更靠近世界模拟器的世界模型，它提供的是一个环境，它的主要目标是预测这个世界下一刻的状态，来为更好。更好的 policy 服务，深远描绘了一个很有意思的洞察，就是在现在，就是现在有一个由世界模型和 policy 以及连接二者的 agent 组成的循环。如果以人类来类比的话，大脑的任务规划和思考就是 agent，大脑。大脑去，人脑去控制身体的部分是 policy，而我们生活的环境就是世界模型。这三者的关系如果更直接来表达，policy 策略模型它输出的动作是世界模型的一部分的输入，而世界模型的输出又是 policy 模型下一刻的输入。Agent 在一方面给虚拟角色或机器人规划任务，它是以文本的方式把这些任务输入给了策略模型，同时它也会评估世界模型对未来状态的策略是否准确。这个评估可能是一个分数值，也可以是一个文本的信息，它会进一步用来优化策略模型。具体的关系大家可以去看 show notes 里的那张图示。由于。由于目前这三种模型的泛化性都不是很好，这个循环并没有转起来。但申远认为这是接下来一些团队包括他自己会去努力推动的方向。我们可以一起看一看这个循环是否会跑起来，以及多久能跑起来。如果这种自进化真的实现，那我们可以突破物理时空的限制做很多实验和训练，它可能会是一个非常大的变化。今天我们先 mark 一下，未来再见。本期节目就到这里，感谢收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”。下期再见。