陈建宇
人就是一个标准的、通用的 VLA 模型，人就是一个 AGI。
之前的机器人是什么？是 100 种场景、100 个任务，我要重新开发 100 种机器人。那么，ChatGPT 的出现使得我们看到这样一种曙光、这样一个希望：我们不用再去做专用的开发、专用的模型，或者为每一种任务写专用的代码，因为这完全没法 scale。
包括 Sergey Naman，也包括刚才的 RT 系列工作，像 Sergey、Chelsea 这些人都参与得比较多。他们后来创立了 Physical Intelligence（π），这一套基本上都是他们这一帮人做的，包括 Google、Berkeley、π，以及 Stanford 的几位研究者。Chelsea Finn 其实也是 Sergey 的学生。
这里列了两个工作，是一个系列的工作，其实是字节这边做的。字节也是国内相对比较早开始做 VLA 模型的单位之一。
张小珺
哈喽，大家好，欢迎收听张小珺商业访谈录，我是小珺，这是一档提供一手高密度信息的商业访谈节目。今天的嘉宾是清华大学交叉信息研究院助理教授、星动纪元创始人陈建宇。他的研究和创业方向都是人形机器人。大语言模型浪潮爆发后，学界和工业界都看见了机器人从专用走向通用的可能迹象，机器人革命随之而来。
其中，本轮革命最重要的是对机器人底层架构，也就是机器人“大脑”的探索。但是今天的通用机器人还在科学研究阶段，处在产业发展的早期。这期节目，陈老师将带领大家概览式地阅读机器人基座模型和当下最前沿的 VLA 架构相关的经典论文，希望我们的节目能帮更多人靠近科学前线，感受技术之美，并且能够直观地感知当前的技术拐点。还是那句话，期待 2025，我们和 AI 共同进步。
Hello，陈老师，先跟听众朋友们打个招呼。你也可以介绍一下你的研究方向和创业方向。
陈建宇
大家好，我叫陈建宇。目前我是星动纪元的创始人，也是清华大学交叉信息研究院的助理教授。我的研究方向主要集中在具身智能和人形机器人，创业方向其实也是这两块。
简单介绍一下我的背景经历。本科阶段我在清华大学，博士阶段是在 UC Berkeley 读博，主要研究机器人和相关控制，包括无人车。博士毕业之后，我回到清华交叉院任教，继续从事机器人和 AI 相关的研究。
大概在 2022 年，我开始做人形机器人和相关机器人 AI 的课题，2023 年成立了星动纪元公司。目前，我们已经研发了多代人形机器人的本体，以及对应的运动控制强化学习模型和更上层的具身端到端机器人大模型。
张小珺
因为你也是创业公司的 CEO，我有几个快问快答想问你。公司名字？
陈建宇
星动纪元。
张小珺
公司创立时间？
陈建宇
正式成立是 2023 年 8 月，但实际上 2022 年我们就开始做了。
张小珺
融资轮次？
陈建宇
目前是 Pre-A 轮。
张小珺
目前估值？
陈建宇
暂时保密，这一轮正在进行中。
张小珺
你的 MBTI？
陈建宇
在 INTP 和 INTJ 之间跳变。
张小珺
今天我们的节目是机器人专场，节目延续之前的技术报告系列。陈老师会带着我们讲机器人的发展历史，以及历史中的重要技术拐点和重要论文，尤其是现在机器人非常通用的 VLA 架构。
中间遇到我不懂或者有疑惑的地方，我会作为观众视角来提问。提问可能穿插在中间，也有可能在最后，主要目的是希望和大家一起学习机器人 VLA 的关键技术和行业。
在正式开始之前，我还是先问陈老师几个小问题，帮助大家做一下定位。这两年具身智能赛道尤其受到很多关注，这是为什么？你在其中既做研究也做创业，这一轮创业相比过去 10 年有什么显著差异？过去 10 年机器人这个赛道一直在涌动，这一轮的变量是什么？
陈建宇
这一轮最大的变量，还是大语言模型的出现。
其实看这一轮什么时候开始真正火起来，大概是在 2023 年下半年，基本上也是大语言模型在 2023 年上半年火了半年之后，开始辐射到机器人这一块。
如果往前看整个脉络，AI for Robotics 这件事情基本上是近 10 多年才开始的。此前，AI 和 robotics 其实没有太直接的关系。AI 近 10 多年最重要的进展，当然是 deep learning 的出现。
Deep learning 最开始跟机器人最相关的还是 computer vision，它代表了机器人的感知部分，但跟机器人的其他部分其实没有太大关联。不过它确实已经用到了机器人里面，因为这项技术出现之后，很快就开始在无人车里面用 deep learning 做相关的 computer vision 和视觉感知工作。
进一步非常标志性的 milestone，是 AlphaGo 的出现。AlphaGo 背后代表的是深度强化学习。深度强化学习这个领域其实也有半个多世纪的历史，但此前强化学习依然没有真正进入机器人领域，可能更多是拿来做一些小游戏或者下棋。
当然，AlphaGo 也是下棋，但它代表的是：围棋有非常大的状态空间，需要进行搜索，所以它把深度神经网络和强化学习结合起来，能够解决连续空间的问题。而机器人就是在连续空间里面做行为决策的。
所以 AlphaGo 的出现代表着，我们可以用 AI、用神经网络的方法去做机器人的行为决策和控制了。这是一个非常重要的作用。
后来又有一系列工作。当时我也正在读博，AlphaGo 出来之后，很快就往这个方向做了很多研究。但那时候依然不够强大，很难做到非常通用。我们做机器人、做机器人 AI，很多人最终的目的，其实都是想做出非常通用的机器人模型。
直到 ChatGPT 出现，它展示了这样一件事：虽然它还不是机器人模型，只是一个纯语言模型，但它展示了我们有某种 AI 方法，能够做到足够的通用。你问它任何问题，它基本上都能给出不错的回答。
这个点让大家看到，我们有希望真正构建一个比较通用的机器人模型。机器人其实有很长的历史，基本上已经有半个多世纪了。第一台机器人在 1956 年左右就出现了，后面又有各种轮式机器人、无人车、工业机器人、协作臂，一波又一波地发展起来，但之前没有这一波这么火，原因就在于此前没有足够强大的 AI 去支撑机器人。
之前的机器人是什么？是 100 种场景、100 个任务，我要重新开发 100 种机器人。ChatGPT 的出现使得我们看到这样一种曙光、这样一个希望：我们不用再去做专用开发、专用模型，或者为每一种任务写专用代码，因为这完全没法 scale。
到现在为止，基于传统机器人技术的机器人，即使是出货量最多的工业机器人，它的出货量跟现在的汽车、手机、PC 等产品相比，还是非常微不足道。原因就是它完全是专用化的，没法通用化，所以很难 scale。
这里面也有本体的原因，这也是为什么人形机器人会火。人形机器人是一种非常通用的本体。此前的机器人有各种各样的形态，基本上是针对相应任务重新设计形态。
所以刚才说到，你有 100 种场景，不光要写 100 套代码，还要造 100 种不同的机器人，这进一步增大了 scaling 的难度。叠加起来，这一波具身智能和人形机器人开始火起来，是因为大家看到了未来通用机器人的曙光。
经过半个多世纪的发展，不管是模型还是本体，大家都看到了通用的可能性。
张小珺
这两年迅速涌现了几十家机器人和人形机器人创业公司。这些公司目前的技术路径分别是什么样的？技术路线现在收敛了吗？有共识吗？场景收敛了吗？
陈建宇
技术路线在逐渐收敛，但现在还没到完全收敛的点。并且我们一定会先进入技术收敛期，然后再到场景和商业应用的收敛期。
显然，这一波商业化一定是基于这一波新技术出来的。传统机器人的商业化，之前已经被大量机器人公司挖掘了很多，所以我们这个时代想做的新商业化，也一定是基于新的技术。
当然，商业化也在同步探索。商业和技术不是完全解耦的，不是非得技术做完了才到商业化。我们的技术方向、数据来源等，很大程度上也需要和商业闭环起来，这样能够起到促进作用。
技术进展也能帮助我们判断能做出什么样的商业模式，以及我们的能力足够做哪些形态。但总体来说，还是先技术收敛，然后到商业收敛。
张小珺
现在技术路线的核心包括哪几项？还是我们后面会非常详细地讲到？
陈建宇
对，这就是后面会主要讲的内容。我们今天主要集中在 robot foundation model，也就是研究通用的机器人模型。我认为这才是正解，只有这样才能通向通用机器人。
当然还有很多基于传统方法的改进，或者各种 pipeline。我认为它们短期内也许能帮助我们拓展某些商业场景，但从长期来看，没法帮助我们通向真正通用的机器人。
今天我会从我的视角，把 robot foundation model，以及最近非常重要的 VLA 模型的脉络梳理一下，通过讲解论文的形式，也可以看到大家是怎样一步一步形成大致共识的。
张小珺
为什么大家现在都在提 VLA 架构？这个架构能不能给大家介绍一下，以及它的由来和发展？VLA 架构是解决通用机器人的终极架构吗？
陈建宇
先说一下什么是 VLA。V 就是 vision，L 就是 language，A 就是 action。
在我看来，VLA 也需要是一个端到端模型。我们希望有一个能够 scale 和泛化的端到端大模型，同时处理 vision、language 和 action 这 3 种非常重要的模态。
当然，VLA 也是逐步发展起来的。最开始是 LLM，也就是纯语言模型；后来有 VLM，vision-language model；现在要做机器人，必须把 action 加进来。
在我看来，VLA 是一种泛指。机器人还有其他模态，比如触觉、声音等等，但我不想让这个字母无限延长。在我看来，那些模态也都可以加进去。
如果以这样一个非常通用的观点来看，它是一个端到端模型，有各种各样机器人相关的模态输入。我认为这就是最终要做的事情。
当然，现在大家做出来的这些 VLA 模型，并不一定代表未来最终的路线，但 VLA 这个大的概念，是我们最终要做的事情。
张小珺
现在大家都想通往通用机器人、通用人形机器人。你觉得目前最棘手的几个尚未解决的问题是什么？哪几个问题一旦解决，可能就会爆发？
陈建宇
我觉得最重要的一个问题，是能够 scale 的模型架构。这是最核心的。整个行业正在往这个方向进展，但暂时还没有找到，正在快速推进。
张小珺
这个能够 scale 的模型架构，目前是科学问题还是工程问题？
陈建宇
两者都有。当然，架构本身很大程度上是科学问题。对于具身智能来说，很多时候会涉及思考人是怎么思考、人是怎么学习。
人就是一个标准的、通用的 VLA 模型，人就是一个 AGI。我认为未来 AGI 的最终形态就是具身智能。到最终某一个时刻，所有语言大模型、自动驾驶大模型、端到端大模型，还有机器人的模型，都会 unify，都会统一起来，成为一个终极的具身模型。
你可以理解它就像人一样。人的话可以说话，可以做各种事情，可以做各种视觉相关的事情，也可以做各种 action，还可以开车。
要达到真正非常通用的模型，会涉及很多科学问题：具身智能的本质到底是什么？我们可能需要进一步探索。当然，我们会一个阶段一个阶段地达到，就像自动驾驶的 Level 2、Level 3、Level 4，逐步往上走。
这个过程中也会涉及很多工程问题。其实语言模型的突破到底属于科学突破还是工程突破，界限也并不明晰。
张小珺
你预计多少年能看到一个遍布机器人的世界？
陈建宇
我希望是 5 年。
张小珺
5 年，这很乐观啊。
陈建宇
目标还要看怎么定义“遍布”。现在机器人还是太少了，你身边真正用的机器人几乎没有。
我们希望在比如 5 年时间里，真正做到你经常能看到机器人。它不一定要达到每家每户都有好几台，但你经常去哪儿都能看到一台机器人，并且有些家庭里面也开始有机器人。我觉得这在 5 年内非常有希望实现。
张小珺
好，接下来把主场交给陈老师，跟你一起学习。
陈建宇
谢谢张老师。下面我会沿着整个脉络，进行相应介绍。
首先讲一下为什么需要 foundation model。我们先看 AI 之前是怎么工作的。在这一波大模型之前，AI 基本上是分很多种模型去解决各种不同的问题，比如 segmentation、classification、detection、VQA 等等，每一个都是不同的模型。
大家会觉得这样很麻烦：每个模型都要收集不同的数据，训练也很麻烦，需要维护很多模型，而且每个模型的能力都不是特别强。
所以我们看到近两年的发展，从语言模型到多模态模型，逐步开始构建 AI foundation model。它拿各种带有不同模态的数据，用非常大量的数据进行训练，然后再让它 adapt 到各种不同任务上，会发现这样能带来非常好的效果。
张小珺
其实就是把大脑统一了。
陈建宇
对，把大脑统一了。
总结一下现在的 AI 是怎么工作的。它已经不是之前各种 pipeline、各种小模型，而是一个巨大的预训练模型，我们可以把它叫作 foundation model。
最开始，foundation model 用到不同任务上时，需要进行特定任务的 fine-tune。但很多语言模型现在甚至不需要 fine-tune，直接 prompt 就已经足够好了。
当模型强大到一定程度之后，它从 fine-tune 发展到直接 prompting，zero-shot 地 generalize 到新的任务，然后可以拿去做 segmentation 或者其他各种模型。
那么 robotic learning 是怎么做的？我们看到近 10 多年已经有相应研究。现在很多真正可以开始使用的模型，包括 ALOHA，基本上还是一个任务对应一个模型。
这张图里是不同的机器人。比如 PR2 机器人在做 pancake；另一款机器人是 UR10，在做 box picking。每一种不同的本体和任务，基本上都要用不同的模型。
张小珺
跟之前的 AI 一样，还是专用的。
陈建宇
对，还是专用的。传统方法是不同机器人、不同任务分别写代码。近 10 年进入了 robot learning 阶段，但它仍然是小模型，不管是模块化方法还是强化学习，针对一个机器人本体和一个任务，可能都需要重新训练一个模型，本质上还是专业化的。
所以我们需要进一步改进和进化。沿着 AI foundation model 的思路，我们能不能把各种机器人数据和其他数据放在一起，训练一个相对巨大的 robot foundation model？
当然，size 不是关键，但它一定要在一定程度上比之前的大。后面会讲，size 大小还要根据机器人本体和算力来决定。
总之，我们希望在大量机器人相关数据上进行预训练，形成一个比较通用的 robot foundation model。在这个基础之上，再进行 prompting 或者 fine-tuning。
最终目标是直接靠 prompt 就能 generalize 到新的任务和本体，但这非常难。前期一定会先经历 fine-tuning，再逐步发展。
后面介绍的很多方法，都是在这个架构下拿去做相应任务，比如捡垃圾、分拣等具体任务。这是我们的整体目标。
机器人 foundation model 的研究，基本上经历了一个顺序过程。首先，大家研究的是如何把现有的 AI 模型，比如语言模型或者视觉语言模型，直接用到机器人里面，或者跟传统机器人的方法结合起来。
再逐步发展到一系列真正预训练机器人的 foundation model，也就是端到端的机器人 foundation model。今天的主体，也就是我们所说的 VLA，主要就在这一类里面。
先大致介绍一下它的主要思想。传统机器人基本上可以分成 3 块：我们有一个目标，然后有 decision making 和 planning，也就是高层规划；还需要 perception，感知环境；最后是 actuation，在环境中执行具体动作。
传统无人车还可能有预测等更多模块，但这 3 类是最主要的。
最开始大家想的是：能不能把 planning 这一层用语言模型替代？这是最自然的。比如我要接一杯水，第一步做什么，第二步做什么，第三步做什么。本身人在脑海里规划时，也可以用语言描述出来，所以可以直接用 ChatGPT 进行规划，而 perception 和 actuation 仍然保留传统方法。
比如你给 ChatGPT 或某个语言模型一个问题：“假设我是一个 mobile robot，有一个机械臂，怎么样做一杯咖啡？”
你会发现语言模型可以很好地把任务拆解开。它会假设你可能需要一个夹爪，也就是 gripper，因为它大概知道机器人的每个部件，也知道机器人有哪些能力，所以可以规划出一、二、三步该怎么做。
规划完成之后，第一步就可以交给传统机器人方法执行。
相关的一个有名工作，是 Google 在 2022 年做的 SayCan，标题是《Do As I Can, Not As I Say》。它希望把语言模型和机器人真正的行为结合起来，解决一些长时序任务，通过自然语言指令让机器人做相应的事情。
它希望达到的效果，其实已经很接近我们最终希望通用机器人达到的效果。比如你可以给它一个相对复杂的指令：“我把饮料洒了，你能不能帮我处理一下？”
语言模型基本上可以告诉你大概有哪些事情需要做，但语言模型给出的事情不一定都和机器人真正能做的事情吻合。
SayCan 的方法就是把这两部分结合起来：一方面，语言模型给出有哪些事情需要做，并且进行打分；另一方面，每个动作都有一个单独训练的 value function，用来判断机器人在当前状态下是否能够完成这个动作。
所以它把“应该做什么”和“能不能做”匹配起来，再进行规划。
张小珺
现在学术圈的论文名字都挺有意思。《Attention Is All You Need》，SayCan 就是告诉我“你可以”。都要取一个有意思、容易记住的名字。
陈建宇
对。SayCan 当时还配了一个视频。大致就是输入一段话，语言模型进行拆解，同时分析哪些事情是机器人能做的，然后进行匹配，再一步一步执行。
张小珺
那它不能做的话，不就卡住了吗？
陈建宇
不会。它会从一个 list 里面选一个当前可以做的事情，只不过不一定是最优的。所以确实存在这个问题，它不一定能匹配得最好，里面肯定有很多 failure case，只是视频里没有展示出来。
这就是 SayCan。它把 planning 用 LLM 替代了。
下一步，随着 VLM，也就是 vision-language model 的出现，大家可以直接对图像进行推理和思考，于是开始考虑 perception 这一部分。传统 AI 里，分割是一个模型，检测是一个模型，还有很多单独的模型；现在基于一个大的 vision-language model，可以做更加通用的事情。
其中有一项比较有意思的工作叫 Inner Monologue，翻译过来就是“内心独白”。
它举了一个例子：机器人要去拿钥匙开门。它先把钥匙拿起来，插入钥匙孔，尝试开门，结果发现这把钥匙不对，于是判断需要换另一把钥匙，再尝试，最后成功。
它想说明的是，机器人执行一个 action 之后，会获得某种反馈。比如把钥匙插入钥匙孔后，发现钥匙插不进去，这是环境给出的反馈。机器人需要根据这个反馈进行推理：既然插不进去，说明这把钥匙不对，需要换另一把。
相比 SayCan，SayCan 在最开始就把一、二、三、四、五步全部规划完，然后按顺序执行，没有考虑中间环境反馈导致任务失败的情况。Inner Monologue 把这个考虑进去了，可以在某一步之后重新规划和纠正动作。
它有点像 Chain of Thought，只不过是用于机器人。它会展示执行过程中间的思考过程。
我们在 2023 年上半年也做过一个相关工作。当时我们已经开始做人形机器人，所以主要在仿真环境中，在 Inner Monologue 的基础上进一步改进。
Inner Monologue 获取环境反馈的时间点，是在执行完一个任务之后。比如我已经做了一次动作，发现失败了，然后重新规划。但如果中间某个任务执行时间比较长，必须等任务结束之后再给高层反馈、再做高层规划，那么执行过程中的时间就会被浪费。
所以我们加入了更加及时的反馈。比如机器人要把箱子从一张桌子搬到另一张桌子，它会规划一、二、三、四、五步：先拿起来，再走过去，再放下。
在执行过程中，我们用一个视觉语言模型 VLM 作为 detector，以大约 10 Hz 的频率实时观察任务是否出现异常。如果箱子搬到一半突然掉了，机器人可以及时发现并马上思考：应该蹲下来把箱子捡起来，然后继续往前走。
如果使用 Inner Monologue，机器人可能要等到走到目的地才发现箱子没了，再回去寻找，效率会比较低。
所以这篇工作的主要改进，就是加入一个更实时的反馈，用 VLM 来监测任务执行过程是否正确、是否正常。Language model 主要做 task planning，以及出现异常时的重新规划；VLM 主要感知环境，监测任务执行过程。
张小珺
也就是 LLM 主要负责思考，VLM 主要负责观察环境。
陈建宇
对，二者配合使用。我们在机械臂和机器人上都做了一系列实验。
进一步，大家还想把 action 这一部分自动化。刚才的 action 可能是我们自己编程的，或者预先选择的模型，现在希望把这部分也自动化。
语言模型可以自动写代码，所以可以让语言模型帮助机器人写程序。比较有代表性的工作是李飞飞团队的 VoxPoser。
Vox 大概指体素，Poser 来自 pose，也就是位姿。李飞飞团队一直在做空间智能，所以他们用视觉语言模型和语言模型来推理机器人应该如何在空间中移动，比如机械臂如何避障、如何移动、如何执行任务，最后以代码的形式写出来。
机器人底层最终还是执行代码。VLM 可以观察当前场景，语言模型接收指令并进行推理，两个模型共同写出一个程序，再调用机器人底层的模型和控制器完成任务。
比如，它会写出一个 affordance map，表示空间中哪些点是目标点。假设我要打开抽屉，它会给出应该操作的区域；同时还会写一个 constraint map，表示空间中的障碍物。之后再用轨迹优化的方法进行规划。
张小珺
Coding 是赛博世界的环境，对吧？这是我刚学的一句话。
陈建宇
对。做机器人就会知道，底层要让它怎么动，确实需要写程序。这相当于把这部分自动化，让世界模型和语言模型自动写机器人代码。
还有一些类似工作，比如 Code as Policies。ChatGPT 刚出来之后，微软也做过让 ChatGPT 写机器人代码的工作。
张小珺
李飞飞这个工作是什么时候的？
陈建宇
2023 年，和她做世界模型的工作基本是同步的。这是一个很重要的工作。
张小珺
我理解这不算世界模型吧？
陈建宇
我也认为它不太属于世界模型。她一直没有公开自己所说的世界模型具体是什么方法。
这些方法展现出来的效果，都是大家最终希望达到的：给一个语言输入，机器人就能够自动完成各种事情。前面讲的这些方法，都是结合语言模型、视觉语言模型的能力，以及现有机器人算法和工具，共同完成目标。
但我还是认为，这类方法很难让我们达到真正通用。因为它没有构建一个真正针对机器人的单独模型，做的仍然是语言模型。
我们需要的模型，应该具备机器人具身相关的各种能力，foundation model 本身就应该具备执行机器人任务的能力。之前直接使用语言模型，它本身只是在语言或者视觉模态上训练，只是把它和机器人工具拼接起来，是一种间接使用。
我认为这不能真正帮助我们通向最终想要的通用机器人大模型。
当然，现在大量工作仍然集中在这一块，因为这条路相对容易。你有现成的 ChatGPT 可以直接调用。第一种方法是利用现有 foundation model 做机器人；第二种方法是重新基于机器人预训练一个 foundation model。
张小珺
也就是重新 pre-train 和 fine-tune？
陈建宇
对。你需要在模型架构、训练数据构建等方面做很多工作。总之，目标是重新做一个机器人的 foundation model，它的架构和语言模型不完全一样。
当然，很大程度上也会借用语言模型和其他 AI 大模型的基础，但整个架构设计肯定和单纯的语言模型不同。
回到刚才提到的几个重点，一个是模型架构，另一个是和它配合的算法。这些确定之后，会决定机器人可以使用哪些形态、数据是什么样的，进而涉及数据如何收集、硬件本体如何寻找等问题。
模型架构是最核心的，它会决定很多下游事情。但其他下游也有大量科学和工程难点需要攻克。
下面就进入这一块：为 robotics 预训练一个 foundation model，直接做端到端模型。这就带到我定义的 VLA 模型。
我认为我们想做的 VLA，一定是端到端模型。这里给出的 3 个模态是视觉、语言指令，以及直接输出对应动作。
人其实就是一个非常智能的 VLA agent。当然，后面会讲到，它肯定不止这几种模态。我们的输入可能不止视觉和语言，我们把它叫作通感。我们的输出也不只是动作，因为你还可以想象画面，或者生成其他东西，这会和后面讲的世界模型联系起来。
如果单纯看 VLA，可以理解为包含这 3 种模态的端到端模型，但这个概念可以扩展到更广。
VLA 这个领域很新，基本上是 GPT 出现之后才逐步发展起来的，但发展很快。现在已经有接近 20 篇论文，我列出来的也只是其中一小部分。我截取了最经典的工作，并按照方法和发展脉络分类，也加入了一些对未来方法的设想，下面会逐一介绍。
第一类，是直接用 Transformer 来构建。语言模型基于 Transformer，它是一个非常通用的架构。语言可以通过 text encoder 和 tokenizer 处理，理论上视觉和 action 也可以用类似方式处理并输入 Transformer。
基于这个思想，大家就说，能不能直接构建 Transformer 的一个变体，来做 VLA 模型。
先讲非常有名的 ALOHA。它严格来说不是 VLA，因为没有 language，但它非常重要，也是基于 Transformer，所以还是介绍一下。
ALOHA 的第一篇论文是 2023 年的，真正火起来的是 2024 年的版本。2023 年的第一代叫《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》。
它的核心是构建一个低成本的双臂操作系统，但可以执行非常精细的操作。ALOHA 的硬件很简单，成本较低，而且整个系统怎么搭建、去哪里买配件，以及算法都开源了。
其中提出了一个重要的机器人模型架构，叫 ACT，也就是 Action Chunking Transformer。它基本上是标准的 Encoder-Decoder Transformer 架构。
机器人有多个视角的输入，每个视角先通过 CNN，再输入 Transformer，最后通过 decoder 输出 action sequence，也就是未来一段时间要执行的动作。
Action chunking 是什么意思？在每一个时间点，比如 t=0 时，输出未来 4 个动作；t=1 时，再输出从第 1 个时刻开始的 4 个动作，以此类推。
之后它会把前面多个时间点的 action sequence 中对应时刻的动作做加权平均。比如 t=3 时，把 t=0、1、2 的 action sequence 里对应 t=3 的动作取出来，做加权平均。
这样做是为了 temporal ensemble。虽然理论上只需要使用最新规划出的动作，但把历史几个时刻的规划做加权平均，可以让 trajectory 更 smooth。
张小珺
也就是为了让动作更平滑。
陈建宇
对。这也涉及模型预测控制，也就是 MPC 的概念。
MPC 的基本思想是：每个时刻规划未来一段时间的 action trajectory。这个时刻点可能以 10 Hz、100 Hz，甚至更高的频率更新。
标准做法是只执行规划出的第一步，因为执行完之后，下一步会重新规划，再执行新的第一步。这就是模型预测控制。
传统 MPC 通过优化等方法计算 action，而 ALOHA 用模仿学习直接训练 Transformer，输出 action sequence。它做的小处理，就是把历史规划中对应当前时刻的动作都找出来，进行加权平均，让动作更平滑。
张小珺
稍微有点抽象，但可以理解为把历史上一系列规划的点对齐到相应时刻，再取加权平均。
陈建宇
对，就是这个意思。
ALOHA 不是严格意义上我们需要的 VLA，因为它不能直接 take language 作为输入，也不能通用地做各种事情。它虽然很厉害，但基本上还是一个模型做一个任务。
它的特点是用很低成本的硬件完成非常精细的工作。比如直接夹起电池，再把它放进电池盒，双臂需要配合，这其实非常难，也非常精细。
这是 Stanford Chelsea Finn 团队的工作。系统叫 ALOHA，在夏威夷语里是“你好”的意思，所以可能是受到夏威夷的启发。美国研究者很喜欢用拟人化的方式给机器人系统命名。
这类工作都很精细。2023 年第一代出来时，主要是在圈内引起关注，还没有真正出圈。真正出圈的是 2024 年的 Mobile ALOHA。
上一篇只是双臂固定在桌面上，这一篇在下面加了一个移动底盘。人可以推着底盘走，双臂就可以移动，既可以边走边做，也可以走到一个地方再执行任务。
它的遥操作方式也很有意思。前面是一个从动臂，后面是一个主动臂，人握住主动臂怎么动，前面的机械臂就一一映射地做同样的动作。通过这种遥操作方式，可以让机械臂执行任务，同时记录数据，再进行模仿学习。
Mobile ALOHA 直接把人固定在系统上操作。这样其实很有好处，因为很多遥操作是间接的，比如用遥控器控制，没有人直接推动物体精准。直接握住机械臂，甚至握着笔来操作，会有更强的感觉反馈，动作也可能更精准。
它的成本相对较低，一整套大概 3 万多美元，折合 20 多万元人民币。如果自己制作，还可以进一步降低。
张小珺
所以 ALOHA 是一个系列工作，但严格来说还不是 VLA。
陈建宇
对。
接下来讲一篇叫《Gato: A Generalist Agent》的工作，是 DeepMind 在 2022 年做的。我认为它是当时非常有远见的一项工作。
它的思想是一个统一模型，可以完成各种任务，包括视觉任务、语言对话、VQA，以及机器人的行为控制。这个想法非常超前，其实就是我们最终想要的目标。
当时的模型和技术还不成熟，它直接用一个 Transformer，把各种模态都加进去，然后进行训练，也取得了一定效果。它可以做 VQA、语言对话和机器人的动作，但每一块的性能都不是特别好。
毕竟 2022 年 ChatGPT 还没有出现。
张小珺
我当时看到这篇论文，也觉得有点“硬怼”。那时候 ChatGPT 还没出现，语言模型都还没做通，直接用一个 Transformer，真的能怼出一个 generalist 吗？
陈建宇
当时我也是这么想的。那时不仅是我，大部分人都会怀疑：只要不断增加模型参数和数据，真的就能做出通用智能吗？
但 ChatGPT 的出现改变了我的想法。因为在它出现之前，大家会怀疑这件事；出现之后，每个人都能感知到它确实很智能，于是开始相信这条路可以走通。
Gato 在 2022 年就做了这样的通用模型，那时 ChatGPT 还没有，语言模型也没有真正做通，所以它只能做比较简单的 demo。
后来他们开始专门往机器人方向做，把机器人这块做得更好，出现了第一个 Robotics Transformer，也就是 RT-1。
它仍然是基于 Transformer，但更加专注于机器人运动。Gato 把语言、视觉等全部放进去，但效果不够好，所以他们回过头来把机器人这一块单独做好。
RT-1 收集了大量机器人数据，一共 130K 个 episode、700 个任务、13 台机器人，数据收集持续了 17 个月。这是 Google 和 DeepMind 一起完成的工作。
张小珺
问一个很基础的问题：机器人 Transformer 和我们理解的大语言模型 Transformer，主要区别是什么？
陈建宇
底层架构差不多，都是 attention 架构，没有太大的区别。
机器人模型会在前面先对视觉图像做处理，比如通过 CNN，然后输入 Transformer；输出端也需要转换成 action。我们今天讲的这一类，就是基于 Transformer 的机器人模型，所以核心 Transformer 和语言模型里的 Transformer 区别不大，只是把它用在 robotics 上。
但整个网络架构还是要改，输入和输出都需要改。Transformer 也有很多种类，底层都是 attention，但具体结构会有差异。
核心机制仍然是 attention。你可以把中间的 Transformer 部分看成端到端模型的一部分，前面可能有 CNN 等 encoder，整个系统端到端训练、端到端 inference。
RT-1 可以算是 VLA 模型，因为它有 vision 和 language 输入，以及 action 输出。
张小珺
这是 VLA 的第一篇论文吗？
陈建宇
Gato 其实也可以算。如果定义是 vision-language-action model，并且是端到端直接训练，Gato 也符合。
不过 Gato 在机器人上比较弱，RT-1 则专门针对机器人收集数据、做训练和改进，性能会更好。
在它见过的任务上，基本能达到接近 100% 的成功率。当然 RT-1 的任务并不算很难，主要还是抓取，但它在多任务上能达到很高的成功率。
对于没见过的任务，它也基本能达到 75% 的成功率。
RT-1 很重要的一点，是通过相对大规模的机器人数据集进行训练，给了很多关于数据的 insight：对机器人数据来说，diversity 比 size 更重要。
张小珺
怎么理解 diversity，也就是多样性？
陈建宇
尽量要有更多不同任务。同一个任务下，也要有各种不同的物体。不能只是同一个任务、同一个物体、同一个摆放位置，重复很多遍，因为这种数据很多时候是无效的。
这个问题也会困扰自动驾驶。自动驾驶里经常说 expert driver，人类司机基本都开得比较好，车在道路中间，行驶很平稳。
如果没有对数据进行很好的处理，大量数据其实都是趋同的。危急情况和 corner case 的数据非常少，如果数据覆盖不够，就很难 generalize。
所以在数据收集方面，数据质量、数据量，以及数据分布都会极大影响 performance。模型决定了底座，但从实践角度讲，数据的影响同样非常大。
下面讲一篇叫 Octo 的工作，和 Google、Berkeley 以及 Sergey 团队都有关系。包括刚才的 RT 系列，Sergey、Chelsea 等人都参与很多。他们后来创立了 Physical Intelligence（π）。
这一系列基本上是 Google、Berkeley、π 和 Stanford 的一批人共同推动的。Chelsea Finn 也是 Sergey 的学生。
π 是美国目前最有名的具身智能公司之一，但它不做机器人本体，专门做具身智能的大脑。这一批人很早就开始做 VLA，从 SayCan 到 Gato、RT-1，再到后面一系列工作，是这个领域做得最早、积累最深、输出最多的一批人。
π 应该是美国人才密度最高的机器人公司之一。它的估值也非常高，大概是几十亿美元。后面讲 Figure 时会更夸张，但如果说 AI 具身模型的人才密度，我觉得还是 π，以及 Google、Berkeley、Stanford 这整个团队最强。
回到 Octo。这篇论文叫《Octo: An Open-Source Generalist Robot Policy》，某种程度上可以认为是开源版的 RT-1。
它的核心架构也是 Transformer。语言和图像分别通过 language encoder 和 image encoder，再输入 Transformer。它和 RT-1 的一个不同点，是允许在下游 fine-tuning 时加入新的 action space。
Action space 是什么？比如要控制不同机器人，可能会有不同控制方式。对机械臂来说，典型的控制方式有两种：一种是输出 end effector，也就是夹爪应该在哪儿、走到哪儿，再由底层控制器控制；另一种是网络直接输出每个关节的角度。
当然还可以有其他定义方式。Octo 考虑到这种可能性：预训练时使用一种 action space，迁移到另一种 action space 时，可以在 fine-tune 阶段加入新的 action space。
这是它和 RT-1 的核心区别之一。
它还开源了后续工作 CrossFormer，论文叫《Scaling Cross-Embodied Learning》。它希望用同一个模型跨越不同机器人本体，比如机械臂、四足机器人，甚至飞行器导航。
不同机器人可能有抓取、行走、导航等任务。它希望一个模型能够通用地复用到各种形态上。
CrossFormer 的前面部分和 Octo 基本类似，有视觉和语言轨迹相关的 encoder，再进入 Transformer。不同之处在输出端，它加入了几种不同的 action head。
前面的 Transformer 参数是共享的，但动作部分通过不同网络输出到不同机器人的 action space。因为不同本体的自由度不同，人形机器人的自由度、机械臂的自由度和车的自由度都不一样，不可能完全用同一个输出。
所以它采用的方式是：大部分参数共享，小部分 action head 分别对应不同机器人本体。
这样做的原因是，不同任务和本体之间仍然存在共性。单臂操作和双臂操作有共性，小车移动和四足移动也有共性。共享的部分可以从不同数据中学习这些共性。
实验结果显示，在一些任务上，跨本体共享数据训练会比单一本体单独训练更好。这说明更多跨形态数据融合之后，模型能够学到数据之间的联系。
可以把它理解成共用一个大脑，但有不同的小脑。一个大脑控制不同肢体，不同的 action head 就像不同的小脑，负责不同本体的动作。
张小珺
也就是希望通过一个大脑控制不同的肢体。
陈建宇
对，可以这么理解。
刚才这一类，都是因为 Transformer 经过语言模型几年的发展，相对成熟，所以大家基于这个架构训练一系列机器人 VLA 模型，输入 vision 和 language，输出 action。
下面有一类在此基础上进行扩展：训练目标不只是输出当前时刻应该做什么动作，同时还学习预测未来。
如果模型能够预测未来，就说明它对当前状态有更好的理解。预测能力可以帮助模型更好地理解当前情况。
这里列了两个系列的工作，是字节做的。字节也是国内相对较早开始做 VLA 模型的单位之一。
它叫 GR-1，也就是 Generalist Robot。它的架构分两个阶段。第一阶段在视频数据上做预训练，也是一个 Transformer 模型，但输出不是动作或语言，而是未来某个时刻的图像。
输入是当前图像，以及机器人或人在做什么的语言；输出是未来某个时刻的图像。训练时，可以把当前帧作为输入，把未来某一帧或几帧作为输出。
训练完成后，Transformer 就具备了一定程度的物理世界理解。之后在机器人上 fine-tune 时，再加入机器人 action 数据。因为视频数据里没有 action，可能是人的视频，所以要加入机器人动作数据继续训练，使它能够输出机器人动作。
这比刚才的 Transformer 多了一环：它不仅输出 action，还输出未来图像，并且可以先在视频数据集上预训练。
张小珺
人类其实每时每刻都在做预测。比如开车时看到旁边站着一个小孩，会预测他会不会突然冲出来；看到一个陶瓷杯放在桌边，会担心它会不会掉下来。
陈建宇
对。能做预测，代表你理解物理世界中的时序关系。未来可能发生什么，会反过来帮助你做更好的决策和行为。
纯 Transformer 只输出 action，没有这一环。加上未来预测之后，确实能够带来帮助。
GR-1 除了输出动作，也可以对视频做预测，比如机器人做完某个动作之后，摄像头未来会看到什么。它的预测时序还比较短，但大致能够完成这种预测。
之后是 GR-2，也就是第二代。模型架构和训练方法没有本质区别，但 scale 到更大的模型和更大的数据集上。
它使用了很多数据集，包括 RT-1 的数据、其他机器人数据，以及人的操作数据。它也研究了 scaling 效果：参数越大，loss 越低，success rate 越高。
本质上，GR-2 就是在 GR-1 的基础上进行了 scaling。
上面这些基于 Transformer 的工作，有一个共同特点：内部没有预训练好的语言模型，都是自己重新训练。
但我们也可以利用已经预训练好的语言模型，在它的基础上继续 fine-tune，而不必完全依靠自己的数据从头训练。语言模型发展比较快，开源模型也很多，完全可以利用起来。
大部分 VLM 都是在预训练好的 language model 上加入视觉模块，再进行 fine-tune。下面这一系列工作，就是研究如何利用好 VLM。
张小珺
我再问一个小白问题：字节自己没有做机器人，为什么也研究 VLA？
陈建宇
字节有一个实验室，在 AI Lab 下面有机器人小组。
张小珺
所以它是一个探索方向？
陈建宇
对，是一个研究方向。
张小珺
他们现在有机器人本体吗？
陈建宇
有。他们搭了一个本体，和 Google RT-1、RT-2 系列用的非常相像，有一个移动底盘和一个机械臂。
张小珺
理解了，所以机器人是他们的研究方向。国内还有哪些公司做机器人研究，而且比较前沿？
陈建宇
很多大公司都在做，但在 VLA 方向上，字节在这些大公司的实验室里做得最好。
下面就到 VLM。VLM 的重点是，它有一个预训练好的 language model。很多 VLM 都是在预训练好的 language model 上继续把视觉部分训练进去，形成 VLM。
这类工作的优势是能够用到已经训练好的语言模型，所以在语言理解等方面，通常会比从头训练的模型更好。
最早进行这方面探索的也是 Google，有一篇工作叫 PaLM-E，全名是《PaLM-E: An Embodied Multimodal Language Model》，也就是具身多模态语言模型。
它本质上还是一个 VLM。里面有一个大语言模型 PaLM，前面有一个 ViT，把视觉部分训练进去。整个模型的主要输出还是 text，也就是语言，主要做 VQA、看图说话等任务。
但它不只是看图说话，还需要进行机器人规划。机器人摄像头看到图像，输入相应指令，然后输出未来一、二、三、四、五步该怎么做。
PaLM-E 可以做具体机器人的看图说话和规划，也可以完成 VLM 的其他任务。下游再接一个 control，实际上这个 control 就是 RT-1。
RT-1 的语言能力比较弱，对复杂推理不够强，只能接收比较短的语言指令，比如“把苹果拿起来”。但如果是更长的推理，它就做不了。
所以 PaLM-E 负责上层推理和规划，比如判断第一步是把物体拿起来，第二步要怎么做；规划出第一步之后，再调用 RT-1 做底层控制。
张小珺
也就是说，上面是大语言模型，下面是机器人控制器。
陈建宇
对。下层控制器也可以换成其他 controller。
PaLM-E 的参数量当时达到了 562B，非常大。因为参数量大，它对视觉和语言的理解、泛化能力比较好，这部分能力也能辐射到机器人任务上。
比如给它一个从抽屉里拿东西的任务，它知道要先找到抽屉，走过去，打开抽屉，把东西拿出来，再交给人，能够完成一系列连贯工作。
它也可以进行逻辑推理。比如给它一个任务：把不同颜色的积木分别放到不同的角落。它要理解颜色、角落，还要进行归类。
由于里面有预训练好的语言模型和世界知识，这类复杂任务相对做得更好。纯 Transformer 的模型在复杂推理任务上会比较困难。
不过 PaLM-E 仍然是分层架构。VLM 是独立的 VLM，下面接 RT-1 做 control，并没有串起来端到端训练。VLM 输出的还不是 action，而是指令，只是帮助完成推理。
所以 Google 后来继续做了同一系列的工作，出现了当前最有名的 VLA 开山之作之一：RT-2。
RT-1 也可以算 VLA，但它没有预训练语言模型，语言能力和推理能力相对较弱。RT-2 的语言能力更强，论文标题直接叫《Vision-Language-Action Models》，所以很多人把它视为 VLA 的代表性首篇工作。
它的思路是：原本有一个在各种数据上训练、能够看图说话的 VLM，PaLM-E 是 VLM 和 RT-1 配合；RT-2 则把 RT-1 的能力合并进 VLM，让 VLM 直接输出动作。
它的 backbone 仍然是 VLM，前面有 ViT，里面是 language model。但它不再输出“第一步、第二步、第三步该怎么做”的语言，再交给 RT-1 控制，而是直接输出 action。
它的输出本身是 token，再把 token 映射成动作，比如机器人夹爪该移动到哪里。因此，它可以理解为直接拿 VLM 输出机器人动作。
RT-2 的训练采用了 co-fine-tune。VLM 原本已经在各种 VQA 任务上预训练好了，fine-tune 时不仅使用机器人数据，也把一部分原来用于训练 VLM 的数据一起拿来训练。
这样做是为了避免在 fine-tune 过程中对机器人 action 过拟合，而削弱模型原来对视觉和语言的理解。
RT-2 的特点是，它在一个端到端模型中直接输出动作，同时保留了对视觉和语言的理解能力。
比如输入“把香蕉放到德国”，它能识别德国国旗，并把香蕉放到国旗上；输入“把可乐罐放到 Taylor Swift 上”，给它几张照片，它能识别 Taylor Swift，再把可乐放过去。
它还可以识别热火队等视觉概念。这些能力来自 VLM 在大量互联网数据上的预训练，机器人数据集里可能没有德国国旗、Taylor Swift 或热火队，但预训练模型已经认识这些概念。
因此，机器人模型也获得了这些视觉和语言理解能力。
从量化结果看，RT-2 比 RT-1 更好。见过的任务上，RT-1 已经很高，差别不一定大；但在 unseen 任务上，RT-2 的优势很明显。
因为它有预训练好的 VLM，而 VLM 在大量互联网数据上训练过，所以能够把这部分泛化能力用起来。
张小珺
所以 RT-2 的核心，是把 RT-1 的 action 能力直接合进了 VLM。
陈建宇
对。
接下来是 RT-X。这篇论文的作者很多，它主要做了一个数据集，也就是 Open X-Embodiment。
它把各个实验室，主要是美国各个实验室之前收集的机器人数据整合起来，用这些数据训练 RT-1 和 RT-2 模型。
数据集是开源的。现在做 VLA 模型，使用最多的就是这个数据集，对整个 community 的发展贡献很大。
里面有各类机器人数据，有些是实验室原来收集的，有些是为了这篇文章新收集的，Google 也把 RT-1 和 RT-2 工作所用的数据开源出来了。
张小珺
为什么要开源？
陈建宇
主要是促进学术和行业发展。AI 领域相对开放，很多工作都会开源，也有很多开源数据集和 benchmark。RT 系列和 Open X-Embodiment 的影响力都很大，基本上已经成为机器人领域常用的数据集。
张小珺
在机器人领域，现在谁的技术口碑是最强的？
陈建宇
这个也分领域。比如 VLA 的领域，口碑肯定是刚才说的这一帮，就是 Google 和 π 的那帮人。
这个数据集有大约 60 个数据集，相当于来自大约 60 个不同实验室，也有很多技能和多种 embodiment。不过，它里面的 embodiment 基本上还是机械臂加夹爪，虽然机械臂不同。
这也是它的缺陷之一。另一个问题是，数据直接来自各个实验室，质量不算特别高。Google 自己的工程化团队收集的数据质量比较好，但很多实验室的数据质量一般。
它对数据分布做了统计，包括不同本体、任务和技能。
在 cross-embodiment，也就是跨本体训练上，它发现了和前面 Transformer 工作相同的现象：在各种数据集上共同训练，会比在单一任务、单一数据集上训练更好。
更多不同类型的数据，最后形成一个通用模型，比在单一任务上训练一个专用模型更好。这就是我们想要达到的目标：不仅一个模型能干多种事情，还希望数据变多之后能够 scaling，提升 performance。
RT-2-X 也和 RT-2 做了对比。RT-2 只在自己的数据上训练，RT-2-X 则在更大的 Open X-Embodiment 数据上训练，performance 更好。
当然，这些任务还不算特别复杂，因为数据主要来自实验室。但它已经成为学术界常用的标准数据集。如果未来能有更复杂任务的数据集，对训练会更有帮助。
接下来是 OpenVLA。RT-1 的模型和训练是开源的，但 RT-2 没有开源，Google 没有公开 RT-2。
所以 OpenVLA 可以认为是开源版的 RT-2，并且模型调优得比较好，在一些指标上比原始 RT-2 更好。
它的主体主要是学校，但还是那一批人参与，包括 Google 的研究者。模型结构仍然是 VLM，直接输出机器人动作，在各种数据集上训练，模型参数和训练方式也都开源了。
它和 RT-1、RT-2 做了对比，达到了 SOTA performance，对 community 有很好的促进作用。
刚才这一类 VLA 的核心，都是用 VLM 直接输出 action，把原本输出的 token decode、detokenize 成动作。
但我们在 2023 年复现 RT-2 时，也发现这种方式存在局限。它本质上缺少对 action 这一层的专门处理。动作虽然可以用语言表示，比如输出数字表示坐标，但还是缺乏专门针对动作的模型。
另外，VLM 的运行速度比较慢。RT-2 基本上只有 1 到 3 Hz，每秒输出一两次动作。对机器人来说，这个频率非常低，执行动态任务和精细任务都会受到影响。
所以接下来这一类，是在 VLM 的基础上增强 action 部分。
我们课题组在去年做了一篇工作，叫 Hierarchical Robot Transformer，简称 HRT。它虽然分成了两个网络，但本质上仍然是端到端模型。
判断是否端到端，应该看输入和输出数据是不是直接端到端，中间有没有人为提供的量；训练是不是直接端到端；模块之间的梯度是不是可以回传。如果这些都满足，整个模型就是端到端的。
左边是标准 RT-2 这一类 VLA 模型：一个 VLM 直接输出 action，频率比较低，也没有专门处理 action 的模块。
我们增加了一个 action policy，也就是 action 模块。这个模块可以是简单的 MLP，也可以是 Transformer 或 diffusion，专门处理 action。
VLM 的 latent 等信息会传给 action policy。我们还做了分频处理：VLM 以比较低的频率运行，action policy 以比较高的频率运行。
VLM 可能有几个 billion 参数，而 action policy 只有几十 million 参数，所以它可以更高频地运行。action policy 也需要输入视觉信息，因为控制需要经过视觉反馈形成闭环。
从 performance 看，我们的方法和 RT-2 类似，甚至稍微更好，明显优于 RT-1。推理速度方面，RT-1 最高，因为它很小；RT-2 的 VLM 推理速度较低；我们在保持 success rate 的同时，保持了更高的推理速度。
performance 变好，一方面是因为加入了专门处理 action 的 policy；另一方面是因为进行了分频处理。action policy 专门负责动作解码，动作处理更加精细，VLM 低频运行，action policy 高频运行。
这种方法在 dynamic task 上尤其有优势。比如机器人要抓取一个不断移动的物体，它需要实时追踪。我们的模型能更快、更及时地跟踪，而 RT-2 频率低、动作不够精细，更容易失败。
张小珺
这是你们去年的工作？
陈建宇
对，去年上半年投稿，大概去年年中公开。
Figure 在今年 3 月左右发布了最新架构 Helix。它把系统叫作 System 1 和 System 2。这个架构和我们刚才讲的工作基本是一个思路。
System 1 是一个预训练好的 VLM，下面是一个大约 80M 参数的 Transformer，同样进行分频处理，视觉信息也同时给到下面的 action 模块，中间通过 latent vector 传输。
类似的想法还有 Physical Intelligence 的 π0，它在去年 10 月或 11 月发布，是 PI 的一篇重要工作，影响力很大。
它前面也是一个预训练好的 VLM，后面是一个 action expert，作用和 action policy 类似，但架构不同，使用的是 diffusion flow matching 网络。
π0 没有进行分频处理，而是直接把 VLM 接到 action expert。它的整体效果非常好，展示的任务是从洗衣机里把衣服夹出来，再把衣服和裤子叠好。
PI 团队在精细化操作上一直做得很好。它和 ALOHA 背后的团队有很深关系，所以在这方面的口碑和影响力都很强。
张小珺
他们的精细化操作做得很好。复现起来难吗？
陈建宇
有些还可以，因为很多东西已经开源了，包括 ALOHA 的论文和系统。
近期 NVIDIA 发布了 GR00T，它的模型也属于这一类：前面有一个 VLM，后面有 action 处理模块。它使用 diffusion transformer 作为 action policy，并且加入了 action encoder-decoder，对 action 进行更精细的处理。
它还加入了仿真器自动生成的数据，用来做数据增强。
这一块大概就是 VLM 加 action 的路线。
下面讲 diffusion 这一条路线。Transformer 是底层架构，diffusion 是训练方式。
Diffusion model 擅长图像和视频生成。现在很多高清图像、视频生成模型，都基于 diffusion。它本质上是加噪和去噪的过程。
从 high level 看，它和 VAE、autoencoder 有些相似：先通过 encoder 把数据映射到 latent space，再通过 decoder 解码出来。区别在于，diffusion 的编码是多步加噪，解码是多步去噪，核心是学习多步去噪的网络。
这个网络可以使用 CNN，也可以使用 Transformer。
Diffusion 是一种生成式训练方式，擅长生成模型。机器人任务中，一个重要目标就是生成动作和动作轨迹，所以大家开始考虑能不能用 diffusion 生成机器人动作。
于是出现了 Diffusion Policy。它使用 diffusion model 的训练方式，学习生成机器人动作序列。
它和图像 diffusion 类似，但需要加入当前状态作为条件。比如开车时，要根据当前图像和其他输入，生成动作轨迹。它对 action 部分进行加噪和去噪，学习生成较好的 action sequence。
使用时仍然可以采用 MPC 的方式：Diffusion Policy 生成一系列动作，当前时刻执行当前动作或最近几步动作，下一个时刻再根据新的状态重新生成一系列动作。
Diffusion Policy 的去噪网络可以使用 CNN，也可以使用 Transformer。
Diffusion 对复杂、长时序、精细任务比较擅长。比如把梯形的架子放到指定位置，它是一个很小的模型，没有语言模块，但能够执行复杂、长时序的精细任务。
还有一个经典任务，是把酱均匀地抹在 pancake 上。过程中可以进行各种干扰，比如人不断移动 pancake，机器人仍然要完成连续动作并把酱抹开。
Diffusion 这条路线研究了几年，最开始主要用于图像生成，后来逐步应用到机器人，效果现在已经比较好。
它的一个续作是 RDT，也就是清华朱军老师团队做的工作。它本质上把 Diffusion Policy scale 到了比较大的程度，参数量达到 1B。
它在很多数据集上做预训练，也在自有数据上 fine-tune。预训练数据量大概是 1 million，其中大量使用了 Open X-Embodiment 的数据。
RDT 的架构中，图像和语言输入经过 encoder，然后进入 diffusion transformer block。整个过程有多次连续去噪，每一个去噪网络由 diffusion transformer 构成。
它还有一个创新叫 unified action space。刚才讲 CrossFormer 时，它使用不同的 action head；RDT 则把不同本体都放在一个统一向量中。
这个向量比较长，然后分配给不同本体：中间一部分给单臂系统，一部分给双臂系统，一部分给轮式机器人。
我个人认为 action head 的方式可能更好。因为我们不知道未来会有多少种机器人本体，很难预先准备一个足够长的向量，也可能遇到训练完成后向量不够用的问题。
直接增加不同的小脑可能更好。大部分大脑参数是共享的，小脑部分只需要用相对少的数据 fine-tune。
张小珺
所以 RDT 也是 VLA，因为它输入语言和视觉，直接输出 action。
陈建宇
对。刚才讲的 Transformer 和 diffusion，不能简单地说谁是架构、谁不是架构。Diffusion Policy 里面也可以使用 Transformer，RDT 里面也使用了 Transformer。
区别在于，Transformer 这一类主要是直接 supervised learning；diffusion 是生成式训练方法。网络架构可以仍然是 Transformer，但训练方式不同。
我们认为预测未来的能力对具身智能很重要。如果模型能够预测未来世界或未来一段时间的物理现象，就能更好地理解当前情况。
而预测未来视频非常适合使用 diffusion，因为现在最强的视频生成模型基本都基于 diffusion，生成式能力很强。
所以我们做了一项工作，在 diffusion 架构下同时生成 action 和对未来的预测，叫《Prediction with Action》。
Diffusion Policy 通过 denoising 生成 action，我们想能不能构建 joint distribution、joint denoising、joint diffusion，同时生成动作和对未来的各种预测。
整个架构比较简洁，中间是多步去噪，每一块是一个 DiT，也就是 diffusion transformer。
输入不只是 language 和 vision，还可以输入机器人的状态，比如姿态，也可以输入深度相机、触觉等其他模态。输出也可以灵活扩展，除了 action，还可以生成对未来的预测，包括未来图像、深度，甚至未来触觉，也就是预测未来会摸到什么。
这是一个扩展化的 VLA 模型。
我们在很多机器人数据和 Open X-Embodiment 数据上训练，也在仿真和真机上做了 benchmark，包括抓取、绕线、开抽屉等任务。
它的泛化能力比较好。比如训练数据里只有几种颜色的方块，测试时加入很多新的物体。任务越难，我们的优势越明显。
这是因为模型有多种输出，包括对未来图像的预测，帮助它更好地理解和泛化到这个世界。
我把它称为一种 world model。比如 Sora 出来之后，大家会把它叫作 world model；NVIDIA Cosmos 出来之后，也被称为 world model。
它本质上是在预测：执行某个 action 之后，未来世界或 environment 会怎么变化，并通过图像或视频预测表达出来。
从这个角度看，我们把世界模型融入了 VLA 模型。
单独看 world model，就是预测未来世界。下面是模型生成的结果，上面是 ground truth。比如让机器人打开冰箱门，它生成的结果很符合物理现象，包括门怎样打开，以及里面可能有什么东西。虽然能看到一些 AI 生成的痕迹，但整体符合物理规律。
另一个例子是让机器人移动到右侧抓取物体。模型会生成机器人如何一步步移动过去，夹爪如何闭合并抓住物体。
画面中原本有一个梨，部分被挡住；真实情况是香蕉，但模型预测成了梨。这也符合它基于可见信息进行猜测的逻辑。遮挡关系也能够恢复得比较好。
除了视觉预测，我们也可以预测深度。模型预测的深度图和 ground truth 比较接近。
我们还做了 scaling 探索。模型参数越大，success rate 基本上也能得到提升。
之后是续作，叫 Video Prediction Policy。它和前面 VLM 与 Transformer 两类工作的关系有点类似。
上一篇是在机器人数据上从头训练整个网络，类似于从头训练一个 Transformer。它的性能不错，但我们想能不能利用互联网上预训练好的大规模生成式模型。
我们特别重视生成式模型。已经有一些 video diffusion 模型在大量视频数据上预训练好，所以能不能把它用到机器人上，就像 VLM 路线利用预训练好的 language model 一样？
视频生成模型和机器人不直接相关，也不理解机器人指令和任务。因此第一步，我们先把视觉视频生成网络 fine-tune 到机器人数据上，让它理解机器人指令，并预测机器人任务。
之后加入 Diffusion Policy，处理 action 生成，并在网络层面深度融合。我们从视频生成模型中抽取合适的 latent，通过 cross-attention 和 Diffusion Policy 模块进行深度融合，再一起训练。
这样可以把视频预测模型在大规模视频数据中学习到的知识，嵌入到动作行为中。
整个模型在生成和动作上都有比较好的效果。
比如有一个 zero-shot 任务：用灵巧手把红色液体舀到蓝色碗里。这个任务此前完全没有收集过数据。
模型知道什么是勺子，虽然没见过这个勺子，也没有见过相关数据；它知道要先抓住勺子，再把液体舀起来。
图中是模型对任务过程的预测，也就是在实际执行之前先做预想。实际执行时，因为完全没有训练过这个任务，成功率还不是很高，但姿势大致是对的。
由于模型本身有一个很好的大模型基座，只要收集一点这个任务的数据进行 fine-tune，就能很快学到稳定的执行方式。
我们还做了很多更复杂的任务，比如用灵巧手拿锤子敲钉子，或者拿螺钉枪打螺钉。拿起工具之后，要按下按钮，进行对准，再打螺钉，这类任务非常困难。
这已经超越了简单的 pick and place，涉及到工具使用。模型在一定程度上可以支持这类任务。
总体来说，这类模型的 scaling 能力比较强。除了刚才的任务，还有大大小小上百种任务，都可以在同一个模型架构下学会。
目前主流的几个方向，大概就是刚才这些。还有两个我认为可能是未来的方向。
一个是 unified，也就是更加统一的模型。我们最终希望模型越统一越好，拥有更多功能。
刚才提到 VLM 有比较好的图像 understanding 能力，也提到预测未来的路线，当然还必须生成 action。能不能把这些统一起来？统一之后，不同功能之间可能互相影响、互相增强。
基于这个 insight，我们做了一项工作，叫 UP-VLA，也就是 Unified Understanding and Prediction Model。在 VLA 的基础上，把 understanding，比如 VQA，以及 video prediction 这些能力统一训练进来。
这个想法和 Gato 很像。Gato 也想把各种任务都放进来，但 2022 年还没有很好的模型架构，只有基础 Transformer。
现在我们已经有更好的预训练语言模型、VLM，可以在它们的基础上继续做，所以能够实现更好的效果。
这项工作还在探索中，但在一些 benchmark 上已经有不错的结果。它不仅能做动作，也能回答问题，比如描述图像发生了什么，还能预测执行某个任务之后未来几秒会发生什么。
另一个方向是强化学习。刚才讲的所有方法基本都是 supervised learning，或者 imitation learning。
我们知道强化学习非常重要。如果从某个时刻到未来某个时刻，只靠监督学习，性能可能无法继续提升。到了这个阶段，强化学习可能帮助我们突破瓶颈。
我们也做过一个用强化学习训练 VLA 模型的工作。它和 ChatGPT 的 RLHF 有些类似。当时 ChatGPT 已经使用 RLHF 了，我们就在想，机器人能不能也在 SFT，也就是 supervised fine-tuning 的基础上继续做强化学习。
我们发现是可以的，但需要特殊处理。右边的图是总结：虚线表示纯模仿学习的 policy，可能只能达到不到 50 分；蓝色是我们的方法，继续做强化学习之后，可以逐步增强性能，甚至接近 100 分。
当然，这不是标准 PPO。如果直接使用标准 PPO，可能会越训越差。
标准 supervised learning 是直接使用相应数据做模仿学习。强化学习可以直接拿 PPO 训练，但我们发现直接训练整个网络不太 work。
如果强化学习时把 VLM 冻结，只训练下面的 action head，就可以 work。但我们希望 VLM 也能训练、梯度也能传回去，直接训练整个模型却不行。
所以我们分成两个步骤。第一步先冻结 VLM，只训练 action head，通过强化学习把动作部分训上去；训练完成之后，把成功的 trajectory 存下来。
第二步放开 VLM，再用 supervised learning 的方式训练。也就是说，先用强化学习把动作训好、存起来，再用监督学习训练 VLM。
这是一个间接的解决方式。整体上相当于用强化学习把性能提升起来，但未来还有很大的提升空间，我们仍然希望强化学习能够直接训练整个模型。
实验中，我们的方法基本上比 supervised learning 更好，尤其是在没见过的任务上。直接用 PPO 训练，如果处理不好，可能比 supervised learning 还差。
张小珺
好，整个介绍大概到这里。陈老师，你之前是施一公的学生吗？
陈建宇
不是。网上有一个奇怪的介绍，我不知道是谁写的，基本都是乱编的，可能是 GPT 写的。
张小珺
你本科是学什么的？
陈建宇
本科在清华精密仪器系。这个专业比较杂，机械、电子、控制等都会学。
我当时也做了很多机电系统，包括偏硬件的东西。本科毕业设计做的是双足机器人控制。
张小珺
所以你本科已经开始关注机器人了？
陈建宇
对。本科就开始关注机器人。前几年可能更关注机器人硬件，包括机械设计，因为有很多机械设计课程，也有机电系统、嵌入式、单片机等课程，还参加了一些比赛。
毕业设计做的是双足机器人的步态规划。当时精密仪器系算是国内最早做双足机器人研究的单位之一，20 多年前就开始做了，所以我跟着老师做了相关毕业设计。
张小珺
后来去读博，机器人就是你的方向吗？
陈建宇
对，读博主要做机器人方向。导师是日本老师，叫 Masayoshi Tomizuka，也就是 Tomizuka 教授。他是机器人和控制领域非常有影响力的老师，也是美国院士，是 mechatronics，也就是机电一体化学科的开创者之一。
机器人某种程度上就是一种机电一体化系统，也就是机电系统。它研究的是怎样通过计算机软件控制自动化的机械系统。
我的博士阶段方向叫 Mechanical Systems and Control，也就是机械系统控制。所有机器人和很多自动化系统都可以看作机械系统，需要分析它的性质，知道如何用软件算法控制它，以及控制算法放在硬件机械系统上会产生什么效果。
所以整个研究可以理解为软硬一体的机器人系统，以及如何设计这样的系统。
我导师比较有名的工作是 MPC，也就是 model predictive control。波士顿动力之前一直使用这套方法，包括最开始做翻跟斗等动作，核心都基于这一套方法。刚才讲到的模型预测控制，理论基础最早也和导师团队的工作有关。
我博士前两年主要做 MPC。当时 AlphaGo 还没有出现，deep reinforcement learning 这个方向也没有真正发展起来。AI 虽然已经进入 computer vision，但还没有真正进入 robotics，尤其是机器人控制。
之前有 adaptive control 等一些 machine learning 的思想，但 deep learning 还没有进入这一块。前两年我主要做基于优化的 MPC 算法，也写一些优化器。
AlphaGo 出来之后，我开始关注强化学习，用强化学习做机器人控制。博士后几年主要做 robot learning 和强化学习。
张小珺
听起来你对机器人本体的控制更擅长。
陈建宇
可以说是整个系统化。此前机器人的 pipeline 比较长，要分感知、上层决策、预测、规划和控制，感知和认知很多时候还要再拆分。
现在逐步都在做端到端，希望用更统一的方式做整个系统。对我们做 control 的人来说，这其实很开心，因为子系统越多越难分析。如果是一套端到端网络，系统反而更简洁。
张小珺
你现在主要做“大脑”？
陈建宇
大脑和小脑都做。如果把行走和人形机器人的运动控制理解成小脑，这部分我们也做了很多。
本体也做，主要是在公司这边。人形机器人本体包括双足、双手，以及底层很多核心部件。关节、电机、灵巧手等，都是我们自己设计的。
因为现有产业链还不成熟，市场上买不到让我们满意的产品，所以一开始就是软硬件一体地做。
机器人本身也是软硬一体的系统。最终使用时，一定是软硬件配合起来的系统，所以两者同时做、同时培养能力，对我们有很多好处。
这样可以用系统化的方式统一设计整个软硬一体化系统。软件和硬件同步迭代，设计时也会考虑两者的耦合。
张小珺
你考虑过无人车这个行业吗？
陈建宇
我博士的主体课题就是无人车。2015 年读博时，正好是上一波无人车刚刚兴起的阶段，所以博士期间做了很多无人车研究。
我也算是比较早研究端到端无人车驾驶的人。AlphaGo 出来之后，我开始研究强化学习；大概 2017、2018 年，就尝试直接用强化学习训练一个端到端网络，从世界输入到输出。
当然，当时技术还比较落后，不足以真正让端到端系统上车。端到端上车其实是这两年的事情，强化学习也还没有真正上车，还是先使用模仿学习。
但当时已经基于仿真等环境，做了一些相关探索。
张小珺
后来为什么没有继续做无人车，而是做机器人？
陈建宇
我 2020 年毕业，当时需要思考后面的主要方向。那时候无人车产业的很多格局已经形成。
我觉得机器人是更大的机会。第一，机器人本身也包含无人车。刚才提到，未来的具身模型一定是通用的，同一个模型既能控制无人车，也能控制机器人。
我们做机器人控制时，会对不同机器人本体进行统一建模。机器人本体有统一的建模方式。从动力学系统来看，车和机械臂写成公式之后，形式是一样的，没有本质差别。
所以基于这个考虑，我很快就转到机器人上。我觉得机器人涵盖面更大、更有挑战，产业格局也更新。
回来之后，我的主要方向逐渐集中到机器人，包括机械臂、四足机器人等，都做了很多工作。
张小珺
为什么回国？当时你不是拿到了 Waymo 的 offer 吗？
陈建宇
当时确实拿到了 Waymo 的 offer，差点就要过去了。主要有几个方面的原因。
一方面，我后来还是不想去大厂，想做更自由、更自己感兴趣的事情。教职可以满足这样的需求，所以首先考虑了教职。
另外是外部环境。那两年中美关系恶化得比较厉害，我在美国待着感觉不是特别舒服，也产生了回国的倾向。
当时又正好遇到 2020 年的疫情。疫情初期，国内控制得比较好，美国当时的情况感觉还是挺吓人的。
大概基于这几个外部因素，我开始在国内寻找机会。后来拿到清华的机会，觉得这是非常好的选择，就直接回来了。
张小珺
后来为什么又选择创业？你在高校做的工作和创业做的工作有什么关系？
陈建宇
我认为创业做一家公司，特别是做大之后，scope 会更大。它也需要技术，我们今天讲的很多技术，都会融入公司的产品。
但在学校里主要 focus on 技术。我发现自己除了技术之外，对产品、产品应用和商业化也很感兴趣。技术仍然是我最喜欢做的事情，但我也想做产品和商业化。
我从本科开始接触机器人，到现在已经 15 年左右，也一直在观察这个行业。机器人这个行业的历史其实很长，但一直没有真正很好地在现实世界中用起来，大部分还是停留在实验室。
我觉得不应该这样，机器人应该真正被使用起来。当你掌握了机器人构建、软硬件等各种能力之后，会想到很多有趣的应用方式。
但如果只在高校实验室，很难做出来，因为还涉及大量工程、制造、销售和产品化。我也等不及某个大厂或其他公司开始做，再和它进行学术合作。
我想自己做这件事，所以 2022 年底基本决定创业。我们在课题组和自己的课题里做了一段时间之后，觉得需要扩大规模。
另一个原因是当时看到 Tesla 和小米都在 2022 年发布了机器人，预判未来产业会起来，各家公司会陆续入场。它们资源比较多，学校资源虽然也很丰富，但如果之后竞争起来，一个小实验室很难和大型公司赛跑。
张小珺
我们刚才说的通用架构，是放在高校做，还是放在创业公司做？
陈建宇
大致会区分。整个工程化架构主要在公司这边，学生主要做前沿 AI 探索。
学生可能会使用公司工程化的一些架构，比如硬件平台、基础设施、数据等，做更前沿的探索。
张小珺
作为一个创业公司，你们现在的产品是什么方向？我理解人形机器人其实还很早期。
陈建宇
我们一般会分成 3 个阶段，叫 to A、to B 和 to C。to B、to C 大家了解比较多，to A 里的 A 是 academia。
现在机器人是一个新品类，处在新品类导入期。最先愿意接触和购买的，通常是做前沿研究、技术开发和极客技术的人。
在这个阶段，应用也需要探索。我们会面向这些创新者销售产品。现在我们的灵巧手已经开始批量销售，国内外各大高校和公司都有客户，商业闭环已经转起来了。
这个阶段的用户主要是高校研究者、企业研究者，以及对新技术应用方向感兴趣的创业公司和大厂。
大家会研究新型机器人如何改进，这是高校科研用户比较关注的；另一部分会考虑新产品如何用起来。
比如很多制造类企业会考虑，灵巧手这种新型机器人能不能帮助提升产线效率。还有一些具身智能公司能力不够全栈，需要我们的产品补足，用我们的产品做相应应用。
随着技术不断发展成熟，我们对应用和商业模式看得更清楚，就会逐步进入 to B 阶段。
这个阶段我们已经开始做了。我们和一些企业合作方，尤其是制造和服务领域的场景合作方，一起探索。对方提供场景、部分数据，以及对商业化的理解；我们共同开发满足其商业场景要求的机器人产品。
张小珺
灵巧手现在成熟吗？
陈建宇
整个行业还不算成熟，肯定还有改进空间。但我们已经推出了一版成熟产品，后面还会继续迭代，可以认为还没有收敛。
张小珺
有的人觉得应该根据场景去定义机器人，但你不这么认为，对吧？
陈建宇
对。那是上一代机器人做的事情，也不能说失败，至少它证明了这种方式没法 scale。
张小珺
机器人领域的 scaling law 成立了吗？
陈建宇
我们看到了这样的迹象，包括刚才展示的一些模型和结果，目前至少是在这个方向上。
张小珺
有 AI 的 aha moment 吗？
陈建宇
还没到。语言模型的 aha moment，大家也是到 DeepSeek 的时候才特别明显地感受到，所以机器人肯定还没到这个时刻。
但有一点是明确的：我们找到了某种能够持续、快速提升机器人能力的方式。这个能力提升可能会持续好几年，接下来几年里，机器人能力可能每年、每个月都在提升。每一次能力提升，都可能解锁新的应用和商业机会。
我们不需要等到真的出现所谓 aha moment，才开始寻找应用。机器人不需要等到那一刻。
现在已经在使用的机器人，包括工业机械臂，智能程度几乎为零，但仍然有万台级别的出货量，也有很多应用，养活了一批上市机器人公司。
新的技术必然会带来软硬件能力提升。现在能力正在斜坡上上涨，我认为在这个过程中，沿途一定能找到很多落地机会。
张小珺
所以你和 AGI 信徒是同一个 bet：模型能力提升，沿途下产品的蛋。
陈建宇
对。相对来说，机器人沿途解锁应用可能会更快、更顺一些，比大模型更容易。
大模型对智能性的要求很高。要真正用起来，语言能力必须达到接近人类的程度。几年前的语言模型能力还不足以帮助我们，所以基本上是 ChatGPT 出现之后，大家才开始考虑它的应用。
但机器人不一样。机器人只需要在某个动作上达到人类水平就可以，很多动作不一定要求很高的智能性。
张小珺
我直观感觉机器人应该比语言模型更难，因为语言模型不需要动作，而机器人已经接触物理世界了。
陈建宇
如果要做到完全像人一样泛化，机器人当然更难。它不仅包含动作，还包含人类对视觉、语言和思维的处理能力。所有这些能力都要和人对齐，并且在各种场景和情况下都能和人类匹敌。
所以从最终目标看，它肯定比语言模型更难，因为它是一个更广泛的事情。
但此前机器人为什么能用起来？特别是在制造业，因为制造业的工序分得很细，一个工人只需要做一件事情，所以对智能性的要求降低了。
这也是为什么我们首先选择 to B，再到 to C。家庭场景对泛化性的要求很高，但在 to B 端，沿途有很多潜在机会可以落地。
张小珺
我理解你创业其实是高校工作的延伸，向产业界延伸。
陈建宇
对，可以这么理解。现在最重要的还是研发，先把技术做出来，这是继续探索新商业应用的前提。
张小珺
好啦，这期节目就是这样。如果你喜欢我的节目，欢迎前往小宇宙、苹果 Podcast、腾讯新闻、喜马拉雅、QQ 音乐订阅《张小珺商业访谈录》。如果你有其他想邀请的嘉宾、想听的内容，或者你有任何想探讨的话题，都欢迎各位听众朋友们在评论区里留言。那我们下期再见，拜拜。