Danfei Xu：人类数据，行为克隆，机器人的GPT-3，斯坦福，全栈机器人，EgoMimic，遥操作，UMI

我现在感觉自己就像一辆高速前行的火车：前面有几个 lab 在疯狂搭铁轨，后面所有资本就开始在车里面加油、加柴。如果你在每个人身上挂足够多的 sensor，其实你可以把一个人变成一台机器。

I want to behavior clone a human。太 exciting 了。那段时间真的就是我天天一睁眼就是 a student，所以我当时就开始给各种各样名字里带 robotics 的公司打电话。我跟其中一家聊了很久，然后他说：“那你来吧，我们也不给你钱，但你来吧。”

第二年的时候，Fei-Fei 跟我说：“你要不继续做 scene graph？”我说：“不要，我要做 robotics。”但他们当时没有做 behavior cloning，是因为他们的 flagship product 或 flagship research agenda 是 reinforcement learning，所以他们强行把 behavior cloning 这件事情压下去了。我真的不想在这种环境里干。

如果你看遥操作数据，其实遥操作数据本身也不是一个完美的数据。但是，人和机器人、机器人和机器人之间的差距，真的有那么大吗？

Tairan He

如果说大语言模型的跃迁来自互联网上沉淀的海量人类语言数据，那么对于机器人来说，是否也存在一种同样关键的数据？不是文字，不是图片，而是一个人拿起杯子、打开抽屉、走进房间，以及和另一个人互动时，在物理世界留下的痕迹。

这正是我们本期播客最重要的关键词：human data，人类数据。本期嘉宾是徐丹飞。丹飞一直把自己定义为一个机器人学家，他不仅仅是坐在屏幕前训练模型的人，更是那个喜欢坐在机器人旁边，看它动、看它坏，再把它修好的人。

从早年折腾单片机小车，到在斯坦福搭建机器人系统；从不被看好的 behavior cloning，到今天思考人类数据如何成为机器人学习的底层燃料，他的技术主线从来不是一个单点算法，而是一个完整的全栈系统问题。我们如何才能达到机器人的 GPT-3 moment？这期播客，我们会聊徐丹飞如何走上机器人这条路，人类数据会不会成为机器人学习的基石，人类数据和人形机器人究竟是谁成就谁，以及当机器人开始学习人类的操作、身体，甚至人与人之间的互动时，它的智能上限会是什么。这里是 Why Not TV Podcast，现在请和我一起进入徐丹飞的世界。

我感觉应该是在初中到高中的时候。那个时候我一直对做一些小手工、做一些单片机小车之类的东西比较感兴趣。当时没有很多 resource，我就自己在那里捣鼓，其实也没有做出来什么东西，但这个念想一直都在。

Tairan He

所以你小时候是在哪儿长大的？

我在山西太原出生，六年级到初一的时候搬到上海，初中、高中都在上海念的。

Tairan He

那个时候，比如说你初高中做单片机、搭小车，纯粹是自己的爱好？

对，当时纯粹是自己的爱好。我记得这些东西都是从淘宝买的，然后自己找一些教程，开始鼓捣这些东西。

Tairan He

你觉得童年时期，你是那种很早就目标明确的人，还是不断试错之后才发现自己的兴趣？

我当时其实是一个非常 interest-driven 的人。只要是我不想干的事情，我肯定不会干；我想干的事情，大概会用 anywhere between 50% and 100% 的 effort 去干。但如果我真的不想干一件事情，那就是 0% effort。

Tairan He

有什么例子吗？当时有什么小事是你完全不想干，但别人希望你去做的？

我其实是一个学习很差的人，因为我非常不喜欢上课或者考试这种形式。当时我就处在一个非常迷茫的状态：我也不知道为什么要干这件事情。

Tairan He

所以你并不是那种从小就能在学校获得很多成就感和正反馈的状态？

学习和学校对我来说完全没有什么意义。学校只是一个社交的地方，也是 where I spend most of my day 的地方。

Tairan He

所以当时你在学校主要就是折腾自己的东西，上课，作业写写或者不写。

对，大概就是这样。

Tairan He

那这样的话，小时候压力会不会挺大的？来自老师和家长的压力。

我觉得我父母也是一种不太确定应该怎么对待这件事情的状态。我当时也没有特别顾及他们的感受，所以大家就处在一个两边都比较模棱两可的状态。直到我高一、高二的时候，可能决定要出国，这个时候我的 motivation 突然就来了。

所有事情都开始朝着“我要去美国读书”这件事情发展，所有事情都往这个方向走。

Tairan He

当时去美国留学、读本科这个决定，是你的决定还是你父母的？

是我的决定。我记得契机应该是高一的时候去了一趟美国。当时我觉得，这件事情我还挺有兴趣的；如果我能换一个地方，体验一种不同的生活，do something different，这可能就是一个来美国的种子。

那次以后，我大概就下定决心要干这件事情了。There’s no way to turn back from there。

Tairan He

所以那时候的转变是什么？你开始准备申请，变得非常用功，变得非常 motivated，然后所有事情都自己干？

我不知道现在是什么情况，但当时申请美本，有一波人是自己 DIY、自己把所有东西都做了。我属于那一波人，没有找任何中介，所有东西都是自己干的。

Tairan He

那当时你是怎么收集信息的？

通过 QQ。当时还有一个叫 CUUS 的论坛，不知道你有没有听说过。这是一个非常古早的留学生论坛。当时准备申请美本的很多 DIY 学生都在上面交流信息，考 ACT、考托福之类的信息，大家也都是在上面交流得比较多。

Tairan He

所以你当时在上海是哪个中学？

是一个叫上南中学的学校，类似于区重点。在那里读书。

Tairan He

上南中学申请美本算是有传统吗？

完全没有。我记得因为我的学习一般，所以那个中学大概就是中等水平。当时我们年级去美国的可能就两三个人，申请美本的基本上也就是两三个。

Tairan He

你当时完全是极少数的选择。这个会不会让你比较有压力？大多数同学都在走高考这条 track，而你走的是另一条路。

Again，我是一个非常 interest-driven 的人。如果这件事情跟我的 interest 不合，我完全不想干，所以我也没有觉得有压力。我本来就不想干。

Tairan He

所以最重要的是 interest，至于是不是主流，这件事情跟你完全没有关系。你从小就这样？

大概是。

Tairan He

我觉得好厉害。你当时完全脱离了应试教育，远离了那种按部就班的路径。

对，甚至都不怎么去上学。当时我觉得自己挺开心的。可能我也有点想不清楚当时的状态是什么，但我完全没有觉得脱离主流是一件有压力的事情。我觉得脱离主流是一件非常厉害、非常 exciting 的事情。

Tairan He

甚至会让你觉得更 exciting。

Exactly。

Tairan He

那当时准备本科申请顺利吗？

说实话，非常不顺利。所有事情都是我自己做的，而我父母对这套系统也完全不了解，因为他们也没有上过大学。他们不是这个圈内的人，只能在旁边着急。我也是自己一个人在做，同时平时交流信息也都是和网上认识的人交流，所以最后的结果其实比较一般。

我最开始去了一个 liberal arts college，叫 Dickinson College。当时是在几个学校里面选，我记得当时有一小波人觉得 LAC 非常好，我可能也是其中一个。后来我觉得这个选择其实没有问题：在 LAC 里面有更多自己 exploration 的空间，和教授的关系也非常近，这也促成了后来做科研之类的事情。

Tairan He

这很出乎我的意料。因为我觉得一般来说，读美本的同学都有很多家庭助力，甚至父母早就帮他安排好了。你完全不是这样。

完全不是。当时的状态就是，我爸妈只负责我说“我要考试”之后说“好”。比如我说我要考 SAT，所有东西都是我自己定的；他们只需要给我出钱。

Tairan He

所以你基本上从高一开始就不去学校？

对，大概到高二一半的时候就不怎么去了。

Tairan He

那你十五六岁、十六七岁那段时光，就是一个人在上海背着书包准备自己的申请。

大概是这样。我有一些初中同学，或者一些高中同学，偶尔会一起学习、一起准备考试，大概就是那么几个人。

Tairan He

我觉得如果我处在那个状态下，会有一种不确定感，也会有一点害怕。

我觉得肯定是有不确定感的。但是，不想做没有兴趣的事情，这个动力更大，反向的推力更大。

Tairan He

如果让你回去准备高考，你会更受不了？

更受不了。

Tairan He

你觉得你最受不了高考的点是什么？

我不知道做这件事情的意义是什么。没有意义的事情，我没有办法说服自己去做。我很佩服一些人，他们知道 in the long run，有些事情现在做可能没有意义，但对以后非常有帮助。

但我小时候不太能接受这一点。当下我觉得没有意义、对我没有意义的事情，我就不太想做。

Tairan He

十八岁之前的这些经历，你觉得现在回想起来，有没有什么部分对你的人生至今产生了比较深的影响？

可能让我意识到一点：对于这种高不确定性、完全没有任何框架的事情，我其实做得非常擅长。我可以找到很多解决高不确定性问题的方法。

Tairan He

这非常适合做 research。

对。

Tairan He

所以你在十八岁之前申请美本的经历，让你有了一种“有不确定性也没关系，我可以做”的自信？

这是 in hindsight。 当时我肯定也很慌，只是另外一边的反向推力更大而已。后来回想起来，可能是不断做这些事情，让我觉得很多事情都是可以自己做的。

Tairan He

然后你就远赴重洋，去美国读本科。

对，那是我第二次去美国。

Tairan He

刚到美国开始读本科的时候，你有意识到自己想学什么、对什么感兴趣吗？

有两个方向：计算机和物理。这两个可能是我在初高中时比较感兴趣的学科，至少没有那么抗拒，也可能是少数我比较擅长的两个学科。后来就 major CS、minor physics。

Tairan He

后来你本科是不是还经历过一次转学，去了哥伦比亚大学？

对。很多 liberal arts college 和一些大学会有一个 3+2 的项目，在 LAC 读 3 年，然后再去另一所学校读 2 年。所以后来我去了哥伦比亚大学，大概在 2013 到 2015 年在那里读书。

Tairan He

我看到你本科时的第一篇论文是 ICRA 2013。

对。

Tairan He

那个是在哥大做的吗？

不是，是在 OAC 做的。

这件事情也很有意思。我记得大一，应该是大一的时候，我对做 research 的渴望达到了一个阈值，所以当时就开始给各种各样名字里带 robotics 的公司打电话。是真的打电话：在 Google 上找到他们的电话，然后问他们招不招 summer intern。

我记得我打了大概 20 多个电话，包括 Boston Dynamics，也包括一些很奇怪的公司。最后有一家叫 SynTouch Robotics，可能当时叫 SynTouch LLC。他们有一个产品叫 BioTac，是一种 tactile sensor。你可能在各种机器人的手上见过，就是一个绿色的手指。它是一个 bio-inspired 的 sensor，当时应该算是 state of the art。

打完电话以后，接电话的那个人后来成了我的 internship mentor，也成了我长期的朋友，Jeremy Fishel。他觉得这个小朋友挺厉害：为什么会想到给他们打电话？我们聊了很久，然后他说：“那你来吧。我们也不给你钱，但你来吧。你来做 research。”

Tairan He

所以你都不是在学校里找到这个机会的？

没有，完全不是。就是 literally call。因为我实在太想干这件事情了，恰好有人也觉得我对这件事情非常有兴趣，可能觉得我没有什么 what to lose。当然，他也是一个性格非常好、willing to take chances on people 的人。

当时我的口语也非常差，可能我们聊了半天，彼此都只听懂了一半。他可能也没有完全听懂我想干什么，但他觉得我对这件事情太有 passion 了。

Tairan He

所以你就是找到 Google 上的电话，打过去说：“我是一个本科生，能不能让我来做 robotics？”

对。这家公司当时在 USC 隔壁，所以我就飞到西海岸，然后开始做 research。

我们当时做的是一篇 ICRA paper，叫 “A Bayesian Approach to Tactile Sensing”。主要的 idea 是，怎么样通过 BioTac 这个 tactile sensor，去 classify 它接触到的物体是什么。

这个 sensor 上面有 3 种 modality。第 1 种是 pressure，也就是 deformation 有多大；第 2 种是 heat capacity。这件事情非常神奇：这个 sensor 会加热到和人体体表温度差不多，大概 37 摄氏度，然后根据材料 heat transmission 的速度来做 classification，这是另外一种 modality。

最后一种 modality 是 vibration。它有一个 high-frequency vibration sensor，大概是 2,000 赫兹左右。如果你用手指在它上面滑动，也就是在物体表面滑动，它就会产生某一种特定的 vibration。

Tairan He

但当时你打电话的时候，我觉得美本，特别是文理学院的教育，很少有学生会在大一、大二就说：“我要做 research，我要做 robotics。”

我当时实在是太想做 robotics research 了，所以做了一些现在可能有点难以想象的尝试。

Tairan He

大多数人还是按部就班的。

对。但我觉得大多数人按部就班的时候，我又做了一件更离谱的事情，之后再给你讲。

这件事情做完以后，当时可能是我第一次接触到 Shadow Hand。后来大家听说 Shadow Robot、听说 Shadow Hand 的时候，我其实已经搞坏好几个了。因为他们当时可能是第 1 批拿到 Shadow Hand 的公司，我那个暑假大概搞断了 7、8 根手指。

Tairan He

但那个时候，本科读计算机科学的学生，大部分应该做的是纯算法，或者互联网公司关心的内容。你当时为什么会对硬件、对机器人这么感兴趣？

我真的太想做这个了。我想让东西动起来，对纯粹做算法兴趣不太大。我真的就想让东西动起来。

我后来想起来，觉得自己可能对硬件有一种天生的 affinity。我非常喜欢 actually sit next to a robot and see it move, break it, and fix it。我非常享受这个过程。

Tairan He

所以这是你大二到大三的时候。你飞到 LA，在 SynTouch 做了 intern。

对。

Tairan He

我看到你本科时还有一篇一作论文，是 IROS 2014。

对，是 2014 年的 IROS。

Tairan He

这个是在 CMU 的一个 summer program 做的吗？

对，是申请的 RISS，Robotics Institute Summer Scholars。

这件事情也非常离谱，这就是我刚才说的第 2 件事情。当时我听说这是他们的第 1 届项目，而且整个流程还比较混乱，因为他们是让学生和教授配对，可能还有面试流程之类的。

我当时给一个做 autonomous vehicle 的研究教授发了 email。他回复说，我的 background 可能比较合适。我当时觉得既然有可能，就直接开车去 CMU 了。

Tairan He

你直接开车去 CMU，敲他的门？

对，直接 show up at the door，说：“我们要不要聊一聊这件事情？你觉得有没有可能？”

当时我们学校离 CMU 大概 4 个小时车程。我开到 Pittsburgh，去了 Smith Hall，和他聊了半小时。他说：“你来吧。”

Tairan He

所以你当时觉得，只要有可能，我就想办法让它发生。

对，我就是要 make it happen。有一点就是，why not, right？

Tairan He

当时做的是什么 project？

当时做的是无人车的 localization，是一个非常 classical 的 problem：怎么样在没有 GPS 的情况下，做 city-wide localization。我们是基于 RGB 的。

当时有一辆改装的 Jeep，上面挂了 6 个摄像头。我和另外一个 researcher 天天开车出去收集地图信息。

Tairan He

你们当时不是有一个现成的 data set，可以直接做吗？

No, no, no。我们就是开车在 Pittsburgh 到处跑。我记得每周大概有 2 天时间花在路上，另外一个 researcher 坐在旁边，我在旁边拿着电脑，做 live logging，也就是实时记录数据。

大概持续了几周。刚开始做算法的时候，大部分时间在办公室里；到了 deadline 前的最后几周，就一直出去收数据。那辆车后面放了 6 台电脑，用来做 data stream 和 live data collection。

Tairan He

我相信你当时非常开心。

超开心。我觉得太帅了，天天和 hardware 待在一起，后面还有 6 台电脑。

我们当时有一个很大的问题，就是 camera sync 和 time alignment，要对齐不同 server 之间的 timeline。我记得有一天晚上，我蹲在实验室里做了一整晚 network 的 timeline。

Tairan He

一周有 2 天在路上，持续了几周。

对。

Tairan He

但当时你们做的 RGB-based localization，AlexNet 应该已经有了。

对，2012 年的时候已经有了。但我们当时完全没有意识到这些东西。整个 CMU，我记得当时也没有很多人在讨论 deep learning，大部分人都在做非常 classical 的东西。

我记得当时 FUTURO 可能是最火的，做 driving、off-road driving、helicopter 之类的东西。那时候这些方向是最火的。

Tairan He

所以你本科的时候，deep learning 完全还不是主流。

完全不是，一直到我 PhD 开始其实都是这样。哦，actually no，还有另外一个例外。大四的时候，我和 Jen Fan 是同学，我们一起做了一个 project。我记得当时我们从 scratch 实现了一个 ConvNet。

Tairan He

用 C++？

对，用 C++，从 scratch 实现。

Tairan He

所以你大四的时候第一次接触到 deep learning。但当时你已经申请 PhD 了吗？

大概就是前后那段时间。

Tairan He

你本科做了很多 robotics、很多 hardware，但申请 PhD 的时候去了 Stanford，Fei-Fei Li 给了你 offer。

对，Fei-Fei 给了我 offer。

Tairan He

但 Stanford 当时其实并不符合你说的那种 hardcore robotics，也没有很多硬件。

That’s a great question。当时我纠结了很久很久。我拿到的 offer 是 CMU、U-Dub，以及 Stanford。U-Dub 是 Dieter Fox 的组，我当时其实在 Dieter Fox 和 Stanford 之间纠结了非常久。

我记得我到 4 月 14 日才做决定，也就是 deadline 前一天。因为我觉得 Stanford 这边做 hardware 的时间太少了，当时真的一个人都没有，除了 Osama 之外。我记得 Jeanette 是我来的第 2 年才来的，后来还有 Chelsea、Dorsa、Shuran、Karen 这些人，都是后来在我 PhD 期间陆续来的。当时还有一个在 robotics、但不在 CS 系的人。

Tairan He

所以你拿到 offer，去了 Stanford 的 open day，觉得那里是 robotics 的荒漠。

Exactly。一个人都没有，更不用说 robot learning 了。当时甚至不存在这个概念。

Tairan He

但你最后还是选择去了 Stanford。最后的 decision factor 是什么？

我隐隐感觉到那边有一个 bigger thing。It’s bigger；there’s something bigger that I can do there。

Tairan He

是什么迹象给了你这样的感觉？

我觉得其他选择的确定性太高了。我知道自己会做什么，可能是 3D vision、一些 CS systems，或者 planning。但 Stanford 这边我完全不知道自己会做什么，我觉得这件事情非常 exciting。

Tairan He

所以不单单是你在 uncertainty 下会做得很好，你反而还会主动去寻找 uncertainty。

对。后来我会开始做一些 uncertainty-seeking 的事情。

Tairan He

但当时你本科毕业的时候，有没有犹豫过要不要读 PhD？

没有。我完全没考虑过 full-time job，因为我实在太想做 research 了。

Tairan He

这又是你所在的美本群体里很少数的选择。

对，非常少，大概就一两个。

Tairan He

2015 年，你到了 Stanford 读 PhD。给我们讲讲那个时候的 Stanford CS department 是什么样的。

那个时候大多数人都在做 vision，而且做的是很远的 vision。我记得 Fei-Fei 那边，Yuke Zhu 在做 scene graph，Silvio Savarese 那边在做 3D，但大家已经开始用 deep learning 了。

当时我记得有人做了一篇 scene graph classification 的工作，我们可能从那时候就开始考虑 scene graph 相关的问题。Silvio 那边是在做 mesh reconstruction，我们的第 1 篇 work 是做 end-to-end mesh reconstruction。在我看来，这个 topic 其实是我不太会感兴趣的东西，因为它是一个纯 algorithm 的问题。

Tairan He

但这两个方向其实是在你 rotation 期间做的，对吧？

对。当时 Stanford 有一个 rotation program，每个学期跟一个不同的组。第 1 个学期我是跟 Silvio 做 3D-R2N2；第 2 个学期是跟 Leo Guibas，做了一些 egocentric VR、human data capture 和 modeling。

其实当时我就在做这些东西，只是没有做出来什么结果。但我鼓捣出了一整套从 VR 到 human capture 的系统。

我记得自己做了一件非常离谱的事情：我买了一个 Oculus DK，也就是 development kit，刚出的那一代 DK。我把它拿到办公室，用来做自己的 research。

我记得我在 DK 上面挂了一个 Leap Motion，做 hand capture。这和后来我们前年、去年做的最初 prototype 几乎一模一样：一个 VR 加一个 camera，做 egocentric hand capture。

Tairan He

那是你的第 2 个 rotation，2015 年冬天做的事情。

对。

Tairan He

再往后呢？

后来我跟 Fei-Fei 这组、跟 Yuke Zhu 一起做了 scene graph generation 的 work。

Tairan He

当时你是处在一个尽可能多探索的状态？

对。当时我觉得 deep learning 太酷了：为什么这件事情可以 work？所以我开始做一些比较偏 CV 的问题，尽可能去探索。

第 2 年的时候，Fei-Fei 跟我说：“你要不继续做 scene graph？”我说：“不要，我要做 robotics。”

Tairan He

你知道当时说这句话意味着什么吗？你面临的是一个什么都得自己来、甚至可能连硬件都没有的状态。

I’m perfectly comfortable with that。我实在是觉得，如果有一件事情能让我完全主导，我会非常开心。I hate other people telling me what to do。

Tairan He

所以她只要给你一个绿灯，你就直接全速前进。

对，I just want full steam ahead。

Tairan He

她应该是同意了，让你去做 robotics。

对。当时其实还有其他人一起做，Yuke 也开始一起做。后来 J 也来了，我们 4 个人就开始成立一个 lab。当时可能还叫 Vision Lab，后来我们改了名，然后我们就开始做 robotics。

Tairan He

你做 robotics 我能理解，因为你就是 robotics people，这就是你的热爱。那其他人为什么也过来做？你们当时看到了什么东西，或者有什么迹象，让大家觉得 robotics 是一个很好的方向？

这是一个非常好的问题。我可能还要和 Yuke confirm 一下，但当时大家可能都觉得 vision 这件事情没有那么有趣了。大概是这样，所以我们在 2016、2017 年开始做 robotics。

Tairan He

当时做 robotics 是什么样的状态？

我觉得可能分两种。

一种是比较 CV-centric。当时可能开始出现 GraspNet 这类 work，把 robotics 当成一个 vision problem 来处理。另一种就是 RL。当时 AlphaGo 出来了，大家觉得 RL 非常 work，Sergey 等人就开始做 online RL、offline RL 这些东西。

所以当时主流大概就是这两派，真正上真机的工作很少。要不然是 vision-based 的单一动作，比如 pick and place；要不然就是 motor babbling 加 exploration，大概是这两类。

Tairan He

所以 2017 年做 robotics 的时候，vision 和 deep learning 已经开始 work 了，但还没有像今天这样取得空前的成功。

对。当时大家其实有两种思维模式。

一种是 prior is a great thing：你需要在系统里放入尽可能多的 prior。这个 prior 可以是 structures、neurosymbolic program、dynamics，但 structure 是最重要的东西。

第二种就是说，supervised learning 是一件可耻的事情。你不应该为 robotics 做 supervised learning，robotics 需要自己学。大家看不上 supervised learning 在 robotics 里的应用。

Tairan He

所以当时要不然你需要 be smart about your prior，要不然就需要 be smart about how to make your robot learn on its own。那在这种情况下，有人 treat robotics as a vision problem，有人做 reinforcement learning，而你其实来自一个非常传统的 control、planning、dynamics 的背景，这些你都知道。你当时对这件事的定位是什么？你当时对于 learning for robotics 是什么样的看法？因为我看到你在 scene graph 之后，其实做了一段时间的 task and motion planning。

当时的契机应该是，我们就在想一个事情：怎么样做一个可能比较不切实际的想法——demonstration in, action out。我们把它叫作 one-shot imitation learning，一条 demonstration 对应一条 episode。

我记得当时做到一半，突然发现 OpenAI 做了一篇类似的工作，所以我就把它改成了一个更加 structured 的版本，加了一些 structure prior。我们这个东西叫 Neural Task Programming，NTP。这个可能决定了我 PhD 期间的一些 taste：我非常喜欢 structured。后来什么是 structure 的极致？就是 task and motion planning。

Tairan He

现在回看，你还坚持当时对 structure 的这种喜好吗？

我后来想清楚了一件事情：compositionality，也就是可组合性，是一件很好的事情，但是它不一定要作为一个方法，它也可以作为一个问题——怎么样 enable compositionality？

我理解的 task and motion planning，因为我们加了……它基本上想解决的问题，是不是可以理解为：第一，它先解决 task，我要先干什么、后干什么，dependency 要怎么处理？

第二，对于某一个具体的 task，我的机械臂要过去完成它，这个 motion 要长什么样？还要避障，有这样的需求。

它的表现形式是这样，但它的本质可能是：对于一个很大的、没有办法直接搜索的空间做 decomposition，然后在里面对这些 local problem 做 search，再把这些空间连接起来，形成一个更大的 search problem。

Tairan He

我比较好奇的是，我觉得有很多 robotics task 的 structure 很难人为去定义。加这种 structure，当然我能理解它天然带来了 generalization，但是人的这种 structure 也可能会变成整个系统能够解决什么问题的一个很重的天花板。

这会不会意味着，现在看起来，task and motion planning 是不是完全不符合 bitter lesson？实在是 the opposite of bitter lesson。

我觉得它可能在工厂那种限定的场景下，应该还是很有用。但是大家做到工厂的时候，可能会做一些更加不那么 principled 的方法，比如 behavior tree，以及有限状态机这样的方法。

Tairan He

后来你有一个概念，我记得你也在很多地方提到过，就是你想做 generative task and motion planning。你当时的 insight 是什么？以及你觉得现在的 generative task and motion planning 够 bitter lesson 吗？

It’s getting there。因为我们现在已经开始做 video generative model 了。这些 trajectory plan 可以是 video，对吧？因为一旦把它换成一个 deep generative model，它可以生成任何空间中的 plan。

所以 we’re getting there。I think we’re finally getting to a bitter lesson version of task and motion planning。

Tairan He

那你 PhD 期间是什么时候意识到，刚刚说的 task and motion planning 的这些 structure，你最开始肯定是喜欢的，后来越来越了解到它的 limitation？我注意到后来你就没有继续做 task and motion planning，而是开始做 teleoperation and behavior cloning 了。这个转变是什么样的心路历程？

这个契机其实是我在 2019 年去 DeepMind，做了一个暑假的 intern。

当时 DeepMind 可能就是 the Mecca of robot learning。那时候可能没有其他地方，OpenAI 才刚开始，而 DeepMind was the place。

我当时做的是 generative imitation。你那篇论文，我在准备这期 podcast 的时候觉得很眼熟，后来突然意识到，那是我大一在组会上分享过的论文，我就把当时的 slides 翻出来了。

当时真的是 good old days。Generative imitation 是一个非常有趣的问题。但其实我想跟每一个做过 GAIL 的人都聊一下，因为在我看来，这个 problem setting 让我也走了很多弯路。它听起来非常有趣、非常 exciting：你有一些 demonstrations，和 environment 进行交互，但是没有 reward。

恰恰相反，我觉得 reward 是反的。和 environment 交互是很难很难的，但是 demonstration 是可以给你的。

Tairan He

Exactly。那你当时从这件事情里学到的是什么？

我当时可能学到的不是这件事情的算法到底 scale 还是不 scale，而是看到了 DeepMind 的很多 infrastructure，以及他们在机器人上的一些东西。

Behavior cloning works。我当时真的 saw with my own eyes：behavior cloning just works。但是他们为什么没有做 behavior cloning？因为他们的 flagship product 或者说 flagship research agenda 是 reinforcement learning，所以他们强行把 behavior cloning 这件事情压下去了。It’s not politically correct to do behavior cloning。

不止 DeepMind，当时整个 community 都觉得 behavior cloning is just not politically correct。机器人需要自己学，不能让人教着学。大家天然觉得 supervised learning 不够好、不够 scalable，RL 才是正确的范式。

因为下棋都已经会了，机器人怎么不会呢？只要 scale up 就可以了。

但后来我看了这些以后就觉得，BC 这么 work，为什么不做 BC 呢？回去以后，我和 J 大概用了 3 个月的时间，做出了一个在 Franka 上做 behavior cloning 的工作。

Tairan He

你能不能给不是这个领域的观众讲一下，什么叫 behavior cloning，什么叫机器人的行为克隆？

机器人的行为克隆，或者 behavior cloning，简单来说，就是把机器人变成一个强监督学习的问题。

你直接给它 demonstration。比如拿一个 iPhone，或者拿一个 VR controller，直接控制机器人，同时记录它当时看到的东西，也就是 camera image，以及你控制它时发出的 control command。然后把它们作为 x 和 y，喂给一个大模型或者小模型，学习一个 control policy。

Tairan He

我觉得当时因为我 2019 年刚进本科实验室做 imitation learning，所有 paper 都在骂 behavior cloning。Introduction 的前两段一定有一句：cloning is not good enough，sample efficiency 不够，而且有 compounding error。

我当时听了就信了，觉得那肯定不能做 behavior cloning，behavior cloning 是最弱的 baseline。

那你当时是在 DeepMind 看到了什么？

他们有很多很多数据，真的拿一个 SpaceMouse 做 teleoperation，然后操作 Sawyer，收集了非常好的数据。他们也有错误的数据，也会做 reward labeling。但是如果你把所有 less-than-optimal 的东西都 filter 掉，直接做 behavior cloning，它就 work 了。

你甚至不需要 Sawyer。它可以做大部分事情，是 a competitive baseline for everything。当时我就想，既然这样，为什么不做这件事情呢？

我在 DeepMind 看到那个结果以后，觉得这件事情应该可以做，只是学界没有很好地重视它。大家也没有很好地研究怎么样做 teleoperation，以及怎么样真正做好 behavior cloning。

所以我和 J 就开始搞这件事情。J 是一个非常强的人，也是我现在最好的朋友之一。他在 2017、2018 年的时候，和 Yuke 以及我们 lab 的其他人做过一个项目，叫 Arm Farm。

他们买了 4、5 台机器人，用 iPhone 作为 teleoperation interface 来做 data collection，然后把这些数据收集起来。当时他们可能还是比较重视 BC shame 这件事，所以一直在推动 offline-first learning。那是一个理论上可以 work、但实际上不太容易 work，而且更容易写 paper 的东西。

Tairan He

更好写 paper。

对，更好写 paper。我记得当时一直不太 work。后来我和 J 一拍即合：他觉得 BC 会 work，不需要 offline learning；我也觉得 BC 不需要 offline learning。于是我们就开始搞这件事情。

Tairan He

那给我们讲讲这篇 paper。

这篇 paper 本质上非常简单。我们真的做的东西非常简单，就是证明 BC works。

我们在 Franka Panda 上搭了一套力控 teleoperation，让 teleoperation 变得非常丝滑；然后搭了一整套从 data collection 到 behavior cloning 的系统。

当时我们做了非常多 arbitrary choices。比如我们决定在机器人上加一个 wrist camera。Why not? 当时没有人这么做，所以我们就加了 wrist camera。我们决定用 ResNet-18 作为 encoder，why not？然后做 spatial softmax，why not？再加一个 RNN，因为 we need history，why not？

所有东西都是我们一拍脑袋想出来的，但 somehow 它就 work 了。它真的能学会很多我们之前没有在机器人上见过的 behavior。

比如一个 30 秒长度、非常真实的任务：不需要加速，把烤箱里的盘子拿出来，把东西放到机器人旁边，关上烤箱，然后把盘子放回去。之前没有人见过机器人能够做出这种水平的行为。

它完全不 generalize，我一点也不惊讶。但是 it’s a big sign of life，对吧？

不过我们还是在上面加了一层比较好发 paper 的故事。当时之所以要做这个事情，本质上还是因为有 BC shame，担心直接做 BC，paper 中不了。

Tairan He

我觉得每一个博士生听到“为了让这个 paper 能中，所以我们想一些其他 novelty”都会非常共情。

你现在不单单是 PhD 了，也是一名教授，在学术界承担了更多责任。那么你觉得 how can we do better in academia？怎么让 PhD 真正去做 work 的东西，而不是让 reviewer 满意的东西？

我觉得这件事没有这么简单。并不是说你一定要做未来两三年会火的东西，才叫做 work 的东西。

作为一个博士生，我觉得最重要的当然是做一个非常好、非常 solid 的 work。第二个是，你需要经历一个培养自己品味的过程。只做 work 的东西是一种品味，但不只有这一种品味。

当然，从整个 community 的角度来讲，我们确实需要把这些条条框框拆掉。你真的能做出 work 的东西，不需要因为它是 BC 就被 shame，这件事情我们需要改正。

如果把 robot learning 想象成一个纯粹的系统问题，我们该怎么做？它不是一个单纯的算法问题，而是一个从硬件到算法的系统问题。

如果你把 A、B、C 拼在一起，做出了一个非常强的系统，这个东西到底是不是 novel？或者说，你到底应该不应该用 novelty 来评价这个系统？

Tairan He

现在回看，当时整个领域可以说处在一种非常狂热的 reinforcement learning for robotics 的状态。像我这样的人，当时就是一个大一、大二的本科生，基本上是盲从。

你们当时选择 BC，一是因为你在 DeepMind 看到了 BC actually works。除此之外，还有哪些东西是你在强化学习上看到、但当时觉得很难逾越的鸿沟？哪些事情是你很难相信 RL 能够做、能够 scale up 的？

比如我们想让机器人做饭，做我们每天在 talk 里面讲的那些事情，I just couldn’t see a path at that point。

我当时 train GAIL 的时候，花掉了整个实验室大概 10% 的 compute。

Tairan He

For the record，GAIL 是一个用 RL 去解决 imitation learning 的方法。

那当时你们是反其道而行之：整个 community 都在做 RL，不管是 offline RL 还是 generative RL；你们做了 BC 之后，当时产生了什么样的影响？

没有什么影响，因为 COVID 了。

我记得唯一的影响，就是我当时给了一个 talk，Chelsea 非常 excited。她跟我聊了很久，问这个东西是怎么做的。我能看出来，她非常非常 excited。

除此之外，我觉得其实没有什么惊讶的反应。我们 internally 觉得这东西非常 work，但是当时所有人都关注 COVID shutdown，没有 robot access，整个 community 处在一个非常混乱的状态。

哪怕你们当时做的工作，其实也没有太多人在意，没有形成什么影响。因为就是 BC，对吧？大家就觉得，OK，we all know behavior cloning。Stanford student 用一个更好的 system 做出来了，仅此而已。

大家不觉得这是一个应该发生的范式转变。

Tairan He

你们当时 internally 已经觉得要大干特干了，准备一年发 4、5 篇 paper 在这个方向上。

对，但是 COVID 了。如果当时没有 COVID，it would have been a completely different thing。

我们的第二篇工作就是 DAgger for BC，紧接着就要把 DAgger 做 work。结果很不巧，那个时候我们只有同样的 experiment。

我当时看了 RSS 2020 你和 J 的那篇 paper 以后，还有一个疑问：为什么没有做 bimanual，为什么没有做双臂的 setting？

因为当时我们只花了 3 个月，把 Franka 从头到尾搭了一遍。从 C++ 开始写，一直到 algorithm，包括 learning rate tuning，所有东西都是我们两个人在 3 个月里做出来的。

所以那 3 个月是不是天天在家、天天凌晨 3 点？

天天凌晨 3 点。我们两个天天在 Gates 下面，天天凌晨 3 点。

但应该还是挺有趣的，太 exciting 了。

那段时间真的就是我天天一睁眼就是 a student。

当时你觉得自己是在给这个领域正本清源？

对，我当时觉得这东西绝对 work。其实今天很多人把 behavior cloning 讲得很简单，好像有了数据我们 train 一下就行了。但我觉得每一个真正做过 behavior cloning 的人都知道，最难的地方往往不是 model，而是 system 本身、data distribution，以及 evaluation 怎么做。

你当时是通过那个 project 形成这种认识的吗？

对。当时我觉得，整个 robot system 只要有一环没有打好，就会出问题。从机器人硬件本身、camera 怎么放、controller 的 behavior 是什么样，一直到 control response、camera latency，所有东西都非常重要。

但当时你觉得整个 community 已经转向了吗？

有一点点了。我记得 2020 年年底、2021 年的时候，大家已经开始逐渐接受 BC 可以做，也开始出现一些相关工作。

我觉得真正的范式转变，可能还是 ALOHA 这条线的 work。到 2023 年的时候，大家逐渐开始觉得，哦，this works。

那会不会觉得很可惜？因为你们 2020 年就在做单臂 teleoperation，其实距离 ALOHA 不是太远，对吧？

对，我 would argue we had a better system。只是当时只有我们两个人做，有一些东西没有想清楚，也没有时间把它补完。2020 年 COVID 期间，我们也没有办法做很多系统性的实验，这是客观条件。

那主观上呢？比如认知上，现在看起来有没有哪些地方有点可惜？如果当时有更好的认知，可能会做得更好？

这是一个很好的问题。我觉得当时我们只有自己的 evidence，知道这个东西 work，但是不知道应该往哪个方向努力。

到底是 model 的问题、action space 的问题，还是 data 本身的问题？太多东西可以做了，但是我们没有一个非常好的 hypothesis，决定应该往哪个方向走。

因为这件事情本身的可能性太多，所以可能需要一个很大的 research agenda，很多人一起来做，大家往各种各样的方向 push，才可以做出比较好的效果。我们两个人可能就比较困难。

所以后来我们只是做了一些比较 selective 的工作，比如 DAgger 和 benchmark。

某种程度上，当时你是 2015 年读的 PhD，2020 年发完 RSS 的时候已经是博五，马上博六，也开始找教职了。那会不会找教职其实分散了你的注意力？

当时那个 research direction 是一个很大的宝藏。

是的。如果百分之百 hindsight 地看，确实我应该继续 push 这个东西。

你 PhD 期间还有几段 internship。我注意到 2016 年在 Autodesk，2017 年在 Zoox，应该是做自动驾驶；2019 年就是你刚刚说的，在 DeepMind 看到了 BC actually works。

你觉得 PhD 期间做的几段 internship，对你的认知有什么样的改变？

我觉得每一次 internship 对我来说都挺有影响。

Zoox 让我觉得 driving 这件事情太无聊了，我绝对不要再做 driving。当时 2017 年大家都在做 driving，我本科的时候也做过 driving，觉得这件事情还挺有趣，所以又开始做。但后来我看这个问题，就觉得为什么会做成这样？

当时基本上变成了一个 computer vision 的问题。大家的 pipeline 全部都是 perception、planning、control。Perception，exactly，就是怎么样把 3D perception 做 work。

所以当时你觉得无聊的点是，这个问题已经退化成一个 vision problem 了？

对，退化成一个 vision problem，不够 system，不够 full stack。Exactly，它不是一个 robotics problem 了。

我当时在 2013 年为什么那么 excited？是因为我可以真的坐车，然后鼓捣各种各样的摄像头和底层的东西。可是后来整个 system 已经变成了一个非常非常 engineering 的问题。

我们当时有 computer vision team、perception team、planning team、simulation team，所有人之间并不是特别需要 communication。只要把自己的那一串推上去就可以了。

那你会觉得随着机器人越来越成熟，未来有一天也会变成这样吗？

我觉得不会。机器人真的要做好的话，不是靠分工就能解决的问题。至少我相信的这条研究路线，不是靠分工能解决的。

OK，所以所有人都需要 know everything。你觉得 full stack is the only way out？

Exactly，full stack。这个我们可以等会儿再聊。

我想最后回看一下你的 PhD。有什么当时不受欢迎、但现在看起来是对的 vision？

Behavior cloning，right。

但有没有什么你当时觉得自己是对的方向，结果是错的？

我觉得整个 neurosymbolic language for body 这件事情，我当时挺相信，后来看到 RT 系列以后，觉得还是太远了。

Language，也就是 deliberate grounding of language on action，这件事情，我觉得不是一条非常好的路线。

你说的 RT 是 Google 的？

对，RT 是 Google 的，做 high-level language model，然后做 low-level policy learning。

更准确地说，我觉得以 language 作为基础能力、主导 robotics 的路线，比如 language model 生成 program，program 控制 robots；或者 language model 生成 language plan，再以 language model 主导“接下来一步该做什么”，我觉得是不对的。

Symbolic layer 和 physical layer 差得太远了。这里的 symbolic layer 不只是学术界之前做的传统 neural-symbolic language，哪怕是 LLM，也不够。

差在哪儿？

它能够给我们的 prior，也就是先验知识，和机器人真正需要的东西之间，距离太远了。What makes robots hard is too far away。

Task planning 这件事情非常简单，比起精细操作来说，它们中间离得太远了。如果我们能把机器人精细操作这件事情做好，其他问题其实都 much easier。

所以你觉得精细操作是今天最难、最重要的问题？

精细操作，以及 physical common sense。也就是说，机器人通过自己的操作来表达物理常识，把这种物理常识体现出来，这是一个非常非常难的问题。

PhD 最后你决定找教职。你是一直想当教授，还是到最后才 come to this decision，决定要找教职？

这是个好问题。在去 DeepMind intern 之前，我其实一直都不太确定。Intern 之后我确定了，因为我真的不行。

当时 DeepMind 是一个什么样的环境呢？它是从一个非常 open、非常 explorative 的研究部门，转变成一个非常 top-down 的研究方向。大概 2019 年夏天，他们在做 offer 的时候，基本上是 what Demis says goes。

这件事情让我觉得，我真的不想在这种环境里工作。I guess I don’t want other people to tell me what to do。我需要做自己感兴趣的事情。

那怎么样才能让我自己做自己感兴趣的事情？要不然创业，要不然找教职，对吧？

所以你是有一个关于自己未来要做什么的很强的坚持，不希望有任何客观因素影响这件事，而教师能给你最多的自由度。

那你觉得 2026 年的今天，情况是不是又有很大变化？某种程度上学术界还是有自由，但这个领域变得越来越 resource-intensive。没有资源的自由还能叫自由吗？

这是一个非常非常好的问题。我觉得我不是回答这个问题最好的人选，因为我现在可能也有一些资源，在教职里面也有一定的资源。

但绝大部分人没有这个选择的空间。所以，如果真的让我在没有这些资源的情况下重新选择，我可能会偏向现在的业界。有些东西真的不在业界就没有办法做。

我们接下来想重点和你聊一聊 robot learning 和 human data 这两个事情。你能不能给观众简单介绍一下，什么是 robot learning？它和传统 robotics 的区别和分野在哪里？

我觉得 robot learning 与其说是一种分野，不如说我们想解决的问题都一样：让机器人做更好的规划、更好的精细操作，以及更好的 whole-body control。只是把其中所有的方法都换成了 data，我们需要数据来喂这些 model。

现在非常火的 whole-body control，其实就是一个很好的例子。以前大家会写 dynamics，比如 whole-body dynamics，然后做一个 optimization problem。现在可能完全用 reinforcement learning 来解决。

传统的 whole-body control，是大家把物理方程、dynamics 和 optimization 写下来。那传统的 manipulation 又是怎么做的？今天又是怎么做？

传统的 manipulation，有一部分人也是把 dynamics equation 写下来，比如机器人和物体之间的 dynamics，包括 linear 和 nonlinear dynamics。

比如在真正开始 contact 之后，和 contact 之前，dynamics 完全不一样。你要怎么处理这些问题？你可能要把它变成一个 mixed-integer program。

现在大家可能完全不做这些了，只关心机器人有没有根据训练数据输出正确的 action，或者通过 reinforcement learning，判断物体有没有达到目标。所有这些中间的 modeling 可能都没有了。

你觉得这几年 robot learning 这个领域，最被高估的东西以及最被低估的东西分别是什么？

最被高估的，我觉得可能是大家对于 algorithm 重要度的认识，也就是 model 和 algorithm 到底有多重要。

最被低估的，可能还是 system 方面：整个软硬件结合的系统的重要程度。

刚刚我们聊到，你 2020 年在做 teleoperation、做 behavior cloning。今天是 2026 年，你很重要的一个 bet、你相信的一件事，叫 human data for robot learning。

能不能跟我们讲一下，什么叫机器人数据，什么叫人类数据？

现在大部分人说机器人数据，可能指的是 teleoperation，也就是遥操作数据，在各种不同的机器人上采集的遥操作数据。

人类数据有很多种。现在比较主流的是第一人称视角，比如你在头上绑一个摄像头，看着自己的手做一些操作。当然也有第三人称视角的数据，比如从旁边的摄像头看着人操作，或者多视角的数据。

你今天讲的 human data，我相信已经不只是拿人类数据来补一点机器人数据。我觉得你可能想说的是，它要根本改变我们训练机器人的方式。

今天大家做 robot learning 都是 data-driven。有什么比机器人数据更重要的数据？为什么你最重要的 bet 是 human data？

最主流的数据可能还是 teleoperation 数据，也就是在各种不同机器人上采集的遥操作数据。

第二类主流数据，我觉得应该是各种物理引擎里的 synthetic data。

第三类可能就是非机器人数据。广义上来说，大家可能会觉得从 YouTube 采集数据会有用。

如果细分非机器人的真实数据，可能分两类。一类是从网上直接下载、没有任何 constraint 的数据，也就是 YouTube data。另一类是我们真的让人去采集手部操作数据的 egocentric data。

我重点想聊的一个 project 是 EgoMimic。跟我们讲讲 EgoMimic 用的是什么样的 data，它的前世今生，以及为什么会想做这个项目？

EgoMimic 是我开始做教职以后，第一个或者第二个 project。当时我和另一个组的一个博士生 Simer 一起做。Simer 当时有一个非常强的想法，就是想做第一人称视角数据。

我问他为什么想做 egocentric data，他觉得这个东西可能是最 scalable 的。我们当时讨论了大概一周，最后达成共识：let’s just do a system。我觉得这件事情能成。

我当时有一点 hesitation，是因为我知道真的搭一个 system 来做数据采集，在当时是一件非常难的事情。那时候没有一个成熟的数据采集方案，所以我担心从头开始搭，会让这个 project 变得非常长。

因为要从硬件开始搭起，但既然他想做这件事情，我就说，那我们开始做吧。于是我们开始搭第一套采集第一人称视角人类操作数据的系统。

最开始我们用 Oculus，也就是 VR 设备，上面挂了一个 Leap Motion。这和我 2015 年做的东西一模一样，只不过 Leap Motion 换成了 Orion，Oculus 换成了 Quest。

后来发现效果非常不好，因为 calibration 非常不稳定。你可以想象，它有一个摄像头采集手部数据，视频数据来自另一个摄像头，而 VR 用来定位你的头在哪里。

我们需要把这 3 个东西放到同一个坐标系里，calibration 的 gap 非常大。我们做了几周，后来觉得这东西太困难了。

正好当时有同事在做 Meta 的 Ego4D，他们有一个东西叫 Project Aria，是 Meta 自己做的一副眼镜。这个眼镜完美符合我们的所有需求：它可以做手部状态估计，把这只手的位置信息估计出来；它自己也可以定位，知道我的头在哪里；同时还能采集第一视角的 RGB 数据。

于是我们想，那要不然就做这个吧。我们把它拿过来以后，整个项目在数据采集这一条线上就变得顺利多了。

但是作为最早拿这个系统真正做 robot learning 的项目之一，我们也踩了很多很多坑。到最后，Meta 已经变成了我们的专职支持团队，他们整个 team 还为我们开了一个 Project P0。所有 support request 到他们那里都是 P0。

数据采集这边大概花了 4、5 个月，才把 Meta Aria 这套系统完全做通。

另外一个我想做的事情，是把机器人变得更像人。如果我们真的要从人类数据里面学习操作先验，然后更好地 transfer 到机器人上，人和机器人一定要变得更像。

我们需要有两只手，需要有一个像人的肩部和躯干关节，还需要把相机放在类似人头的位置。当时没有任何机器人符合这个要求，所以我们就自己搭了一个机器人。

这个机器人是我搭的。我去 Vention 买了各种各样的铝制部件，把它们搭成一个系统，最后做出了一个两条手臂、带肩部和躯干的机器人。

对你来说肯定有意思极了。

超级有意思。我记得那段时间，我不是在教课，就是在实验室里搭机器人。

所以那个时候你作为一个 assistant professor，其实还在一线打螺丝。

Exactly。所有东西都是我设计的。当时 Simer 主要负责数据收集，我来做机器人本体这方面的东西。

当时你们这个 project 是 2022 年中开始的？

是 2023 年中。

当时整个领域所有人都觉得 teleoperation 非常 hot，遥操作刚刚出来；而且大家觉得最后最炫酷的 demo 还是用 teleoperation。Human data 总是在做一些 teleoperation 能够做的 subset。

你为什么当时意识到了 human data 的价值？从 2020 年做遥操作数据，到 2023 年开始转型做 human data，这是一个什么样的转变？

这是一个逐渐的转变。做到项目后期，我有一个非常强烈的想法：如果你看 teleoperation data，其实它本身也不是完美的数据。

每一个系统的每一层都会带来 gap。给你举个简单的例子：我在一个机器人上做了 teleoperation data collection，然后把这个机器人的底层 controller 稍微改了一下，比如把 gain 稍微改了一点点。这样一来，你给它发一个 control command，它的反应可能就完全不一样了。

所以单是机器人本体本身，就可能有很大的 gap。但是人和机器人之间、机器人和机器人之间的差距，真的有那么大吗？

如果我们真的能把人的动作转换成可用的 action，把人的 perception 转换成可用的 policy input，那我觉得直接把人类数据当作机器人数据来用，并不是不可能。

项目做到中后期，我逐渐意识到，人只是 another robot。或者说，robot 只是 another 人。只要在人的身上挂足够多的 sensor，其实就可以把一个人变成一个机器人。从操作和 control 的角度来说，是这样的。

我想深入聊一聊。EgoMimic 用的是 Aria，对吧？其实人类数据有很多模态，我们可以先聊第一个我觉得很重要的 video。

EgoMimic 基本上只有 video data，对吧？里面包括手部的姿态估计，也都是从 video 里面来的。

我想知道，我们从 human egocentric video 里面，到底能够让机器人学到什么？当我们有大量人类第一人称视角的视频数据时，我们学到的是一个更好的 visual encoder，还是人的 planning prior，还是人的真正 visual-motor 操作技能？你觉得我们到底是在从 ego video 里面学什么？

我可以先从一个比较广的角度讲一下这个事情，再解释 EgoMimic 到底做了什么。

从广义的角度来说，我觉得有 3 部分。一个机器人或者一个人和世界交互，可以分成 3 个子问题。

第一个是，你想让这个世界怎么改变，也就是 how the world should change。第二个是，本体怎么样和世界交互，来造成这些改变。比如我想拿起这个杯子，或者把这个杯子往前推 5 厘米。

第三个是，怎么样产生本体的动作。也就是本体通过什么样的操作信号，让自己产生这些运动，比如 motor 需要多大的力。

第二层和第三层的区别是什么？

第二层是本体和世界的交互，第三层是怎么样产生本体的动作。

人类数据其实很容易学到第一种：世界应该怎么改变。只要把人造成这些改变的方式去除，这个东西和机器人没有任何区别，只要你的机器人足够有能力做这件事情。

第二层其实也可以学到。比如我有一个五指灵巧手机器人，它和人的操作空间差别没有那么大，能施加的力也差不多，那么第二种我大概也可以学到：一个本体到底怎么样能让世界产生影响。比如我应该从哪里推，或者我从哪里拿杯子可以把它拎起来。

但是第三个，我们从人类世界的视频里非常难学到：怎么样让一个本体产生这些动作。

一个极端的例子就是扔球。一个机器人到底怎么样把球扔出去，是一个非常非常难的问题。你需要让每一个关节产生足够的力，把球扔出一个特定的轨迹。这个东西其实没有办法直接从视频数据里学出来。

对我们来说也很难的一点是，人的驱动其实是肌肉的电信号，而我们没有办法造出肌肉。

对。你没有办法把肌电信号和每一个关节的电机之间的关系连接起来，而且这样做也没有意义。

我一直很想问的一点是，你刚刚也说了，Simer 和你用了一周时间达成共识，觉得 video 是最 scalable 的。

如果我要反驳一下，我会觉得 third-person video 才是最 scalable 的。YouTube 上有大量第三人称视角的视频。我们人类从第三人称视角，比如我经常要给汽车换空气滤芯，我看一个第三人称视频，一下就学会了。

我们有这样的能力，为什么你现在这么强调第一人称？

本质上有两个点：fidelity versus scalability。一个数据到底有多 scalable，以及它有多少有用的 signal，在很大程度上没有办法同时 optimize。

第三人称数据非常 scalable，可以直接从 YouTube 下载。但它作为一个数据源非常难处理。我们现在的理解是，input 的 distribution，也就是数据的 distribution，需要尽可能一致，也就是人和机器人数据的 distribution 要尽可能一致。

你要从整个 YouTube data 里面，拿出正好和机器人数据对齐的那部分，非常难。把它真正做 normalization，使两者的 distribution 一致，是更难的问题。

所以最后你真正能用到的 YouTube data 可能非常少。反过来，如果我们真的让人采集第一人称数据，这件事情就没有那么难。如果有很好的设备，也有很多人愿意做这件事情，其实没有那么难。

我其实比较好奇，因为我在类比自己是怎么学习的。我看别人的 video，可以学装家具，也可以学修车，我不需要他的 inertia，也不需要非常精确的 IMU 信息。这个 gap 到底在哪里？

是因为我们现在的 video model 还不够强，所以必须加这些 action label？SLAM 会不会只是一个过渡性的措施？

长期来看，它可能不重要，我觉得有可能。

但是现在的范式，也就是我们正在推动的这个范式，是把人类数据当作机器人的 teleoperation data 来用。如果你 extrapolate 这个范式，我们需要更加精细的 state estimation，而不是不需要 state estimation。

如果你说的是人类数据的另外一种范式，比如人类数据只是告诉你怎么样做这件事情，而你已经知道怎么样达到每一个 state——比如它教你做了一顿饭，你知道每一个步骤怎么做——那其实是另外一种范式。那种范式可能不太需要这么精细的 state estimation。

所以根据你的研究和理论，你需要的数据也不一样。但你现在最相信的技术路线，还是从人里面找 action label，做 behavior cloning？

对。因为我坚信现在我们最缺的，还是底层的精细操作，也就是 manipulation 和 whole-body loco-manipulation。这个问题我们还没有解决，而人类数据是唯一一个 scale enough to solve this problem 的数据源。

我想再聊聊 SLAM。SLAM 是一个相当传统的 robotics stack。今天做 robot learning 的人大多数可能没有了解过怎么做 SLAM，但是 turns out，SLAM 变得非常重要。

你在 Twitter 上也聊到了这个。跟我们讲讲现在 SLAM 的 state of the art 在哪里？为什么这么难？它的护城河到底在哪？

SLAM 的 state of the art 在 VR 公司，比如 Meta、Apple，以及少数 driving company。但是对于我们有用的 SLAM，比如 sub-centimeter-level 的 SLAM，只有 AR/VR 公司有。

这件事情毋庸置疑。他们已经做了 10 年。如果你看他们自己发布的 benchmark，比如 city-scale SLAM，也就是城市规模的 SLAM，academic 的 SLAM pipeline 和他们差得真的太远了。

这就类似于用 VLM 跟 SIFT 比，真的差这么远。

我做过一个测试。当时刚买 Apple Vision Pro，我戴着它在大街上走，因为它可以让我实时 visualize 它的 VIO。我走了 2 个 block 回来，它还在。

Exactly。Project Aria 能做到什么程度，我可以给你举一个例子。

SLAM 最重要的事情之一，是每个摄像头之间的关系要非常稳定。但作为一副眼镜，它可能没有办法保持稳定，因为眼镜会变形，而且还和当天的气温有关，镜头之间的关系也会变化。

他们能做的是 online calibration taking into account temperature。他们建立了镜头和热效应之间的关系，然后根据这个关系来做 calibration。

那这件事对你来说会不会某种程度上有点沮丧？因为你非常希望做 full stack。要把 human data 做好，肯定需要这些东西。

不幸的是，这些东西在 VR company 里面。如果真的有很多人对这件事情感兴趣，也愿意投入 capital investment，我觉得它是可以做的。

这就是一个工程问题，纯粹的工程问题。没有什么“我需要在下一个 GPT 里解决”的问题。只要有钱、有资源，花时间去磨细节，绝对可以做出来。

而且现在有一个非常好的地方：learning-based 的方法是一个 smooth ramp。你的数据质量好，transfer 就好；数据差一点，transfer 就差一点，但不是完全没有效果。

我想聊第三个模态：人类数据里的触觉，也就是 tactile。这也是你本科时的第一个 topic。

我想聊触觉，是因为今天好像所有 human data 的项目里，触觉都是缺失的一环。对我们人类的操作来说，触觉又可以说是非常重要的。我不知道它和 vision 到底谁更重要。

我闭着眼睛也可以转手里的笔，闭着眼睛也可以把钱包拿出来。我们到底需要多大规模的触觉？你觉得触觉会是人类数据里面什么级别的数据？

我觉得它会是第二重要的数据，视频数据还是第一重要的。

接下来还有一个 data modality，我一直没有很好的系统性设计，就是 wrist camera。你可以想象，在手腕上挂一个摄像头，摄像头看到你的手和物理世界之间的交互。

它解决了第三人称视角的很多问题。第三人称视角下，你正在拿东西的时候，很大程度上会被自己的手挡住。但是如果腕部有一个摄像头，就可以看到自己的手在做什么。

当你有这个摄像头以后，还需要多少 tactile data，这件事情其实我一直不太清楚。触觉肯定非常重要，因为我有一个理论：所有的 agent，或者所有的 robot、human，本质上都是一个 force exertion engine。

你的目的就是给世界产生力，而你产生的力会改变世界的状态。我们最重要的并不是 measure tactile，而是 measure force，也就是你到底给这个东西产生了多少力。

Tactile 只是一个最直接的、imperfect measurement of force。

我特别好奇，触觉传感器发展到今天是什么地步，有多 ready？

我觉得最大的问题是太不统一了。所有人做的触觉传感器都不一样，有很多不同的光学触觉传感器，也有压感的、电阻的、磁场的，太多不同的传感器了。

每一种传感器都有不同的 property，它们的优点和缺点也完全不一样。但是如果我们真的想达到摄像头这样一种 standardized representation，我觉得还是有一定的路要走。

所以触觉传感器还没有 RGB 这样的统一表示和量纲。

对，而且每一种传感器的物理属性不一样，性质也完全不一样。你可以把它们想象成不同的传感器。

那会不会如果触觉很重要，而触觉传感器现在又还没有 converge，最后我们会用 RGB 加 wrist camera 来解决？

有可能，非常有可能。It’s just riding on a beat-up car. This car is gonna take us somewhere.

我给你准备了我觉得可能的所有 human data 模态。我希望你从里面按照最不重要开始，慢慢往外扔。里面有 ego video，也就是第一人称视频；有 hand pose，手部数据；whole-body pose，全身动作；force and tactile；还有 audio、language，以及 smell，嗅觉。如果要你 give up something，哪一个最先放弃？

第一个放弃的是嗅觉。我觉得这件事情我们还没到那个阶段。

如果第二个要放弃，我觉得按照我们现在的范式，可能是 audio。因为 audio 的采集设备还是太粗糙了。最重要的问题可能是定位，也就是 audio 从哪里来这件事情，我觉得我们现在的 microphone 还没有解决。我可以做，但没有人关注到这件事情。

第三个的话，depending on what you believe in，我觉得 language 和 whole-body pose 可能是比较靠后的。其实 force and tactile 我们现在也不知道怎么用。我比较好奇的是，如果我们要从里面学习，它应该在 input 端还是 output 端？

That's a great question。你是一个 force-exertion machine，所以 in theory 你需要测量 output，对吧？但是你自己的受力状态也需要测量，因为你需要根据自己的受力状态来估计要施加多大的力。所以它既是 input，也需要是 output。

对。我觉得我们还没有解决 manipulation，所以 whole-body pose 可能也比较靠后。然后就是 language、hand pose、video。

所以你的第一名是 video，第二名是 hand pose，第三名是 language annotation，第四名是 whole-body pose 和 tactile，最不重要的是 audio 和 smell。

我们刚刚聊的是 human data，如果我们要去 collect 的话。但其实我觉得现在机器人数据和人类数据的界限越来越模糊了。一个最好的表现方式就是 UMI data。能不能给我们讲讲什么是 UMI data，以及 UMI data 到底是在机器人那一端，还是在人类这一端？

UMI 是 Universal Interface。你可以想象一下，你把自己的手换成了一个机械臂的手，也就是一个 gripper。这个 gripper 本身有自己的状态估计，它知道自己在哪里，以及自己的开合状态。你用人的手来操作这个 gripper，大概就是把自己的手想象成一个机械手。它强行把人类的手退化成了一个夹爪。

Exactly。但是好处是什么？

好处是它有非常好的状态估计工具。比如说上面会装一个摄像头，或者有一个定位装置，所以它知道这个东西在 3D 空间中的位置。第二，这些 gripper 会直接被装在机器人上，所以它的数据采集和 deployment 之间几乎没有 environment gap。

在末端执行器和碰撞模型上是没有 gap，但在本体上有很大的 gap，对吧？因为你的操作空间和机器人的操作空间不一样。你的手不止 7 个自由度，机器人在自由度上也可能会有一些限制。但这个问题对于纯 human video 来说也同样存在。

对。回答你的问题，它到底是机器人数据还是人的数据，我觉得它是人的数据。因为本质上，你和人、和环境之间是直接交互的。虽然通过 gripper 是 indirect 的，但你仍然可以感受到力，也拥有对这个手部物体非常强的操控性。中间没有 robot controller 来让它变得更加 indirect。

假如我们前面谈到的 3 种东西：tactile、UMI，以及不加 gripper 的纯 human data，它们今天各自在这个领域都有自己的重要地位。你觉得随着时间推移，它们会怎么变化？

现在好像觉得 UMI 是一个 sweet spot：它既能给你精细操作的能力，同时也比 teleoperation 更容易 scale up，fidelity 也比纯 video 好很多。你会怎么想？因为你刚刚谈到了 fidelity 和 scalability，我其实相信最后的 performance 是这两个的乘积。

我觉得最后 human data 和 UMI data 会变得 indistinguishable。现在已经有这个趋势了。比如最近看 Generalist 他们的操作，他们的 gripper 其实和人手已经非常接近了：他们就是在人手上戴了两个 fingertips，basically，上面再挂一个摄像头。

如果把这些 fingertips 拿掉，只挂一个摄像头，就变成了我们现在所说的 30 小时 human data，对吧？它只有 fingertip，所以和 robot gripper 的操作差别会小很多，但 the price is fidelity。因为你没有办法做 dexterous manipulation，尤其是无手指的 dexterous manipulation。

所以最后我觉得，从 data 的角度来说，所有东西都会 share，都会和 human data 差不多。只是在 data 方面，从 human 到 robot 的 transfer 到底有多少，这件事情还不确定。更像机器人的 human data，也就是使用 gripper 的数据，会 transfer 更多；如果直接用人手，就会根据机器人的手和人手有多相似、机器人的 capability 有多接近人手，来决定能 transfer 多少。

你觉得 in the long run，刚刚说的这几种数据会越来越难以分辨。那你觉得会有什么大的趋势？因为现在最 work 的 UMI 还是夹爪，对吧？你是相信五指的必要性的？

我觉得真正 work 的 human data，需要从底层 build up。机器人的执行器和 controller，需要能够以和人差不多的速度执行。比如我关上手的速度，机器人关上手的速度也需要差不多。绝大部分人都没有 get this right。我现在能看到唯一 get this right 的，是 Generalist，他们的 controller 做得非常好。

你是说 gripper 的那个 controller，还是整个机器人的手臂集成？

我的 conviction 是，如果真的要做 human dexterous hand 到 dexterous robot hand 的 transfer，中间的 gap 没有那么大。我需要一个稍微比 Shadow Hand 小一点的手。Shadow Hand 是一个 22 自由度的手，我需要一个比它稍微小一点、但执行速度更快一点的手。它的机械臂可能也需要换成一个速度更快、performance 更好的机械臂。

我现在也不 name names。把这些东西连起来，把整个底层执行器做好，其实我们可以做到 UMI-level 的 transfer。

所以你觉得现在五指人类数据的 transfer，主要是卡在硬件上？

我觉得大部分人卡在机器人硬件上，不是卡在数据采集上。不是说机械臂不行，而是大部分人没有把这个东西串起来。

我有个问题：如果 human data 要取得巨大的成功，是不是意味着有双腿和 5 根手指的人形机器人也会取得巨大的成功？

这两个是一荣俱荣，一损俱损。我不知道双腿这件事情，但至少需要上半身像人：双臂加五指。下半身至少需要是 holonomic，也就是具备全向移动能力。

有一个关于 technology 的概念叫 hardware lottery。他们说，其实是因为有了 GPU，deep learning 才能 take off。如果没有 GPU，可能我们永远都不知道 deep learning 会这么 work。

我比较好奇的是，你觉得机器人的未来是 hardware lottery 还是 data lottery？换言之，到底是 human data 成就 humanoid，还是 humanoid 成就 human data？

好问题。我觉得是 both。Humanoid 本身其实没有太多实质意义，除了它可以使用人类的工具，也可能让人感觉 less scary。但有了 human data 以后，humanoid 才有它的 purpose，对吧？它才是一个 future。

反过来讲，如果没有 humanoid，human-to-robot transfer 会变得更难。所以这两者还是互相成就的。

所以 human data 现在本质上是帮助机器人更像人，是以人为中心的数据。我很好奇，这在某种程度上会不会也把机器人锁死在人类的 performance level？

如果我们今天想造的是一个腰可以无限旋转、手也可以无限旋转的 superhuman，也就是超人类的机器人，因为 human data，我们可能造不出这样的机器人。会有这样的风险吗？

这是一个非常好的问题。我觉得有两方面。首先我退回来讲，精细操作，或者说 teaching robots how to manipulate objects，只是 human data 的一部分。

另外一部分我没有提到，其实是人和机器人、人与人之间的交互。如果把它想成一个 learning problem、data-driven problem，那么你完全没有办法通过遥操作来采集人与人之间交互的数据，只能通过人与人之间的交互来采集。所以 HRI，也就是 human-robot interaction，其实是人类数据中的一个巨大空白。

回到你的问题，这到底有没有把机器人锁死在 human embodiment 上？我觉得倒也不至于。因为 robotics 里大家讲 null space：只要我的 degree of freedom 足够多，我可以把自己降维成一个低自由度系统，去 imitate 它。比如我有一只 20 个自由度的手，我可以 imitate 一只只有一个夹爪的手。

所以我不一定要用一个只有人类这么多机械自由度的机器人来 imitate 人类。我可以有一个自由度更多的机器人，然后去模拟一个自由度更少的人。

但是这样的话，我们可能就很难激发出它真正的潜力。

对。所以我的感觉是，当我们 cross the GPT-2/GPT-3 moment 以后，之后的 RL fine-tuning 可能就可以提上议程了。我们今天还是以人为中心的数据，很多 lab 也在这么做。比如 Yann LeCun 一直在 advocate：我们今天连松鼠都造不出来，连 squirrel-level intelligence 都没有。

那如果从你的理论来讲，如果我们要造乌鸦、松鼠、章鱼的智能，是不是也得给它们带上 sensor，才能造得出来？

Wow, we went directly for animal level。这个 LLM 已经是 human level 了，我们没有从松鼠和松鼠之间的交流开始做起，对吧？就是因为我们有人类数据，才造出了 LLM。

所以我 make the same argument：因为我们有人类的第一视角数据，或者人类的操作数据，才能造出 human level 的机器人。

I guess 我的意思是，如果我们想要达到一些动物的 sensorimotor intelligence，是不是也只能像今天做 EgoMimic 那样，给它们带上 sensor？

但是我觉得，如果我们能达到人类的 physical intelligence，domain 当然是一致的。

我想跟你聊聊你对 human data 的真正愿景。我们刚刚其实大部分时间都在聊 manipulation，聊精细操作。假如数据无限、算力无限，机器人硬件也足够好，你觉得我们最终从 human data 到底能学到什么级别的智能？它的上限是什么？

我觉得上限是一个 human-like robot that's indistinguishable from humans：你无法判断它是人还是机器人，是 human-level 的 Turing test。它可以 talk like a human、behave like a human、interact like a human。

而且不只是在和物理世界交互，不只是和物体交互，也要和其他人交互。所有这些 physical 方面的东西，都是 in the same show。这就是 human data 的 upper bound。

所以本质上，你是希望能够建模所有人类的感官数据。

I want to behavior-clone a human。

所以你要做的是 human-level behavior cloning。

Exactly。

那我是不是可以说，今天的大语言模型 LLM，也只是在 behavior-clone the language of human？

对。Well, it's not just that，对吧？因为后面我们肯定还做了很多 supervised fine-tuning、reinforcement learning，才可以做到 superhuman coder，对吧？但我们还没有达到第一步。

如果要达到你说的那个愿景——behavior-clone a human——我们拿 language model 今天的发展现状来看，他们之所以能做到这一天，你在 Coral Talk 里也讲过，是因为有 Internet，是因为有鼠标、键盘、触摸屏，大家打字，最后变成了 Internet 上面的 data。

但 Internet、手机、电脑这些东西，并不是为了 train LLM 而打造的。今天的 human data 却是为了 train robot model 而打造的。我们怎么才能达到像 language model 那样的 infrastructure？

我觉得这是一个决定性的问题，决定了这项 research 真的能走多远。现在有很多很多公司，我目前数起来可能已经有 100 多家，开始采集这些数据。为什么？因为大家都觉得这件事情可以做、有前途，所以才开始有了这些数据。

如果我们能继续往前推进，trajectory 是向上的，而且 gradient 还不错，就会有更多人来贡献这些数据。反过来讲，如果我们长时间停滞、没有往前发展，那么贡献这些数据的人就会越来越少。

I'm hopeful。我觉得这件事情是有希望的，希望我们能在大家失去兴趣之前把它做完。

所以你现在对这件事的期待是：你做的 human data for robot learning 越来越 work，导致越来越多的人一起来做，越来越多的人愿意为这个数据付费，也导致越来越多的数据公司采集更多这样的数据。

可能相比之下，language model、video model 有 Internet 和 YouTube。对它们来说，这样的数据是无心插柳、柳成荫。而你今天是非要把这棵柳树插出来。

对。我最开始的愿景也是希望无心插柳。2024 年我给别人做 talk 的时候，讲的是之后像 Meta Glass、Ray-Ban Glass 这样的 AI wearables，会有 cameras，会提供很多这样的 data。

我当时想的是，in the next 5 years，5 年以后可能会有很多很多数据。但我没有想到，因为这件事情火了，有很多人开始贡献数据，所以整个 timeline 提前了。

这么说吧，你本来想当的是配角，没想到 robot learning human data 变成了主角。

对啊。本来想吃的是可穿戴设备的红利，本来想等这件事情，没想到一下子整个 community 都开始做了。

那你刚刚说要做成、要 behavior-clone human。你觉得这件事情需要的数据量级和资金投入，会有什么样的估计？

我觉得它不会比 language model 需要的数据更多，只会更多。

对。我估计应该是在 1 亿小时数据左右，也就是 100 million hours。

今天大家做得最大的，我听说过最大的一天大概是 10 万到 20 万小时的数据。如果有一家很有钱的公司把所有人的数据都买下来，可能能凑出几 million hours，大概是 100 万到 200 万小时的高质量数据。

那我们要到那里还有 100 倍。

还有 100 倍。听起来 100 倍也不是很多，也不是很多，可以做成。

所以之后可能就是数据传输带宽、数据存储，以及 data management、exploration、filtering 这些技术 infrastructure 的问题。

但这里有个问题：language model 也好，video model 也好，它们都有自己的 representation，有 MP4 这样的东西。Human data 今天还没有，对吧？我们连模态和传感器都没有 converge。如果我们直接 push for 1 亿个小时的数据，本质上有可能最后变成浪费。

完全有可能。这件事情让我感觉像是一辆高速前行的火车，前面有人在搭铁轨。几个 lab 在前面疯狂搭铁轨，后面所有资本就开始往车里面加油、加柴。

我还注意到你经常强调 human data。你一直说的是我们希望有不经意的 human data，而不是专门为机器人这个 task 采集的 human data。为什么？

因为我觉得人类的 physical intelligence，很大程度上来自我们不会去想这件事情。比如我用脚开门，用手肘把抽屉关上，或者把一个东西拿起来而不碰倒另外一个东西。这些事情其实没有办法被专门 demonstrate，因为你在正常生活中会做这些事情。

但如果找一个数据采集公司，给你很多这样的任务让你做，你在做的时候可能会让这些 physical-interaction-rich interactions 变少，因为你需要 optimize for task completion，对吧？

所以我觉得最后的范式可能是 something in between。我们可能需要一些故意采集的数据，来 show something is possible；但大部分采集数据可能还是来自 daily life。最后可能会变成像 Tesla 要解决的问题，也就是 data filtering：什么样的数据是重要的，我们把这些数据拿出来，再学习过去。

但麻烦的一点是，今天的 human data 供应商是为你服务的。你让他采集不经意的数据，他也不知道怎么采。

所以这就是 research 的重要性。如果我们的经验能够证明不经意的数据有用，就会有很多人来采集这些不经意的数据，对吧？

我就在想，其实我有很多不经意的数据，可能对 robot learning 没有任何意义。比如说我颈椎不好，我就喜欢这样。

对对对，这就是 filtering 的问题。很多 modeling 的问题也是这样。你真的仔细想一想，how do you behavior-clone a human，这件事情非常非常难。

比如说我在做菜，突然扭头看了一下表。为什么要看表？这个东西到底要不要 clone？因为我不知道时间，但机器人知道时间，我们要不要 clone 这个 action？所有东西都是一个问题。Behavior-clone an agent，是一件非常非常难的事情。

这和自动驾驶还有一个区别。自动驾驶某种程度上是在车身上加 sensor，而不是在人身上加 sensor。它是一个 constrained task：你只要 get it from point A to point B，大部分人都是这么做的。

大部分人开车做的都是有效操作，很少有人会去收集不经意的驾驶行为，因为那会很危险。

Exactly，exactly。

刚刚我们提到了 whole-body pose、tactile 这些东西。我有一种感觉，camera 会吞噬掉很多其他模态的传感器。

比如 hand tracking，如果没有东西遮挡，video 能给你非常不错的 hand tracking，包括 whole-body pose estimation。如果摄像头的 field of view 足够大，也可以做 whole-body pose estimation。会不会最后变成一个非常 video-heavy 的 model？

我觉得有可能，非常非常有可能。现在已经有这个趋势了。关键是你怎么想这些问题，对吧？这些东西都是 partial measurement，什么东西能给你 measurement，就用什么东西。

Again，fidelity versus scalability。相机给我们的 fidelity 非常好，而且它背后是一个成熟的产业，成本和 supply 都很好。像你说的，你本科时去过的那个做 tactile 的 startup，它有温度传感，还有各种其他传感器。我都不敢想一套要多少钱，可能要上万。

Looking forward，现在我们处在一列高速前进的火车上，大家在往前搭铁轨。你觉得什么样的 human data，在 long term 会最有价值？

我其实不知道这个问题的答案。但我觉得这些 data collection companies 需要和做研究的机构进行非常紧密的合作。

比如我们 GT Lab 需要数据来做研究，他们也需要知道什么样的数据有用。这是一个非常互利、互补的关系。数据分布是什么样的，什么样的数据有效，怎样让一个人采集更有效、更高效的数据，我觉得这是大家需要共同研究的事情。

你同时在学术界和工业界，也在研究 human data。我相信你能看到很多行业趋势。我比较好奇的是，你觉得 human data 的采集设备也好、pipeline 也好，最后会变成 frontier lab 的护城河，还是随着竞争越来越激烈、普及越来越好，变成一个 commodity？

我觉得会变成 commodity。因为 frontier lab 自己也不知道到底需要什么数据。可能是 frontier lab 在教这些数据供应商采集什么样的数据，但它们也不会说这些数据只能卖给自己，也会卖给其他人。

最后数据供应商会变成一个中间的交流平台。因为 frontier lab 和数据供应商之间有这种 interaction，所以交流是不可避免的。你采了什么数据、用了什么设备，最后都会流通下去。

那会不会有一个足够有野心的公司，把所有东西都 in-house，自己来 build？你会喜欢这样的路径，还是说 frontier lab 做 research，然后找数据供应商来买？

我会想做像 Tesla 那种 full-stack everything。但作为一个 academic person，我觉得 research needs to be driven by everyone。所以我觉得最后可能会变成 frontier lab driving 几个 data vendors。

你们最近有一个 project 叫 EgoMimic。你是想让 human data 变成一个 open collective effort for academia。为什么你还坚持这件事情？

听起来，如果需要 1 亿个小时的数据，一个小时几十美元，对学术界来说就是天文数字。

我觉得原因就在 train track 和 train 这个比喻里。现在数据的热情实在是超过基础研究太多了。车可能已经开出去了，已经不在铁轨上跑了。

所以我觉得需要更多人来做更基础的研究：什么样的数据有用，怎样更好地使用这些数据，以及用这些数据做不同的事情，比如 human-robot interaction，或者其他更有趣的研究。数据作为一个平台，是一个非常好的、开展合作的方法。

第二，我希望在数据厂商这边做一个 centralization。可能通过我自己或者合作者的 credibility，让他们相信我们。如果他们给我数据，做一定程度的 quality check，我们的研究也能让他们的数据变得更 credible。这样可以形成一个互利互惠的关系。

但你会不会想，如果你真的把这件事情做成了，最后的 end game 一定会演化成今天 language model 这样：大家高度商业化，然后变得非常封闭？

我觉得如果真的需要 1 亿小时的数据，很难通过 open science 来完成。之前那些 open-science language model，后来其实也没有特别成功，对吧？因为这需要一个高度集团化运作、capital-driven 的东西来促成。

虽然最后的结果可能不会像我预想得那么好，但我觉得还是需要尝试。

某种程度上，你的成功就等于你的失败。

对。对我来说，在 scale 和 need 上的成功，可能会让 open science 这边失败。

十年前大家都在做 driving。一开始大家想探索各种各样的 data source，有人想从 YouTube driving data 里学习。但自动驾驶最后经过 10 年，收敛到了和车厂高度绑定、和硬件高度绑定的数据。你觉得机器人会走一条不一样的路吗？你不担心机器人最后也会和机器人的主机厂高度绑定？

绑定的原因是他们不给别人数据，对吧？他们不愿意公开这些数据，而这些公开数据其实也会对其他人有帮助。

比如一辆车上有 6 个摄像头，如果其他人的 camera layout 大概类似，这些数据其实是可以 transfer 的。只是因为 capital interest，所以没有 transfer。

现在 human data 其实道理是一样的。如果有人真的买了 1 小时数据，但他不给别人，也会产生同样的问题。所以最终不一定是和硬件绑定，而是和商业绑定。

如果我告诉你一个预言：human data 最后没有成为 robot learning 的 GPT-3 基石，你觉得可能是哪一层假设错了？

可能是我对 simulation-based learning 的认知从根本上就是错的，它的 scalability 和我的预想完全不一样。

或者可能是 human 和 robot 的 embodiment gap，比方说第三层或者第二层的 gap 太大，完全没有办法做到 zero-shot 或者 few-shot transfer。

我能想象的还有一个可能，就是非人形机器人百花齐放、take off 了。这就会导致 human data 的 transfer 越来越难。

对，有可能。可能我们会造出三指、三爪、能力很强、可以无限旋转的那些机器人。

最后想和你聊一些其他部分。一个叫 full-stack AGI robotics 的概念。因为你之前强调了很多，你觉得今天大家对算法的强调过重，而对 system 有点低估。为什么对 robotics 来说 system 这么重要？

System is the thing for everything。我觉得计算机科学本身有 system 这门 discipline：programming languages、compiler、database、distributed system。Robotics 或者 robot learning 还处在大家对整个 system 没有那么好的研究、没有那么成熟的阶段。

因为大家对这个东西的认知还不够深，所以会导致一些项目或者一些方向进步得比较慢。我觉得可能就是因为 system 不够成熟，所以大家需要认真对待这件事情。这也是为什么 full stack 这么重要。

Full stack 等于什么都要自己造吗？

不是。不是说所有东西都要自己造，而是需要知道什么东西会影响最后的 outcome，所以要对整个系统的每一个细节都有足够深的理解。

很多机器人团队，无论是 startup 还是大公司，因为整个机器人 ecosystem 正在起来，我们可以买到很好的硬件，也有足够多的数据供应商。

对于一个足够好、要解决 robot AGI 或者 physical AGI 的团队，buy or build 这个 decision 应该怎么做？哪些东西应该买，哪些东西应该自己做？

You can buy everything，但是 integration 要足够深。你对这件事情有足够理解以后，才会自己选择到底是买还是自己造。

那你今天看起来，觉得绝对不能放弃、一定要自己 in-house 的部分有哪些？

比如整个 evaluation 和 training loop，这件事情一个团队肯定要自己做。还有 post-training、pre-training 数据的 filtering，也要自己看这些数据到底采得怎么样，是否符合你对数据分布的预期。

还有 closed loop。比如我们在学校里做的，就是学生自己采数据、自己 train model、自己 deploy。每个研究者都需要对这套完整系统有足够深的了解：what data makes how each part of the system change the behavior。

如果你的 data 来自 vendor，他们对你来说肯定更像一个黑箱，对吧？他们怎么采的？

对。

他们的 synchronization 做得好不好？

对。

这会不会是一个挑战？如果你要做到 1 亿个小时？

这是一个很大的挑战。很多人都在 struggle with this。

最后我想和你聊聊 modeling。这是之前整个 community 聊得最多的地方，比如 world model、VLA。但我想从 human data 的角度来聊，因为我觉得每一种 data 对于 modeling 都有自己的 inductive bias。

如果你的 human data 取得巨大成功，它会偏好什么样的 modeling method？

我觉得 long context 是一个非常非常重要的事情。Again, like we said，如果你要解释 behavior cloning a human 这件事情，其实就是用 context 来解释 action 的一个问题。

如果没有足够多的 context，你没有办法解释这个 action，只能把它当成一个 very broad distribution：可以做 A，也可以做 B，因为没有足够的 context 来理解它为什么要做这件事情。

你刚刚说的 human model，也就是 human data 对应的 foundation model，它是一个 System 2 model 还是 System 1 model？

Both，都应该用 human data 来 train。

你会考虑这其中的 interface 会是什么吗？

We need a new language。你想象一个不会说话的人，他正常地和物理世界交互。他不会用 System 2、System 1，或者 language as System 1、System 2 这种东西来解释自己的行为，对吧？

他的 planning 和 manipulation 可能是在另外一个空间里完成的，但这个空间是什么，我现在完全没有 clue。

也许那个空间就是得用 human data 学。

Exactly。我们需要 learn from scratch 这个 space。

现在 System 1、System 2，我们 taking this quite literally，因为我们有一个 LLM。但我觉得，again，LLM grounding 到 action 这件事情距离太远了。如果我们有足够多的数据，也许可以从头推倒，在数据里重新学习这个 space。

在你的 slide 里介绍过一个叫 Betty the Crow 的乌鸦行为。你觉得今天的机器人系统距离它的智能差多少？差在什么地方？

太远了。Betty the Crow 是一个非常著名的实验。有一只乌鸦，研究者发现它可以通过使用工具来取东西：有几根长短不一的管子，里面放着一些工具。它会先从一根管子里取出一个工具，用这个工具够到另一根管子里的工具，再用那个工具够到另外一根管子里的东西，直到最后把食物取出来。

这个任务它是第一次看到，以前从来没有见过。我觉得现在机器人对于这种程度的 planning 还是非常非常远。如果你说的是 zero-shot，也就是之前没有和这个 system 做过任何这类任务的 pre-training，我觉得差得非常远。

这种问题处在一种能力上：通过系统里的 component 产生一个新的解法。现在我见到最多的可能是，不同颜色的杯子可以拿起来倒水，仅此而已。

Betty the Crow 这种 task，我们用 RL overfit，肯定可以 overfit。但 generalization，我觉得还差得很远。

最后我想和你聊聊你在 Georgia Tech 当教授，以及对未来的一些展望。你觉得自己当上教授之后，现在是哪种 advising style 的导师？

我是在非常 hands-on 和比较 hands-off 之间反复横跳。有些东西我真的想自己做，有些东西我会让学生自己做 open-ended exploration。

我做教授还不到 4 年，这个度可能还在探索当中。但确实有些东西我真的想 push forward，我就会想自己做。

比如 EgoMimic，你肯定是自己做了。你当时还造了那个机器人。

对。我还自己做了一个 gripper。暑假的时候我自己在家里 3D print，自己 design 了一个 gripper。因为之前那个 gripper 坏了太多次，所以我自己造了一个。有一天我直接拿给学生说，你们用这个吧。

但你对一线 engineering 还是有很浓厚的兴趣。

Certain parts。我觉得越和硬件相关，我越感兴趣。基本上是两个极端：完全是算法的东西我也感兴趣，一些非常顶层的设计我也非常感兴趣；和硬件非常相关的东西，比如做 control、选硬件，我也非常感兴趣。

中间的东西，我可能会让学生自己来做。

你更享受哪一种？是 IC，自己写代码实践，还是 manager，也就是 faculty 这样的角色？

我觉得可能更享受 the freedom。我可以选择自己做什么，根据项目不一样来决定。但我还是比较喜欢让自己的 vision 得到实现，有一些人能帮我来做这件事情。

某种程度上，你应该一直都挺享受这种感觉。从本科到 PhD 到现在，你一直都在做自己想做的事情。

对对对。现在还有人帮我做我想做的事情，那更好了，对吧？

所以你很难有一个像 Danfei 这样的 PhD 在你的 lab 里。

对。我和我老婆讨论过好几次：I will be a terrible student。所以我反正不想招自己。

你现在在 lab 里面有什么坚持的价值观和要求？

我其实有一个 lab culture doc。其中几条比较重要的是，我非常讨厌分工这件事情。我们现在有些 project 很大，也有很多人，但每个人只做自己的东西。我不太喜欢，因为你需要 care about the whole thing，you need to know everything。No work is beneath anyone，对吧？

比如有一次我们的机器人模型坏了，没有人知道怎么焊这个东西，我就直接进去自己焊了。我希望所有学生都非常 full-stack，或者愿意变成 full-stack、喜欢变成 full-stack。这可能是我这个实验室比较 unique 的一个点。

那你现在选学生、带学生，最看重的特质是什么？

我的一个 bias 是：你不能讨厌硬件。

对，你讨厌讨厌硬件的学生。

对，我讨厌讨厌硬件的学生。

你觉得学术界真正吸引你的本质是什么？

我一直很看重 thought leadership 这件事情。这可能是最开始菲菲跟我讲的：academia 最终要达到的是 an outsized impact。你需要用你的 idea 去影响别人，让别人相信一件事情是对的，然后你有能力让别人觉得这件事情是对的，大家共同推进一件事情。

如果今天给一个年轻学生、年轻 researcher 一个建议，在今天工业界和学术界这样的状况下，他怎么找到自己的位置？

这是我希望的，但我不知道具体怎么做。我希望这个学生能够尽早培养自己的 taste：自己觉得什么是对的、什么是不对的，自己相信什么、不相信什么。

然后尽早把自己对整个系统的理解做出来。不要一个项目只 care about one thing。最开始的时候，尽可能做一些比较 full-stack 的事情。

到第二年以后，你再开始选择自己到底想做什么：是想做一些比较 open-ended 的问题，还是想把一个问题彻底解决，或者和工业界合作，把一些工业上的东西做得更加 rigorous。

我觉得基础一定要打好。

你觉得 2026 年读 PhD、做 robotics，比 10 年前你们那一波，大概 2016 年左右做 robotics，是更难了还是更简单？

更难，因为风口的情绪太高了。我觉得现在如果你不和主流有连接，可能真的会觉得自己被 left out。

所以培养 taste，意味着你真的能够想清楚一件事情大家为什么要做它，也想清楚不同的路径为什么会带来做它或者不做它的结果。你需要有这个耐心。

以前可能没有一个 winner-take-all 的状态，对吧？但现在 clearly，在业界可能已经有一个 winner。Currently there's a winner，所以大家可能没有那么大的耐心来培养自己的 taste。我觉得这件事情可能会变得更难。

但反过来讲，resource 变多了，工具也变多了。Claude Code 这些东西，可能会让研究变得更加简单。所以，专注变难了；但如果你选择正确，做成一件事情会容易得多。

关于 taste，我觉得你是怎么判断的？经过过去十多年的旅程，你是怎么判断一个方向只是看起来重要，还是真的会改变领域？你自己内部的一个 internal test，那种机制长什么样？

我是一个比较 evidence-based 的人，就是我需要看到一件事情有 signs of life，我才会比较相信它。当然，有两种可能性吧：一种是 first principles，就是这种事情肯定会发生；另外一种就是说，这件事情我已经看到它有一些 research on it 了，我才会比较相信这件事情。

但是 taste 这件事情，我觉得跟这个又不是特别一样。我觉得 taste 可能就是对于你要研究什么样的问题的这么一个选择。我不是说我有很好的 taste，我只是觉得 taste 这件事情非常重要。比方说，我现在有一个非常 practical 的 taste，跟我 PhD 的时候完全不一样。我也不是说我现在 taste 很好，只是说我觉得 taste 对一个人的研究实在是太重要了。它导致了你做什么样的 research。

那你自己的 personal career goal 是什么？

我其实没有什么目标，我只是想有朝一日能看到 robotics 达到 GPT-3 moment。这不是我自己的目标，而是说我想尽我自己微薄的力量，促成这件事情的发展。如果能做到，我当然很开心了。

但是 again，我其实感觉我对研究这件事也没有那么强的 ego，没做这件事情也可以。

你刚刚说 robotics 这个 GPT-3 moment，你怎么定义这样的 moment？

在任何场景下，任何人能做的事情，大概有 40% 到 50% 的成功率可以做成。

我想让你给年轻人一些建议。现在很多青年学生进入机器人、进入 AI，对吧？你会对十年前刚入行的自己说什么？你会提醒他些什么东西？

我觉得多看一些优秀研究者的研究轨迹，理解一下你喜欢的、比较好的研究者为什么做他们的事情，而不是他们做了什么。

我觉得这件事情是最重要的，因为其实你是在学习他的 gradient，而不是学习他的 trajectory。然后，如果你能真的想清楚他为什么做这件事，形成你自己理解的版本，那么你对自己的研究也会有一个更清晰的认知。

如果你真的想做 robotics，真正的 robotics 就是 robotics。你不能把一些东西说成不是 robotics，比如不能说控制不是 robotics，hardware 也不是 robotics，或者之前做的一些东西，比如 planning 不是 robotics，做 object detection 不是 robotics，对吧？这些东西其实都是 robotics。

很多人会把方法和问题混淆在一起。你要解决的是一个问题，然后你有很多不同的方法。你不一定要所有人都用一个方法解决这个问题，这不应该代表这个方法就是这个问题，或者这个问题就是这个方法。

好，Danfei，感谢你的时间。在这个时间节点，我们做了这期播客，然后这个播客会一直留在这里。我希望你最后讲一些话，留在这个播客里，作为一个时间胶囊。可能这会是你五年、十年，甚至二十年后会回看的，也是给观众留在这里的一段话。你会说什么？

我觉得，能够参与一个能够改变世界的领域，在正确的时间、正确的地方，是一件非常幸运的事情。

我觉得这并不是说我一直想要改变世界，或者想要做成一件大事，才导致我在正确的时间、正确的地点，而是我觉得，大部分情况下，对于我来说，我可能会把自己当做一个没有那么强天赋的人，就是一个正常、普通的人。

只是我觉得，绝大部分人做自己想做的事情，还是会让你的 career 或者你自己的生活变得更容易一点，也没有那么脱离大部队，有时候也没有那么坏的后果。

所以，勇敢地做自己想做的事，不要有那么多包袱。What's to lose，对吧？

对，谢谢你的时间。我们今天就录到这里。

好，谢谢，谢谢。