76.与 00 后创业者源培的访谈：从 RoboMaster 到李飞飞实验室、两次「全球首次」，与自由快乐的非标人生

欢迎我们节目的第一位00后嘉宾。

Hello，大家好，我是“零××”的联创陈源培。

00后这个身份对你来说意味着什么？

最大的一个总结概括的属性就是：不能被总结概括。

我高考前都在打牌。我给自己规定的信条就是不要后悔。我人生的信条是绝对不可能不快乐。如果是我不喜欢做的事情，我一定不会做。

没有本科生进入斯坦福李飞飞的实验室吧？

当时也有很多斯坦福的硕士，但最后他只要了我一个人。原因就是觉得那篇论文做得还可以。

杨老师说，你回来的时候像变了一个人一样，更多的是对于学术的对待方式或者心态上的变化。你开始有系统性思维，不要太 ego。哪怕是一篇很垃圾的论文，它都有可以学习的地方。

你这个00后眼中，具身智能行业的泡沫是什么样的？

泡沫就是太多人说的跟做的不一样。

机器人现在学会的事情，是一种真实的智能吗？

肯定不是。现在大家说什么原生世界模型，或者各种各样奇怪的说法，我真实感受下来，更多的还是噱头。大家都觉得自己的方案是对的。

说实话，基本上所有的路线，只要我们想复现，一定能够复现出来。但是最后的效果，我觉得并没有那么本质。

为什么？

最本质的东西一定是有一些 high-level 指导意义的。要么是有通用范式，要么是从人的日常生活或者其他领域里，把类似的东西做出来。

强化学习是非常吃 know-how 的东西。

大家以前都看曲线，只有我是打开仿真环境，盯着机器人学习，看着它怎么从一点点完全不会，到慢慢学会。

现在创业好玩吗？

对啊，我在做我喜欢的事情，起码我觉得已经比很多人幸运了。

哈喽大家好，我是诗洁。AI原生一代将写下怎样的新故事？这是AI这轮浪潮以来投资人们最关心的问题。今天的嘉宾是零零后具身科学家陈源培，他曾在斯坦福李飞飞的实验室实现全球首次机器人长城操作任务，以及全球首次用人类数据训练机器人双臂操作。这是一个一再印证学习没有范式，创新没有标准答案的故事，希望其中能够给到大家启发。

欢迎我们节目的第一位00后嘉宾，陈源培，跟大家打个招呼吧。

Hello，大家好，我是“零××”的联创陈源培。

我看你在小红书上的个签写的是“平时比较随意一点”，是因为你平时做事也比较随意吗？

我平时基本上也是想到哪里做哪里，所以就是这么写的。

你上次讲，你高考前一天还在宿舍打牌。

我高考之前，或者说上大学之前，不是那种一直很喜欢学习的人。我基本上一直在玩游戏。

市面上那些 FPS、MOBA 游戏，我基本上都玩了非常久，玩过的都有几千个小时。玩过的人都知道，这其实算是玩得非常多了。

所以你是传说中的游戏大神？

没有没有，现在很少玩了。

那我看大家为什么叫你“源神”？

没有，这是大家的昵称，可能这么叫更可爱一点。

以前清北这边很多人是学竞赛的，觉得一个人很厉害，就会叫这种名字。我倒是还好。

为什么叫你“神”？

之前做了比较多科研，在北大这边也经常打比赛，有一些成果吧。

今天后面会聊到你在科研上的一些探索和成果。我们先从你小时候的经历聊起，因为这好像是你第一次出现在公众访谈当中。

我小时候基本不怎么爱学习。我觉得爸妈对我影响最大、做得最对的一件事情，就是完全不管我。

五六年级的时候，我经常在家通宵玩游戏，这在当时还是比较少见的。但是他们也没有特别约束过我。

那你成绩怎么样？

我觉得一般。说实话，就是考个普通985。

因为我不打游戏，所以很好奇，喜欢打游戏的人喜欢它什么？

我后来也复盘过。一般玩一个游戏，最开始都是因为身边的人在玩。玩到后面，如果深玩下去，最主要的还是一种竞技感。

基本上玩到后面，就是想上分，或者想上哪个段位，或者想看看自己的技术到底能到哪一个 level。

我中考之前，差点就去某一个电竞俱乐部打青训了。

我觉得游戏，特别是一些有策略性的游戏，其实非常考验一个人的反应、灵机一动，或者大家说的聪明程度。

那你觉得自己的聪明程度是什么程度？

我觉得就是有点小聪明吧。

那个时候沉迷打游戏，和后来沉迷做科研，有什么差别吗？

其实我觉得还真的差不多。只不过科研的难度会高很多，而且它没有一个特别明确的衡量标准，不是这局赢了就是赢了，输了就是输了。科研的评价指标更多样。

但有一点是一样的：它们都可以像升级打怪一样。你只要一直做，其实就可以做得越来越好。

我们先谈谈你的00后身份。这个时代大家非常期待所谓“原生一代”会写出什么样的故事。这个身份对你来说意味着什么？

我觉得更多的可能是有更多的试错成本，但除此之外，大家还是看产品说话，或者看技术能力。

投资人对你这个身份，是质疑更多，还是期待更多？

我觉得都有。我们的股东都挺好的，但也有一些投资人确实觉得，00后没有那么成名的学者强，也没有那么多积累。

那你面对质疑的时候，会怎么处理？

首先我觉得他们说得也对。现在还没有到一个真正让大家觉得“你很成功”的时候。现在更多可能是资本上的追捧，或者话题性。

但你真的要说有没有成功，我觉得还远远没到。所以我觉得他们的质疑也没问题。

你追求成功吗？

算是。

你追求哪种成功？

我追求的其实算是一种影响力。估值或者钱这些倒是无所谓，我更在意的是对人类社会的影响。

什么时候开始想要对世界产生影响力？

这是个好问题。我记得最早是在2023年底左右的时候，当时我还在做科研。在那之前，我完全没有想过这些事情，只想着把科研做得越来越好，写不同的论文，发不同的论文，把学术影响力做大。

但突然有一天，当时俄乌战争刚开始，我有一种很强烈的预感：世界上还有那么多人在很多地方打仗，每天可能都有和我们一样的人死去。国内也有很多贫困山区的孩子。

我们虽然在北大这样的地方做研究，但每天研究的都是一些很细枝末节的事情。我们抠一个创新点，做一点提升，为了发论文。但发了一篇论文之后，这个东西对整个社会到底有多大的帮助？对解决我之前说的那些问题到底有没有用？

后来我发现，差别实在太大了。从那个时候起，我就觉得学术界肯定不是我想去的地方，所以后来就一起创业了。

这是创业的缘起？

对，很早的时候就有这个想法了。

你说上大学之前最喜欢打游戏，后来第一个切换，是从最喜欢打游戏到最喜欢打比赛，机器人比赛，对吧？

对。

这是怎么切换的？

因为当时有一款机器人比赛，叫 RoboMaster。我们学校的队伍是传统意义上的强队，拿过两次全国总冠军，那几年基本上没有掉出过全国前三。

是以学校为单位的？

对，以学校为单位。

所以你们学校历来就是强队。

对。学校会招生，很多人觉得机器人看上去很帅，也比较感兴趣，所以就参加了。

后来发现这个比赛强度太大了。基本上除了吃饭、睡觉，其他时候都在备赛。

这个比赛非常考验一个人的复合能力。整个机器人从机械、嵌入式硬件和软件，到电路板，再到上面写的代码、上位机控制，全部都是学生或者团队自己做的。而且每年还有好几种兵种，所以它比较考验工程能力和团队协作能力。

大家打比赛的时候都很拼吧？

对，基本上都很拼。

你之前应该完全没有接触过机器人。

没有。

你写过代码吗？

也没怎么写过。

那你怎么加入这个比赛？你到底做什么？

会有选拔，包括面试、考核之类的，会出一些题。

考核什么？

比如在限定时间内做出某些功能。限定时间内复现某个算法，或者做出某种效果。

当时基本上就是查资料、自学、自己做。所以这件事情的门槛没有那么高，大学生如果愿意花时间学习，也能够做。只是做得好和做得坏，会有差异。

你觉得这个比赛和科研是两个极端？

对，我觉得是两个极端。

这个比赛只要你愿意学，或者心态比较好，其实就可以打得很好，因为它更多是工程性的东西。工程性的东西，很多时候看的是细心程度和快速学习的能力。

它没有用到大家想象中的很多高深技术，更多是希望把这些技术组合成一个能够让大家使用的系统。

RoboMaster 是大疆办的，也是国内非常重要的人才选拔比赛。据我所知，从前几年开始，投资人会去 RoboMaster 找有潜力的年轻人，有些人甚至会被选出来创业。你听说过吗？

听说过。我们队里有很多人创业。

你们那时候应该还没有吧？

我们那时候创业算是一个非主流选项，但听说现在确实变得比较主流了。

为什么那个时候是非主流选项？

因为那时候是2021、2022年，国内的创业氛围没有现在那么好。

现在很多 VC 其实非常看重年轻人。当时很简单，大模型刚出来，大家看到的都是成名已久的学者、科学家，基本上没有像我们这种“对 AI 毛都不懂”的人直接创业。

但现在我觉得整个风向确实有一些不一样。

这个风向变化背后是什么？

是几个点综合叠加的结果。

第一个，我觉得是这个时代或者国家的提倡。现在国家也比较喜欢硬科技。

第二个是 AI 工具的发展。以前你学一个东西，确实需要很强的积累才能做。但现在 AI 工具越来越强，你可以现场学，做得很快，做出来的东西不一定比之前的人差。这也给了没有那么多经验的人更多机会。

还有一点是资本市场风向的变化。以前我明显感觉到，大家没有那么关注00后或者年轻创业者。但现在大家也确实认可，年轻人也能做出比较好的东西。

你打 RoboMaster 是哪几年？

2022年。

身边应该都是像你一样的00后。

对，基本都是。

出生在千禧年之后的人，走过这20年的人生，会经历些什么？

我觉得每个人都有不同的做法。到了00后，或者说千禧年之后，最大的总结概括就是不能被总结概括，因为每个人的差别特别大。

以前大家的观念比较保守，会觉得好的选择就是出国留学，或者在国内从事某些被认为更好的职业。但现在网络特别发达，大家尝试和想象的空间都更多了。

很多人会有自己的想法，也有自己独特的经历，每个人都不一定一样。

你参加 RoboMaster 的时候，是什么专业的人都有吗？

什么专业都有。

不同专业的人一起打比赛，大家可以相互协作。这件事和今天的具身智能行业有点类似吗？

技术上有类似，但组织上我觉得有利有弊。

我们打比赛的时候，基本上是老队员负责管理。上一届的主力，上一届比赛结束之后，就会成为下一届的架构设计者或者管理者，去指导新一代的学弟学妹。

有点像创业公司。

对，有点像创业公司，但确实不像大公司那么成熟，也有一些弊端。

不过我觉得，做 AI 相关的东西，这种组织架构是比较好的。相比一些传统大公司的做法，它没有那么多约束，比较扁平，通过愿景来驱动，朝目标努力，没有那么多 KPI。

当每个人自然而然都很努力的时候，就很难有人不努力。

我看了一下，你本科是学土木工程的。

对。

这是一个力学和物理学的学科，和 AI 好像没什么关系。后来你发表的论文却都是和 AI、机器人、具身智能相关的。你是怎么跨度这么大进入 AI 领域的？

还好。说实话，我基本上没怎么上过课。

本科时就这样？

对。我上课基本上坐在最后一排，干自己的事情。

自己的事情就是打比赛？

对，打比赛，或者后来做科研之类的。

这个过程当中最令你着迷的是哪一部分？

最主要的还是让整个机器人动起来。

我当时做的是机械臂。当时其实没有多少人做机械臂，那算是灵巧手的开端。主要做的是操作。

当时比赛主要是移动机器人，但那一年我们队想探索机械臂的技术方案，所以自己做了一个机械臂。我现在都忘了是六轴还是七轴。

之前没有这个技术栈，我们基本上从零开始把整个东西搭起来，然后做一些抓取之类的事情。

我听说 RoboMaster 要像《Dota》一样把对方的塔推倒。你们设计机械臂，是希望最后用手把塔推倒吗？

不是。它其实是个工程机器人，用来抓金矿。

金矿是一些方块，会从不同地方掉下来，机器人要接得特别好，还要给别人抢。这个功能有点像打游戏时捡道具，用来积分。

你当时完成得怎么样？

我觉得做得还可以。那一整套系统对我个人帮助特别大。

我基本上把每一段成熟代码的底层都搞得很清楚，包括里面怎么改，也包括传统运动控制、motion planning 这些东西，做得非常细。

是因为你的这项工作，杨耀东老师选中了你吗？我想应该有很多人给他发邮件。

也不完全是因为这项工作。

说实话，当时我都没怎么向他介绍 RoboMaster 的经历，这也是运气或者缘分。当时杨老师刚回国，我算是他的第二个学生。他那时候还没有博士生，我给他发了一封邮件，他就给了我这个机会。

现在就很难了。现在杨老师邮箱里有太多邮件，组里面也有很多人。

当时我确实没有什么经验，只是说自己对他的项目特别感兴趣。后来和他聊过，主要还是因为我完成他给的目标比较快。

当时他可能也找了不少同学一起做，但基本上都没做出来。我在比较短的时间内把这个东西全部实现了，所以他给了我一个测试题。

他给你的测试题是什么？

做一个灵巧手，用强化学习。

杨耀东老师是强化学习专家。你之前接触过强化学习吗？

没有，都是现场学的。

能分享一下当时学习的过程吗？

当时强化学习特别火。AlphaGo、AlphaZero 刚刚打败人类，包括星际争霸。当时真的感觉强化学习就是未来。

我看了很多博客，知乎、CSDN 上有很多人分享相关技术和代码。看着别人就这么实现了，感觉是一件很自然的事情。开始可能不 work，改一改之后就 work 了。

强化学习本身是一个从尝试中学习的过程。传统的监督学习是给你一个标签，然后学习一个映射：输入这个东西之后，应该对应什么输出。

强化学习最大的区别，是引入了和环境的交互。它有点像婴儿学习。小时候你可能试着抓一个东西，但没有抓住，于是尝试另一种抓法，直到成功抓住，就把这件事情学会了。

强化学习也是类似的过程：让机器人自己和环境交互，获得反馈，知道什么是好的、什么是坏的，然后把这件事情学会。

就是自己探索的过程。那你为什么做得比别人快？

说实话，这和打 RoboMaster 有关系。

我做 RoboMaster 的时候，也完全没有人教过我，不知道应该怎么做，基本上全靠自己查资料，深入到每一行代码的底层，看看它是怎么工作的，搞明白之后再实现，过程中不断 debug。

当时做强化学习也是这么做的。

你刚才讲到深入代码的底层。今天深入代码底层这件事情重要吗？

重要，也不重要。

现在和以前相比，确实少了很多，因为 AI 工具很强。但我觉得这种能力是互通的。你必须对整个代码的业务或者流程非常熟悉，对它怎么实现非常清楚，才能把这个东西训练好。

我觉得这是一个 trade-off。

你之前跟我说，你觉得做机器人很酷，所以才去参加 RoboMaster。后来觉得做灵巧手很酷，所以找到了杨耀东老师。

对，酷。

到底什么是“酷”？

就是做出来的东西，市面上没见过，别人没见过。

我觉得这其实是当时驱动我们、也影响我们后来好几个工作的一个想法：我们要做一些别人没见过的东西，让别人一看到就说“这个东西确实很厉害”。

不是要给别人介绍很多细节，告诉他用了什么技术，别人听完才觉得厉害。我们想做的是，别人一看到就觉得“这个东西好厉害”，不管你是什么方法实现的。

当时还没有“具身智能”这个概念，领域非常早期。大家更多做的是传统机器人，比如 base、motion planning 加 CV 这些方法的组合。强化学习、模仿学习都还没有普及，灵巧手就更少了。

整个国内基本找不到几个真正做高自由度灵巧手操作的人。

我后来查资料时发现，你18岁的时候，也就是2019年，发生了一件很大的事情：OpenAI 用强化学习做了单只 Shadow Hand 灵巧手，让它解魔方。

这在整个领域里是很轰动的一件事。

但在2021年左右，还有另一件轰动的事情：OpenAI 把这个团队解散了。

对。因为大家发现，learning-based 的方法做这些很 fancy 的东西还没有 ready。

OpenAI 当时找了很多人，组建了很大的团队，搭了很大的 CPU 集群，把规模做大，收集数据再训练，最后把这个东西做出来了。确实很酷，但代价很大，而且很难继续 scale up，因为硬件条件不够。

从技术角度看，一个很大的转折点是 GPU 并行仿真出现了，比如英伟达 Isaac Gym。

以前 OpenAI 可能要搞一个很大的集群，投入很多钱，才能并行跑几百、几千个环境。但这个东西出现之后，普通的消费级显卡都能跑上万个环境。

我们照顾一下大家的感受。所谓跑几千、上万个环境，指的是让机器人在一个虚拟的仿真世界里，不停地变换场景、进行训练。

对。

我之前也做过一些算力芯片研究。CPU 其实不太适合这种场景的训练，因为它不是并行的，是一条一条地跑，所以需要消耗巨量算力。

对。GPU 可以多线并行，算力效率就提升了，也会更经济。

技术刚好有一个小突破。英伟达内部有一个团队把这个东西做出来了，效果非常好，也很有趣。

OpenAI 解散的 Shadow Hand 团队最近又重新成立了。你觉得底层变量是什么？

还是技术的发展。

当时解散的原因，更多是判断数据不够，数据量还不够。但现在大家有了这么多数据，包括仿真数据、真机数据，这件事情就变得很自然。

所以你后来去杨老师那里实习的时候，有看过2019年 Shadow Hand 的这些历史吗？

说实话，当时不太清楚。实习的时候我还很年轻，对整个领域肯定没有特别深的了解。那篇论文发表之后，我才知道原来 OpenAI 也在做类似的事情。

你可以介绍一下杨老师当时让你做的那篇论文吗？

那篇论文比较神奇。后来很多人问我，这篇论文做了多久？我发现其实只做了3个月。

很多人觉得那种工作量的论文至少要做一年，以为我们做了一两年，但实际上真的只做了3个月。

当时杨老师觉得，一个从来没做过科研的本科生发顶会论文可能有难度，所以只派了一个博士生带我。但因为种种原因，这个博士生和我开了几次会，一周之后就去做别的事情了。

我记得很清楚，杨老师后来给我打了一个电话，说：“源培，以后这个项目就靠你了。”

现在回头看，那篇论文从写作到各种设计，其实都挺瞎搞的，但最后还是中了，而且分数还不错。

所以这也算是一次非常独特的科研经历。

第一篇论文是用强化学习做双灵巧手操作，对吧？

对。

这篇论文的特点是，当时大家都在做单手。

当时其实都没有多少人做灵巧手，更没有人做双灵巧手。

从现在的角度看，这篇论文在技术上已经没有什么算法突破了。当时可能觉得这些东西很好，但现在回头看，并没有那么多所谓算法上的创新。

它更多是向整个学界证明：通过强化学习，在大规模并行仿真里，可以做到各种各样的事情。

以前大家觉得这不太可能。杨老师当时也基本上认为，不能只通过一个强化学习算法把它训练出来，肯定要加各种东西。

以前大家觉得灵巧手自由度特别高，强化学习探索又很难，真机数据量不够，仿真并行度也不高，所以觉得这件事情随便做做是做不出来的。

但我们不仅做出来了，还做了20个任务。这更多是向学界证明了这件事。

杨老师一开始判断在仿真里做强化学习不 work，是什么原因？

历史经验。以前真的训练不出来。

在仿真里训练完之后，会有 sim-to-real gap，到了现实世界任务还是会失败。是因为这个原因吗？

不是。当时是连训练都训练不出来。

比如 MuJoCo、PyBullet 这些仿真环境，当时 Isaac Gym 也没有人用。我应该算是国内最早使用 Isaac Gym 的人之一。我有很多 Isaac Gym 的原始版本。

在使用 Isaac Gym 之前，确实训练不出来，因为样本效率不够。OpenAI 搭了一个很大的 CPU 集群，没有使用 GPU，才把这个东西训练出来。

而我们可能只有一块 GPU，或者一台小电脑。在当时看来，这件事情是不可能训练出来的，所以大家都不用 Isaac Gym。

但 Isaac Gym 当时也没有正式发布。

对。我也是莫名其妙在某个地方看到了它。我有很多 Isaac Gym 的原始版本，比如 Preview 2。

它流传在一些开发者社区里？

对。现在的版本已经更新了好几代，当时有很多奇怪的 bug，经常跑不起来，还有一堆问题。我们是第一个做的时候一点点修好的。

你是怎么找到它的？它当时都没有发布。

我就是随便找到的。应该是当时随便刷论坛，想着要做仿真，就搜一下有什么好的仿真器。

用下来发现，这个仿真器虽然 bug 特别多，经常跑不起来，但我觉得它听上去很像未来的一个方向。

为什么？

大家都知道，CPU 的并行能力肯定比不过 GPU。但对于仿真来说，并行度又非常重要，所以我觉得未来用 GPU 做仿真一定是大势所趋。

我发现你很有解题思维。很多事情你没做过，但你会一直去找解法，而且找到解法的速度比别人快。

这其实和从 RoboMaster 到科研的经历有关。我现在回想，其实没有任何一个人真正带过我，所有东西都是我们自己做的。你不自己做，就没有办法做出来。

这里有一个很有意思的点：你的博士生导师很快离开了，所以也没有人指导你。

对。

但即使他指导你，也未必一定是准确的指导。因为没有指导，你自由探索，反而可能更快找到解法。

我经常跟现在的实习生说，很多实习生会觉得没有师兄带，或者没有成熟的体系，就很难做。

我觉得这件事情有利有弊。有成熟的体系带，确实可以做得更快，但很多东西也会限制你。我当时基本上没有任何限制，想做什么就做什么。

你的第一篇论文，就是找到英伟达 Isaac Gym 仿真器，让双手灵巧手在仿真环境里不停训练，最后成功了。没人想到你会成功。

杨老师没想到。

你觉得杨老师为什么要派你这个实习生，去做一个他自己都觉得不一定 work 的事情？

还是出于尝试。

我当时觉得做这件事情很酷，看上去很有挑战，做出来之后也很 fancy。虽然之前没有人做过，但我觉得可以试试。

我看那篇论文里提出了一个实现双手灵巧操作的 benchmark，这件事好像是你后来在整个领域获得知名度的原因。

确实。很多认识我的人，都是从知道这个 benchmark 开始的。

也有很多后续合作，是从我当时写的代码里派生出来的。

但站在现在的角度看，最大的价值还是让整个领域知道 GPU 并行仿真能够做到什么。我觉得这对整个领域是比较大的帮助。

你当时为什么要建立双手灵巧操作的 benchmark？

说实话，当时没有想那么多。

Benchmark 是一个衡量基准。比如一个算法到底好不好，在某个环境下效果怎么样，就需要一些 baseline 和一个环境来测试好坏。

以前强化学习环境都比较简单，维度比较低。大家觉得机器人的任务，尤其是高自由度任务，会非常难。当时我们两只手加起来接近50个自由度，这种控制任务以前从来没有过。

做成功之后，我就想顺手建立一套基准。

那时候想过以后可以引导后人做双手强化学习任务吗？

没有，就是顺手做了。

很多早期的工作，确实没有想那么多。

但这篇论文对你来说很重要。

这是一种感觉。做这件事情的时候，完全没有人教过我，但它给了我很大的信心：很多事情只要去做，确实是可以做到的。

我有几个好奇的问题。第一个，为什么当时要做双手？大家对这篇论文的定义是，它填补了双手灵巧操作的空白，因为在此之前没有人做双手。

站在杨老师的角度，因为他当时刚回国，之前做的是 multi-agent，也就是多智能体，所以想探究双手配合在高自由度环境下，多智能体强化学习算法能不能做。

但站在我的角度，就是觉得它很酷，没有别的原因。

我自己衍生出一个问题：如果单手能做的事情，为什么要用双手做？双手相比单手意味着什么？

当然可以想象，双手的控制和判断能力一定高于单手，因为人就是用双手。

这个你说得特别好。现在来看，为什么要双手，主要还是为了使用人的数据。我们后面会慢慢聊到。

第二个问题，这篇论文里还有一个很有趣的设定：你们试图模仿24个月大的婴儿。让双手模仿小婴儿，是为了什么？

想看看能不能像人一样发育，让整个智能像人的发育阶段一样。

人最早会做一些比较简单的操作，长大之后操作能力越来越强。我们就想，训练一个好的模型，是不是也应该这么做，所以试了一下。

最后的结论其实是没什么关系。

确定没什么关系？

对，没有那么强的关联性。至少我们当时那套强化学习技术方案，和人的婴儿发育没有什么关联。

也就是说，目前能够实现的双手灵巧操作，并不是向婴儿学习抓握或者完成任务，而是用一种机器的方式。

对，还是机器的方式，不是人类的方式。

你们是怎么发现的？

我们找了很多关于婴儿发育的专业资料，把婴儿小时候做的动作和长大之后的操作能力分好，然后把每个任务都用强化学习训练了一遍。

最后发现，训练一些早期婴儿的任务，并不比训练后面那些更复杂的操作容易。更多还是看 reward 写得怎么样，还是算法问题。

这让我想到，你后来去了斯坦福李飞飞的实验室。李飞飞有一个很著名的 AI 观点，我也是看她的自传时了解到的：她当时之所以做 ImageNet，是因为她认为人类像婴儿一样学习，出生后24个月内一直在不停接收视觉信号。人从这个阶段就开始获得智能，所以她认为海量视觉数据的积累能够激发智能。

她认为视觉信号很重要。那你当时有没有思考过，怎么样才能让机器拥有像人一样的智能？

可能有一些想法，但当时视野还不够广阔。

我当时觉得，未来可能有一个强化学习策略，让机器人在一个小房间里面一直尝试、一直学习，把一个任务完成。然后再把很多技能组合在一起。

当时的想法还比较简单，但确实有一些自己的想法。

杨老师刚回国的时候，大家都觉得强化学习是未来。直到今天，我和很多 AI 领域的人交流，他们还是觉得强化学习没有上限。

但强化学习这几年应该也经历了一个起伏。

对。大语言模型刚出来的时候，大家发现监督学习可以很快训练出 GPT 这样的模型，所以很多人就不做强化学习了，觉得强化学习根本做不到。

后来 OpenAI 的 o1 出来，大家又发现强化学习还是有很强的能力。

我觉得技术就是这样，是一个螺旋上升的过程。一定会有一些突破，然后再回到某些算法里。所以没有任何一个算法是多余的，它存在一定有它的道理。

你自己也经历过强化学习和模仿学习的 battle。

我在杨老师组里的时候，和师兄争论最多的就是这个话题。

他们当时基本上都做模仿学习，而且做得很 work。强化学习的 sim-to-real 特别难，很难做。

模仿学习在机器人身上，就是人类做一次示范。比如把手机从桌子上拿起来，可能要做100次甚至1000次，教会机器人。

当时模仿学习的效果不能说特别好，但最快。你这么做，确实很快会有效果。

强化学习当时是非常吃 know-how 的东西。你知道怎么做，但如果系统搭得不好，每个人做出来的结果会天差地别。

有些人完全做不出来；系统搭得好，就能做出很好的效果。但它的可复现性很差，需要像老师傅调参一样，知道每一个参数、每一个细节、每一步训练，以及每个 sim-to-real 环节应该怎么做。

所以这件事情很累。

我的师兄经常在旁边说：“我收集数据两天就做完了，你还在这里打仿真、写 reward、训练强化学习、做 sim-to-real。”

模仿学习可以很快获得效果。

那你当时怎么想？

我经历了好几个阶段。

最开始我还是觉得模仿学习很难到终局。我一直和他 battle。比如到了真实家庭环境里，一定会遇到没见过的场景。那怎么办？你肯定拿不到相关数据。

我当时和他讨论模仿学习有没有泛化性。他也承认，至少在当时，模仿学习没有真正的泛化性。基本上要见过什么场景，才能做出什么效果。

它确实可以做得很好，但必须见过。我就说，到了终局，机器人进入家庭，肯定会遇到没见过的东西。

强化学习可以通过自建仿真，让机器人探索出来。但模仿学习可能永远做不到。他就觉得无所谓，可能到时候让机器人看人做一遍，也能学会。

但问题是，看一遍就会吗？这都是大家的想象。我当时觉得不可能，或者说很难，永远会有做不到的时候。

他又觉得我设想的强化学习方法不可能做到，因为计算能力和系统复杂度太高。

当时我们 battle 过几轮，但那都是很早的时候。整个领域都比较混沌，没有像今天这么收敛。

但实话说，我觉得今天在实操层面也很混沌。我听行业里讨论过一家著名企业在发布会上展示机器人。那当然是 demo，大家会讨论这个 demo 到底是用模仿学习做的，还是强化学习做的。

业内人士觉得应该是模仿学习，本质上还是人教它做，并不是 AI 真正涌现出了智能。但这家企业说自己用的是强化学习。

这种情况在业内普遍吗？

普遍。

很多 demo 其实都是用模仿学习做的？

不用想，很多都是。除非做得特别多，否则很难看出来。

你怎么看出来？

一种感觉。

因为我对各种训练出来的效果大概是什么样，有比较深的了解：控制能做到什么程度，强化学习能做到什么程度，模仿学习能做到什么程度。

是经验形成的直觉？

对。这个其实和我自己训练强化学习一样。说实话，很少有人能像我一样把强化学习训练得特别好，不太谦虚地讲，确实是这样。

我还专门和师兄讨论过。他问我到底是怎么训练的，想学习一下。

我后来告诉他，我是把一个东西写完之后，打开仿真环境盯着它训练。我看着它怎么从一点点完全不会，到慢慢学会，再到可能出现坍塌。

我会一直盯着仿真，看这个策略在里面大概是什么样子。它往左偏了，我会想为什么，可能训练到了什么程度，然后一直观察。

我训练第一篇论文的时候就是这么做的。

但他们说，他们从来没人这么干过。他们一般是让程序跑，自己去吃饭，回来之后再看结果。

大家以前基本都看曲线，只有我是打开仿真，盯着机器人学习，看着它怎么从完全不会到会。

一开始它可能还是不会，我就会想这次失败可能是什么原因，然后调一下，再让它实现。

所以当时在 Stanford，你的老师 Karen 也和王晨说过，为什么源培这么喜欢调 reward、看这些东西。

对。

为什么你这么喜欢？

我也不知道，因为我一直都是这么训练过来的。

这其实挺有共性的。我聊过一些做 AI 和自动驾驶的嘉宾，他们会说，训练大模型本质上是细节工程。

很多模型如果公开训练方法，门槛其实没有那么高，今天的实习生都可以做。区别只在于，是否足够关注细节。

这就是大家所说的系统。

一个系统做得好，是方法我都告诉你了，但你最后出来的效果就是没有我好。

你当时看着机器人训练，出现什么问题时，会去想象它到底遇到了什么、应该怎么解决吗？能举个例子吗？

太多了。

比较让我印象深刻的是给五指手设置每个指尖的 reward。

当时我看着它打开抽屉，它一直想把手指插进抽屉把手的孔里，但一直插不进去。

实际上，它有时候不需要插进去，只需要捏住把手就行。因为有些抽屉的孔比较小，如果每个关节和姿态都卡得特别死，就很难训练，也不一定能把手放进去。

有时候不如给它一个比较粗略的 reward，让它自己探索。它可能只要抓住把手，就可以把抽屉拖出来。

对于某些抽屉还好，但如果要泛化到不同抽屉，每个抽屉都不一样，后面我就发现，手上的 reward 不需要写得特别精细。

我们只需要让它知道大概的范围，再让它在这个小范围内自己探索。

这让我想到你后面一篇重要论文：从以人为中心到以物体为中心去完成任务。

你刚才说，不一定要把手指插进把手的缝里，只要给它一个粗略的 reward，最终实现任务，其实也是一种以物体为中心的思想。

当时有一些直觉，但还不清晰。

回到你和杨老师做的第一篇论文，它帮助你去了斯坦福李飞飞的实验室进行交流访问，对吗？

对，可以这么说。

你当时还是本科生，应该没有中国本科生进入斯坦福李飞飞的实验室吧？

这个我不太清楚。但我的师兄和我聊的时候就是这么说的。

我也问过他，为什么当时会让我去。当时有很多人给他发申请，想做科研，包括很多斯坦福的硕士，但最后他只要了我一个人。

原因就是觉得那篇论文做得还可以，看上去比较炫酷。

他告诉你可以去的时候，你是什么心情？

非常开心。

当时我还比较想申请 PhD，去 Stanford 做交流访问，对申请肯定非常好。同时也是想去学习，看看国外的人是怎么做科研的。

你之前去过美国吗？

没有。

之前出过国吗？

出过，但都是旅游，去过泰国。那是毕业的时候和同学一起去的，基本上就是旅游。正式的学术交流，还是第一次。

我的师兄特别好。他以前也是上交的，帮我联系了很多住宿和生活上的事情。我到达的第一天，他还去机场接我，带我去 Palo Alto 那边吃日料。我到现在都记得，还拍了一张照片。

去之前给自己设定过什么目标吗？

还好。去之前我们已经在线上合作了将近一年，论文基本上已经发完了。理论上，我去那边的 KPI 已经完成了。

去那边更多是感受环境和探索新项目。Karen 给我的访问目标，是和组内所有人都聊一遍，广泛交流。

你怎么和大家聊？他们应该都是实验室里的学者。

其实我这个人比较 i，平时比较少主动和别人交流，但这件事也很感谢我的师兄。

他当时帮我约了很多人，每次跟我说：“源培，谁谁谁听说你来了，想跟你聊一下。”

我觉得可能也不完全是对方主动想聊，可能是他希望大家都和我聊一下。但这样也挺好，让我 feel welcomed。

他安排了很多学术交流。

印象最深的是什么？

大家都比较谦虚。

斯坦福真的什么方向都有，做脑机接口的也有。我觉得大家都非常 open，不会觉得哪个方向一定不行，或者哪个方向做得最好。

2023年，李飞飞已经是华人 AI 学界非常重要的、像北极星一样的人物。你去之前发现自己可以去她的组里实习，对她有什么探索欲吗？

基本上都看过一遍，包括她的自传。

自传里什么让你印象最深？

还是和我之前说的一样：大家做的事情比较跳脱，没有那么多按部就班。觉得什么重要就做什么，我觉得这是最重要的。

但说实话，我去的时候，李飞飞基本上已经在做自己的事情，或者在筹备创业了。

你能感受到她对实验室里一代研究者的影响吗？

我觉得大家非常自由。实验室也经常邀请别人来分享，这是一种很好的管理方式。

资源足够，大家也都很强，能够自由探索自己想做的事情，我觉得这是非常好的地方。

那本自传里，我印象很深的一个概念就是“北极星”。今天提到李飞飞，大家都会提到北极星。

在一个更 general 的概念里，北极星就是指南针，是引导方向。你去到斯坦福这样一个对你来说完全陌生、学术方向也非常多元的环境里，怎么从中汲取养分，找到自己的方向？

最主要还是和每个人交流之后，对整个领域形成比较重要的认知。

你知道每个技术方向为什么会出现，能够解决什么问题。

但这个转变其实非常明显。我去之前是一个非常以强化学习为中心的人，可能会和别人说，未来一定是强化学习的天下，因为强化学习研究得最好。

回来之后，整个人的想法变得特别多。我知道每个方向都重要，未来可能更多是结合，是吸收各自优点的过程。

除了强化学习和模仿学习，还有哪些方向？

很多。比如脑科学，从人的发育或者神经科学、神经元里提取设计理念；传统运动控制；VLM for robotics；大模型，什么都有。

这让我想到李飞飞自传里的一个细节：她毕业后曾经选择去西藏学习藏药，和人体生命科学相关。这完全是 out of the box 的事情。

你去到斯坦福、学习新方向时，会不会也有这种 out of the box 的感觉？

会。

我师兄说过一句话，我觉得特别好。他觉得我当时有一个问题，就是强化学习做得太好了，导致什么东西都想用强化学习做。这样会有一个舒适区，但作为一个真正的研究者，应该跳出舒适区。

当时无论遇到什么问题，我都想用强化学习。各种东西都能用强化学习做，A、B、C、D、E 都可以。只要调得快、做得好，理论上强化学习能做很多事情。

但它也有很多不足，或者说明显的上限。如果我只是想发论文，用强化学习可能一周就能发一篇顶会。

师兄说完之后，我觉得很有道理。作为学者，最重要的是能够跳出舒适区。之前做的东西很多时候会限制后面的发挥，但人其实很难主动做到这一点。

当时我确实有这个倾向，因为我觉得做别的太累，还要重新学习，用强化学习一搞就完事了。后来我就更加注意这方面。

这件事情其实非常反人性，也反惰性。尤其当你想在自己擅长的方向做出更多建树时，你在这个方向还有很多想探索的东西，而人的时间精力又有限。

我知道你现在每天的生活也排得非常满。AI 技术层面还没有收敛，具身智能更没有收敛，创新随时可能从任何方向冒出来。

大家选择任何一个方向，都是一个 bet，赌的是时间和资源。但你又想到师兄说的那句话，不能总待在舒适区，还要关注、理解和尊重其他领域。这件事怎么做到？

很难做到。

这和整个领域的构建有关。它会潜移默化地影响一个人。如果你真的认可某种观点，就会按照它去做。

我在斯坦福学到的，更多就是这些东西。

我问一个具体问题：具身领域有哪些大方向，可以构建成你脑海里的 map？

从端到端模型发展的角度看，技术大概是这样演进的。

一开始，大家可能只解决抓取问题。抓取问题用 CV 加模型训练的方法不能直接做好，会有各种 case，所以大家想直接收轨迹，这是最早的模仿学习。

后来大家发现，纯靠人类遥操作收集轨迹太慢。

什么叫遥操作？

就是你刚才说的，教机器人做一遍，模仿学习。

遥操作。

对，太慢了。所以大家想让机器人自主探索，通过自己学习把数据量做上去，于是开始做强化学习。

但后来又发现强化学习效率太低。有一个实验室用了十几台机器人在那里训练强化学习，还是不行，于是大家开始做仿真，在仿真环境中通过强化学习训练，再迁移到现实世界，也就是 sim-to-real。这个过程中还伴随着 Isaac 的崛起。

后来大家又发现仿真有问题，sim-to-real gap 很大。于是又回头发现，模仿学习在解决软体或者很难仿真的东西时效果特别好，模仿学习又火了，比如 Diffusion Policy、ACT。

现在 VLA 火了之后，大家又觉得纯模仿学习不够，还要在后面加上强化学习。

它是一层一层循环的。下一个阶段，比如世界模型起来了，世界模型本身就是一个仿真器，大家可能又会回到世界模型里训练强化学习。

所以这是一个很螺旋式的循环，我觉得很有意思。

你在斯坦福时接触过世界模型吗？

当时说得比较少。

但如果追溯世界模型最早的提法，李飞飞是一派，杨立昆是一派。那个时候你接触到过吗？

肯定接触过。只是当时谈论的人没有那么多。

世界模型不是突然出现的，以前一直在发展。只是随着大模型和数据规模扩大，大家都知道要做 scaling，收集很多数据，训练模型，效果也一直提升。

从技术发展角度看，它一直都存在，并不是突然爆发。

你去斯坦福大概是2023年。当时李飞飞实验室的研究重点，从之前的视觉，慢慢开始向具身智能转化。你在组内有感受到吗？

对，基本上都是做具身智能。

我的师兄也做了很多很好的工作，用的都是模仿学习、人类数据和 human play data。

你在整个大组里怎么找到自己的位置？是师兄帮你定位，还是自己有自主性？

更多还是师兄帮我定位。

师兄当时给你的定位是什么？

当时也很有意思。我和他说，我想继续做强化学习，继续做仿真，也想做灵巧手。

所以他帮我找了斯坦福另一个老师 Karen Liu。她很早就开始做灵巧手，2012年就发表灵巧手相关论文了。

她的整个组在仿真和角色控制方面都非常强，和图形学相关。当时他们也在做灵巧手，做了很多灵巧手真机相关工作。

师兄觉得我们非常 match。

Karen 的包容度非常大，人也非常 nice。我认为她是 Stanford 最 nice 的导师之一。她会很细致地指导你，每周开会，包括投稿之类的事情，但基本上不会限制你。

学生想做什么，她都非常支持。

你最终在斯坦福实现了全球首次用人类数据训练机器人双手。这件事情为什么之前没有人做？

之前根本没有人想过，我也觉得很奇怪。

我和很多人讨论过，直觉上大家应该都能想到，用人的双手去训练机器人的双手。但在2023年左右，真的没有人这么做。

从整个领域来看，主要还是交叉得不够多。

图形学的视角里，有很多 fancy 的动作来自人的动捕，但机器人还没有发展到那一步。我们做灵巧手比较早，做仿真也比较早，所以自然而然把这些东西连接起来了。

当时我和很多国内学者都讨论过，也问过很多做图形学的人，但完全找不到类似的工作。现在这件事很火，但当时不知道为什么没有人做。

我帮观众理解一下。所谓用人类数据训练机器人双手，指的是人戴着动捕手套去操作，对吗？它实际上是视频数据加轨迹数据，再加上时序信息，喂给机器人？

对，还有时序。

然后让机器人在仿真世界里训练？

对。

所以本质上是人类中心的数据加仿真强化学习。

对。现在很多公司都在这么做。

我们公司成立之后的所有技术方向，包括自己做手套，基本上都是这条路线。

当时灵巧手是一个很有争议的话题：到底要不要用手，手的优势到底在哪里。有人觉得做灵巧手还不如用夹爪，或者用其他构型，更方便。

后来我们讨论了很久，达成共识：用灵巧手最大的原因，是它能够使用人类数据。它和人手的相似程度最大，gap 没那么大。

市场上有很明显的真实数据派和仿真派。仿真派在面对 sim-to-real gap 时，通常会说有办法解决。你怎么看？

有办法解决，但不能解决得特别好，受限于整个图形学领域的发展。

当时有一个很火的概念，叫可微仿真。

传统仿真是把规则写出来：重力是什么样，发生碰撞时模型重叠多少，需要多大的反作用力，全部都是提前写好的规则。

可微仿真是把写规则的过程变成可微分的，让梯度可以回传。

现在的世界模型也可以算是一种可微仿真，它完全由神经网络来做仿真，所以是可微的。

当时很多人想，有了可微仿真之后，软体、强化学习探索能力不足等问题都可以解决。

以前调 sim-to-real gap，是把模型部署到现实环境中，发现仿真和现实有 gap。比如仿真的摩擦力是1，真机是0.5。

如果是可微仿真，就可以把真机的轨迹放到仿真里，让仿真器自己调节，把仿真的摩擦力从1调到0.5。

可微仿真的最终目标，是希望仿真器和现实世界零 gap。

对。

但实际上做得到吗？

做不到。

为什么？

某些 demo 可以做到，但最大的问题还是计算复杂度。

我和一个专门做这个、而且做得非常好的人聊过。简单任务可以，复杂任务一旦发生碰撞，马上就会爆炸。

现在的图形学技术还做不到让它真正 work。

所以你的态度是，仿真派声称可以解决 sim-to-real gap，但它只能解决部分问题，不能从根本上解决。

对。我就是仿真派，说实话，我做了非常多 sim-to-real。我的工作绝大部分都是 sim-to-real。

它可能可以做一些很 fancy 的 demo，但肯定不是真正的终局，至少目前还没有看到。

你说图形学技术的瓶颈限制了这件事情。这个瓶颈的突破，取决于算力还是算法？

我觉得真正的突破只有两个方面。

第一个是算力。算力达到新的量级，可能就能解决。

另一个是世界模型这条路真正走通。我可以直接把世界模型做成可微仿真器，或者用世界模型来做合成数据。

你是仿真派，后来发现这套东西不 work，才慢慢迁移到真实数据，而且是以人为中心的数据。

对。

这个过程大概什么时候发生？

是在我做完最后一个项目，也就是那篇 object-centric 论文之后发生的。

从以人为中心到以物体为中心，这个转变里有两个跨度。

第一个，是从认为仿真数据有一定作用，到决定或者相信必须坚定地走以人为中心的数据。

第二个，是在让灵巧手完成任务的过程中，从以人为中心的思维变成以物体为中心的解决方式。

我可以先回答后面那个问题。

最主要是从原生操作的想法里推导出来的。未来大概率要用人类数据，那对于一个操作来说，什么最重要？

不管是人手还是机械手，看上去很复杂的操作，本质上都是物体轨迹的变化。

比如我把手机从这里放到那里，我的目标就是让手机这个物体按照某个轨迹、在对应的时间里移动过去。

打开笔记本也是一样，笔记本的关节变化也是一种轨迹。

所以我觉得，物体轨迹是一种 universal 的操作表达方式：让某个物体按照某条轨迹去操作，从而达到目标。

这样做有什么好处？

从强化学习角度看，最大的好处是可以统一 reward。

以前强化学习里，每个任务可能都不统一。抓取要专门写一套 reward，放置要写一套 reward，打开微波炉又要写一套 reward。这些 reward 都不通用。

真正通用的方式，就是把操作本身建模成物体轨迹。

这又让我想到李飞飞老师的一个妙处。ImageNet 的特点在于，她先定义了问题，然后试图建立一个类似图形学元素周期表的东西，把它变成一个通用工具，后面可以被反复使用。

你这个其实也是用通用的方式定义问题。

对，这个考量是非常重要的一部分。

语言模型本质上是 next-token prediction，是一种所有语言都可以使用的方式。

视觉上现在可能还没有特别好的通用方式，但在操作上，物体轨迹有这样的潜力。

当时是怎么想到的？

当时确实是做完之后才发现。

最底层的想法可能就是：我不想写 reward，不想每个任务都写一个 reward。

但做着做着发现，对于整个操作来说，轨迹跟随是一个非常好的通用表征，而且很 make sense。

你设定了什么实验方式，让这套方法运转起来？

把人的数据导入仿真，然后在仿真里做强化学习，再 sim-to-real。

这和你当时跟杨耀东老师实习时的第一篇论文有什么区别？都是在仿真里做强化学习，区别是什么？

最主要的区别是加入了人类数据，以及使用了一个我们认为比较好的架构。

先模仿，再强化。先用模仿学习训练一个比较大的模型，再用强化学习做小幅微调。

也就是用模仿学习做模型的预训练，再用强化学习做后训练。

大的思路一直没变，还是从通用到专用。模仿学习和强化学习各有优劣势，要结合起来。

你在斯坦福发表的论文里，有两篇很有代表性。一篇是 object-centric，另一篇我不知道中文怎么说，是“顺序灵活性”还是“顺序灵巧性”？

那个词其实无所谓，只是一个代号。

怎么理解顺序上的灵活性？

当时其实是想证明，灵巧手相对于传统机器人的一个优势，就是一个 end effector 不需要更换，可以做各种事情。

既能抓取，也能改变 orientation，还能抛接。其他夹爪可能只能做其中一部分。

所以我们做了一个很长程的任务：搭乐高积木。里面有五六个步骤，把一块块乐高搭成对应的形状。

当时真的只是想做这个任务，没有想过其他故事。后面的所有故事，都是我们临近截稿、准备提交论文时才想出来的。

当时我师兄天天拿这件事说我。他说我和 Karen 都是看到什么东西、看到哪个库，就想把它做出来的人，但从来没有想过最后发论文怎么办。

你只是因为任务很酷，想把它实现。但真正实现之后，还要推导它到底是如何实现的，这就是写论文的过程。

我试图读和理解这篇论文，讲一个外行人的理解，不知道对不对。

比如我们说要打开笔记本电脑，潜意识会把它规划成几个步骤，然后逐步执行。机器学习时，也会把任务拆解成多个有顺序的子任务。

但其实每个环节都可以给上下环节反馈，每个环节都可以进行有机调整。它不是顺序完成，而是每个环节都能对整体产生刺激和反应，并且重新安排。

你能这么理解，说明我们论文写得还可以。你说得很对，这就是那个 idea。

但这个项目我们做了一年，这个 idea 是临近截稿前一个月才有的，是后来强行安上去的故事。

这件事情让你对学术界有了某种祛魅？

对。我觉得这个项目对我最大的影响，是让我对整个学术界有了比较清晰的认知，或者说经历了一个祛魅的过程。

学术本身，或者学术界的运行规则，有时候并不利于真正有影响力的事情发生。

我们当时的 demo 做得特别好，但为了让论文发表，我居然需要强行找出所谓 novelty 的点和故事，把它们串起来。否则论文可能都发不了，审稿人会说没有 novelty。

我理解，这个 novelty 可能指的是，你是否找到了成功的关键，是否知道为什么成功，以及能不能复现。

对。

所以这个 idea 也没错。后来我们做出来之后，也觉得确实是这样。

但站在我当时的角度，我还是更喜欢做一个系统。

在你们做实验之前，让机器人双手搭积木这件事情没有人成功过，这个概念很酷。

那你们成功的原因，最后 figure out 是什么？

我觉得还是整个系统做得好。

只要系统做得足够好，就能做出以前做不到的事情。算法大家可能都知道，但难点往往在每个细节、每个小地方。

这个系统是指，把 AI 自己学习的环境搭建得足够科学，让它可以自己探索出来？

对。

比如仿真环境，尤其是我们做 sim-to-real，仿真环境怎么搭，强化学习里的 reward 怎么设计，怎么做 system identification，sim-to-real 怎么做，真机里怎么写控制器，最后整个系统 end-to-end 怎么调，都非常复杂。

我们当时做了一年，尝试了很多方法。最早试过很多乱七八糟的东西，分层强化学习、open-loop 接 policy 等，最后才收敛到那个范式。

即使收敛到那个范式，系统也非常复杂。除了刚才说的，还包括3D视觉、pose estimation、伺服控制、柔顺控制等。每一个环节都要写得特别好，才能把它做出来。

但做完之后，整个系统的效果确实很好。

当时论文发表之后，我们把系统拆掉了。后来有人来组里参观，老师说想看那个 demo，我们马上又把它全部重新搭了一遍，用的还是之前训练的模型，位置也放得差不多。

重新展示时依然 work。这对整个系统的可复现性非常重要。

这篇文章给了你什么不同的科研品味？

学术界追求的不是最后效果好，而是要给他们讲一个故事。

这和我自己的想法不太 align，所以后来我对论文也比较随意。

怎么理解学术界需要一个故事？

这是我第一次听到这种说法。

我刚才说，我们做出了一个非常好的系统，做到了以前别人做不到的事情。但为了让论文发表，我必须找出一个 idea，去说服审稿人，让他认为这项工作本身足够重要。

也就是说，最终要为这项工作找到一个叙事。

所以这让你对学术祛魅了？

有一点。

在 Stanford 期间做了两篇重要论文，这个过程真正给你留下了什么？

有两个点，都是很小的细节。

我师兄说我有一个很坏的缺点。

对于一件事情，说不说“否定”其实没那么重要。比如你说一段话，我来纠正你，其实我第一个词说你对还是错，没有关系。

你说一加一等于三，我说“错，一加一等于二”，和我说“对，但是一加一等于二”，最后传递的事实完全一样。

但第一种表达会让别人观感没那么好，第二种会给别人更好的感觉。

态度不重要，事实更重要？

对，有一点道理。

另外是写论文。以前我们喜欢写“我们工作的结果很厉害”“我们的泛化性非常强”。但 Karen 告诉我们，不要加这种形容词。

如果你说一个东西非常强，但读者觉得它没有那么强，就会觉得你夸大了。如果读者觉得它确实很强，就会觉得你眼里一个很普通的东西都这么强，会产生另一种感觉。

这对我自己看待事物也有影响。

现在看很多论文，我不喜欢作者说自己多厉害，或者下非常武断的结论。我觉得这对于保持对领域的学习和敬畏很重要。

我之前和一个学者聊，他说学界其实也很像媒体界。可能因为信息量爆炸，所以需要一些吸睛方式，学术界也需要标题，才能发表，才能让更多人看到。

对。像我刚才说的，很多东西本质上也是一种噱头。

你在那边发表了两篇论文，这些经历会让你开始思考什么是真正的智能吗？

其实一直都在思考。

从北大到斯坦福，在这个过程中，你对智能的思考有什么变化？

对于终局的判断没有变化。终局一定是一个 humanoid robot，或者说人形机器人，人能做什么，它就能做什么。

变化比较大的是路径。

现在我会从更全面的视角看，包括工业路径、应用场景，以及进入现实生活后会遇到什么阻力。

很多东西不只是技术上需要突破，商业、场景、供应链都会影响整个发展。

你去斯坦福的日子横跨了整个 AI 浪潮的爆发。当时对于这一轮新范式有什么新的理解？

这个理解就体现在我那篇 object-centric 的论文里。

它和大模型的思路一样，先模仿再强化。模仿学习可以吃下大量 scale 的数据。

以前大家没有那么强调 scaling、大批量数据和预训练。但做那篇工作时，我已经开始想这件事：强化学习不够，必须把两者结合起来。

模仿学习的优势是能吃下更多数据，所以人类数据需要用模仿学习处理。很多时候模型架构没有那么重要，重要的是数据。

所以不能只有遥操作数据，还要加入更多的人类数据。这些都影响了那篇论文的产生。

你做那篇论文时，所谓海量数据，是通过动捕实现的吗？

对。

需要多少人、多少小时？你的海量数据有多大？

只能说比当时的一般工作多，但现在来看并不多，大概几百个小时。

几百个小时对当时来说已经是海量数据了。

对。以前可能50条数据就开始训练了。

从那篇论文开始，你试图让模型吃下海量人类数据。那时候有没有思考过，大语言模型有 scaling law，具身智能的 scaling law 什么时候出现、以什么形式出现？

这个问题直到今天还在思考。

当时得出的结论就是，具身智能的 scaling law 在哪里，肯定就在数据那里。

纯靠遥操作肯定不够，所以一定需要人类数据。要有灵巧手，才能收集人类数据，把数据堆到足够大的量级，才可能出现 scaling law。

你们现在还是沿着这个 bet 在走？

对。

多少条真实的人类中心数据，能够砸出一个 scaling law？

不知道，说实话，得做了才知道。

但我觉得100万小时肯定能看到一些效果。

具身领域的 scaling law 和语言模型的 scaling law，有什么本质不同？

最大的不同是会碰到硬件。

哪怕同样的高层策略，在这个硬件和那个硬件上，也可能不一样。还包括硬件应该怎么设计，需不需要统一，还是可以跨本体。

语言模型不需要思考这些，因为它是纯虚拟的东西。但具身智能进入现实世界，就会碰到硬件。

我看你那篇 data-centric 的论文里涉及跨本体泛化。给大家解释一下什么是跨本体泛化。

跨本体就像人手到机器人。人手和机器人长得不一样，关节角度也不一样。

不同机器人之间也不一样，有的四指，有的五指；有的大，有的小；有的关节多，有的关节少。

所谓跨本体，就是一套方法能够在每个本体上使用。学术界叫 embodiment gap。

这个 gap 怎么跨？从人手数据到机械手数据，怎么泛化？

目前有一些想法，但最后怎么样我不敢说。

核心是要把人类蕴含的通用信息提取出来，把和实际操作相关的部分用强化学习补足。

我知道这个任务是什么，这些信息是通用的，可以直接使用。但具体怎么抓、每个关节用多大力，人手和机械手肯定不一样，这部分就让机器人自己学习，用强化学习去弥补。

也就是说，人的通用知识要映射到仿真世界里，剩下的让机器手自己用强化学习探索。

对。

你在斯坦福做的几篇论文在业界影响应该挺大。

还可以吧。

理论上你应该可以申请到 PhD offer。

有一些概率。

但为什么最终选择回国？

当时本来准备回国申请，但后来杨老师、瑞克他们给我介绍了创业的机会。

我综合考虑了很多，也觉得这个机会挺好，所以做了自己的选择。

回国之前是什么心情？会觉得自己很快还会再回来吗？

有一点。

回来之后发生了什么，让你转变了想法？

主要还是一开始说的，我更喜欢做有影响力的事情。创业在这方面比学术界更好，再加上当时确实有比较好的机会。

“做有影响力的事情”这个叙事，很容易让人觉得这是一个 ego 很大的想法。你觉得自己 ego 大吗？

我觉得还好。

这只能看你最后的目标是什么。我一直说，我们最后的目标和 OpenAI 的 slogan 很像：实现通用人工智能，并且造福全人类。

这肯定是我们的终极追求。

我们做预训练也好，做其他事情也好，最终目标不是某个具体落地场景，这些都只是途径。最后要实现的是 AGI，一定会进入家庭，一定会像汽车一样普及。

这也是我选择具身智能领域的一个重要原因。

世界上方向这么多，比如量化、大语言模型，为什么选择具身智能？因为真正能够影响世界的东西并不多。

第一次工业革命、第二次工业革命，我们现在可以说是第四次工业革命。真正帮助别人、影响整个世界的，一定是生产力本质上的跃迁。我觉得具身智能肯定是其中之一。

以后通用劳动力就不缺了。

对。当然它背后还涉及算力和能源。

它指向一个更根本的问题，就是能不能实现本质上的突破。

之前和你聊过，你做物体中心论文的过程，一直延续到创业早期调研国内具身智能市场、供应链上下游。这是你建立起对行业全面认知的过程。可以还原一下吗？

这个过程很千头万绪。

当时整个市场根本没有人讲灵巧手操作，也没有人讲强化学习。

怎么会没人讲强化学习？大家不是都在讲大模型、强化学习吗？

当时是2024年年中。你可以问问，当时至少在具身圈子里没有人讲。

那时 o1 还没有出来。我记得很清楚，所有人都说强化学习已经死了，ChatGPT 说明监督数据就够了。

我们和天使投资人聊的时候，整个市场基本上没有人讲强化学习，反而是我们在讲它的可行性，解释为什么要做强化学习，而不是以前的力控、仿真抓取、轨迹预测或者各种仿真加真机的路线。

方向特别多。

我们一直对强化学习很坚定。对于一家做具身智能的企业或者创业公司来说，这一点很重要。

我理解，不用模仿学习和纯仿真的答案是：你不可能穷尽所有训练场景和训练方式，最终还是要靠强化学习让机器自己探索。

但这对创业公司很不容易，因为这是一个长期探索路径，可能需要很长的 bet 周期和很大的定力，短期不一定能看到效果。

这就看大家创业时怎么做。

我们也会做一些打麻将之类的 demo。去年 WRC 我印象特别深，你们展示的是打麻将，很吸睛。

那个是用模仿学习做的吗？

是用强化学习做的，但还是用仿真。

我之前在上一期访谈也问过 Victor：有没有什么方式，能够让你主观上判断一家 demo 看起来很厉害，但实际上是用模仿学习做的？

这毕竟是主观推测。最后如何验证一家公司到底是用模仿学习还是强化学习？

现在这么混沌，大家做类似的事情，很难证伪。

唯一能做的，还是做别人做不到的事情。

比如我用某种方法做到某件事情，而你永远模仿不出来，或者做不到类似的事情，那肯定是非常独特的。

但什么事情是模仿学习做不出来的？理论上好像都可以做。

不一样。

比如一些超越人类遥操作能力的事情：双手抛接球，极端一点，三个球一起抛。

你觉得通过模仿学习能做出来吗？遥操作的人要看着机器人来操作，过程非常慢，收集不到这种数据。

超越人类能力的事情，模仿学习肯定做不了，因为模仿学习本质上是在模仿人类。

真正惊艳的效果，比如一台机器人，你告诉它任何事情它都能做，这种事情如果没有很强的技术能力，肯定做不出来。

海外具身智能行业，大家都在关注几家公司，比如 Generalist、Figure、Sunday。你关注它们什么？

大家都在探索，但现在还没有特别断层式的进展。

我觉得下一个节点，是出现这样一个机器人：你告诉它任何事情，它都能做，成功率可能没那么高，但它都能尝试完成。

这会是大脑能力的一个重要突破。

这几家公司在你看来路线有什么不同，分别给你什么启发？

它们和我们的路线不完全重合。

Figure 我了解得不多，比较神秘，披露的技术细节很少。行业里有一个说法很有意思：Figure 展示出来的 demo 非常惊艳，但大家怀疑是不是真的。

你也是这么看的吗？

肯定不知道它是不是真的。

但你刚才说，你能看出来。

站在我的视角，我觉得是真的，但成功率肯定没那么高，所以他们很少直接让人看真实运行。

你为什么判断是真的？

因为我觉得如果我们有相应设备，训练出类似的东西并不难。

Figure 展示的快递分拣、在家庭里叠衣服、拿枕头、收拾餐具等，从算法角度看都能训练出来。

唯一的问题是，成功率到不了百分之百，泛化性也不会那么好，更多是某个场景里的东西。

但他们披露得很少，所以大家吃不准。

其他几家公司我觉得都做得很好。

比如 Real List 的整体素材管线，包括无问题素材；Sunday 设计了自己的手套，放到很多地方去采集数据。

它们的场景可能不太一样，但核心是不变的：最重要的是数据，数据怎么采集，以及采集管线和系统。

我们需要从数据为主的角度，设计整套算法、硬件和数据系统。

所以你们和 Generalist 有点像？

确实有一些相似，但完全一样也不一样。

Sunday 做手套，我们也做过。很早的时候，我们也设计过一套自己的手套，再根据手套设计灵巧手。

各自都有问题，但核心不变，就是数据。

你们更贴近 Generalist？

对。

有些公司做夹爪，走的是 robot-centric 路线。我们更多还是 human-centric。

我们没有追求硬件和人的手完全一样，但一定要让人的日常生活数据能够采集下来，而不需要专门的素材员。

Robot-centric 和 human-centric 是一个很大的分水岭，也是行业还没有共识的争议点。

AI 领域常提到 bitter lesson：不是人去定义需要什么数据，而是更多探索机器学习自己的方式。

这听起来，robot-centric 似乎更符合这个思路——以机器为中心，让机器按照自己的方式学习。但你们现在选择的是以人类数据为中心。

如果它是错的，或者没有那么正确，也可以调整。

大家都是基于自己的判断，这条路线当然有可能是错的。

但我之前做科研时一直强调，最重要的是兼容。我一直说，算法没有大家想象的那么重要。

世界上任何具身智能的突破，只要它能够发生，我们一定能够跟上。最重要的是能不能转变得足够快，有没有这个意识。

你非要让我说，我肯定会觉得现在这条路线是对的，但它也有可能是错的。那时候就要快速调整，不能有包袱。

不能因为一直做强化学习，别的路线 work 了，你就不用它。肯定不能这样。

最后还是结果说话。

为什么算法在具身智能领域不重要？我听过类似观点，也听过反对观点。

我觉得不是不重要。

首先你必须达到一定 level，对整个领域有很深的理解。再往上，算法就不一定是护城河。

你很难做到全天下只有你有这个算法突破，别人都不懂，而且你还能一直守住它。

我们可以具体定义一下具身领域的算法吗？它和互联网世界里的应用算法已经不是一回事了。

我主要指模型训练，包括模仿学习、强化学习、模型架构、数据配比、backbone，以及世界模型、VLA 等。

这些东西不重要，但你必须能够快速改变。最重要的是整套系统足够好，能够体现出好的效果。

现在做最前沿的科研，你给我10个 idea，我觉得10个都有可能是对的。

比如有人做脑科学，认为具身智能的神经元应该像大脑神经元；另一个人认为人类数据可能只能起某种作用，需要视频数据。

这些观点听起来都有道理。怎么分辨？只能试。

把整套闭环做得足够好，尝试得足够多，最后让效果说话。把每个细节都做得足够好、足够可视化，最后的效果就会好。

10条技术路线可能都不是完全对，也不是完全错，但都有可取之处。最后看怎么融合各自的长处。

最近 UMI 这一波很火，夹爪类方向的可见问题在哪里？

最主要就是夹爪不能解决所有事情，有些事情还是得用手。

但这里的 specific hand 不一定是五指手，也可以是其他构型的手。

从终局来看，很可能是先做加法，再做减法。

你们现在选择五指构型的手，用手套采集数据，是因为这是最快获取人类操作数据的方式。

等大脑训练出来之后，理想状态是，它不仅能接入五指手，也能接入四指手，甚至接入夹爪。

这有可能做到吗？

有可能。

但商业上不一定走得通，这个我也在思考。

具身智能可能介于自动驾驶和大模型之间。自动驾驶的很多传感器可以跨本体，但一些顶尖自动驾驶厂商仍然会选择绑定几个本体。

如果你自己做自动驾驶厂商，可能永远不会采购别人的系统，而是使用自己的。这就是商业问题。

至少在有生之年，我觉得看到的可能还是软硬一体耦合的东西真正产生商业价值。

但技术上能不能做到，我觉得可以。

现在市场上似乎会分成三类：夹爪派、单手派、双手派。

你相信我，所有做具身智能、尤其是自己训练模型而不是做固定场景的公司，未来一定会做手，不可能不做手。

从第一性原理想一个问题：为什么马斯克一上来就做手，而且要做这么复杂的手？

真正到了终局，不可能用一个夹爪解决某个固定场景之外的所有问题。要实现跨场景，就必须用手。

所以更多是路径问题。等某个方案真正 work 之后，我觉得所有公司都会做手，只是现在可能没有精力做。

既然终局是这样，为什么 Generalist 和 1X 要做夹爪？

它们的夹爪其实很像手。

据我了解，哪怕是北美比较顶尖的具身智能公司，也没有找到一条完全确定的路直接往下做，更多还是研究过程。

手现在有很多问题，比如成本。大家仍然在探索。等某个方案真正跑通、需要放量时，可能就会换手。

但会不会有另一个剧本？如果夹爪在某些场景里把任务跑通了，就没有手什么事了。对工厂采购来说，夹爪肯定比手成本低。

这就是我说的，你要看做的是专机，还是通用机器人。

在某个工厂，夹爪可能 work；但换一个工厂，可能就不 work。

以后机器人进入家庭，我想让它炒饭、整理东西、做各种各样的事情。真正做通用机器人，很难只靠一个夹爪完成所有事情。

你现在也在考虑，训练一个通用灵巧操作大脑，理想状态是既能指导五指手，也能指导三指手和夹爪。

理想状态是这样，但这是更后期、更长期的事情。

肯定会先出现一个模型，在某个本体上能够做任何事情，或者取得很大突破，然后再开始迁移到其他本体，做不同构型之间的泛化。

我觉得那会是一个非常重要的时刻。

现在市场上采用你们这种五指手套方式的公司多吗？

不多，基本没有。

我很能理解他们为什么用三指甚至夹爪，因为他们可能也是从终局推导，觉得五指手不够经济，不够商业化落地。

你们肯定也考虑过这个问题。

考虑过。

我们有高自由度和低自由度的区分。低自由度的时候，和夹爪没有太大区别，稳定性和精度也还可以。

你决定创业时，有没有思考过，在中国做一家具身智能大脑公司，和在硅谷做一家具身智能大脑公司，分别能用的杠杆是什么？

国内有场景，也有一些国家政策上的优势。

硅谷可能更多是做 demo、探索技术，对商业化考虑得没那么多。

你创业快两年了，在密集接触商业化的过程中，有什么新发现？

新发现很多。

这是一个 trade-off，非常考验创始人的能力。怎么样平衡商业化、预训练、模型训练和部署，平衡短期效果和长期价值追求？

你们公司怎么平衡？

看情况。没有所谓万能的解法。

唯一的一点，就是我一直说的，要时刻记得我们是做模型的公司，是做通用智能、做 AGI 的公司，而不是简单拿一个成果去商业化。

目前我对你们训练大脑这件事还有些抽象。我想了解一下，你们训练具身智能大脑的方式，更偏 VLA、世界模型，还是一个混合体？

混合体，都有。

我们公司的优势是，整个端到端的东西都有。我们有自己的硬件、手套，手套之后有完整的数据处理管线，再导出到模型训练。

我们可以端到端优化。算法发现哪个点有问题，就可以直接在数据采集端改变，包括数据处理方式等。

和训练其他大模型没有什么区别，基本上都是这样。

具身领域训练模型也分很多流派。

有一部分以视觉为主，用视频模型驱动具身大脑，给它喂视频数据。但训练出结果、让它真正实操，过程还是有问题。

还有一种是视频加动捕，再加触觉反馈，然后做强化学习。

现在还有很火的世界模型。大家对世界模型的定义又不一样，有一个流派是专门为具身领域打造世界模型，预测下一个物理状态，用世界模型加 VLA，来实现某种程度的具身大脑。

我的理解对吗？

没问题。

这就是我说的不可证伪。大家都觉得自己的方案是对的，但其实我觉得这件事情没有那么重要。

既然你们是大脑公司，世界模型现在又这么火，为什么没有对外大声说自己在做世界模型？

还是我们之前说的，算法本身没有那么重要。

其他技术路线出现明显突破，当然可以借鉴，但你必须有一个很好的闭环评测体系，也要有一套模型训练基础设施，支持你去尝试。

所以做什么并不重要，什么时候做什么才重要，不是绝对的。

一年之后它可能不叫世界模型，可能叫 reward model，或者其他模型。只要效果好，我们都可以拿来用。

我个人觉得，这一块不太重要。最重要的是整套数据和算法基础设施。

VLA、世界模型、视频模型驱动的大脑，再加上触觉，这些路线的本质区别是什么？

目前本质区别就是 backbone 架构不同。

VLA 的概念很大。只要输入有视频和语言，输出有动作，就是 VLA，也就是感知、决策、执行。

大家大概都认为这个方向没错：需要语言，需要视觉，输出 action。

下一个阶段是 world action model，也就是世界模型。世界模型里又分很多种：有的同时输出 action 和未来帧，有的先预测未来，再用 inverse dynamics 输出 action，也有分段的。

最大的区别，一是使用了以前的视频生成模型或者其他生成模型，比如阿里的通义千问、CDS 等；二是在监督目标上增加了预测未来的辅助 loss。

除此之外，区别其实不大。

现在大家说什么原生世界模型，或者各种奇怪的说法，我真实感受下来，更多还是噱头。

你觉得模型架构层面不可能有突破？

我甚至觉得，纯粹在数据不变、训练 loss 不变、训练方式不变的情况下，只通过修改模型架构，或者改变模块连接方式，就获得突破性变化，这件事情是不可能的。

真正要做的是找出具身智能像语言模型 next-token prediction 一样的训练方式。

比如把所有操作建模成物体轨迹，或者在数据层面有巨大变化。以前只有两套数据，现在使用大量人类数据；以前10个小时，现在100万小时。

这些东西可能产生本质区别。

其他方面，我觉得都没有那么重要。那些路线只要我们想复现，基本上都能够复现出来，但最后的效果不一定本质。

我也接触过一些做大脑层面创新的团队。确实像你说的，真正想做本质创新，大家还在探索不同的底层范式和架构。

我之前和一个做视频模型的专家聊，他说今天哪怕世界模型的底层，使用的架构仍然是最初图片和视频使用的架构，也就是 DiT，Diffusion Transformer。

这个范式并没有改变，还没有探索出新的、更有效的范式。

对。美国也没有探索出来。

所以我才说，世界模型一直都存在。如果说有什么根本性突破，其实还没有。

我最近也和一个投资人讨论过，到底应该关注哪一层的创新。

我觉得，关注底层创新当然非常重要。不能只在上面改一些奇怪的方法，做一些不本质的探索，那样很多时候是在浪费时间。

必须看到最本质的东西。但最本质的东西一定会有一些 high-level 指导意义：要么是通用范式，要么是从人的日常生活或者其他领域里提炼出类似的东西。

最后还是看工程实现得好不好，以及具体怎么实现。

人类在现实世界、物理世界中的操作经验，什么样的经验能够映射到数字世界，抽象成一种智慧，喂给 AI？

我觉得都可以。

都可以？

不能说都可以，但数据来源本身都可以。

实际上我们需要一种机制，主动判断哪些知识有用，哪些没用。

我们公司还有一位科学家温莹老师，他看了一本书，说人的世界感知有三重世界模型理论。现在我们最缺的是中间那一层，叫主动世界模型。

它是一个适应性很强的模块，知道自己要提取什么信息。

比如我要抓手机，可能需要知道手机的形状和位置，然后过去操作就行。旁边有一个麦克风，我不需要知道它，那就是噪声。

对于大模型来说，数据有一个很重要的指标，就是信噪比。

如果模型能力在这里，数据的信噪比也在这里，那么加入这类数据，能力可以不断提升。但当模型能力超过数据的信噪比之后，继续加入信噪比更低的数据，反而可能让能力下降。

所以怎样把数据的信噪比发挥得更好，需要主动的想法。

当然这也只是一种想法，可能可以做，但具体怎么样还要验证。

主动数据的“主动”指什么？

主动选择抛弃噪声，关注某些地方。

这是一层。另外两层是什么？

还有客观世界，也就是客观世界的规律。我们必须理解物理，这和很多世界模型公司说的要让模型深刻理解物理知识类似。

还有一层是自己的 policy，是我们对世界的想象。

这不就是李飞飞和杨立昆分别站的两个阵营吗？

一个更强调探索世界底层的本质，而不是复刻世界；另一个是先让模型看见一个被复刻的世界，再让它理解。

有点像。

中间这一层主动判断什么数据要留下，非常重要。

但不能只因为我提出这个理论，就证明它是对的。它和有人说要按照人脑结构设计神经元、神经网络训练有点类似。

我的意思是，这些可能是底层架构上的改变，不是简单加一个模块、减一个模块，而是训练方式上的根本区别。

关于训练范式，我对大语言模型和具身智能都有一个疑惑：所谓 LLM 涌现出的智能，是真实的智能吗？机器人现在学会的事情，是真实的智能吗？

肯定不是。

为什么？

因为都是模仿。

我和师兄一直讨论，现在没有真正的泛化。更多是见过的东西，顶多做一些组合泛化。

我做过 A、B 和 C、D，可能把 B 和 C 组合在一起，但它还是必须见过这些东西。它仍然是在一个存量世界里泛化。

所以这不是真正的智能。

我想说的是，当我们说智能，不管是人的智能还是小动物的智能，本质上都是自己探索、进化的过程。

探索和进化的本质，我认为更接近脑科学和神经元底层。

但我们现在训练 AI 的过程，有多大程度上借鉴了神经元智能发展的过程？

以前还好。上周有一个投资人也和我聊这个话题。

他们觉得脑科学里有很多可以借鉴的东西。他给我提了一个想法，我也觉得有点意思。

我们现在只是在 scaling 神经网络。神经网络变大，只是神经元之间的连接变多了。

但在神经科学里，神经元本身的结构也可以优化。前面是规模问题，后面是效率问题：如何提升结构上的效率，可能是更高质量的进步。

首先我们一定要做底层创新；其次要有能力支持这种尝试，还要有一套好的衡量体系。

纯粹讲理论没有用。哪怕一个结构听起来更像人脑，但效果不如 Transformer，也是不行的。

我们要做的是从效果到理论都能够 align 的东西。当然可以从理论里借鉴知识，但最终要看实践效果。

你现在有做什么平行实验，探索底层本质创新的可能性吗？

每天都在做实验。

硅谷一些先进 AI 团队，会在团队里加入脑科学人才，把脑科学的进步融入 AI。国内好像相对少一些。

借鉴脑科学不一定非要脑科学人才。

把神经网络做出来的人是计算机科学家，不是因为脑科学家说应该怎么做，就把它做好了，而是计算机科学家发现这样做效果好，才把它做出来。

不是因为它像人脑，而是因为它有效。

我更多还是实用主义。刚才说的那些内容，我听到一部分，觉得可能有道理，但到底有没有道理，要做了才知道。

大模型领域也是这样。并不是加更多数据就一定更好，有时候垃圾数据会损害模型性能。

具身智能也一样。有人说增加一个模态的数据，数据量就可以少一个数量级。这些都要做了才知道。

所以实践最重要。

这个行业现在有很多资金，竞争也已经开始，所以有很多口号。你会对任何非常坚定的口号持怀疑态度吗？

对。

没有人能预判未来会发生什么，只能有一个大概方向。

所以你觉得现在具身领域在技术层面是一个迷雾森林，没有公认共识的大道？

我觉得没有。

当然也有一些小范围收敛。比如现在大家都在讨论模仿学习、强化学习，也有人觉得数据一定要高质量，要用人类数据，也有人觉得要用仿真数据。

但真实数据和仿真数据，仍然是两个没有共识的方向。

那你怎么看国内一家声称不采一帧真机数据、完全靠仿真喂饱机器人的公司？

我 respect。

我和很多人交流过，每个人都有自己的看法，看大家愿不愿意相信这条路线。

站在我的视角，我肯定相信我们从人类数据出发，做 scaling，再通过强化学习把闭环做好的模式，是做灵巧手操作最好的方式。

但肯定也有人不信。

从简单推理来看，仿真派规模化产生数据，应该比真实数据派快得多。

不一定。

到达某个数据量，仿真可能更快，但多样性不一定比真实数据快。

利用生成式能力，可以批量、规模化复制各种场景。

我们要么是 real-to-sim，要么由工程师自己手写。

比如今天有100个场景，我拍100个人，可能一天就有100个场景的数据。

但仿真派需要把这100个场景重新建模，再放进仿真环境，最后把仿真数据收回来。这其实是非常 dirty 的 work。

目前来看，仿真的场景生成能力远没有直接从真实世界采集数据快。

当然，不能排除未来世界模型取得重大突破，可以直接生成非常好的环境，用 AI 生成数据。

但你觉得这件事不可能？

我个人觉得不可能。

要做到这一点，首先需要有足够多的数据。既然你有这么多数据，我先训练出一个非常强的 VLA，早就做出来了。

这就是鸡生蛋、蛋生鸡的问题。

我一直和别人说，如果你觉得世界模型突破之后会直接把 VLA 干掉，我就问一句：你觉得做 VLA 需要的数据多，还是做世界模型需要的数据多？

我觉得做一个全场景生成的世界模型，需要的数据更多。

所以我认为，即使真的有这个东西，也要先经过 VLA。

而且世界模型的数据大概率也是这么采集来的。它不可能凭空生成数据，我们还是要先从真实世界采集。

我们现在采集的数据，其实是多模态数据。

我认同你说的点，但我会保留一个思考。

今天 coding 才是真正改造互联网数字世界的那把刀。coding 越来越强，就改造软件世界，提升整个效率。

那我是不是也可以假设仿真派有一天真的能够用 AI 批量化、加速完成很多工程问题？理论上它会像 coding 一样，加速仿真世界的所有环节。

有可能。

但这里有速度问题。coding 很快能够实现，因为专业程序员很多，程序又是一种非常好的计算机描述语言，所以可以快速完成。

coding 本身是结构化的，而且是逻辑性的，是一个统计学的东西，所以可以被 AI 加速；但物理世界是非线性的、多维的，不只是统计学问题，所以 AI 理论上没有办法加速。

其实也能加速，但它没有办法解决准确性和确定性问题。

跨模态领域是一点一点发展的，不会突然有一天从结构上把事情做 work，然后不需要那个领域的数据，就把整个领域干掉。

大语言模型可以干掉金融、医疗领域的一部分语言工作，但真正的望闻问切，还是代替不了真人。

大语言模型在具身智能当中会扮演什么角色？现在很多 VLA 仍然以 language 为核心，但我也听到很多人说，L 不一定只指 language，更多是一种逻辑和能力。

不好说，但 L 肯定是需要的，它是一种工具，不会是一个范式。

世界模型到底会是机器人学习的一种范式、一种工具，还是一个目标？

我最近了解世界模型，越来越觉得它只是一种目标。

短期内没有谁能做出一统天下的世界模型。世界模型像一个无限大的拼图，大家可能做很多年，也只能拼出一部分。最后不同路线相交，拼成更大的图景，才是理想中的世界模型。

你说得没错。

现在“世界模型”这个概念已经被玩坏了，什么都叫世界模型。

在我看来，世界模型本身没有那么重要。我最近一直在研究，为什么马斯克不说世界模型。

主要还是因为世界模型本身不产生价值。真正产生价值的是上火星、能源、具身智能这些事情。

世界模型要么是一个概念，要么是一种方法。比如用世界模型在具身智能里做什么事情。

它本身不产生价值，这一点特别有意思。

你在斯坦福最先进的实验室里领略过世界级的技术风景，但最后又选择回到中国创业。

你身上既有开放学术氛围的影响，又特别务实。

还可以吧，有点结合。目标也很重要，不能只有口号。

你觉得 AI 最终走向物理世界的路径会是什么样？按照你的实用主义思路。

我觉得是一点一点发生的。

肯定先在某些地方做验证，技术上取得突破，证明能够做成某些事情，然后再有很大投入，把它实现出来，最后一点点往商业化推广。

整个社会接受它，也需要一个很长的过程。

我说的是技术路线。技术路线现在不确定，对吗？

我现在 bet 的就是人类数据。

我觉得未来具身智能一定会像大语言模型或者自动驾驶一样，数据来源于人类日常生活，而不是专门为操作手采集的数据。

具体怎么实现，要看很多方向。每条路线都有可能是对的。

我们能做的就是不断尝试，把好的东西吸收进来，不断提升模型能力，直到到达临界点。

今天聊灵巧操作，你觉得是手定脑，还是脑定手？

脑定手。

未来一套真正能够规模化落地的灵巧操作方案，硬件和大脑的成本占比是多少？

长期一段时间里，商业上硬件还是会占比较大的部分。但到了未来，一定是大脑占更大的部分。

这取决于大脑的泛化性、兼容性和通用性。

你是说短期内硬件占大部分，还是大脑占大部分？

短期内真正能落地的，还是比较专用、比较不泛化的场景，所以硬件占比会更大。

你这几年的研究，似乎一直围绕一个主题：怎样把人类数据用到双手灵巧操作上，再用强化学习实现。

这几年的学术研究，有没有提供给你一些和做学术之前完全不同的思考方式？

还好。其实也是跟着行业发展。整个行业经历了好几轮范式转变，我们自己也做了各种尝试，肯定会变化。

但学术只是一部分。学术可以保证我们跟前沿不掉队，但最后能不能 work，是一个非常复杂的系统工程问题，尤其是在创业之后。

你刚才讲到具身智能行业有很多泡沫。你这个00后眼中的泡沫是什么样的？

泡沫就是太多人说的和做的不一样，大家也不太看得懂。

怎么叫说的和做的不一样？

比如说自己是做强化学习，但实际可能用了别的方法；或者说自己做什么东西，实际做的是另一套。

但因为大家很难分辨，所以它还是能够做下去。

对。

今天和你聊下来，我对你有了一些新的认知。

之前我们也聊过一次。坦率讲，第一次见你时，我觉得你非常随性，不太像人们刻板印象中的 researcher。

你不是文质彬彬的感觉，反而很活泼、很逗，甚至有一点痞痞的感觉。

但我能感受到，斯坦福的岁月还是对你有一些影响。你又不像公众叙事里期待的00后那样，想要创飞一切，非常反叛，每说一句话都要 echo 无数人。

你似乎也挺谨慎、挺谦逊。

我一开始就说了，每个人都不一样，很难通过一个标签定义一代人。

当然每个人都不一样。但人们总结一代人的面貌时，还是不可避免会做一些统计，也会想树立一些榜样。

如果你想成为00后这一代人的榜样，希望树立一个什么样的榜样？

说实话，我不是通常意义上的榜样。总不能鼓励大家天天玩游戏吧。

最主要还是像我之前说的，大家做自己想做的事情，做自己感兴趣的事情，不要太害怕，不要觉得自己不行，也不要觉得环境有问题。

这些都可以克服。只要你想做一件事情，就有可能做到。

因为你做成的每一件事情，好像原本都不在这个专业领域里。

你现在也是一个 leader 了。你们团队叫你“宝宝总裁”，是真的吗？

我不知道是谁说的。

你同事就在场外，待会儿场下求证。

你会希望团队招什么样的人？和你一样的吗？

都可以。

每个人都有自己的优缺点。这是杨老师告诉我的，我从他身上学到很多。

每个人都有自己的优缺点，也有自己的看法。一个好的 leader，就是让大家在自己的位置上做出很好的事情，充分激发每个人的主观能动性。

怎么充分激发？

更多是让大家做自己想做的事情。

张一鸣有一个说法：创业公司很难像大厂一样，聚集那么多顶尖头脑，比如清北毕业生、博士等。创业公司怎么赢？

本质上就是让大家做正确的事情，有使命感。事情做对了，效果不一定比大厂里所谓的天才差。

而且大厂的天才也未必是绝对意义上的天才。他们更倾向于招已经被验证过的天才。

天才在没有被验证之前，也可能本身就是天才。

对，所以很多东西都还没有确定。

哪怕现在这个时间点，非要说哪些人做得好、哪些工作好，我觉得都还没有完全被验证。

第一次工业革命时，珍妮纺纱机、蒸汽机被发明出来，也不是在当时最大、最有钱的大厂里，都是一些没有被验证的人突然做出来的。

最后大家记得的、历史书上写的，都是这些人。

所以站在我现在的角度，我觉得一切皆有可能。

你觉得自己是天才吗？

我觉得一般，还好。

你希望自己是天才吗？

我肯定希望能够做出很有影响力的事情。

这和我刚才说的一样，首先要有这个追求，最后能不能做到不好说。

但过程呢？过程是否足够享受？

享受。

创业前半年，我根本想不到自己会创业。去市场调研前半年，我也没想过会去做市场调研。

很多东西做出来之后，其实很难提前计划。

我的意思是，你并不知道最终能不能实现想要的影响力，但过程是否足够享受？

享受。

我高考前都在打牌。为什么？因为我当时有一个核心判断：不管高考考成什么样，我肯定会后悔。

我现在选择做这件事，到了后面不能说“早知道高考前就好好复习”。这种后悔我肯定不会有。

我很小的时候，六年级就这么想。我爸妈说，如果现在不好好读书，以后会后悔。我当时就说，我肯定不会后悔。

我现在想玩，就是我现在的选择。哪怕老了以后，因为这些事情导致书没读好，也无所谓。至少我现在玩的时候是开心的。

你现在做科研、做创业、探索技术路线，开心吗？享受吗？

开心。都是做自己的事情。

你描绘一下这种开心，为什么觉得开心？

最重要的是找到自己喜欢做的事情。

人总会有一些最原始的内驱力。比如我可能想做有影响力的事情，想对社会产生一些改变。

要实现它，就会有一些路径。沿着这条路径往前走一点，就会觉得开心。

20岁出头就选择创业，你觉得会错过什么吗？

不会错过什么。

你觉得会错过什么？

我不知道。

我觉得创业挺好的，现在也会支持很多人创业。

马上就要高考了，今年具身智能是大热专业。但你是一个很典型的案例：没学过一天机器人相关知识，却和机器人结缘，而且走得很深。

你有什么建议给家长和考生？

一开始肯定还是要好好学习。

但哪怕遇到挫折、没考好，也不用气馁，后面还有很多机会。什么专业都可以。

什么专业都可以做机器人？

对，什么专业都能做。

一个优秀的机器人人才，应该具备哪些要素？

更多是系统性思维。

大家说全栈，不能只关注模型，不关注其他东西。机器人是一个系统工程，每个方面都会产生影响。

什么品质对优秀的机器人人才最重要？

对效果的不断追求，或者说追求卓越。

没有上限。做了一个很好的东西，还可以有更好的；做得更好之后，还可以有更好的。不满足，继续追求。

还有吗？没有勤奋这一点？

没有。我觉得自己不是很勤奋。

真的吗？

真的。

我在清北，也认识很多状元和竞赛生，他们比我勤奋多了。

所以你认为前三个品质，第一是追求卓越，第二是系统性思维，第三是什么？

不要太 ego。

看不到别人的优点，就很难学习。师兄说过，哪怕是一篇很垃圾的论文，也有可以学习的地方。

你总能从里面学到东西。

保持开放。

对。

最后聊一聊你个人。你有什么崇拜的人物吗？

目前没有。

历史上呢？

小时候有。我特别喜欢拿破仑。

他出生在科西嘉的一个小岛上，最后却做了很多影响力很大的事情。

但现在觉得还好。

为什么后来不再崇拜了？

还是 respect。很多事情都是自己做了才知道。

要开放一点，有好的一面，也有坏的一面；有看得到的点，也有看不到的点。

推荐什么书吗？

我现在看得太少了。

没创业之前，我可以跟你讲得头头是道。高中时我真的看了很多书，语文课我都不上，和老师说好，语文课就看书。

现在一下子想不起来了，因为创业之后太久没看书。

以前喜欢看什么书？

什么书都看。从网络小说、金庸古龙的武侠，到欧洲名著、国内名著、社会科学，什么都看。

自然科学也看吗？

也看，什么都看。

我当时特别不喜欢语文，就和老师商量，只通过看书，看看语文能不能考出比较好的成绩。

当时确实有几次考得特别好，但也有几次考得特别差，波动特别大。

你一直都是兴趣驱动的。

你也有一套强化学习算法，一再证明自己不需要是这个领域的人，也不需要按照刻板印象付出很多，就可以在这个领域取得不错的成果。

我的强化学习大概有一点吧。很早以前，本科前几年做得比较多。

很多网瘾少年会喜欢一些电影人物或者动漫人物，你有吗？

没有，真没有。

以前可能还会有一点，但现在看得太少了，基本没有时间，事情太多了。

现在创业好玩吗？

还可以。

首先，我们做的事情至少是自己喜欢的。我觉得自己已经比很多人幸运了。很多人在做不喜欢的事情，而我在做喜欢的事情，这点就很好。

讲一个创业以来你觉得最好玩、最激动或者印象最深的 moment。

绝对有，但我不太记得了。

你再想想。可能是第一次发 PR，做出某个效果，完成一个里程碑，或者见到投资人。每个点都可能很开心。

对，应该有很多开心的小点。

你人生到目前为止，最快乐的 moment 是什么时候？

我觉得什么时候都挺快乐。

我人生的信条就是一路快乐过来，绝对不可能不快乐。

如果是不喜欢做的事情，或者最近感到不开心，我一定不会做。我会想尽一切办法不做，想尽一切办法结束它。

所以到目前为止，一直都很快乐。

对，还可以。

特别00后。祝你一直快乐下去。

可以。