146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

确实，我们不做人形，因为他们要说做人形，我就不来了，你知道吧？我其实一直很想做的就是机器人可以造自己。我觉得这个可能会是机器人发展的一个里程碑，因为它就像一个种族，是有延续性的，可以通过自我的一种繁殖来延续。我觉得机器人能够组装、造自己，就是一种繁殖的体现。

第一篇是 Pi 0，它的关键词应该就是能力；第二篇是 Pi 0.5，它的关键词是泛化；最近的这篇是 Pi 0.6*，它的关键词是表现。

你们公司其他人会很关注中国机器人的发展吗？

我觉得都很关注，这是一个不可忽视的部分。

我们今天的嘉宾是硅谷机器人公司 Physical Intelligence（Pi）的研究员柯丽一鸣。Physical Intelligence 是一家在硅谷探索机器人大脑方面非常有名的公司。

不过前两天我跟 K 聊天，发现他除了是一名 researcher 之外，业余时间还是一个网文写手。K，你要不先来自己介绍一下自己？

大家好，我是柯丽一鸣，平时朋友都叫我 K。我的日常工作是教机器人更快、更好地完成任务。业余时间我非常喜欢人文、艺术这些东西，写小说也是一种表达情绪的方法。

很高兴今天能有这样一个机会，梳理一下自己在研究中的想法，和大家分享。

你觉得做机器人和写小说有什么共通之处？

1. Creativity Drives Both Fields

我觉得两者都需要创造力。比如机器人现在完成很多任务还不够好，你需要想一些新的方法；而写小说时，可能你真正想写的那个故事还没有被写出来，也需要把它创造出来，很多时候都需要一些天马行空的想法。

另外，也需要执行力。像我在做研究的过程中，经常是有了一个想法以后，慢慢把这个想法落地，中间需要一些工程、写代码之类的工作。写小说有时候是有了一个命题，为了让读者感受到这个命题，就开始一个字一个字地在那里码。

我很好奇，你平时写什么小说？你在小说里有没有藏着一个和硅谷机器人公司内部叙事不一样的世界观？

平时写得比较多的是科幻小说，这也是我最爱读的小说分类之一。

科幻小说肯定和我们现在生活的这个时代有一些关系。我在科幻小说中比较痴迷的类型，通常都会涉及两个命题。第一个是生产力变化以后，人们的生活会怎么改变；第二个是在和我们社会风貌很不一样的未来科幻社会里，人与人之间的关系会怎么样。

第一个命题可能和我的工作更相关一些。工作的时候，我经常会考虑，我们做人工智能研究、做机器人，本质上是一种自动化。如果能够把很多现在由人做的事情自动化，提高效率以后，人要去做什么，这是一个我每天都会想的命题。

第二个命题是因为我觉得，人与人之间的关系是一个自古以来永恒不变的话题。写小说的过程中，你会去读别人的小说，也会和几千年前、生活在不同世界的人产生思想上的共鸣。我觉得应该会有一些人性的东西，即使是在生产力大幅度变化的未来科技社会，也会流传下去。

在 AI 时代、机器人马上就要进入我们生活的时代，你觉得人会发生什么变化？人与人之间的关系会发生什么变化？现在还多了一层：人与机器人之间的关系会发生什么变化？

我觉得这是一个正在梳理、还没有很确切结论的话题。

一谈到人与人的关系，首先我是一个相对而言比较内向的人。你可以从每个人不同的研究风格中稍微感受到一些东西。我的研究风格是，很多时候我先把自己埋在一个洞穴里，埋头苦思一会儿。但为了不要变成闭门造车的人，还是要把头从土里拿出来，去到一些场合和别人交流，碰撞一下思想。等真的确定下来一个命题以后，再去执行。

以前读博士的时候，我是一个比较独狼的玩家。你有一个想法，想要去实现，那就说干就干。中间遇到什么问题，可以自己上网探索、学习，也可以通过提升自己的技能，组织一个比较小的队伍去解决问题。

从读博毕业以后，加入这样一家初创公司，做机器人的具身智能大脑，一个比较深切的感受就是，有些事情必须在团队协作中才能完成。之前读博时，一个项目的规模可能比较小，要解决的问题也比较具体；现在为了做成一个通用的大脑，需要团队中每个人都在自己擅长的事情上发挥作用。为了完成一个任务，大家要齐心协力，人与人之间的联系比以前更加紧密。

同时我也在想，如果生产力发生变化，人与人的关系可能又不需要那么紧密了。最近硅谷有很多 Claude Code 这样的工具，可以自动帮你编程。以前我需要去找某个模块的负责人，问他这个模块能不能用、怎么接入；现在我为什么不直接问 Claude Code 呢？我可以通过和 AI agent 的交流，把以前需要和人交流的那一部分拿掉，减少对人的依赖。

现在很多工作流程也是一个人掌控三四个 agent，让 agent 去做很多事情。这改变了团队协作中人与人之间的关系。

所以你在跟人沟通之前，会先去找 Claude Code？

没错。Claude Code 成了人与人之间的那个环节。

我在构思一些小说的时候，也会受到这种关系的启发。比如现在是一个信息爆炸的时代，以前很多信息都需要我一个人去浏览浩如烟海的互联网。但有没有可能，我有一个小 bot，它可以把互联网上所有的信息看得比我快、看得比我多，同时又了解我的喜好，把这些信息全部揉碎了再喂给我？

如果以后大家都默认由自己的 bot 去爬取、分解信息，可能没有 bot 就很难在浩如烟海的互联网里生存了。因为一个人能够直接看到的信息会变得非常有限。

另外一种可能，是生产力的进步。我这个人以前是独狼玩家，所以会畅想一些非常适合独狼玩家的生存方式。比如田园牧歌式的一个人乡村生活，很多人也会在 YouTube 上看类似的博主。

我会想，将来我到一个远离人烟的地方去生活。现在让我去，我肯定不敢，因为我会觉得要干好多事情，要脱离现代社会的基础设施支持，一个人能做到这些事情吗？烧水、做饭这些可能还有一些基础设施，家务以及各种我不想做的事情，在远离人烟的地方怎么完成？

我们现在正在做的机器人，近期的应用可能就是把我不想做的事情做掉。但更远一些的畅想是，如果有一天机器人技术飞速发展，现在需要拜托很多人来做的事情，比如修水管——这是美国社会的永恒难题——将来也可能由机器人来解决。

甚至你现在做很多项目，随着智能体的发展，以前可能需要拉一个人的团队，以后可不可能是拉一个人工智能或者机器人的团队？一千年后的人再看我们，说不定会觉得我们也是原始社会；那个时候每个人能够拥有的生产力，可能相当于现在每个国家能够拥有的生产力。

我觉得这可能会让独狼玩家很快乐。

那人与人的关系会变得更加松散？

我觉得可以让人与人的关系变得更加松散。

在原始社会，一个人在广袤的大自然里独自狩猎、生存是比较难的。现在把自己埋起来，好像没有那么大的问题。将来也许你可以在宇宙中探索，发现一个小星球，直接在这个星球上定居，然后造很多机器人，帮你在荒无人烟的星球上搞好基础设施。你可以建很多想建的东西，想建高楼大厦、想造什么都可以成功。

我觉得这挺有意思的。

所以脱离一切外部条件的限制，你自己是希望回到洞穴里去的，是吗？为什么？

并不是完全彻底地活在洞穴之中，但人对自己的空间会有一些追求。

作为一个内向的人，我恢复能量的方式其实是一个人静静地待着。在硅谷这样非常喧嚣、无时无刻都有新信息涌入的环境里，找到一个空间自己待着，比我以前的生活更难，所以我可能会对“找一个洞穴，稍微待一阵子”产生向往。

但我也认为，人还是社会性动物。在洞穴里待久了，可能像我这样的人也会想走出来再看一看。

说到这个还挺有意思。我记得有一位老师说，他对于下一代的小孩不和人谈恋爱、只跟机器人谈恋爱，一点也不惊讶。现在你能接受这件事吗？

我还挺能接受的。因为我是一个老二次元，我的生活中有不少这样的朋友。他们的生活方式可能和老一辈的观念很不一样，但因为和他们熟悉了很久，我甚至能够理解他们不想和人类谈恋爱的选择，理解他们在社交方面的偏好，也理解大家对纸片人、二次元造物的喜爱。

包括我自己，也参与过一些二次元同好活动。

哪些文学作品、影视作品或者其他文艺作品，对你关于机器人的思考有过帮助和影响？

一时半会儿很难指出哪一个具体作品，也许我们在谈话过程中会触及一些，我都可以分享。

但以前看到的一小类文学作品，经常描绘人工智能毁灭世界这个命题。从现在的角度、以我有限的视角来看，我会觉得不太可能：真的会走到这一步吗？

我会反思，我们真的会开发出一个智能体，它诞生的使命是帮助人类，但最后在客观意义上却和人类变成对立关系吗？我现在很难想象。但因为一直没有想通这个逻辑为什么成立，所以也一直在想，为什么这个逻辑不成立。

以 2026 年现在的情况来看，我会想，智能体现在做的最坏的事情是什么？前几天好像有个人把很多权限给了一个智能体，让它帮自己清理邮箱。结果这个智能体得到权限以后，把他的邮箱全都删了，删得差不多了。

它确实执行了任务，但智能体的执行和他真正想要的任务并没有重合。

我觉得这个问题确实存在，但现在智能体得到的权限、承担的责任以及它能做的事情都比较有限。得到权限以后，大家通常都会在 prompt 里说，如果你不确定，就先不要动，先跟人确认一下。

至于它承担的责任，我之前攀岩受过伤，受伤以后到处求医问药。但美国社会的医疗比较复杂，所以我会把一些医疗信息发给智能体，让它帮我解答。可是我不会真的完全相信它，也不可能 AI 说什么我就信什么。我肯定还要带到人类专家面前确认，因为我不觉得如果我基于它的推荐做了什么事情，它能够承担责任。

在承担责任这方面，我觉得现在智能体承担的责任还非常有限。在人类社会里，谁能够承担责任，谁才会建立信任。这样的信任还在演化过程中，还没有到我们完全相信智能体、给它那么多权限的程度。

至于它现在能做的事情，我觉得也比较有限。机器人行业内部有一个可能已经有点过时的笑话。大概三四年前，我和一个快毕业的同学聊天，我们吐槽说：我们每天到底在做什么？就是让机器人把一个红色方块放到一个蓝色方块上。这不是三岁小孩都会做的事情吗？我们花五年读了一个博士，然后教机器人做的事情可能还不如三岁小孩。

人类的学习速度是非常快的。所以我觉得这三个因素导致了，在现在这个节点，我不太相信智能体能够和人类站在对立面。

写小说、写网文都要从现实世界取材，很多东西取材于生活。我没有看过你的小说，因为你不告诉我网名，但我很好奇，你会把在 Pi 的工作经历中的哪一部分作为素材，提取到虚构作品里？

我其实是一个工作和生活分得相当开的人。Pi 的工作经历肯定影响了我的思考，比如对技术发展到哪一步、技术发展中的一些 quirky、一些比较特殊的东西，会有更多具体的思考。

但我的网文很多时候是天马行空的。在网上保护好自己的身份以后，想写什么就写什么，不是挺好的吗？

所以你能告诉我们你的网名是什么？

不行，救命啊。马甲要保护好。

那我们接下来聊聊你的成长吧。我发现很多硅谷的人都是从小受益于竞赛的一群人。

是的，这还挺多见的。

讲讲你的成长经历。你是通过竞赛改变命运的人吗？你算这个类别吗？

2. Competition Shaped Her Path

我觉得算。当我成长的时候有一些感触，但现在回头看，感触甚至更深。

我人生中有一些关键节点，或多或少都受到了信息学竞赛的影响。我小时候出生在安徽省，在安徽省芜湖市上学。互联网上大家可能因为“芜湖起飞”这个网络用语知道它，但它其实是一座城市。

客观来说，芜湖的教育资源和上海这样的大城市还有一定差距。但非常凑巧的是，我们这个城市有一位很优秀的信息学竞赛老师。他当时在我们城市做学生的时候，因为一次事故受了伤，失去了双手。这次遭遇可能影响了他最后的就业选择，让他回到家乡当了一名计算机老师。

但他本人非常聪明、优秀。在投身计算机教育的过程中，他在我们城市开设了比较系统的信息学竞赛梯次培养。我甚至没有和他真正面对面交流过，但我觉得自己从他的很多贡献中受益了。

什么意思？

就像我们小时候上的奥数班，在我们那个城市，其实有非常正规的计算机奥赛班，它就是一个兴趣班。

你几岁开始学？

我 8 岁开始学。当时小孩子也没想太多，只是觉得可以玩电脑了，特别高兴。只要不让我学那些正儿八经的东西，让我玩一些不那么正儿八经的东西，我都很高兴。

所以在这个过程中，我无意间打下了一些后来学习编程的基础，一步一步走上了竞赛的道路。

成长过程中我也探索过其他职业方向。我大学一开始学的是心理学，后来转成了经济学，最后又转回了计算机。

心理学是你本科最开始的专业？

对。我大一开始选的是心理学。学过一些心理学以后，第一，我觉得学的东西非常有趣；第二，我实在不太适合做心理学。

为什么？

我身上有一种打破砂锅问到底的性格。学心理学时会觉得，这个东西讲得非常有道理；但如果我想继续打破砂锅问到底，也许可以做，只是要很多年以后，或者要做一些别的事情，不够直接。

我对解决问题、解决一个非常具体的问题有一种痴迷。所以后来又去学了经济学，想了解一下自己生活的这个世界。但最后还是转回了计算机，因为计算机能够帮助我了解这个世界，也能帮助我了解自己在这个世界中想做什么。

所以你整个大学经历了两次换专业。

对。能够探索其他行业，再回到计算机，我觉得真的要非常感谢小时候竞赛的辅助。

竞赛对你的性格影响大吗？

其实不是很大，因为我搞竞赛的时候比较悠闲。小时候对我来说，它只是一个兴趣班。

刚开始学的是 Logo 语言，不像现在这样输入文字，而是图形界面。作为一个小学生，看到计算机可以画画，你让它画各种各样好玩的画，就觉得非常高兴。

所以在竞赛过程中，我对计算机编程的体感一直是快乐的。

当时还有一本教材叫《中学生学 C 语言》，可能是我这辈子唯一认真读完的编程教材。后来基本都是网上现学现卖。

读那本教材的时候，作为一个小孩子接触编程，我觉得思维会不太一样。它会用讲故事的方法教你很多编程原理，比如递归，就讲灯神许愿：你许了一个愿望，再让它给你三个愿望。那些东西非常自然地融入我的生活，逐渐内化了。

所以，搞竞赛或者很早学习编程，确实对我的思维有一些影响，但可能是润物细无声的。我没有感觉它突然改变了我的性格。

你小时候是一个很乖的小孩，还是叛逆的小孩？

是一个看起来很乖、实际上很叛逆的小孩。

有多叛逆？

我小时候上小学第一天，我爸妈不知道怎么想的，给我剪了一个板寸头。一个小女生留着板寸头，大家就会笑话你。我记得上小学第一天，我是哭着去的，因为被大家嘲笑，内心无法忍受，也不知道怎么处理这种事情。可能那是我小学哭得最惨的一次。

到小学毕业的时候，我已经变成了学校里的大姐大。有想法的话，我们可以坐下来聊；如果聊不来，就把你打服。当然，使用暴力不是一件很好的事情。只是在小学那个环境里，你能明显看到我性格中不太服输的一面。

你是怎么在小学环境里，从第一天哭鼻子的小女孩，变成大姐大的？我知道别人都叫你柯姐，对吧？

对，这是朋友对我的称呼，从小学一直到高中都是这样。

可能是学会了动手，也可能性格里有一些“路见不平一声吼”的因素。我会追求公平、正义，小学时看到有人欺负别人，就会说：“你在干嘛？不行我们就打一打。你这样不行。”会想办法让事情达到自己心中的正义状态。

在你心中，有什么事情是别人觉得可以接受，但你觉得触发了你对这个世界不公平、不正义的感知，让你要反抗？

生活中确实没有那么多绝对公平的事情，甚至公平的定义都很模糊，不同的人有不同想法。

我只是尽量在自己的能力范围内维持一种公平。有时候我觉得，每个人没有权利要求另一个人一定按照自己的想法去做。但在这之上，有一些东西我觉得有普世价值。

一方面是教育资源。当我出国以后，会对国内受教育的经历有一些感慨。我以前也想过考清华、北大，但在安徽，可能每 1 万个人里只有 3、4 个人能上清华北大。我当时在高中竞赛班，也是从传统升学道路一步一步走出来的。

我不是那种优秀到骨子里、非常热爱学习、愿意花很多时间学习的人。我在竞赛班里属于中等，喜欢的事情就多学，不喜欢的事情就少学。除非我彻底转变、特别用功，否则很难去竞争那 1 万个人里的 3、4 个名额。

出国以后会发现，有些省份确实在教育资源上有优势。比如在大城市，可能 1 万个人里有 80 个人能上清华北大，这种数字在安徽是想都不敢想的。这确实涉及资源分配。

但在现在这个时间点，更应该思考的是，如何通过创造新的生产力，在某个层面上抹平这些不公平。

所以你觉得自己不是应试教育的优胜者？

我对初中、高中的同班同学，终于报以崇高的敬意。我实在没办法像他们那样卷。

我们是竞赛班，大家都非常努力，也非常清楚自己想要什么。不像我，从小就有一点不那么乖。我不会做特别坏的事情，但学习这件事，我只学自己想学的。

在这种环境下，我确实没办法和那些特别优秀、特别专注的同学相比。

你小时候做过最叛逆的一件事情是什么？

我做过的叛逆事情太多了，很难评出最叛逆的一件。

那前三名。

到高中时，我又把头发剪成了板寸。因为当时很想去东南亚旅行，又觉得自己一个人在东南亚可能不安全，就把头发剪成板寸，整个人打扮得非常像男孩子。这样走在大街上，可能别人就不会有那么多不好的想法。

在东南亚背包的经历相对而言比较叛逆，因为它没有明确目的，也不知道会对人生有什么影响，但就是非常想做。比较幸运的是，家里人没有强烈反对，只是觉得很奇怪，让我保护好自己的安全，每天不停地劝我赶紧回来，不要再做这些奇怪的事情。

你是高几去的东南亚？

高二下学期。当时已经在想要不要出国了。之前一直走升学路线，并没有确定要出国，所以那是一次很快的思想和目标转变。稍微执行了半年，发现自己还有一点空闲时间，就想做点什么，于是去了东南亚背包。

之前我很喜欢几本和印度神话有关的小说，也迷上了印度宗教建筑，就想过去看一看。

去了多久？

大概两个星期。

一个人去的吗？

一开始是一个人，后来我爸妈也来找我了，他们可能还是有点不放心。

所以你为了去东南亚，把头发剪成板寸来保护自己。

我觉得是这样。但头发剪成板寸非常方便。我从初中、高中开始就是一个很不修边幅的人，不会打理头发、梳头发，衣服扣子也经常不好好扣。到班上以后，有一些关系比较好的女同学会帮我稍微整理仪表，因为实在看不下去了。

你去东南亚把头发剪成板寸，是不是潜意识里有一种不安全感？

很难描述。但我会不自觉地觉得，如果外表像一个男生，大家可能就不会有那么多不好的想法，可以提前保护自己。

这种不安全感可能来自哪里？

来自社会认知。新闻，或者听到的很多事情，会让女生觉得自己处在更可能受到侵害的位置，所以会花更多心思考虑如何保护自己。

我觉得你的选择很有意思。有的人觉得不安全，就不去做了，待在家里。但你还是要去，自己想做的事情要找个方法实现。你的方法是把自己伪装成男生，然后就安全了。

这是方法中的一种。当时我觉得这是最轻松、方便又好用的方法。

你是怎么突然决定出国留学的？之前其实还想着考大学，怎么突然转变了轨道？

我觉得这是人生中冥冥之中的一个小决定。

当时在高中看来有三条路。第一条是升学，但在同班同学面前，我觉得自己是一个不上不下的人。让我再花一点心思提升成绩，对不起，我做不到。我没有办法做自己不相信、不认同的事情。

学校里有一部分事情，我不知道为什么要做，所以提不起劲；提不起劲就学不好。数学、物理这些我比较喜欢的学科，我可以享受学习过程。生物、化学相对弱一点，因为需要背。

老师、同学、家长都会劝我：“好好加油，把短板补上，还可以冲一冲。”但我会想，为什么要加油？为什么要补短板？为什么要冲一冲？我不干了不行吗？我不认同这件事。

所以当时我很难通过升学这条路进入清华北大这样的学校。

另一个契机是，我当时非常喜欢打游戏，也很叛逆。别人读高中好好学习，我在升学高中里天天读小说、打游戏。后来偶然接触到一款叫《雨血》的游戏。每个人都有中二的年纪，我当时玩到以后惊为天人，觉得特别喜欢古龙小说，而这款游戏非常完美地诠释了古龙小说的互动形式。

我非常崇拜它的创始人 SoulFrame，于是去了解他的生平，发现他好像是清华大学毕业的。这是我第一次在一条叛逆的道路上走着走着，发现对方其实是正规科班出身的大神。

我就想，原来上清华北大还是很有吸引力的。但我的水平可能不太能考上，于是想到走竞赛保送这条路。可是竞赛保送当时主要是去中国科学技术大学，在我爸妈看来，中科大是非常好的大学，而且离家近；在我看来，它的问题是离家太近。

后来我了解到 SoulFrame 去耶鲁留学，就想我也可以去留学。于是和家里商量，到了高二中间，突然转变成“要不我们去留学吧”。

因为你是古龙的粉丝，所以《雨血》对你来说是一种想象中的社会剪影？

对。它是一种非常纯粹的社会剪影，很多人的爱恨情仇都定格在最浓的那一瞬间。游玩这种故事场景时，会得到很大的心理满足。

这种游戏的受众会是男孩，这是我的偏见吗？

我不知道该不该叫偏见。也许从统计学上看，更多玩家确实是男性，但我心里没有“这个游戏就该由什么性别的人玩”的想法。

这个游戏最让你记住的是什么？

它融合了几个我非常感兴趣的元素。

第一是美术风格。我觉得人是来体验很多不同东西的，这也是我着迷于人文的一个重要原因。它通过场景、色调以及那些非常阴郁、和现实生活完全不同的世界，把你快速拉到另一种可能性中。

很多人会寻求不同的体验，游戏是其中一种很快捷、方便的方式。你可以在游戏里当小卖铺老板、经营餐馆，体验很多不同的人生。我觉得它捕捉了一个问题：如果我成为一个武侠，会是什么感觉？

另外就是那些台词。谁不中二呢？当时会觉得特别酷。具体台词我已经记不清了，可能有些东西太羞耻，已经忘掉了。

但那种非常纯粹的情绪碰撞令我着迷。现代社会里，大多数人怎么会背负血海深仇？但在游戏里可以体验。因为喜欢这个游戏，我不自觉地靠近了创作这件事，也可能潜意识里想过，如果有一天能够创作属于自己的内容，会非常开心。

看看那些已经创作出我喜欢的内容的人，他们是怎么走过来的，我也可以向他们靠近一点。

你没有想过科学家或者企业家的成长路径，反而在构思游戏制作人的成长路径。那你为什么没有去做游戏？

写小说是我创造和宣泄的一种方式；现在做人工智能研发，可能是我对效率的追求。

我骨子里有一种想把事情做得更好的倾向。大学里换过的那些专业，我觉得都对写小说有帮助，只是最后发现，自己真正想要的工作成就感，有很大一部分来自“我把别人做不到的事情做到了”，或者“别人做这件事，我做得更好”。

这可能和国内教育体系中的竞争思维有关。但我确实能从把事情做得更好这件事里获得回报。

到了美国以后发生了什么变化？你经历过文化冲击吗？性格发生了怎样的塑造？

有非常大的文化冲击。

第一，在以前的生活环境里，周围的社会关系非常稳定，稳定到你感受不到它的存在。出了国以后，进入一个完全不同的社会，社会关系要求你重新寻找自己在其中的位置。以前不需要思考的事情，现在要重新思考：这个人说话到底是什么意思？

因为以前已经在那个社会里生活了很久，一切都很自然；到了全新的环境，就不得不调整自己，也能更客观地审视之前所处的社会环境和自己的性格。我对自己性格的认知，很多时候是在不同环境的冲击下才显现出来的。

第二，美国社会比较注重 presentation，也就是如何表达自己。核心可能是，他们想把孩子培养成有领导力的人，让他能阐述自己的梦想，号召很多人一起完成梦想。这和创业者、企业家精神有相似之处。

我所在的大学有很多相关活动和课程，都在鼓励这件事情发生。作为一个非常内向的人，我到了那里以后就觉得，没办法了，只能多说点话，否则真的不知道自己在干什么。

经过这样的环境和关卡，我开始变成比较能和别人说话的人。高中时的我可能不爱说话，但现在的我在交流方面有了很大提升。

两个社会的文化基础有什么不一样？你之前在成长环境里感受到很多不公平，到了美国以后呢？

不公平依然存在，只是中国社会经历过非常高速的发展。

后来我还去英国留学，把中国、美国、英国放在同一条轴上看，会得到一个有意思的感觉。

中国社会，尤其父母那一辈，经历了很多动荡、机会和变革。大家有时会开玩笑说，往上数三代，谁不是在田里种地的人？

美国社会相对中国而言，有一些阶层固化。毕竟它是一个运行了 200 多年的资本社会，很多时候资本获利比个人获利更快，也有积累。

英国社会则更加极端。我在英国时感受到，社会更加固化以后，人们之间的关系、所处的社会阶层以及喜好和品味，会受到非常大的影响。

在这条轴上，当时的中国相对而言最百花齐放。

那美国和英国呢？

英国可能是最保守的。美国有一些保守，但到了硅谷以后，大家好像又抛弃了一些旧东西，重新开始创造新的东西。

你成功从家里逃离出来，离家万里之远，得到自己想要的吗？

在内心世界上，离开的时候并没有特别明确的目的，没有说一定要拿到什么东西。是在路上慢慢发现自己要做什么。

我还是非常喜欢现在投身的行业和工作，也可以说是对技术有信仰。

你为什么后来从经济学回到计算机，去了人工智能？这个转变怎么发生的？

3. Economics Led Her To AI

有很多巧合。命运像一条冥冥之中的线，我只能看到现在这个点。

大学时我在经济系，觉得学到的知识很有意思，但做的事情好像只是把数字揉在一起、跑一跑报表和分析，没有满足我。于是开始探索在大学里还能做些什么。

很巧合的是，大一时我去了一个实验室做研究。

大一就去实验室了？

对，很少见。

美国大学里很流行职业发展，会在大一时就问你毕业后想干什么，要赶紧想好，每天为此努力。所以我大一就开始参加职业交流、制作简历，入学第二个月就开始在网上到处投简历。

大一能写什么？

因为以前参加竞赛，我有一个竞赛同学很有想法，高中时做了一个小软件，还拿去卖钱。我当时也参与了，帮他开发，我们赚了一点小钱，让自己觉得可以从技能中获得回报。

这些都可以写进简历，因为你要想办法向别人证明，你是一个值得信任、可以做很多事情的人。即使是现在的孩子，也完全可能做到这些。比如 OpenAI 曾经有高中生发论文的先例。

当时我大一找到学校计算机系的一个研究组实习，很幸运地遇到了学术道路上的第一位导师，学姐李博。她后来去了芝加哥大学当教授，现在也在硅谷创业。

她为什么选中我，我不清楚，但我猜可能因为我是学经济学的，而且喜欢博弈论。当时她的课题是 adversarial machine learning，也就是对抗机器学习，需要一些博弈论和对抗的思想。

通过这个连接，我从经济学跳到了一个完全不同的方向。在学姐指导下，我比较幸运地写出了一篇论文并得到发表。大二、大三时，因为有了这篇第一作者论文，后来申请博士就得到了一些帮助。

博弈论吸引你的是什么？你为什么对博弈论感兴趣，又通过博弈论去做人工智能？这个连接点感觉非常微弱，但它好像又存在。

粗略归类的话，博弈论经常讨论：如果两个人在玩游戏，他们处于对抗关系，都要做到自己范围内的最好；但在互相对抗的过程中，可能达到一个平衡。你可以通过一些事情引导他们，让对抗达到最优平衡。

这其实是对市场竞争关系的一种诠释。你需要让大家在市场中竞争，最后达到一个对社会发展有益的平衡点。

把这个思想放进机器学习，也有很多应用。大概 2016 年左右，生成对抗网络出现了，它里面有很多博弈论元素：一个生成器和一个判别器互相玩游戏。

不恰当地比喻，生成器在做假钞，判别器要分辨它是真钞还是假钞。这个过程会推动生成器不断生成越来越像真钞的假钞；判别器最后完全无法分辨时，就只能靠猜。

通过这个思想，大家创造了一批图像生成技术。生成器不断生成看上去像真实世界的假照片，经过逐步对抗，最后照片和真实照片几乎没有差别，生成的照片看上去越来越真实。

博弈论在机器学习中的应用非常广，一直到今天，在机器学习安全、帮助机器的思考方式和生成方式更像人类等方面，都有很多应用。

你真正开始做人工智能研究，除了本科那篇论文，是在读博士以后，对吧？博士之后你的学术路线怎么展开？主线是什么？

我在博士期间也换过方向。第一篇论文偏博弈论，所以刚入学时以为自己会做理论机器学习，但做着做着发现更喜欢应用，于是转去做机器人。

在机器人方向，我的研究路线从模仿学习开始，最后做到强化学习。

模仿学习可以理解为：别人已经知道怎么做一件事，给你一个样例，你想办法模仿它，甚至超出这个样例。

但随着模仿学习研究不断深入，我开始不满足。如果永远只是在照抄别人，就不能创新、不能突破，于是转入强化学习。强化学习更强调通过自己的探索突破原来的表现，把上限推得更高。

这和我的性格也有一点契合，所以现在更多做强化学习。

你开始研究机器人的时候，主流是什么？你的方向是主流还是边缘？

2017 年，它是一个新兴但还不大众的方向，也就是把机器学习放到机器人上。

我所在的实验室和导师都更偏传统派。机器人已经发展了几十年，也有很多成功应用，比如火箭上天、火星探索，都用了很多机器人技术。

传统派在 2017 年左右更多讲路径规划和控制。这很符合人的直觉：做一件事情，先规划第一步、第二步、第三步，把它们组成完整计划，再由控制系统逐步执行，保证每一步不出错。

我从机器学习出发，当时就在想，其他领域都可以从数据中学习，能不能让机器人的聪明才智也不是靠我制定规则，而是直接从数据中获得？

这个想法在传统方法主导的实验室里比较小众，我们实验室只有我一个人做类似方向。

你的导师不是做这个的？

不是。他是传统机器人领域的人，来自卡内基梅隆大学的体系，强调一个人要能够做全栈机器人工作：会造机器人，知道怎么组装，懂动力学分析，会做路径规划和控制，还要让它完成任务。

他认为，一个人在极端情况下应该能够独立完成几乎所有任务，所以培养学生也按照这个方式来。我非常感谢这种培养，让我对机器人的上下游有了一些了解，虽然谈不上深入，但至少基本能用。

他对机器学习的态度也很有意思。机器学习刚开始时，大家做的任务看起来比较幼稚。导师会指出，很多任务以前已经有人用更好的方法解决过，你要去学习以前的方法，同时继续做自己的研究。

他给了我一个很好的台阶，让我在传统方法基础上学习，也保持开放的想法。我会把很多机器学习的思路带给他，告诉他我为什么相信机器学习。

传统方法非常依赖 expert。机器学习的一个使命，就是让专家从中间消失，让机器自己学习。

你的导师是 CMU 那个体系的，对吧？

对。

如果你是机器学习的信仰者，为什么会进入他的组？你是怎么开始对数据驱动的机器学习感兴趣的？

因为懒。

这件事其实很有意思。我觉得“知其然，不知其所以然”是一种微妙的状态。很多人在一些问题上会想打破砂锅问到底，但在优化问题里，大家都想把东西优化得更好。

有一类优化问题叫黑盒优化：你不用管它到底怎么运行，只要设计一套系统，能够提供比较好的解就行，不需要知道系统最后是怎么运行的。

这也是 2016、2017 年自然语言领域的一场争论。传统自然语言处理会使用语义、结构等更贴近人理解语言的方式，把语义拆成很多部分，需要专家理解并自动化地喂给机器。

数据驱动的方法虽然也受到之前工作的影响，但运作方式彻底改变了：直接从数据中学习，中间步骤都可以略掉，变成端到端。

我觉得机器人可能也要走这样一条路。

那你为什么会进一个传统的组？

因为当时没有别的选择。2016、2017 年，机器人还不是特别流行，而且非常烧钱。

当时我们的内部笑话是，看隔壁一个很厉害的自然语言老师的组。那位老师是 Yejin Choi，在 NLP 和 common sense 方面做了很多贡献。2017 年，他们花 20 万美元做数据集，还说从来没人烧这么多钱在数据集上。

我就问：数据集烧了多少钱？20 万美元。我的天，20 万美元！你知道在我们这边买一个机器人要多少钱吗？机器人坏了以后修要多少钱？

当时隔壁组有一只 Shadow Hand，价格大概是 50 万到 100 万美元。坏了以后，大家就让博士生们想办法在实验室里修，千万别返厂，因为一返厂就是十几万美元。

还有 Barrett Hand，是一个三指、绳驱的机械手，当时一只就要十几万美元，坏了以后也要修很久。

硬件成本高，而且需要专家知识，所以机器人当时不是流行方向，人数也少，价格非常昂贵。

当时都买什么硬件？

后来逐渐有人买 Franka。当时 Franka 相对来说最便宜。现在看 Franka 也觉得很贵，我忘了具体价格，反正是几万美元，它号称最便宜。

现在还有人用 Franka。我知道 Franka 被一家中国公司收购了，还挺唏嘘的。以后 Franka 会不会出现一个中国版，几千美元就能买到？

现在很多中国硬件大概在 1 万美元上下。从单纯的机械臂角度来说，还不到 10 年，对吧？

你是哪一年读博士的？

2017 年入学。

你从自己的视角回顾一下过去 50 年的机器人历史。

4. CMU Anchors Robot Genealogy

我的视角可能不完整，我尽量复述自己接触到的、有代表性的研究人员。

机器人发展史可能绕不开卡内基梅隆大学。CMU 有自己的机器人研究所，大概在 1979 年、20 世纪 80 年代初开始建立，至今有 40 多年历史。

他们开始研究如何让机器人通过感知去看，然后做决策、执行动作。我觉得“看”和“动”的结合，就是从他们开始慢慢变得流行。

后来他们发展出很多分支：让机器人决策后进入真实环境，做灾后救援；还有 2000 年左右的自动驾驶。CMU 在自动驾驶方面一鸣惊人，大家突然觉得自动驾驶可以开始做了。

2004、2005 年的 DARPA 自动驾驶挑战赛，也就是美国国防部的比赛，刺激了后来很多自动驾驶公司，大概 2006 年前后开始创立。

CMU 后来又发展出很多和我们更相关的方向，比如机器学习、操纵，也就是 manipulation，用机械手做事情；还有研究机器和人在生活中如何共存。

其中操纵方向算是我的祖师爷，所以我了解更多。他叫 Matt Mason，现在仍然活跃在互联网上，有个人博客，会写对操纵的看法。他最有名的一句话是：灵巧不一定来自手指和硬件关节的结构，而是来自大脑如何操控一个简单结构，完成复杂任务。

他认为灵巧的关键不在于手本身，而在于大脑。我的研究也受他影响。博士期间我研究过筷子机器人，用一双筷子做几乎所有事情。

他的学生之一是我的导师 Sethuraman Iyengar。他做了很多路径规划，也做过机器人酒保：机器人如何拿不同的杯子、可乐，再递给人。

除了这个派系，CMU 当时也有很多人在研究腿式机器人和生物启发机器人。Matt Mason 的另一位学生 Sangbae Kim 做了生物启发的机器狗。后来他去了 MIT，做出了 Mini Cheetah，是现代机械狗非常有影响力的奠基性工作之一。

做腿式机器人还有一位知名学者 Marc Raibert，他和 Matt Mason 同期，后来去了波士顿动力。波士顿动力最开始也做狗，但走的是传统派的极致路线。

当时很多人觉得机器人受到电机限制，Marc Raibert 就想做非常好的电机，让机器人完成大家想都不敢想的事情。他确实做到了。具体年份我忘了，但波士顿动力做出了世界上第一个后空翻机器人，告诉大家这件事其实可以做到，也影响了一批学者。

虽然我不是在 CMU 读博士，但我的学术族谱受到了传统派系的影响。

另一边是机器学习派系。更早的事情我不太清楚，可能 Minsky 是 MIT 的学者，可以认为是现代机器学习的创始人之一。

我开始学习时，机器学习入门教材是 Andrew Ng 的在线课程。我大学进入实验室后，学姐告诉我先把这套教材读懂，于是我跟着吴恩达的网课学习。

吴恩达的博士生 Peter Abbeel，应该是最早把机器学习放到机器人领域的先驱教授之一。他现在在伯克利任教授，也是活跃的研究员，同时在亚马逊担任研究部门的领导。

Peter Abbeel 当时做过搭载机器学习算法的飞行器。后来他的学生 Sergey Levine，把强化学习在机器学习领域发扬光大。他们发表了很多论文。

Sergey 现在也是我在 Pi 的汇报对象之一，是创始人之一，也负责我现在做的很多强化学习工作。

Sergey 读博士时学的其实不是机器人，而是 graphics，做图像。他在 Peter Abbeel 手下做博士后时才转型。我很欣赏这种从一个领域转到另一个领域的能力。你能转过来，或者想转过来，肯定是有自己的想法。

我读博士时，机器学习没有太多教材，很多内容是看 Sergey 的视频、论文和他们组里的讨论来学习的。

Sergey 后来还有一位合作者 Chelsea Finn。Chelsea 和 Sergey 都是 Pi 的联合创始人。他们对现代机器学习应用到机器人做出了很多贡献，包括学习算法和硬件设计。

Sergey 和 Chelsea 之前是什么共事关系？

如果我没记错，Sergey 曾经是 Chelsea 的合作者或者 advisor，Chelsea 可能是他的博士后，或者在他那里读过博士后。

他们后来一起创业，做了 Pi。

对。他们学术关系非常好，我觉得两个人很同频，在公司也经常一起讨论问题。

这两个人有什么有意思的观察吗？

Sergey 是科幻小说重度爱好者。不知道别人读 Pi 的论文时有没有发现，Pi 很多论文都会有一个来自科幻小说的引用，基本都是 Sergey 写的。他会思考这些事情。

有人说他非常会写论文标题，我也同意。他是一个讲故事能力很强的教授。

内部有个笑话：Sergey 就像 SergeyGPT。在 ChatGPT 出现之前，伯克利的人已经用上 SergeyGPT 了。论文草稿直接发给 Sergey，他很快就会返回一个超级 polished 的版本，又快又好，像 ChatGPT 的前身。即使 ChatGPT 出现了，在论文修改方面也不能和 SergeyGPT 相提并论。

Chelsea 是一个非常 disciplined 的人。她每天 4 点起床，然后去游泳，游一个小时。她对生活非常有规划，非常 inspiring。

她还有一种动物性的直觉。和她聊机器人的具体动作和表现，她会很快判断这个事情应该是什么样，有很多直觉性推理。她对动作任务有很深的认知。

有一段时间，Chelsea 负责 Pi 的数据收集。她对到底该收集什么数据有很深的理解。Pi 0 的很多任务，背后都有 Chelsea 的推动。因为当时大家不知道能不能做，她会觉得可以做。

所以他们俩是互补的？

我觉得可以这么认为。

这个派系还有其他人吗？

现在机器学习机器人挺百花齐放的。

比如 Fei-Fei Li 带了很多学生进入机器人研究。现在大家比较熟悉的可能有 Yuke Zhu 和 Jim Fan，他们都是 Fei-Fei 的学生，毕业后分别成为教授或带领 NVIDIA 的机器人实验室，负责机器人方向。

华人学者里，宋舒然也是我非常尊敬的一位女学者。她的团队做出了 Diffusion Policy。ACT 和 ALOHA 则是 Chelsea 团队做出来的。这些都是对现在机器学习机器人形态产生重大影响的里程碑式论文。

CMU 派系里也有很多现代机器学习研究者。比较显眼的有 Deepak Pathak 和阿比纳姆。

阿比纳姆是资历比较老的教授，早期做视觉，有很多天马行空的想法。我曾经和他短暂合作过。他无法预测下一秒会说什么，有时他的想法非常有创造性。

他很早就想做自学习机器人。当时他做视觉时就说，视觉经常受到数据限制，那我们不要受数据限制，把机器人放到户外，让它自己收集各种数据，不就打通了吗？

他做的东西有一种野生般的感觉：最终可能真的会走向这个形态。

现在大家更熟悉的 UMI，作为一种机器人收集数据的手段，其实 Abhinav 很早以前也做过类似的东西。他当时在亚马逊上买了一个 5 美元的东西，是一根很长的杆，末端有一个小夹爪，按动杆就能让夹爪夹住物体。他说可以用这个杆去收集数据，和现在的 UMI 有异曲同工之妙。

Deepak Pathak 后来加入 CMU。他以前做过 curiosity，也就是好奇心驱动的强化学习，所以谈到他过去的工作时，更多会把他归类为强化学习领域很有名的学者。

Deepak 和阿比纳姆现在共同创办了 Scale，也是硅谷很有影响力的一家机器人公司，做具身智能大脑。

他和你们一样做大脑？

对，都是做大脑的创业公司。

还有一些大公司也在做大脑。

对。

你从控制、传统派跳到了机器学习派，现在机器学习派似乎成为硅谷创新公司里更主流的方向。但这个博弈关系肯定一直在变化，对吗？

机器人发展了这么久，很多人都有信仰。不同历史时期会有不同的 hype。现在这一波可能是机器学习机器人，之前有做 SLAM 的，也有自动驾驶，或者把 planning、control 做到极致，波士顿动力就是代表。

这些都是不同思想的碰撞，目标都是把机器人做成。

你入学时，传统派占主导力量？

应该是。我记得当时参加传统机器人会议，比如 IROS、ICRA，大家发的论文和我做的完全不一样。我们做的算比较小众。

你有想过转回去吗？毕竟你的导师就是做传统机器人的。

没有。我相信自己做的东西，也做得很快乐，所以相信这个行业。

导师有时会批评我们，因为当时机器学习受算法限制，很多东西在模拟器里跑，真机上跑不起来。他会说：“如果你们满足于只在模拟器里跑，是不够好的。传统派的东西都能上真机，你们也要把东西放到真机上。”

我觉得这其实是在比较早的时候指出，研究发展需要思考如何落地、如何表现。对一个新兴领域来说，如果专门研究新兴领域，可能不太会想落地和表现，但导师来自传统派，这些衡量标准影响了我。

你们会争执吗？

经常会。因为信仰和想法不一样。

我做机器学习的一个很大原因就是喜欢偷懒。如果一件事不需要理解原理就能做出来，我还是会做，对不对？导师会觉得这不优雅，也没有保障。

我说，优雅保证不了，但保障可以多做一点研究，看看能不能补上。

这本质上是对解决问题方法的偏好。我是“黑猫白猫，抓到老鼠就是好猫”这一类，所以黑盒优化很好，只要把任务定义清楚，就用黑盒优化。

导师会觉得，你连力的作用、摩擦力的建模都不懂，怎么做这个任务？我说，说不定这个任务不需要懂这些。我们的目标就是让很多不懂前置知识的人也能把任务做成。

怎样让信息流动得更加轻松，是我们的一个主旋律。

所以你的驱动力很大一部分是实用？

我觉得是实用，而且是一种信仰：怎么把它做出来？在当下时间点，选择我认为最有可能做出来的方法。

传统方法应该让我们受益，但我不认为只用传统方法就够了。大家其实有共识。

如果把问题抽象成投入和产出曲线，传统方法是投入多少、产出多少都比较清晰的一条线。比如波士顿动力做后空翻非常厉害，因为当时没人敢做、没人敢想，但代价是很多工程师不断调参数、适配任务，做到想要的效果。再做一个新任务，仍然需要同样大的投入。

机器学习算法首先是不需要工程师亲自做所有事情，而是通过各种设置让算法自己做，工程师的工作量变小。现在很多很酷的跑酷视频，和那个年代相比，工作量已经不可同日而语。

第二，一旦事情只需要更少人力，交互也会发生变化：怎样让普通人也能交互？

现在 AI agent 刚出现时，可能还是小众工具，因为它有时不好用，需要专家知道怎么使用才能得到更好结果。机器人现在也有点处在这个状态：很多时候可以跑，但你需要专家了解问题，提前修正，才能跑得更好。

总体趋势是，让普通人也能自然地和智能体交互，得到想要的结果。

传统派主导下，机器人发展到集大成的构型好像是狗。为什么那段时间大家都觉得应该做一只狗？

这个问题要问 Sangbae Kim。但我看到狗跑起来，作为机器人从业人员，也会受到启发。

2017 到 2020 年左右，学校里有很多实验室做狗。狗作为硬件平台，可获得性相对不错，可能比机械臂还容易获得。

操纵领域绕不开的问题，是导师刚才说的：我不知道每个物体的摩擦力。话筒、衣服、褶皱，千千万万的事情很难建模。传统思路要求你建模，如果不清楚行为后果，就很难解决问题。

狗的接触更多是瞬时的。腿在地上跑，只要碰一下，很多时候不需要详细搞清楚腿和地面的摩擦力。因此狗可能需要更少的物理知识，而机械臂操控需要更多物理知识。这造成当时狗比操纵器更容易做出好的结果。

机器学习什么时候开始占据主流？从哪一年开始，实验室里一个小众方向变成大家愿意投入资源、更加关注的方向？

身在此山中很难讲清楚，但差不多是疫情前后。

我刚进实验室时做了一些理论工作，也是在模拟器中跑。导师说，在模拟器里跑有什么用，要上真机。

大概 2018 年，我从头做了一个筷子机器人：买组件、组装、写系统、写驱动，让它跑起来，后来又做了很多建模工作。做出一些成果以后，这条路被打通了，实验室同学看到以后会想，如果一个新方法可能成功，就要积极拥抱。

实验室里有人做喂食项目：给行动不便的人使用一台搭载机械臂的轮椅，通过机械臂把食物喂给他。

他们原本的流程很传统：先识别果切的位置，再做路径规划，把叉子插到果切上，再把食物送到人的嘴边。后来他们会想，机器学习如果可以用于机器人，能不能让机器人自己学习或发现更好的路径，而不是只使用别人训练好的视觉网络。

大家逐渐开始讨论机器学习应用到不同问题的可能性，也逐渐接受了它。

你为什么做筷子机器人？

我忘了具体怎么开始的。和导师聊天时突然发了一条暴论：我用筷子能做 90% 的问题。

90% 是桌面操作问题吗？

是夹和放这种问题。

我以前觉得筷子很难，筷子只有两个支点。但如果算法在筷子上都能成功，说明在其他更容易的方法上可能更容易成功。要做就做一个非常难成功的东西，把它做成功，剩下的可能就是工程问题。

这也是我喜欢的研究思路：做一个很难的问题。

我们这个派系其实很相信简单的机械手，认为它很优雅。于是我和导师打了一个赌。

他问我，要不要和别人一起做轮椅机器人。我说轮椅机器人很好，但他们的系统已经写完了，太传统，不适合我想做的机器学习。我想自己从头搭一套。

他说，那你可以自己搭，想搭什么？

我看了一圈，就想做操作非常难的东西。美国电影里有用筷子夹苍蝇的情节，是对中国武术的无限畅想。我的导师是印度人，他说，如果你能把这个做出来，就可以毕业。

于是我从实验室仓库里捡了别人用过、后来没人用的机械组装部件。可以自由组装，这种自由度我很喜欢，于是开始做筷子机器人。

后来做到什么程度？

比较有代表性的工作有两点。

第一是模仿学习。当时想让筷子机器人做非常精细的模仿学习任务。背后的想法是，机器学习天然带有泛化的希望：如果在问题 A 上成功，应该能比较无缝地衔接到问题 B、C、D。

传统派可能会问：你在问题 A 上解决了吗？效果到底怎么样？如果机器学习的终点是“什么都能做，但什么都做不好”，显然不够。

所以我想先把问题 A 做到极致。

我手工搭的机器人没有深厚的硬件背景，显然不是传统意义上最好的机器人，很多力和参数也没有调好。我就想，如果没有数据驱动，我偏要在这个机器人上做出来，因为我相信数据驱动。

我搭完以后跟导师说，这个东西一定能做出来。虽然机器人不够精确，但如果人来遥操作，不管硬件多不准，都能让它用筷子夹起小球。只要操控算法和人一样聪明，它就应该能做到。

即使每个关节都有不一致、backlash 等问题，也应该能用筷子夹起小球。

2018、2019 年左右，第一篇工作做出来了：机器人可以用筷子夹小球。虽然现在看，当时的方法有很多模块化设计，已经有点过时了。比如需要一个外部系统识别小球在哪里，再控制机器人去抓；现在可能更加端到端。

做完以后，我跟导师说还不够，因为夹得慢。我需要不断操控机器人、调整动作，花很多精力提供高质量数据，让它学习得更好。但这样太累了，懒人不能这么做。

我们要让它自己探索，发现如何超越我提供的数据，所以后来研究重点转到强化学习，让机器人在现实生活中不断练习，通过归因变得更好。

这有点像看奥运冠军访谈。要想做好一件动作性的事情，确实要适配一个最适合自己身体的策略，不断锻炼，形成肌肉记忆。对人来说是这样，对机器学习来说，我觉得就是强化学习的过程。

你是做了筷子项目之后才转向强化学习？

对。我从理论机器学习开始，后来不满足理论，想做应用；做应用以后，第一个算法是模仿学习，只能在模拟器里跑；不满意以后做了真机；做真机时先做模仿学习，再做强化学习。

最后的强化学习工作，可以用机械手夹住空中一个不断晃动的小球。人用筷子夹都有难度，但机械手可以夹住，甚至可以夹玻璃球。这种准确度比一般机器学习任务的要求高很多。

回到两个派系。你觉得它们之间有鄙视链，或者价值观冲撞吗？

鄙视链可能或多或少存在。大家相信自己做的东西，对别人的东西没有那么相信。

今天机器学习已经成为共识，但当时的质疑也很正确：如果什么都能做，但什么都做不好，那算法有什么用？

这在当年是很有意义的 concern。很多事情往前看时不知道会走向哪里，往后看才发现能追溯到一些有代表性、有贡献的作品。

我自己的研究受到这种思想影响：希望机器学习至少在一个问题上做到极致。这样别人再把它泛化到其他任务时，可能会更容易，因为可以直接借鉴经验。

泛化和表现之间的冲突，到今天也没有完全消失。传统机器人在工厂造车时，用机械臂把玻璃放到车上，成功率、稳定性、速度都非常有保障。现在机器学习算法的鲁棒性，暂时还没有人能说和传统方法一样，这仍然是研究前沿。

还有一位学者 Jitendra，是伯克利在计算机视觉方面很有贡献的教授。他说过一句很有名的话：

“Robotics is far too important to be left for roboticists.”

机器人太重要了，不能只让搞机器人的人来做，我们也得来做。

这句话有不太友善的解释：机器人太重要了，搞机器人这帮人不行，得我们来做。但我更愿意友善地理解为，要想把机器人做出来，必须有不同行业的人群策群力。

这对今天的机器人大模型很有启示。我是传统机器人出身，关注动作机械本身和表现的精益求精；视觉领域的人有更多引入数据、训练数据的经验；做大语言模型的人有大模型训练经验。

机器人的成功一定要把各行各业放到一起：软件算法、不同领域的训练经验、大模型、硬件，甚至产业链，才有可能真正做出来。

传统派和机器学习派在美国有地域聚集效应吗？

有一些偶然性。

西海岸的斯坦福、伯克利，以及硅谷附近的两所大学，都有很多 machine learning。东海岸也有，但传统派可能更加根深蒂固。

CMU 和 MIT 有很多传统派学者，也有最近 5 年招聘的新兴学者。

还有一个有意思的事情是，不管大家在哪里做，最近两年似乎都在往硅谷跑。我有很多朋友在波士顿创业或当教授，他们也在其他公司担任职位，而这些公司的办公室都在硅谷。

东海岸的传统派已经认为信仰需要转变，还是仍然坚持自己的信仰？

有两点。

第一，很多人都在积极拥抱和探索。原来你有一个工具箱，能做很多事情；现在别人告诉你，他们也有一套非常激动人心的工具箱。你不一定一开始认同，但看到一些东西以后，可能愿意探索和实验。可以结合，也可以换方向，也可以开放一个新方向。这些一直都在发生。

另一方面，传统派的人有很多专家洞察。为了把任务做好，他们经历过硬件转化、工程提炼。如果他们能分享现有项目中的见解，通常都很有道理。

我昨天晚上还在读一篇博客，作者是机器学习出身，后来研究电机。他在文章末尾感谢了 CMU 传统派教授对他的指导。

硅谷现在有很多新公司。刚才你说了 Skild AI 和 Pi，另外还有 Figure、One X、Dyna。能讲讲它们创始人的来历、派别和历史吗？

5. Startups Follow Different Paths

我只能分享自己理解和接触到的部分。

Pi 和 Scale 都有浓厚的学术创业色彩，因为两家的创始人和联合创始人都曾在学校任教授，有些还是高产教授。两家的口号也有些相似，都是想做具身智能的通用大模型和大脑。

区别上，Pi 更多考虑双臂操纵，想解决 manipulation。Pi 里不少人觉得，过去在移动方面已经取得很多成果，现在应该想办法在拿东西、放东西上取得更好成果。

可以有一个暴论：如果能解决 pick and place，也就是拿放问题，可能就能解决生活里大量家务。无非是抓这个东西、放到另一个地方，或者有一些路径限制。这是一个非常值得解决的大类问题。

Scale 相对更多探索腿式机器人、人形和狗，构型更完整一些。但人形机器人如何解决操控性，还没有解决。现在视频里看到的任务相对简单，更多强调移动性，并没有收敛到一种既能很好移动、又能很好操控的构型。

其他公司里，早期就做人形的公司，不得不提特斯拉。2021、2022 年 Elon Musk 的一些言论，激励了不少硬件从业者，让大家产生了做人形的热潮。

Figure 是 2022 年创立的人形机器人公司。据我所知，它的创始人没有技术背景，但有之前成功创业的经历。我觉得他能在 2022 年进入一个自己并不熟悉的新领域，是一件非常有意思的事情，因为他相信这件事。

One X 的创始人据说深耕机器人电机，他们做人形机器人，采用绳驱方式，比较独特。

Dyna 的创始团队有创业和技术背景。如果用一个标签形容，可能是更强调商业部署和落地。

比如他们发布过叠衣服的视频。看他们 2024、2025 年发布的东西，可以理解为：机器学习是不是已经可以真正落地并创造商业价值，而商业价值又能给他们带来部署优势？

随着机器人模型能力提高，大家可能会从研究端逐渐转向部署端。他们可能是比较早做部署的一类公司。

2023 到 2025 年是机器人创业的井喷期。还不得不提 2023 年初的“机器人黄埔军校”，大概是 Google 的机器人研究部门。

时间点很有意思。2021、2022 年 ChatGPT 出现，效果太好了，动摇了很多人的想法，很多人的研究课题发生变化。Google 当时也做了比较大的动作，变相削减机器人部门，为大模型抽调一些人。这影响了很多机器人研究，于是很多人趁机会出来创业。

Pi 的创始人之前都在 Google。Scale 的两位创始人之前在 Meta 做研究员。Figure、One X 也吸收了不少这一波出来的人。

还有 Generalist AI 和 Sunday Robotics，也是从这波人里出来的。它们共同点是更强调 UMI 作为数据采集手段。

UMI 的论文提出，可以设计一个特殊的夹爪，让人拿着它在生活空间里采集数据，并证明这些数据可以迁移到机器人上。因此这两家公司都更加重视这个方向。

Generalist AI 可能更偏工业场景，这是从他们发布的视频推测的。Sunday Robotics 的视频里有更多家用场景，机器人也比较可爱。

这些公司可以理解为做硬件的公司吗？你们两家是大脑公司，Google、Tesla 也是大脑公司？

创业方向一直在变，很难用今天的思维预测明天。

现在这个快照看，Pi 肯定更加注重大脑。我相信 Skild AI 也注重大脑，但它比较神秘，不知道具体做什么。

特斯拉的硬件应该很强，毕竟有很多钱可以烧。机器人硬件研发不是容易上手的事情，不像软件相对容易。硬件产业链、迭代速度和工程师体系都不是一天形成的。

特斯拉有造车经验，所以大家觉得它做机器人有优势。

Figure 和 One X 都是造人形机器人，区别可能是 Figure 使用电机，One X 使用绳驱。

Generalist AI、Sunday Robotics，包括 Dyna，可能也会逐渐设计更好的硬件。但造到什么程度，现在还没有一个清晰说法。

机器人领域有个笑话：如果你是一个认真想把事情做成的机器学习学者，最好造自己的硬件，因为市面上没有一家硬件是拿来就能用、完全符合应用场景的。

之前你还讲过花衬衫。

这是一个很好玩的梗。波士顿动力的创始人 Marc Raibert，在我脑子里已经变成了二次元画像。

现在见到他，他是一个白发老头，穿花衬衫。他在公共场合一直以这个形象出现。波士顿动力后来的 AI 研究所设计队服，也都是夏威夷花衬衫。

据说这是因为他年轻时参加会议，那个年代学术交流非常严肃，不能有丝毫懈怠。他穿了一件不太正式的衬衫参加会议，被人说这样不尊重。从此以后他就决定要穿这种衬衫，还要推广，让大家都可以穿。

所以他身上有一种叛逆精神。

是不是还有一个思维很飘逸的阿比纳姆？

对。阿比纳姆的思想非常天马行空。他还有一位华人学生王小龙，现在在 UC San Diego 任教授。

阿比纳姆做事情像打一枪，你还没明白这枪是什么意思，后来才发现，确实有点意思。他就是一个天马行空的人，和他开会时不知道下一句会说什么。

他说什么会让人很出乎意料？

他的思维像点之间跳跃。

你最崇拜哪位学者？

我能欣赏大家的优点，但我还是比较崇拜游戏创作者、小说写作者。

生活和工作分开，哪个是生活？

人文故事是生活。工作是一种优化，是一种把大家的优点吸纳在一起的纯粹态度。

你会和大模型研究员接触吗？机器人领域的人和大模型领域的人有什么不一样？

肯定会接触。我越来越感受到，要把机器人做成，必须在团队环境里吸纳大家所长，让各行各业的人加入。

举个例子，机器人收了一条数据。大模型的人可能会想，再收 100 万条这样的数据怎么样？然后得到一个数字，再让这个数字越来越好。

传统机器人出身的机器学习学者，可能先想：这条数据长什么样？动作是什么样？当时的硬件条件和环境是什么样？

所以传统机器人出身的人会更在意物理动作。大模型出身的人可能会说，信息不够全，能不能再加一条、补一条。

做很多次机器人以后，会习惯现有感知系统；大模型的人可能更容易跳出框架，思考需要什么信息才能把事情做成。

硅谷大厂做机器人也值得关注，比如 NVIDIA、Google，还有 Tesla。它们的 bet 有什么不一样？

我不能替其他公司讲，只能讲自己的 bet。但从公开信息观察，特斯拉明显押注人形，应该是做人形最激进的公司。

拿手来说，我认为现在有手会很好，但没有手也不是完全不能做任务。特斯拉则更强调终极形态，要把机器人方方面面都做得和人差不多，有很强的人形信仰。

Google 有自己的大模型，Gemini 发展得比较好，尤其是多模态能力。图像生成和修改，已经被很多人日常使用。对 Google 来说，机器人也可以成为多模态的一部分，给模型提供空间感知、空间规划和空间控制能力。所以我猜，它们可能在想机器人如何成为多模态大模型的一部分。

NVIDIA 的江湖笑话是，做所有事情都是为了卖卡。它有很多需要烧大量卡的项目，比如世界模型。但过去一次次证明，有时数据多、卡多，效果真的会上去。

所以大家也期待它能做出什么。计算力更大、更简单粗暴，也是一种美。不过做的时候，每个学者仍然要发挥自己的设计长处。

在 NVIDIA 做研究，卡会更充裕吗？

我当然这么猜。

在不同重心和选择下，各公司软硬件方案有什么不同？

硬件方案大家不会公开讲太多，只能从视频推测。

硬件和软件其实都保密，只是每家公司遵循自己的保密原则。Pi 比较独特，因为有学术界影响，认为大众分享、发表也是研究的一部分。

Pi 的办公室安保也没那么严格，有时可以带同行朋友去看，和大家做思想碰撞。

硬件上，人形和非人形是比较直观的区别。特斯拉、Figure、One X 都强烈押注人形。最大的不同可能是有没有腿。

有人认为，有了腿就是人形，而世界是为人设计的，所以人形机器人在这个世界里最自然，通用性更好。

非人形可能分成实用派和狂野派。

你们是哪一派？

我个人是实用派加狂野派。

实用派认为机器人不一定非要人形，也可以做很多事情。人形的很多问题也许别人去解决，我们可以后面跟上。现阶段最重要的是能力、表现和操控性，这些不需要人形就能做到，甚至已经可以部署到现实生活中。

狂野派就更有想象力了。

车有轮子，自然界中没有这种东西，但现在全世界的道路都是为了让车跑得更好而设计的。也许如果一种形态真的有用，大家将来会为了它改变生存环境。

为什么一定要两只手？四只手、三只手也可以。下面不一定要两个轮子，很多轮子也可以。也许存在一种自然演化无法产生的形态，反而是最好的。

机器人可以更换部件，手坏了可以换。我相信成熟机器人的形态可能是动态组装的：随时可以把身体部件换成更适合当前任务的东西，就像工具一样。

你的实用派加狂野派，想象中的构型是什么样？

现在想不了太多，先把当前构型的表现做好。

Pi 追求通用大脑。直觉上，通用大脑应该适配一个更通用的构型；而人似乎是最通用的构型，因为现实世界都是为人设计的。为什么你们既要做通用大脑，又不选择人形？

“通用”有不同诠释。

做一个具体构型上的通用功能，是一种做法；做一个很多构型都能受益的大脑，是另一种做法。没人说能适配多种构型的大脑不能用于人形。

Pi 的模型在不同形态的数据上训练，也可以在不同形态的机器人上使用。现在看到的只是几个构型，但没有放弃让大脑在不同机器上运行。

这和人操控机器的道理一样。人类可以开车、开挖掘机、控制腿踢东西，也可以控制机械手。都是同一个大脑操控不同构型。

我觉得这是通用大脑最本质的定义，而不是做了一个人形大脑就叫通用大脑。

做一个人形通用大脑，任务相对复杂，做完复杂任务以后，泛化到其他形态是不是更容易？

任务复杂性可以分成几个层面。

人形关节多，同时控制很多关节有难度。但具体任务的难度和人形完全不相关。比如组装麦克风，用人形来做，或者用简单的双臂机器人来做，都是很难的任务。

现阶段对我来说，完成困难任务比用什么构型更重要。如果用简单构型做出复杂任务，将来控制人形可能更简单。复杂构型提供的功能更多，虽然操控难，但灵活度也更高。

Scale 做的通用大脑是匹配通用人形吗？

我们不了解它太多技术细节，只能从视频推测。它可能更靠近商业部署，需要移动，所以现阶段已经开始做人形和狗。

Pi 也一直在和其他机器人公司合作，让不同形态的机器人用上我们的模型。

现在大家把这些组织叫 frontier lab。机器人领域的 frontier 体现在哪里？哪些指标可以描述 frontier？

前沿体现在方方面面，我们要走的路还很长。

一个非常切身的问题是 evaluation，也就是评估。NLP 以前也经历过这个问题：生成一段话，怎么给它打分并不容易。机器人更糟糕，因为必须让模型在机器人上运行，才能知道它做了什么、才能评分。

很多细微变化都会影响表现。比如拿一个杯子，把杯子放在桌子的不同位置，看它能不能都拿起来；换光照、背景、桌子高度；甚至不是桌子，而是柱子支撑；杯子角度不同，都会成为初始条件。

这些无穷的变化可能影响最终表现。评估时希望都测出来，但现实生活中又无法完全控制。

所以机器人没有像其他领域那样清晰的英雄榜。其他领域可以发布一个大数据集，每个模型在上面跑，形成跑马场，客观比较谁是第一名。机器人很难，因为评估本身太难。

每个公司内部都有自己的评估体系，重点也不一定一样。

不过这是暂时的。最终成品应该不会太担心这些细节，大家现在还在探索如何更鲁棒、更宽泛。

现在可以看到一些算法和表现。越往前沿走，越混乱，需要从纷乱中找出一条清晰的线，相信它，再把它夯实。等大家形成共识，才知道什么是比较确定的东西。

研究角度、任务选择上可能分散、百花齐放，但宏观命题其实相似：让机器人在现实生活中完成一个任务，或者很多任务，并且表现好。这个宏大命题需要一个抓手，每个人选择的抓手不同。

我们大多数人没机会看过完整的机器人产线。你能从内部视角讲讲一台机器人怎么诞生吗？

这个问题可以讲到原子级别，但我的工作范围有限，我从认知范围内讲。

如果一个电机已经制造出来，电机就是一个会动的关节。把关节连在一起，就成了一条机械臂。

人的手臂有很多关节和更细小的肌肉；现在机器人一般是几个大关节，比较常见的是 6 个或 7 个关节组成一条手臂。它大致按照人的活动方式来设计：有肘关节、腕关节、肩关节。

把关节放到想要的位置，再做一些 3D 打印件、金属件，或者把材料加工成需要的形状，固定组装起来。每个关节动时，其他部分跟着动，这就成了一条原始机械臂。

机械臂组装起来以后，还要写系统和驱动。最低层是通电、气压等：发出一个信号，它收到后开始动作。

一种常见操控方式是位置控制。比如希望关节从 90 度变成 180 度，就发送信号。关节层需要把上层发来的信号转换成真正能执行的东西，这叫底层控制。

再往上一层，是决定发送什么位置指令。大脑看到当前任务，决定要拿桌上的东西，先把手抬起来，再把肘关节抬起，发给机械关节执行。

执行以后，场景发生变化，大脑再看新的场景，决定下一步向左还是向右。这是一种两层式思想：大脑做决策，把决策变成容易理解、容易执行、方便调试的指令；底层系统再把指令翻译成物理世界中的原始动作。

接下来讲讲 Pi 的工作和你在 Pi 的工作。你们现在的主线和抓手是什么？

6. Pi Progressed From Ability To Performance

了解 Pi 的工作，一个好方法是看 Pi 发表的几篇主线论文。之所以叫主线，是因为我们觉得这些命题能够推动整个领域往前。

现在有三篇主线发表。第一篇是 Pi 0，关键词是能力；第二篇是 Pi 0.5，关键词是泛化；最近的是 Pi 0.6*，关键词是表现。

Pi 0 刚开始时，大家非常激动：有了一个很好的架构，可以用大模型思路做机器人。但没人知道能做到什么，也不知道能完成哪些任务。

Pi 0 的旅程做了三个任务。第一个是大家比较熟悉的叠衣服。2024 年 11 月发表时，它让人耳目一新。之前从没看到过这种级别的机器人叠衣服表现。

第二个是叠箱子、叠纸盒，大家也不知道这种事情能不能做，就试试看。

第三个是桌面上的拿取、放置，也就是桌面清理，但需要处理前所未有的物体多样性。

这三个任务奠定了大模型在过去想都不敢想的任务上能做到什么程度，所以 Pi 0 关注的是能力和表现。

Pi 0.5 关注泛化。机器学习一个根本问题是 in-domain 和 out-of-domain：如果训练后只能在数据内表现好，到了数据外就没用，影响会很有限。

假设你在房子 A 里收集数据，把模型放到房子 B、房子 C，甚至 100 个、1000 个房子里，它能不能表现好？Pi 0.5 就想探索，大模型能不能泛化，以及泛化需要什么条件。

当时我们在很多 Airbnb 里收集数据，进入别人家里完成日常任务。不是受控的办公室或工厂，而是杂乱无章的真实住宅。

论文里我记得大概收了 100 个房子。然后把其中一些房子去掉，看模型还能不能增长。我们感觉曲线在放缓，也许不需要在全世界所有人的家里都收数据后，才能在他们家工作。可能收集到某个数量以后就够了。

Pi 0.5 的标题是《开放世界泛化模型》。

这个标题是 Sergey 润色的吗？

我觉得是 Chelsea 提出的。每篇论文应该都有一个科幻小说引用，都是 Sergey 写的。

Pi 0.6* 回到表现问题：如果什么都能做，但什么都做得半吊子，模型的用处是什么？

Pi 0.6* 就是要回答：如果我们真的想把一件事情做好，到底如何做好？

这是我参与度很高的项目，因为我们是强化学习团队，也是第一篇发表的工作。方法上强调简洁，但最终表现强调：如果一个智能体已经大致会做某个任务，就让它收集自己的体验数据，在真实世界中获得经验，再把数据放回训练池，它能达到比固定收集的数据更好的效果。

这对数据收集有很大启示。

什么叫体验数据？

就是它自己做这件事时收集的数据。

平时收集真机数据，会有一个人用遥操作控制机械臂，在桌面上做任务。数据来自一台绑在桌边的机器人。

但机器人也可以不靠人遥操作，而是自己做，做完把数据收集起来。数据来源可以很宽泛。

以前很多人会说，机器人领域靠人遥操作收数据，既慢又不好。确实可以提升，但有一个隐患：以后可能不能完全靠这种方式收集所有需要的数据。

Pi 0.6* 以后，我们感受到机器人自己的数据也很强。它的起点是人给的，但要超越起点，还得机器人自己在环境中行动。

我个人比较 bullish，甚至有点暴论地坚信，将来机器人应该又便宜又方便。很多人现在担心的数据问题，在时间长河里可能不重要，因为部署的大量机器人都可以把收集到的数据拿来使用。

Pi 0.6* 是一个基础模型，星号的意思是把最后的成品数据放回模型。但真机数据不是很贵吗？

如果机器人可以自己 roll out，不就相对便宜了吗？

真机数据贵，分好几个方面。首先要有真机平台；其次要把平台放到人家家里；还要维护；还要雇人做任务；还要和这个人沟通、规划。这是一个复杂的管理问题。

如果机械设备价格降下来，我个人认为，现在最大头其实是管理数据收集员，让他收集到你需要的数据。如果把操作员放在一边，换成一个已经训练好的大模型，让模型自己在这里运行，数据成本应该能降很多。

硬件也需要降低成本？

硬件永远都可以更便宜、更稳定。现在比 5 年前肯定便宜了很多。

我听说错误数据其实是好数据，也就是错误以后再纠错的数据。

我觉得这是动作的一部分，是 task 的一部分。

这个思想在早期模仿学习里就有。模仿学习一个严重问题是错误累积：每一步的微小错误不断放大，让机器人进入一个完全没想过的糟糕状态，而人类收集数据时不会遇到这种情况。

一旦机器人进入这个状态，可能不知道怎么修正路线继续完成任务。这有一整套技术修复方法。

所以很多人收数据时会强调，不光要收完美的人类数据，也要收机器人进入坏状态后如何修复、如何继续完成任务的数据。

修正数据对机器人大模型表现很重要。但再次强调，修正数据也可以让机器人自己跑来收，这就是强化学习比较本质的东西。

机器人领域有人相信真机数据，有人相信仿真数据。你是哪一派？

黑猫白猫，抓到老鼠就是好猫。什么数据真的好用，就相信谁，而且必须是 practically 好用。

从本源上说，我相信真机数据，但要承认真机数据现阶段比仿真数据贵。

假设有 10 万美元预算，用来收多少真机数据，和用来收多少仿真数据，数量肯定不同。但另一边还要看数据质量、意义，以及什么能让模型做得更好。

如果只有仿真数据，有些任务不太好做，因为存在 sim-to-real gap。不只是 sim-to-real gap，仿真场景本身也很难。

比如在仿真器里做叠衣服，依然是一个半前沿问题。说它半前沿，是因为我还没有看到谁能把它做得非常好：在仿真器里训练，再加一点真机数据，就能让表现很好。

有人认为这是可以实现的，所以在积极推动。但以 2026 年的快照来看，如果任务涉及柔软衣服、摩擦力、黏性等复杂物理性质，仿真器里可能连这样的仿真环境都很难搭出来，也就没法收数据。

所以我非常强调 practically：到底能收到什么样的数据？不要只看“我们有 1000 万个小时的数据”。很可能 1000 万小时都是垃圾数据，那就没有意义。

叠衣服这个场景，是不是用真机数据更好？

叠衣服最简单粗暴的方式就是采真机数据。我们有开源模型，也有一些叠衣服能力，可以拿它作为数据起点。

但你要做的是通用大脑，而不是只实现一个场景。一个固定场景可以通过强化学习解决，采集真机数据，环境相对固定、有限，这是一套可行流程，但不是全部。

如果目标是通用大脑，需要和现实世界交互的大量非结构化数据。

当需要这么大量、丰富的数据时，你押注真机数据、仿真数据，还是混合体？

大家目标是一致的：做一个能在现实场景中、很多不同场景里完成很多不同任务，并且表现都好的智能体。

但真的需要所谓“所有数据”吗？尤其有些数据的相关性还需要考证，需要人研究。

在美好的梦想世界里，所有数据都有用，都有最适合的使用方法。但以现在的现状，真机数据暂时不可替代。

肯定能找到不需要真机数据也能做好的任务。但正因为目标是所有场景中的所有任务，真机数据目前仍然不可替代。

你们做 Pi 0 时，为什么选择叠衣服、叠箱子和桌面清理？这些任务具有泛化性吗？

泛化性在 Pi 0 里更多由桌面清理承担。清理桌面时有几百种道具，随便让数据收集员去收集，换各种物体，发挥他们的想象力。

我也参与了这边一些策略设计。

另外两个任务也有泛化性。泛化不是单一标准，而是很多不同细节。

叠衣服时，衣服状态是千千万万的。衣服多一个折、拐一下，都是不同状态。无论收集多少数据，状态仍然是有限数量，不可能覆盖所有衣服状态。但如何保证模型在没见过的状态下完成任务，本身就是泛化。

还有不同衣服：红色、绿色，不同衣服也是一种泛化。Pi 0.6* 里开始叠更多种类的衣服，也是另一条泛化标准。

所以我不认为这些任务没有泛化，只是它们探索的泛化维度不同。

选择这些任务，是因为知道叠衣服会遇到很多数据中没有的情况。衣服无论是什么，第一步都要摸到它，但怎么保证模型做到这一点？这就是问题。

每家公司评估都不一样。Pi 的评估是什么？哪些指标能确保你们在主航道上？

抽象地说，当然是又快又好。

如果需要一个数字，Pi 0.6* 提出了 throughput，也就是固定时间内成功完成的任务数量。这和我的思想比较一致：做任务时要考虑花了多长时间，以及完成度究竟好不好。

我们还会细化任务成功和失败的定义。一个人或机器人做任务时，有很多隐含含义。怎样保证大模型真正理解人的意思，是开放研究课题：它做的任务，真的是你想让它做的任务吗？

Pi 0.6* 的 throughput 很有意思，因为项目开始前就有一个目标：研究员肯定比不上数据收集员，因为数据收集员更熟练、更喜欢用机器人。

我们就问，能不能让机器人做得比数据收集员更快、更好？最后至少在第一类任务上，明确达成了目标。机器人的表现超过了最好的数据收集员起点。

Pi 还有哪些工作值得讲？

Pi 0 到 Pi 0.5 之间有两篇很有意思的工作。

一篇叫 FAST，研究的是从大模型训练角度，动作应该如何表达。以前使用 Diffusion Policy，动作是一种表达方式；FAST 提出另一种动作表达方法。大模型在这个空间里预测动作，会有性能提升和方法上的保证，是很重要的基础研究。

另一篇叫 Hi Robot，讨论人和机器人交互。人可能用语言让机器人完成任务，但如果完全端到端，一个长达 10 分钟的任务里，机器人可能迷失，不知道下一步做什么。

Hi Robot 第一次比较正式地提出分层结构：一个高层 policy，把语言任务转换成更具体、可执行、更短的小任务；低层 policy 负责执行。它们在同一个模型里，但输出分层。

Pi 0.5 到 Pi 0.6* 之间也有很多发表。我当时忙着做 Pi 0.6*，可能有遗漏。

比较有意思的是 Olympics。这是公司内部一个活动，不定期让研究员和数据收集员组成小队，操作机器人完成非常难、想都不敢想的任务。

因为是人操作，所以它能测试：不管大模型，人类遥操作到底能完成什么？如果人手能完成，机器人能不能学会？这能很大程度推动 boundary。

我们从活动里做出了一篇论文，专门思考如何完成过去别人认为机器人很难完成的任务。先让人用遥操作完成，再让大模型学习，结果成功完成了一些大家原来觉得很难的动作。

完成了什么好玩的动作？

我喜欢高精度任务，比如拿钥匙开锁。

还有开门。刚开始做硬件时，我是最早去尝试硬件能力的人之一。我觉得开门太难了，花了 20 多分钟才想明白如何用机器人的形态把门打开。

后来发现，策略可以优化，优化后机器人能够自主完成。这件事说起来好像不难，但绝对没有那么简单。

Pi 0.6* 之后，我们还在一系列发表过程中。最近刚发布了 Partner。

因为想做通用大模型，要在不同场景、不同机器人上运行，Pi 和其他机器人公司有合作。在 Partner release 里，提到我们和一家叠衣服公司、一家打包公司的合作。他们运行的就是我们训练或使用的模型。

这些公司更接近商业落地。我们目前没有很多商业落地想法，但在帮助已经商业落地的机器人公司做事情，也是在推动研究前沿。

我认同 Partner 触碰了机器人一些本质问题。

我们开始做机器人研究时，做任何事都要知道找谁，而且对方要懂，你才能开始。现在写软件很快，问 ChatGPT、Claude Code，AI agent 可以帮你写很多东西。开发者和研究员有很多已经做好的东西可以直接调用。

但机器人无论硬件制造，还是让软件做一个像模像样的东西，都非常复杂。

我们希望以后，一个人买了机器人硬件，像拼乐高一样组装，再插入我们的模型，就能做很多事情。希望缩短从零开始做机器人的时间。

你们有很多硬件 partner？

不是说硬件有很多 partner，而是我们公司和其他公司有合作。

那你们自己会做硬件，做得有多深？

有些内容不方便透露。但 Pi 0.6* 使用的硬件，是我们自己做的一套硬件，并做了一些优化，包括稳定性和任务便利性。

现在大家批评简单机械手，会说：你用简单夹爪抓杯子，不会把杯子抓破吗？

但为了做咖啡机，我们做了可更换夹爪。做咖啡需要另一种夹爪，成本不高，更换也简单。只有研发以后，才会发现什么是本源问题，什么其实很容易解决。

有的机器人公司为了做通用机器人，会让硬件为软件优化 70% 到 80%。硬件一直为软件优化，你们也这样做吗？

与其说硬件为软件优化，不如说是为最终任务、表现和能力优化。

我觉得大家都在做，因为市面上没有一个已经定型、可以停止优化的硬件形态。大家都在不断做这件事。

有人说 Pi 在机器人领域想对标 OpenAI 在大语言模型领域的地位。Pi 已经发表到 Pi 0.6*，你觉得它能对标 GPT 几？

这个问题很难回答。

我确实认同，Pi 的一部分构想是成为机器人领域的 OpenAI，成为通用大模型的创造者。

至于现在发展到哪里，我每天看到的都是不够好的地方：这个表现不完美，那个表现也不行，我们要怎么改进。或者思考模型是不是还需要大的变革，才能达到真正想要的效果。

我觉得还没有到 GPT-1，但在靠近。

什么时候能到 GPT-1？

起点不一样。

2017 年刚读博士时，我短暂做过一阵 NLP。当时自然语言生成很不好，我想：训练出来的东西天天在写莎士比亚，反复输出“the the the”，因为这是概率上最容易预测的词。

别人告诉我，他们在用强化学习做大语言模型。我说，强化学习已经很难搞了，把特别难搞的 A 和特别难搞的 B 合在一起，怎么可能成功？当时完全不懂。

后来 2019、2020 年人家做成功了。

自然语言和机器人有一些不同。自然语言生成很多文字，但怎么给文字打分，怎么知道什么是你想要的文字，很难。当时我觉得自然语言做强化学习很难，是因为评分含糊、不清晰。

后来随着更多数据集出现，不断建立新的标杆，标准逐渐清晰。

机器人当时有意思，是因为可以做很多 task。你可以拍脑袋想一个新任务，让它去做，这是机器人非常 tricky、但有趣的地方。

自然语言里，你可以用语言描述想让模型做什么，也可以不断补充要求。现在和智能体交流，本质上是用语言表达任务。

机器人在 VLA 出现以前，没有这么天然的交互方式。现在 VLA 出现了，我们也在探索：如果我可以用语言向 Claude Code 提要求，是不是也可以用语言向机器人提要求？

语言要求会影响机器人。在没有很多数据的情况下，也可能完成具体任务。我觉得机器人在数据量远远无法和语言模型相比的情况下，已经做出了很多事情，这是一个很有意思的点。

如果往后推演，大模型公司慢慢都变成应用公司，因为模型商品化、同质化，最后通过不同应用构筑商业护城河。机器人领域会不会也这样？你们今天从通用大脑出发，未来做成不同产品形态？

也许会。

大模型现在依然有很多竞争，竞争刺激研发和对更好模型的追求。我不确定 OpenAI 的产品不能写代码，过去其实也可以。最近大家可能更多使用 Claude Code，但它们都是多功能大模型，没有什么告诉我它们根本做不了某件事。

只是产品形态可能出现分化。一种可能是，有人专门做大脑，有人专门做某个场景的商业化，为场景做很多事情，甚至最后插入别人的大脑。

机器人会出现独立于大语言模型的独立大脑吗？

据我所知，大部分团队仍然是在多模态模型基础上做后训练，做机器人大脑。

独立大脑，是不是专门为机器人做预训练、中训练、后训练，形成完整闭环？

有可能。

但也有一派人认为，所有东西都可以归到一个模型里，而且这个模型还没有被创造出来。

如果有一天存在这样一个模型，能获得所有模态，并完成自动化所需要的任务，包括语言沟通、图像编辑、视频生成、机器人操控，那也是一种可能。那时机器人可能已经包含在训练里。

你们内部看到 scaling law 的迹象了吗？

Scaling law 是一个很 tricky 的话题，因为 scaling 也有很多衡量标准。

我每次看到过度简化的说法，都会觉得不够细。比如 Pi 0.5 研究的是：在 10 个房子里收集数据，到第 11 个房子能不能运行，表现是什么？收集 100 个房子以后，到新房子是不是有进步？收集 1000 个房子以后，提升是不是变小了？

这可以看作 scaling law 的一种探索：要收集多少个房子，才能在新房子里取得一定成果？收集多少个以后，新成果的提升会变得不明显？

Pi 0.5 让我感觉，确实可能存在一个有限数据量就能达到的地方。但现在数据量还是太少，肯定还要更激进一些，这会很好玩。

你们算力够吗？

算力够不够，要看人喜不喜欢干活。如果大家都喜欢干活，算力永远不够，因为永远有新想法、新实验、新模型。

你们卷不卷？

从工作时长看，很多。但不是公司强制你待到几点，而是相对自发。

今天在公司吃完晚饭，和别人讨论起一个话题，就想再往下走一步、再看一看。有时大家工作很长时间，周末也有人去公司，通常是自发的。比如下周想得到一个结果，今天就把实验跑好；或者突然有了想法，就深夜聊天。

你们没有加班工资吧？

没有。

一般早起还是晚起？每天是什么样？

每个人都不一样。有些人住在南湾，每天开车往返旧金山市区，可能就要 3 个小时。

我比较夜猫子。白天即使起床，也可能不在公司，先在家里工作一段时间，给自己一个洞穴时间。差不多中午去公司，晚上有兴致时可以工作到很晚，可能凌晨两三点回家。一般一两点回家，洗漱后睡前还会再工作一会儿。

不用打卡？

没有打卡。

有些研究员家里有事情，比如正在生小孩，就可以在家待很久，但也会继续工作。整体是比较自由的氛围，让你决定什么工作方式最适合自己。

同时公司也希望大家组成团队以后能拧在一起发挥作用。

会有例会吗？

最早有。刚到公司时，例会给我这个夜猫子带来很大困扰。每天早上 10 点到公司，大家轮流说一句自己在做什么。那时公司只有 20 个人。

我跟 CEO 说：“10 点也太早了，能不能改到下午？”

他很震惊，说：“最早是 8 点，后来推到 9 点，再推到 10 点，你怎么还觉得早？”

后来公司人数增加，管理方法改变，现在没有每天例会，只有研究会和各课题组自己组织的会议。

现在多少人？

凭感觉大概 70 个人。我也没有天天数公司有多少人。

你们有几层楼？

还在最初那栋楼里。

这栋楼很有创业氛围，比较朴素。我们来了以后，把硬件、软件都搬进去。

但现在人太多，已经有点坐不下。会议室里有一个二氧化碳检测器，超过三四个人以后，有时突然跳成红色警戒，只能把门打开继续工作。

这说明该换办公室了。

大家都很期待换新办公室，但旧金山创业氛围太浓厚，找一个适合我们的地方不容易。

我们有硬件，办公室里有机器人，还有用电、网络等需求。找到非常合适的地方不简单。

你们的组织和文化是什么样？

现在还没有详细章程，但公司发展快两年了，已经形成一些自发文化。

我虽然没有在其他创业公司待过，但感觉这就是我想象中的创业氛围。大家会主动做自己认为重要的事情。

毕竟创业时大家有股份、有 stake，都希望公司变好。即使不是自己职责范围内的事情，也会想办法做好。

公司比较特殊的一点是研究氛围开放。我和另外一个人会组织读书会、交流会。

比如 Pi 0.6*，实际上参加过两次读书会。第一次是介绍要探索的问题、前人发表和研究做到什么程度，通常有一两个人主讲，其他人提问、质疑。希望大家在课题上产生共同的激情，然后由几个人负责推进。

项目快成熟时，又会开一次读书会，交流做到什么程度，听取大家意见。

也有比较天马行空的读书会。比如 Claude Code 出来以后，大家会说，公司里谁最会用 Claude Code？赶紧让他上台讲怎么用，大家抄作业。

抄到什么？

我当时埋头做别的事情，没有关注太多。后来他们介绍怎么用，我听完以后很震惊，觉得这是生产力的飞跃。

最近两周，我把整个工作流程都改了，感觉和一年前完全是不同的工作方式。

工作效率能提高到之前的多少倍？

从效果上看，应该有三四倍。

但研究是不停打一枪，看子弹落在哪里，再调整子弹。不是疯狂开枪就能打中，仍然需要人的 input。

你们 CEO 的管理方式是什么样？

CEO 是 Carl Houseman。他在公司主管的方向不是特别侧重研究，研究更多由 Sergey 和 Chelsea 负责，所以我和他接触不算多。

他主要管公司的基础架构。公司里很大一部分是研究，但也有很大一部分是保障研究高效、快速进行。

他有点像 Sam Altman 的角色，未来可能做商业化？

可能会，如果需要的话。

你 2024 年刚加入时问过他们是不是做人形、要不要商业化？

对。当时我感受到的氛围是，我们确实不做人形。因为如果他们要做人形，我就不来了。

为什么？你很担心不同背景的人去做人形？

我觉得人形是很值得研究的问题，但绝对不是我现在最想研究的问题。

如果他们做人形，我会担心研究重心变成如何做更好的人形机器人；我的研究重心是如何把任务做得更好。

我相信不需要人形也能做出很好的任务，而且从实用派角度出发，不需要人形可以更快做出来。

比如叠衣服、叠盒子、做咖啡，先做出来的都不需要人形。还有很多无穷无尽的任务等着做。要是把时间精力花在如何让人形机器人跑得更好上，那不是我的工作重点，是 taste 的问题。

如果让任务更通用，未来硬件是多样化的，还是统一到一个硬件？

我觉得可能是多样化。

作为一家通用大模型公司，我们更关注模型在不同机械、不同具身上的表现。

你不追求未来世界都统一成一种人形机器人，对吗？

对。我最喜欢宠物机器人。

我有一个朋友想创业做宠物机器人，我一听就很兴奋，甚至想加入他。只是现在做的事情也是我很想做的事情。

机器人领域有很多纷杂的线，都很有意思。宠物机器人承载的是人文情绪和陪伴，也许陪伴是机器人很重要的方向。

聊了这么久 Pi，你当时为什么加入 Pi？

也是很凑巧。

整个博士期间，我一直坚定地认为要去当教授，但又害怕当教授，因为要写很多 funding proposal，也就是基金申请。我想解决问题，不想做这些事情，这可能是我需要修炼的部分。

ChatGPT 横空出世时，我一拍大腿，觉得稳了：我现在可以当教授了，不怕了，让 ChatGPT 帮我写 funding proposal 就行。

但经历一轮教职面试以后，有了一些感触。

我之前的研究没有很多大模型，虽然做了很多机器学习方法，但模型都比较小。这和实验室氛围、当时能拿到的计算资源有关。大家觉得把任务做好就行，不要想太多其他事情。

教职申请时，我用的是偏传统的研究故事，逐渐感受到大家对大模型的热情，自己也产生了很大的好奇心。

又有一个巧合：Sergey 有一个学生 Abhishek，毕业后来到华盛顿大学，成为我的小老板。我们学校以前没有真正专门做 robotic learning for manipulation 的人。他来了以后说，我们方向很接近，一定要天天交流。

我们确实天天交流。他一方面用 funding 支持我的项目，另一方面和我有紧密合作，想法也相似。

这和我原来导师的交流方式完全不同。我的导师更像一个 critique：你做出了这个东西，但要达到更高标准才行。

Abhishek 和我合作时则是：我有这个想法，你也有这个想法，我们揉一揉，又产生三四个新想法。

哪种方式更好？我觉得都好，还是黑猫白猫，抓到老鼠就是好猫。

和导师多年的合作，让我有很强的求真倾向。我看别人的论文，会喜欢打破砂锅问到底，有时甚至自己做一遍。

Abhishek 给我的则是跳脱的创造力。以前很多时候是我一个人在洞穴里想，但如果真要做成，就得退一步，和别人一起思考、漫想。两种方式结合起来很好。

因为 Abhishek 是 Sergey 的学生，他可能告诉 Sergey，有一个人要毕业了，做这个方向。Sergey 就说可以聊聊。

我本来没想去，因为听说他要创业，觉得和我没关系。但后来想，Sergey 毕竟是学术界非常有影响力的教授，去听听、和他面对面深入交流，也挺好。

当时我去朋友家玩，在湾区路上顺便去了 Pi。他们刚成立一周左右，我坐了一会儿、看了一下。我不知道那是面试，也没人告诉我这是面试。

我就问：“你们在做什么？为什么做这个？”

后来他们反馈说，面试过程中感受到很大阻力，因为我不停问“你们在干什么”。他们原本以为是他们面试我，应该由我回答，结果变成了我问他们。

但聊完以后，我觉得这帮人挺求真。

学术界有很多论文，有时会让实用主义的我无奈。比如想把一个问题做得更好，会说之前做不好是因为某个原因，于是提出一个新问题，但逻辑不一定顺，像是在自圆其说。

我希望找一个和自己想法贴切的团队。和 Pi 的人交流以后，觉得大家都很求真，于是他们给了我 offer。

Offer 有吸引力吗？

我觉得它代表的是一个机会。具体内容并不是最重要的。

对当时的我来说，这个 offer 代表我可以和一个做过很多成功工作的团队一起工作。团队里每个人都很愿意交流，能够到一个新平台做很多不同事情。这才是 offer 最重要的部分。

当时我还在找教职，但最后突然顿悟，觉得要重新想想自己究竟想做什么研究。

以前可能觉得时机还没到，应该先到一个地方，带一些学生。我很期待将来有一天真的进入学术界，带一帮和我们想法完全不一样的人，这会是很值得期待的发展。

但没想到这波变化来得很快，它让我意识到，我必须知道新的前沿能做到哪里、正在做什么，以及我能怎么参与。

所以毕业时，我辞掉了教职 offer，加入 Pi。是一个非常偶然的决定。

我在 thesis defense 的时候，老板还向所有人宣布：“她要去当教授了。”

你当时拿到剑桥的教职？

对。我非常想去剑桥，也拿到了 offer。

剑桥的人文属性和我的个性很贴合。我觉得在那里可以一边做研究，一边写小说。现在在 Pi，写小说只能晚上睡不着时写两笔。

为什么最后一刻辞掉剑桥，来了 Pi？

这和学术界、工业界的运作方式有关。

学术界有一个问题：学生会来来走走。美国学术界可能是 5 年，英国更短，只有 3 年。

如果我招一个学生，想让他放手做开创性的工作，3 年够不够？我自己是半道出家的博士生，不像现在很多非常优秀的本科生，本科就做了大量相关研究，读博士时已经非常了解行业。

如果我招学生，我会喜欢这种学生，也会喜欢那些敢于抛弃过去、探索新东西的学生。但只给他 3 年、5 年，时间够吗？

一个学生来做一个项目，然后离开，可能刚开了一个头。我觉得这种模式未必能做到我想做的事情。

工业界则有算力、数据和硬件支持。机器人是非常多元的。

我博士读了整整 7 年。前一两年和后面做的事情关系不大，但确实对后来有帮助。

开始做真机以后很麻烦。从想搭机器人，到它大概能动，第一次花了 3 个月；到遥操作系统完全确定，又花了 6 个月，都是我一个人做，很慢。

后续过程中不可避免要做全栈，哪里坏了都要自己上。学术界相对单打独斗，很多需要大规模协作的东西做不了。

所以我觉得 Pi 最大的吸引力是，我以前没有真正参与过一个大团队齐心协力地做事情，但我承认这是必要的。

说到博士，我突然想问，博士是越快毕业越好吗？

你看我读了 7 年，你问我这个问题。

我觉得和性格、生活状态有很大关系。我认识很快毕业的人，也认识像我这样的人。华盛顿大学的记录是 9 年。我刚进校第一天就认识了一个在学校待了 8 年、第 9 年毕业的人。

我读博期间做的项目自己都喜欢，没有觉得时间过得慢，也没有为毕业焦虑。没有觉得没毕业是什么问题。

更多时候是纯粹地想：现在做了一个问题，从上一个问题学到了什么，下一个想做什么。是一个连贯、快乐的过程。

博士期间单打独斗的好处是，想休息就休息，想干就干，可以卷到半夜。我是超级夜猫子，通常中午、下午开始工作，做到凌晨四五点，因为可以免费停车，做完后去 24 小时营业的炸鸡店吃两口。

也可以在觉得某个问题思考得很深入、但思维迷茫时，去休息一下。我有一两个项目是在圣诞节度假时突然灵光一现，觉得应该做这个。

这种生活自由度很大。

我见过很多 3、4 年毕业的博士生，他们比今天的我更明确自己想做什么。我更多是在不断尝试，直到最近职业才真正稳定下来。

在 Pi 和 Google 工作有什么区别？它们都在做机器人大脑，Pi 的人也有很多从 Google 出来。

我没有在 Google 研究部门工作过，只在那里做过软件实习。

本科时去 Google，觉得非常快乐。Google 像一群软件工程师给自己搭建的乐园。我在那里第一次学怎么写 TensorFlow、怎么做大规模神经网络训练。

以前都是手写，从头写 CNN、自己做反向传播；到 Google 才发现，原来有别人写好的库，直接调用就可以，太方便了。

我相信 Google 有工程师基因。现在它的研究也体现出这种基因，比如多模态、TPU 架构，都有工程师优化思想。

Pi 说到底是创业公司，可以很轻松地和想交流的人聊天，可以 move fast。昨天有一个想法，今天讨论一下，明天就变成项目。

Pi 0.6* 中间有一段非常大的转变。我们决定收一批新的数据，原来评测数据量是多少，如果想达到目标可能需要多少，怎样快速扩大。

我觉得这可能是我们比 Google 想象中做得快的地方。

你说研究方向稳定下来，是稳定到强化学习吗？

不一定是强化学习，而是做机器人，想怎么把机器人做得更好，尤其是在通用语境下做得更好。

强化学习只是这个阶段的研究重点，不是定义整个研究生涯的东西。

强化学习对机器人意味着什么？解决的是本质问题吗？

7. Reinforcement Learning Improves Through Experience

强化学习是非常本质的一类问题：一个人如何通过体验变得更好。

教科书解释强化学习，经常会讲巴甫洛夫的狗：狗做了一件事，给它奖励，它就知道这件事是好的，以后多做。通过奖励和惩罚，让智能体做出对你更好的动作。

强化学习和人的进化、自我提升有很多关系。

比如学习攀岩、游泳，怎么做得更好？不断做这件事情。追求极致、不停练习，是强化学习非常强烈的因素。

另一个重要部分是探索。探索可以很小：击球点向左移一点，网球表现可能更好；也可以很大：我现在做机器人研究，探索一个方向，未来可能换另一个方向。

强化学习不只是解决具体问题，也是通向通用的一条路。现在大语言模型里也有人用强化学习提升模型：让模型不断尝试、得到反馈，再从反馈中进一步提高。

强化学习系统有几个模块。一个是探索模块：如果要做得更好，就要做以前没做过的事情。怎样选择更有可能成功的方向去探索，是探索问题。

目前我们在探索方面做得还不够多，但这是永恒命题：选择小改动还是大改动，怎么改动，都是算法需要解决的。

在最终的大模型形态里，我觉得它应该对探索有清晰想法。现在的大模型还不具备主动探索能力。

探索直接影响学习进步效率。研究路线选得好，可能有很多好事；如果选到很难的方向，就会影响学习和进步效率。

第二个有意思的问题是归因。比如让宠物做一件好事，它做了一系列动作，最后给奖励，它需要知道到底哪个动作是获得奖励的决定性因素。

Pi 0.6* 里也有类似问题：部署了很多数据，哪一条数据、哪一个步骤做得好，才让整条数据获得关键奖励？

Pi 0.6* 强调速度和质量。智能体做了很多次任务，算法帮助它从大量经验中找到：其他地方可能是垃圾，但这个地方是精华，以后要多做这个精华。

归因像人的总结和反思，是可以长期持有的能力。微观上，可以知道哪一步调整会更好；宏观上，可以知道哪种策略最好。

还有一个教科书不太讲的本源问题，就是任务定义。

大语言模型里，你通常用语言抛出一个问题，问题里包含了它需要知道的任务定义。机器人现在没有这么清晰的联系。VLA 只是开了一个头：我让你叠衣服，但衣服可以用千千万万种方式叠。你怎么知道我想让你叠成什么样？

强化学习里要用奖励函数捕捉这个任务。如果按要求叠衣服，就给高奖励；做得不好，就惩罚。

但设计实用奖励函数非常难。

以前有人在模拟器里用强化学习玩《超级马里奥》，因为游戏有一个分数，优化分数就好。但模型可能发现一个 bug，然后疯狂利用 bug，跳一下就通关所有关卡，奖励函数达到最大。

它会说：我已经优化了你的奖励函数，你还有什么可说的？但实际上，一开始奖励函数就设计错了。

所以强化学习的重要目标，是把人想让它做的事情，和机器能理解的奖励函数紧密结合，而且还要能泛化、鲁棒。

我也提到过强化学习需要奖励信号，但奖励函数很难写。你们有什么发现？怎样把任务写清楚？

我觉得这不只是写奖励函数的问题，而是向智能体传达“你要做什么”。奖励函数可能只是表达方式。

自然语言领域以前也探索过价值函数：做好就高分，做不好就低分。但后来强化学习里最有用的东西之一，是可验证任务。

可验证任务可以独立于奖励函数存在。比如写程序，程序能运行，就可以确定它是好的。

所以传递好坏不一定需要奖励函数。传递好坏可能需要人的 common sense、常识和通用知识。

我相信好的奖励函数可以因地制宜，它不一定以奖励函数的形式存在，更多是给模型信息和表达，让它理解任务。

我前两天聊了一位做 AI for Math 的嘉宾，他们核心想优化模型的可验证性，这对你们有启发吗？

有。

机器人也有一个问题：很多任务没有非常清晰的成功和失败。比如把杯子放到另一个桌子上，在限定环境里比较容易写奖励函数；但在通用层面很难。

叠衣服就是例子。叠得好不好？我自己都不怎么叠衣服。但因为我不叠，我反而能从纯粹机器人任务的角度设计它。

不过设计出来后，每个人观点也不同。

Chelsea 对任务设计很有 common sense，也有 sharp intuition。能举个例子吗？

叠衣服有很多策略。人可以从两边叠，也可以叠成四四方方。语言很难描述不同叠法，但它们确实不同。

哪种叠法好，哪种放到机器人上好？有些人确实能很快凭直觉判断，这个点和那个点之间有差距，或者一个任务虽然看起来很难，但他们会斩钉截铁地说可以做。

Chelsea 有很强的直觉。她也能判断一条数据好不好。

这种直觉来自什么？

我觉得有理解，也和每个人看问题时看重的东西有关。

VLA 会是终极架构吗？未来会怎么演化？

这种 interact 的方式可能是可行的。

我成为 Claude Code 重度用户以后，改变了对交互的想象。以前我有点怀疑，因为我比较内向，不喜欢说话，觉得很多事情是不是不用说话会更好。

而且语言有时无法捕捉全部重点。比如我说“帮我收拾厨房”，可能只是想让你倒垃圾、关橱柜，或者做其他事情，语言无法完全表达。

但 Claude Code 改变了我的想象。你可以先说话，它可能抓不住所有重点，但你可以用语言提供更多 context，让它自己搜索、制定计划。

语言是非常强的逻辑思维和推理方式。我越来越觉得逻辑推理对机器人很重要，所以 VLA 里的 L 仍然有很大作用。

只是 VLA 现在的架构还比较原始。它有 language，但还没有充分探索语言和动作之间的细节。现在语言层面可能只是“叠衣服”，没有详细描述叠衣服时两只手每一步怎么做。

这都是未来方向。不只是输出端加入动作、视频或 auxiliary loss，输入端也可能提供更多 context，让它像大语言模型一样 take in much context。

你刚才说 Pi 押注真机数据。硅谷其他 frontier lab 在数据选择上有什么不同？真机数据是共识吗？

我不清楚别人有没有共识，只能说接触到的信息。

比较明显的是，有些人认为可以把仿真做得更好、更有用，这是非常值得探索的区域。如果他们当前重点是这个，可能相对没那么看重真机数据。

也有人认为直接用人手收数据，比如 UMI。人可以在自己的生活空间里自然、快速地收很多数据，比把机器人送到家里再收要轻松。

这是大家不同的重点。

但我是真机数据的信仰派，会觉得以后肯定还是需要真机数据。既然机器人已经部署，可以收真机数据，为什么不用？

真机数据如何更好利用的研究不会停止。它不光实用，而且机器人真正进入家庭后，本来就会产生大量真机数据。

什么样的数据是好数据？

现在定义还不统一，也不是学术上能清晰解决的问题。我觉得有几个维度。

第一是任务本身。比如机器人在空中挥手，可能没有意义；如果任务是跳舞，或者胳膊按某种方式运动，就更有意义。叠衣服、叠箱子、拿水杯，都是不同类别的任务。

第二是动作质量。机器人如果能把动作做到极致，达到奥林匹克运动员的表现，甚至超越人体极限，这是一种高质量动作。

也可能收到一条质量不好的数据：为了拿杯子，先晃晃悠悠很久再去拿，这种动作质量就不高。

第三是动作覆盖度。刚才说的是一两条数据；从数据集角度看，收集了很多拿水杯的数据，它的覆盖度有多少？包含多少不同场景？彼此差异有多大？

泛化中提到的每个维度，都可以看作覆盖度的维度。

最后，数据提供的是信息。如何从一团数据里挖掘更多信息，包括任务是什么、怎么拿杯子、杯子在哪里、长什么样，这些信息都藏在数据里。

如果有标签，还可以在标签之上继续学习。所以数据集的标签标注也非常重要。

有一种说法，通用大模型团队更关心基础能力层面的 zero-shot 泛化，也就是没见过具体任务仍然能 work；机器人或应用团队更关心具体场景、具体本体、具体任务能不能跑通。两类需求不一样，你同意吗？

我觉得相辅相成。

机器人研究有两个大主题：一个是具体表现如何做到完满；另一个是如何在全新未知领域做出像模像样的东西。

这对应你说的具体场景优化到完美，以及 zero-shot 泛化到全新环境。

实际做的时候我经常感觉，如果能在一个场景中做到完满，可能在更多场景里也能达到更好效果。这些会帮助做出更高质量的模型。

更高质量的模型不只在这两个任务上表现好，在相关、相似问题上也会表现更好。具体任务表现提升，可以提升模型整体能力，这一点我比较坚信。

同时，如果大模型在新任务、新环境下的表现提升到一定程度，也可以马上使用具体的提升手段。

这两个方向就是左脚踩右脚，看能不能上天。

一个是通用 zero-shot 能力，一个是具体任务能力。哪个角现在跑得更快？

Pi 这样的公司发展得比较均衡。它是一个本源性的研究型公司，希望解决研究路上的重要问题。

具体场景可以通过强化学习，那 zero-shot 能力怎么提高？

比较明显的答案是架构和预训练。架构研究、预训练研究都很重要，数据也很重要。

具体场景数据同样可以提升大模型能力。

有人认为下一代架构可能是世界模型，但现在没人能确定世界模型一定长什么样，大家都在探索架构应该是什么样。

每次聊机器人，我都觉得它还很早，离真正想造的星辰大海还有距离。

确实还有距离，但每天、每个月都能感到稳步提升，这种感觉在研究里很难得。

你是哪一年加入 Pi 的？

Pi 是 2024 年 3 月创立的。我 3 月和他们聊，6 月毕业后加入。

2024 年和 2025 年过去这两年，每一年机器人领域最重要的提升是什么？

我不好说整个机器人领域的提升，肯定有很多重要工作，只是我不知道，这在研究中很常见。

从我的体感看，Pi 的主要脉络是从能力、泛化到表现。每次往前走，都会有新发现和提升，像是给领域需要回答的关键问题交了第一版答卷。很多事情还会继续回顾、继续提升。

我确实觉得我们做的一些事情已经有商业化价值，这在以前可能比较遥远，现在感觉挺近。

比如工厂。工厂是一个受控环境的代表，可以通过控制环境，让它更适配当前能力。从表现看，我觉得已经有应用可能，但商业价值究竟有多少，我不清楚。

有哪些任务是 2024 年初做不了，2024 年底可以做；2025 年初做不了，2025 年底可以做？

2024 年初，如果你告诉别人要叠衣服、把衣服叠成一堆，而且衣服是很难控制的东西，我当时会觉得不知道能不能做出来。

还有叠箱子、桌面清理。桌面清理做了很多测试，去试那些觉得机器人做不了的东西。后来发现很多没见过的东西确实很难。

但不确定性逐渐变成了看得见的成功。不能保证 100% 成功，但至少存在成功可能，这个进步非常重要。

2025 年，我们做了 Pi 0.5 和 Pi 0.6*。

一个是进入 Airbnb，另一个是对具体部署任务提升表现，达到单纯靠固定数据难以达到的程度。

不管是需要多少 Airbnb 数据，才能在新房子里取得好结果；还是部署时能不能继续提升，我们都是从实用角度出发。比如叠衣服，不是收 10 小时数据后就直接做强化学习，而是先把数据收集到我们认为继续收也没有太多收益的程度，再看强化学习能不能继续提升。

我觉得通过这些项目，frontier 被摸得更清楚了。

其他公司也有很多有意思的事情。比如 Google Gemini 的空间理解和空间认知。它不是单独的机器人模型，而是多模态大模型的能力。空间能力对于机器人非常重要。

现在还没有特别具体的任务来展示它，但我相信以后会发展。

我也会关注别人用强化学习解决具体问题，比如制造业、组装等，这些都很有启发。

你对 2026 年机器人领域有什么预期？有什么值得期待？

今年肯定会有更多令人惊叹的 demo。但 demo 是一回事，理解背后的进步是另一回事。

我觉得今年会看到人形机器人做操控任务。这已经是比较成熟、可以开始探索的应用。

其次，模型架构可能会有大的变化。

机器人应该对标自动驾驶，还是对标大模型？

更像大模型。

自动驾驶有比机器人难的地方，也有比机器人简单的地方。

比机器人难的是，自动驾驶的 stakes 和潜在危害很大。做出一个决策可能涉及人命，所以对表现完满的要求极高。

我们的日常任务或工厂任务商业化，不需要达到自动驾驶那样的完满，这是自动驾驶更难的地方。

但自动驾驶相对简单的地方是控制器问题几乎没有。车在道路上行驶，可能还有雨雪、泥泞等问题，但更多是决策：下一步怎么开。它的决策空间相对更小。

机器人操控则不同。你不仅要控制一个多关节机械臂完成任务，还要解决目标位置、负载、摩擦力等问题。仅仅让它到达目标位置，就是一个操控问题。

决策方面，叠衣服时手腕怎么转、动作怎么做，有大量复杂动作需要解决。

所以机器人处在自动驾驶和大模型之间。

和大模型相比，大模型可以犯错，大家也习惯它胡说八道，不会完全相信它，所以完满要求不需要像自动驾驶那么严格。

同时，大模型的动作空间高度抽象，可以输出字符，也可以输出策略，有非常多样的动作空间。机器人现在处在两者之间，但当前发展阶段可能更接近大模型。

自动驾驶发展得挺好，已经跑上路了，更多是追求完满和降低成本。

对。它从 A 点到 B 点，可能不需要解决机器人那种“C 点可以、D 点不行”的复杂操控问题。

机器人和自动驾驶谁更像机器？

这是一个比较平行的问题。

过去路径规划和控制范式，可能更接近自动驾驶公司的路线，可以看作它的应用。但现在机器人转向了另一种范式探索，有一点平行空间。

两者可以互相学习。有人用机器学习做自动驾驶，我们也能从它部署和体验中得到灵感。

比如它们跑了很多车，得到一个安全性数字，想进一步提升安全性，它们怎么做？自动驾驶的基础架构，以及自动驾驶大量使用模拟器的经验，都值得机器人学习。

自动驾驶模拟器是谁在做？

头部公司应该都有自己的模拟器，也有一两家专门做公开模拟器的公司，可以付费使用。

所有机器人公司都在争夺的一个背景指标，是谁能第一个出货、进入家庭。这个是隐形竞争方向吗？

我觉得是。

家庭问题非常多、非常复杂。如果你不知道研究方向，就想一想机器人能不能进入家庭。很多问题现在还做不到，怎么做到，是非常自然的研究方法。

家庭有几个难的维度。

第一是环境复杂性。没有两个人的家和卧室完全一样，必须有很强的泛化能力，到了新卧室也能工作。

比如我们做过叠被子，不能保证到新家都能叠，因为每个新环境的复杂度都在那里。

第二是家庭任务的动作复杂性。人在家里承担的家务，边边角角的动作很多，可能列一箩筐都列不完。

这些动作和环境结合起来，对机器人表现提出很高要求。

第三，家用机器人如果作为产品商业化，对硬件稳定性和人机交互安全也有很高要求。

现在不知道哪家公司的硬件能在一个家庭里运行一个月。不只是开机待着，而是完成各种任务一个月。人走路还会被桌腿绊一下，机器人受到这种损伤后要怎么保持稳定？

如果它在人的环境里与人互动，也会有危险。

我看特斯拉 Optimus 最害怕的一点，是它如果在我家里摔倒，我要花多少钱修地板？如果摔在我身上怎么办？我会很害怕。

所以我觉得距离一个优秀的 form factor、真正能在人身边工作的机器人，还有距离。

是不是小一点更好？

比如像宇树那种小型机型？小一点确实给我威胁感没那么大，也可能更轻。重量降低以后，能做的事情、耗电量和安全性都会有很大提升。

但小也有问题。人形的一个说法是，人能做的事情，小机器人也应该能做；小了以后，很多人类能做的事情做不了，那怎么使用人类数据，也是问题。

今年春晚宇树的机器人很火，中国机器人很火。你在大洋彼岸怎么看中国机器人发展？和美国趋势有什么相同与不同？

8. China Leads Robot Hardware

一两年前，看到这个级别的 demo 还只能想象。现在真的做出来，非常令人激动。

它能做到，既有算法提升，也有硬件实力。现阶段从中美产业对比来看，最直观的是中国在硬件和制造上具有领导力、统治力。

很难想象一家机器人公司组装一台机器人，里面没有任何中国零件。我觉得这不太可能。

中国的产业链和制造业优势实在太大，我到现在都不知道美国如果要追，应该怎么追。

算法和硬件迭代以后，中国团队拿着现有算法，距离商业落地可能也有优势。

还有什么不同或相同？

Pi 这样的公司比较独特。我都不好说这是中美差异还是公司差异。

Pi 是一家偏研究的公司，暂时完全不考虑商业化，因为觉得商业化可能是 distraction。这可能也有历史原因。

Peter Abbeel 是 Sergey 的导师。他有两次创业经历。一次是做给学生作业打分的系统，现在美国大学基本都在用，我上大学时也用过。

他还在 2015 或 2016 年创办过一家机器人公司 Covariant，做机器人的通用机器学习方案。

公司发展过程中可能在某个时间点开始深耕物流、仓储。从今天回头看，这对开发通用大模型可能是一种分心。投入当然产生了很多成果，但过早商业化可能使他们失去通用泛化性，把精力放在商业相关事情上，没有追溯本源问题。

Pi 可能受这段经历影响，强调不要过早思考商业化，不要为了赚钱、打通商业闭环，做很多对研究没帮助的事情。先把研究和表现做好，商业化以后再说。

我听说一些中国公司的逻辑不太一样，中国公司可能从商业角度更强调实用主义和回本。

即使在美国，Pi 这样的公司硬件投入不够，或者没有硬件优势，长期会不会成为问题？

要看如何理解硬件投入和表现。

我们没有无限的钱，所以每个方面投入都不够。OpenAI 融了多少钱？我们每天看到都很眼红，也希望有那么多投入，让软件、算法、算力、数据、硬件都变得更好。

不够是没有止境的，每个方向都可以投入更多。

产业优势现在在中国。中国有很强供应链，可以定制机器人，有很多电机和构型选择，成熟方案很多。

大家都在看怎么做最适合自己的机器人硬件。只是没有产业链、制造业这一环，迭代速度可能会慢，能选择的机器也不同。

但硬件毕竟不是一个完全无法解决的问题。搭一个硬件可以搭起来，也可以让它动；难的是让它做有意义的事情，这是软件目前最大的问题。

硬件也没有做完，仍然有发展空间。创新永远是未知数，也许有人做出一种非常简单、但很适合当前算法的硬件。

硬件劣势更好抹平，还是软件劣势更好抹平？

过去几年看，都好抹平，大家一直在卷。

对中国团队来说，follow Pi 就好了，因为你们很多论文公开。

我们很多论文公开，Google 不一定公开，Tesla 也不一定公开。

但即使 Google 公开，想追上 Google 也要先训练一个 Gemini 规模的大模型，这本身就是一个 bar。

同样，Pi 积累以后，即使告诉你怎么做，也不一定有足够的积累可以抄、可以 match。

但竞争永远存在，肯定有人能够 match。

硬件方面，美国的产业链让人不知道该怎么说，只能寄希望于创新。

你们公司其他人关注中国机器人吗？

都很关注，这是不可忽视的一部分。

最近会讨论中国的什么话题？

比如宇树在春晚的表演。大家会在公司群里讨论这个东西可能是怎么做的。

最近读书会我还想过，要不要请这方面的专家朋友来讲讲。我们不太做人形，也不太做 locomotion，可以请他教我们这方面的发展。

大家会持续看更新、更好的东西，学习有没有启发，能不能用到自己的工作上。Pi 或其他公司应该都一样。

你们从外部视角能看懂他们是怎么做的吗？

最近有几篇新论文，可能解释了他们的一些做法。

你知不知道施冠亚？他是 CMU 教授，之前在华盛顿大学做博士后时和他成为朋友，也从他那里学了很多 locomotion。

他们组最近发表了 Omni Target。早期发展大概在 2018、2019 年，我稍微关注过。

很多时候是让机器人走路。走路可能有一个步态，可以简单分成 high-level 和 low-level：高层告诉你希望机器人变成什么样，低层执行如何实现。

步态可以是走路、后空翻、跳舞。执行端以前可能是不停控制，现在可以配合强化学习，达到想要的步态。

强化学习在 locomotion 领域确实取得了很大成功。

美国对硬件的投入够吗？重视度够吗？

美国很多从业人员应该都会同意，硬件还有很大改进空间。

那特斯拉怎么做到的？

特斯拉很神秘，我们不知道硬件技术细节，他们不会告诉我们。

而且特斯拉不只有机器人，还有车。它在美国硬件做得好。有人开玩笑说，特斯拉最牛的工厂是在上海开的，产量最高，我不知道是不是真的。

相对来说，特斯拉已经有制造业基础。

这也和美国教育体系有关。教育专业和就业途径、产业过去的缺失，会导致相关专业不热门，缺少人才。想补上不是一两年能做到的。

美国可能更多依靠移民，希望引进有类似技能的人才，补上一些产业链。但美国修一个地铁站都要很多年，最终能做成什么，我们也不好判断。

你觉得人工智能最后会有意识吗？机器人会有意识吗？

这是一个很抽象的命题。

每次看到“某个机器人意识觉醒了，要毁灭人类”，我都想：希望有人解释一下意识是怎么诞生的。

我们只是生物学小白，但会听科普，很想知道，怎么从物理、化学这些东西里突然诞生意识。我甚至不知道它是怎么表现出来的。

如果认为机器人产生的意识要像人类意识，我有点悲观，想问这真的可能吗？

但如果把意识定义得很宽泛，比如我现在和 AI 聊天，它给我的感觉像一个人，就够了，那也不能说它没有意识。

也许未来大家会期待一种东西：它太智能了，所以看起来像有意识；或者它真的有意识。对我来说，这个问题讲不清楚，但它是科幻小说很好的素材。

机器人种族会是什么样？

我觉得机器人种族很有意思。

我一直很想做机器人可以造自己。这可能是机器人发展的一个里程碑，因为它像一个种族，有延续性，可以通过自我繁殖延续。机器人能够组装、造自己，就是繁殖的体现。

这也是我非常想做的课题。我当时找教职时，就说自己很想做这件事情。

机器人哪里坏了可以修。之前我攀岩摔伤，因为一个部位受伤，就得在家待很久；机器人可以把那个部件换掉。它可以拆、可以改变形态，是一种很自由的存在方式。

甚至可以像忒修斯之船的故事一样，从头到脚把机器人都换成新的零件，连模型都换掉。它还是原来的机器人吗？

公司发展中也会遇到这种问题。原本有一个机器人编号，后来不断修、不断改，已经完全不是原来的它了，唯一联系可能只是编号相同。大家会说，要不要给它起一个新名字？

机器人种族也许会产生伦理问题：上一代机器人做的事情，和我有没有关系？因为我们从头到脚已经没有任何相同零件了。

甚至可以有一个伦理审查委员会，检查它是不是真的每个零件都换新了。

机器人种族是人族的延续吗？机器人会是人类做的最后一件事情吗？

我希望我们做的很多事情能提升生产力，让一个人完成以前需要很多人完成的事情。

但我相信人类的创造力无穷无尽。我不觉得人活着是为了提升生产力。人活着更多是爱与死，这是文学作品中的永恒话题。

即使生产力高度发达，也会有人想做不一样的事情，探索还没有做出来的东西。所以我不觉得机器人会是最后一个造物。

但延续这个角度，我确实觉得一个很浪漫的想法是：我们的生命很短，只有 100 年，放在人类历史、宇宙历史上微小得不值一提。

有没有可能造出一个东西，让它看到宇宙的尽头？

机器学习训练机器人，是一种和上一代人非常不一样的黑盒。训练机器人、训练价值观的过程中，你对人与机器人有什么新的感悟？

它是黑盒，但因为来自数据，所以有边界，是 bounded by the objective that you define。它的过程无法理解，但在数学层面可以解释。

在训练机器人过程中，一个感悟是，它确实可以发挥我想偷懒的天性。

如果一件事能让机器人替我做，我会想方设法让它来做。智能体还没到完全体，但已经能完成一些事情，我就想办法利用它提升生产力，让自己少干点活。

甚至可以有一个暴论：偷懒是不是人类文明的本质追求？提升生产力和偷懒可能是一回事。

另外，我现在工作里很多内容都非常物理、科幻，似乎没有太多人文存在。但我会和写小说、做艺术的朋友聊天，他们好奇机器人进展。我也会像一个用户一样好奇：有一天我们创造出的智能体，能不能在某种意义上超越创作者，离开创作者？

那天会发生什么？

也许机器人会创造一个二维码，每个机器人都觉得这个二维码美极了，让你看了以后产生一种不明所以的感觉。

机器人实现以后，你准备去做什么？

写小说，回家写小说。或者做一个游戏，创造一个完全贴合我喜好的故事，分享给别人，看有没有人喜欢。

冲击诺贝尔文学奖？

可以试试看。

你现在脑子里有这样的故事吗？

构思小说一直没有停止过，写不写出来是另一回事。拖更经常发生。

我会构思一些和现实生活贴近的故事，也会构思天马行空的故事，包括机器人改变社会形态以后会怎样。

如果生产力极大爆炸，家里终于不会因为太乱太脏被爸妈吐槽。不想做的事情都可以交给机器人。

艺术创作也是一样。朋友可能做一些小手工艺品，将来你有一个概念，执行端的事情都可以交给机器人完成。

更远一点，如果有资源，也许可以造一座城堡，到乡村隐居。网上有些古堡拍卖，只要几万美元，但没人买，是因为太麻烦，要修、要找很多专业工种。

现代社会很多工种都很特殊，需要人花时间练习技能、积累知识。机器人或 AI 作为通用大模型，可以随时切换。例如修房子，两个修房子的机器人就可以互相配合，把现在需要找很多不同工种才能完成的事情做掉。

现在做研究也有点类似。以前需要找一个专门的人负责某件事情，他可能有独特洞察；以后问同一个模型，它可能具备很多专家能力。

如果每个人都有可支配的通用生产力，而且每个具体任务都能达到专家级别，就真的会生产力爆炸，能够创造很多现在想都不敢想的东西，做更好的游戏和小说。

你喜欢的小说世界观是什么样？

有两类。

第一类是在完全不同的科幻环境中探索人与人的关系。

第二类是拿一个魔幻题材，放到现代生活里。

第一类比如我看过一部修真小说，但背景是在宇宙里发展科技。这个命题说出来都觉得有点乱，但它探索的是：女主作为穿越者来到未来世界，感受到未来社会制度后，想改变这个制度。

她经历的是和我们非常遥远、但未来某一天可能有人会遇到的 struggle、困境和英雄旅程。

是什么社会制度？她想改成什么？

那个社会里有很多性别对立元素。男性和女性的分工完全不同。

女性拥有一些天生的宇宙空间，所以她们被塑造成一个看起来像女尊的世界。但女主不觉得这是一个好世界。她来自我们的世界，天然不认同这种世界观。

在已经成型的社会里，每个人从小到大要做什么，都受到教育和社会塑造。她想反抗这种塑造，创造一个大家可以自由选择的社会。

她要如何召集盟友，让大家愿意追随她，一起做这件事，是一个有意思的旅程。

第二类是魔幻主义，比如现代社会打工人兼职武林盟主。两个完全不同的世界发生碰撞：一个是和生活息息相关的世界，痛苦和快乐都能理解；另一个是小时候喜欢的、和现实八竿子打不着的世界。

把两个世界放在同一部作品里，让人感受到它们的共通性，很有意思。

我以前经常打网游，需要组队，也当过一段时间队长，负责组队、沟通、处理鸡毛蒜皮的事情。团队遇到进度问题，需要安抚大家、给大家打鸡血，这和现代公司的项目管理有很多相似之处。

你是虚无主义的信仰者吗？

我觉得要看怎么理解。

当我看到一个具体的意义陈述时，很难直接认同。人活着是为了什么，我觉得是无解的命题。

别人试图说服我某件事很有意义，我总想打破砂锅问到底，最后可能得出结论：其实没有什么意义。

这是我虚无主义的一部分。

那人活着的意义是什么？

没有意义。我觉得不需要回答这个问题。

每天激励你过每一天的内在动力是什么？

从某种意义上说，我很幸福，因为我在做自己最想做的事情。

所以你没有预期，也没有目标？

我挺喜欢乔布斯以前讲过的一句话：人生有很多点，走过时看上去毫不相关，但有一天可能连成一条线。

我不觉得每一个点都需要一个马上能够讲清楚的目标来驱动。但现在回头看，我的人生图景已经能看出一些奇怪的点连成一条线，形成了我的历程。

你能预测未来某些点吗？

我想做感兴趣的课题，希望把它们做成 5 年前想都不敢想的东西。如果能做到，我会非常快乐。

这是我接下来 5 到 10 年的期望。

也可能技术发展很快，我会开始做更落地的项目，因为觉得好玩。预期是无穷的，但随着时间推演，会收敛到更确定的道路。

我现在很难告诉你“以后一定要做什么”，更多是觉得做这件事会很好。只有工作中，我们会非常确定下一步做什么。

我们进入最后一些问题。每位嘉宾推荐一本真正对人生有重要影响的书，你会推荐哪一本？

有很多书影响过我，但最近偶尔会思考的是《区分：判断力的社会批判》，英文是 Distinction: A Social Critique of the Judgement of Taste。它是法国哲学家皮埃尔·布迪厄写的，讨论社会阶层和各阶层的喜好，包括衣食住行。

他认为，很多喜好是由社会塑造的。

我推荐它，是因为它让我思考：我喜欢的东西里，有多少是真正自己喜欢的，有多少是社会塑造出来的喜欢。

现在硅谷充斥着生产力崇拜。书里描写的社会可能追求贵族运动，打球、骑马；我们今天也有新的价值观，什么更好、什么不够好，只是价值观发生了变化。

我在工作中热衷于优化生产力，整个硅谷也放弃了衣服、穿着等讲究，强调效率、精简、创造。这何尝不是一种社会价值观？

这是我的人文主义提醒：我虽然在工作中热衷优化生产力，但生产力崇拜本身也只是变化中的社会缩影。

你小时候想离开家乡，想知道外面的世界是什么样。来到外面的世界，今天在硅谷，硅谷高度同质化、高度竞争。你有什么想反抗的吗？

这是一个很有意思的点。

小时候学竞赛会学算法。贪心算法和动态规划经常放在一起比较。

贪心算法是在每个时间点都做最优决策，做当下最好的事情。动态规划则告诉你，如果有全局视角，会发现每一步都做最优决策，并不一定达到全局最优解。

我非常喜欢这个逻辑。

所以很多时候，塞翁失马，焉知非福。一时的成功、失败，是否做到极致，并不能代表长期结果。没有人拥有全能全知的视角。

即使追求优化，我有时也觉得做九分、留一分是可以的。我的求学过程和很多事情，在别人看来可能是从来没有把事情做到最后。

也许机器人会是我第一次觉得必须把事情做到最后，但之前那些没有做到最后的事情，才让我走上今天这条路。

这和硅谷里很多人很早就走上同一条路、一直竞争，有一些本质不同。

全球范围内你喜欢的食物？

西红柿炒鸡蛋。

我希望在人工智能即将到来的时候，留下一些人类日常生活的印记。

全球范围内你喜欢的地点？

我非常喜欢爱丁堡。这是我在英国短暂留学半年里最喜欢的城市。

以前我喜欢一个人待着，但现在很多大都市都差不多，没那么容易感受到进入一个完全不同的物理空间后，整个人的状态发生变化。

爱丁堡有很多保存很好的古建筑，也没有大都市那种喧嚣，甚至有点像旅游城市。大家去看古堡，但在那种城市里会有一种慢下来的感觉。

历史这么沉重的东西放在眼前，而你想在一瞬间做一个很大的动态变化，却不知道这个变化最后会去哪里。站在这些历史遗迹前，会感到一种安稳。

一个少有人知道、但非常重要的知识点。

可以讲一些生理知识吗？

可以。

我上大学时和朋友聊天才发现，很多女性可能对处女膜有一些误解，觉得它第一次发生性行为时会破裂、流血，甚至把这当成一个真理。

但医学上，它叫阴道瓣，并不意味着第一次性经历一定会流血。

这是我和朋友沟通、恶补生理知识以后才发现的。我们对自己的身体构造，竟然有这么多缺失的知识。

在你看来，影响机器人进程的论文有哪些？

太多了，ChatGPT 也极大影响了机器人进程，很难只说一篇。

从发展上看，最近影响很大的包括 Diffusion Policy，扩散式方法；还有 Transformer、ACT，开始用 Transformer 架构做机器人。

更早以前，很多关于模仿学习、强化学习的本源研究，也影响了今天大家在做什么。

基于你当下的认知，一个关键的重要 fact 是什么？

我觉得机器人进入家庭，不一定要一开始就以产品形式出现，可能会更多以探索形式出现，而且距离没有想象中那么远。

我们工作室叫“语言即世界”。你第一次听到这个名字时，想到什么？

我下意识会诠释成“语言就是全世界”，然后跳跃地想到，这不就是缸中之脑吗？

我们其实生活在由所有感官连接起来的东西里。所有感官掌控着我们对世界的认知。也可以想象，我们活在一个巨大的模拟器里，眼睛、鼻子、耳朵都插着信号源，信号源想给你输入什么就输入什么。

现在研究中，大家会说大语言模型是纯语言交互的。上一代纯语言交互的模型，可能不能理解真实世界，不能理解它听到的概念。

放到真实世界里，比如一个水杯，它有很多物理性质，语言无法完全捕捉、描述。这样的反思可能也促成了多模态研究。

所以我们生活在一个巨大的模拟器里吗？

如果模拟器就是世界，那模拟和不模拟好像没有差别。

唯心主义。