133. 对谢赛宁的7小时马拉松访谈：世界模型、逃出硅谷、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42

Hello，大家好，我是小珺。今天这期节目我们来到了美国纽约。此时正是中国的春节，纽约刚刚下过一场大雪，这是近几年以来纽约最冷的一个冬天，街道上还有许多没有化开的冰雪。但是今天这场对话让我感受到了一种冰冻解封后的人间烟火气息。

今天坐在我对面的是华人青年科学家谢赛宁，他刚刚和图灵奖得主杨立昆一起踏上了创业旅程。他们的NeuLab AMI刚刚完成了第一笔超大规模融资，目前团队规模为25人。谢赛宁一直告诉我，他不是那个天选之子，他是普通的那一个。

那接下来就是我对谢赛宁的访谈。

今天早上我们在纽约布鲁克林拍空镜。我很喜欢这里，因为我住在时代广场附近，那里是一个非常刻板印象式的纽约；但来到这里，就像来到了一个充满艺术气息和生活气息的纽约。

是啊，我觉得DUMBO这边当然非常艺术。很多电影里面都有这里的场景，比如韩国电影《过往人生》，里面就拍到了旋转木马，还有那边的DUMBO大桥。

时代广场只有游客才会去，真正的纽约人是不会去的。其实NYU附近也很好，那里叫格林尼治村，也是一个村子，很有生活气息。

你为什么会来纽约做学术？这好像不是很多人的选择。

倒也不是，但这个选择的历史比较长了，确实是各种原因。我比较向往这座城市，向往城市里面的很多元素，也向往这里的人。NYU本身也是原因之一，当然主要的原因还是Yann LeCun，以及人工智能相关的研究。

NYU在AI方面确实做得很不错。另一方面，NYU还有很强的电影学院，我喜欢的很多导演，比如Martin Scorsese，包括最近的赵婷，都是NYU的毕业生。这也是其中一部分原因。

我昨天跟你说，我2013年来美国，到现在大概13年了。我现在的中文和英文好像有一点“后训练崩溃”，所以会出现中英夹杂的问题。观众朋友们不好意思，我尽量解释，多多见谅。

我好像没有在任何地方找到你的播客或者访谈，所以这是你第一次做播客或者访谈吗？

这是我第一次做播客，也是第一次做访谈。你可能能找到很多我在各种会议上的演讲，但这应该是第一次做播客。

为什么你之前这么多年都没有上过播客，或者做过访谈？

我不知道。我觉得我更适合做一个听众，很喜欢听播客。我经常在Spotify、YouTube上听播客，每天上班下班、睡觉前，平时没事都会听一些播客。

我其实也有表达的欲望，私下里跟朋友会聊很多东西，平时跟学生一起聊天也很开心。但播客这件事情，我也不知道，可能是因为没有人邀请我吧。

应该不会，其实应该还是有人邀请过你的。

可能也是因为我比较怕人吧。很多时候我不知道哪些话应该说，哪些话值得说，哪些话大家愿意听。

但我现在觉得，随着年龄变大，也还好，拥有了不被人喜欢的勇气。

1. 偶然走上研究之路

我在网上看了很多关于你的信息，但发现所有人对你的描写，似乎都是从上海交通大学的ACM班开始的。我很好奇，在那之前的谢赛宁是什么样的？

你能不能从你对这个世界最早的记忆片段开始，给我们讲一讲你的童年和成长？

这就是为什么我们不想做播客，因为确实没有准备过。你得让我回忆一下。

最早的记忆当然是小时候，可能四五岁的时候，我妈妈带着我到处旅游。这可能就是我最早的记忆。

在哪里旅游？

各种地方。因为我妈妈也做一些生意，所以会到处跑，全国各地都会去。我记得印象很深，有上海，也有四川，还有各种能想象到的旅游景点。

如果一定要深挖家庭情况，我爸爸是一个纯粹的宅男，从来不出门，但他最爱做的事情就是看书。我家里有一个书房，几面墙都是书。

所以我小时候基本处在这样的状态里：要么在外面跑，被我妈带着去旅游；要么就在家里翻各种各样的书，能看的、不能看的都看一看。

这算是我最初的童年。到了后面，我觉得我们这一代人的成长经历还蛮不一样的。我不知道现在的孩子会不会也有同样的感受，但我大概9岁的时候就有了自己的第一台电脑。

不用来干正事，当然是一盒一盒地买游戏，然后打游戏。后来有了互联网，第一次感觉到信息爆炸，也第一次知道什么叫内容。

那时候我突然有了更多的表达欲。看书还是一个单向学习的过程，虽然它也很开阔，但到了网上，有BBS，可以上网发表意见。我还记得当时有新浪博客，现在可能都没有了，但我写过很多很多博客，关于各种各样乱七八糟的话题。

你最受欢迎的一篇文章是什么？

很多吧。我记得那时候有点“为赋新词强说愁”的感觉。包括QQ空间，大家总想有一个平台去表达自己。后来又出现了更多新兴媒介，比如博客、微博。

不过那时候还不是微博，而是饭否，不知道你听没听说过。饭否是王兴做的，我当时也是饭否的重度用户。饭否现在还能登录，但实在是不忍直视。有时候我看了会想，要不要赶紧删掉，最后还是觉得留在那里吧，让它成为互联网记忆的一部分。

我觉得那时候互联网爆炸式的增长，让我变成了一个对很多事情都感兴趣的人。

所以你爸爸妈妈里面，你妈妈是做生意的，你们是一个商人家庭吗？

也不是。我爸爸本科是学心理学的，之前从事过教育工作，后来也做过一些电视台的传媒工作。

可能跟你是同行。

对。我小时候对他的记忆，就是他扛着摄像机到处跑。

这很有趣。

对，但我家里确实没有人学纯理工科。

这也让你的性格里有一部分蛮文艺的。

可能吧。但我唯一想说的是，在一个非常轻松的家庭环境里成长，确实让我形成了自己的世界模型，而且我对这个世界模型还是蛮骄傲的。

我觉得这也是我为什么会来纽约的原因之一。我希望自己，以及身边的人，都能够更加开放地看待这个世界。

你从小学习成绩一直很好吗？因为你是保送到交大ACM班的。

完全不是。我觉得这件事情是这样的：你看我现在身边有很多朋友，大家其实都是一路从A类走上来的，最好的高中、最好的本科，参加竞赛，最好的PhD，毕业之后去四大教书，有一条非常清晰的主线。

我很崇敬他们，但我完全不是这样。我最多算是一个B类轨迹的人。而且我的很多决策其实蛮玄学的。我并没有刻意在优绩主义的框架下，努力追求某些事情，很多时候还是挺随机的。

可能也是没办法，智商不够。但比如保送这件事情，也非常偶然。当时我有两个信息学和数学竞赛的奖，恰好交大有一个计划，可以提前进校，想招一些同学，让大家不要去高考。

我本来是按照高考的框架培养起来的，应该参加高考，所以当时纠结了很长时间。学校老师都会说：“你怎么能临阵脱逃？你的成绩也很好，当然应该冲一冲清华北大。”

但我的想法是，交大挺好的。我以前去上海待过，觉得自己和这座城市、这所学校气质相投，而且我就是想学计算机。交大那时候的计算机也很不错，我也听说过ACM班。

虽然当时的选拔过程，是提前进校之后参加一个夏令营，进行一些测试，最后才能进入这个班，但我觉得这件事情如果让我再选一次，我完全不会后悔。

你提前进校的那个暑假是怎样的？

那两个月什么也没干，就在寝室里打游戏。

为什么这是你人生的高光时刻？

因为这辈子之后再也没有出现过这样的时刻。当时打刀塔之类的游戏，就是在宿舍里体验我高中时从互联网上看到的那种大学生活。

大学生活里有好好学习的一部分，也有寻找自己、漫无目的地虚度时光的经历。

所以现在你人生的高光时刻是在寝室里虚度时光？

可以这么认为。

你一直在说自己不是成绩最好的那批人，但你其实也很顺，似乎也是成绩最好的一批。为什么你对自己的认知是“我的成绩其实一般”？

还是要看跟谁比。跟那些最顶尖的竞赛选手比，比如我刚刚描述的那种非常顺利的轨迹，姚班大神、四大PhD、四大教授，那我确实远远不如。

但另一方面，我很感恩自己经历的这一切。比如我去交大的时候，交大也不一定是当时计算机、人工智能方面特别领先的学校。到现在，ACM班已经变成了一个很有影响力的群体。当然这跟我没什么关系，但我的学弟学妹、学长们，不管创业还是做学术，都在各个地方发光发热。

而且我们有很强的校友网络，大家联系在一起做事情。我觉得这是一条向上的轨迹。

这里还有一件很有意思的事情。ACM班会面试，面试的时候会有老教授来问问题。当时是沈恩少教授面试我们。他不问技术问题，而是问你喜欢读什么书。

我觉得这件事情冥冥之中有一些缘分。当时我很着急，差点答不上来。我跟他说，我最近刚看完、也很喜欢的一本书叫《什么是数学》，英文是What Is Mathematics?

沈老师接着问：“这本书的作者是谁？”他可能想考考我。我有点懵，因为一个高中生很难记住外国人的名字。想了想，最后还是答出来了，是Richard Courant，理查德·柯朗。

沈老师说：“你一定要记住这个名字，因为他相当于20世纪最伟大的数学家之一。”

为什么这件事情让我觉得冥冥之中自有天意，是因为现在我在NYU所在的院系，就是Courant数学科学研究所。这个系是Richard Courant参与建立的，所以我觉得很有意思。

后来申请学校的时候也一样。我觉得，或者换个角度来说，好像这个世界总是不想让我去做我想做的事情，但我偏偏要做我想做的事情。

2. 视觉成为人生主线

你本科的时候就已经对计算机视觉和人工智能产生兴趣了吗？

对。那时候在ACM班，大家大二开始做科研实习，会到学校的不同实验室里去。我去的是一个做神经科学加AI的实验室，叫BCMI。

书架上放着很多关于意识、大脑、图像，以及我们怎样对真实世界产生认知的书。我看了之后觉得太有意思了。

后来在这个过程中，我认识了一个学长侯晓迪。他当时已经很有名，之前创业过，现在也在创业。每次我跟他聊，他总会说：“这个世界变了，但我们都没变。”他说的是我和他，因为我们每次聊的东西，都像十几年前聊的一样。

那时候他是学校里的传奇。

对。他做过两件传奇的事情。

第一件，是他作为本科生发表了一篇CVPR论文。那篇论文里面是一个非常精巧的算法，一共只有7行代码，解决了一个很重要的问题。

现在CVPR每年接收几千篇论文，投稿可能有几万篇。现在招本科生，大家手里有3篇、4篇、5篇CVPR，可能都不算什么。但在那个时候，在大陆的学校里，本科生能发表顶会论文非常困难，也非常罕见，几乎闻所未闻，所以每个人都很佩服他。

第二件事，是他带领一个团队写了《交大学生生存手册》。应该是他主笔，后面有一个团队一起完成。这个手册现在网上还有存档，大家可以去看一看。

我前两天又回头重温了一下，觉得非常有意思。它讨论人为什么要学习，中国的教育体制、大学模式到底哪里出了问题，你应该把时间花在哪里，怎样达到自己想要的人生。它也会指导大家怎样做研究，做研究的目的是什么。

做研究不是灌水、发论文，而是真正探索无限的未知。当然，里面也会教大家怎样逃课，怎样更快地完成作业，是一个很有意思的小册子。

我也读了一下，里面有一句话：“如果一个人把绩点作为自己的至高追求，那么他就是绩点的牺牲品。”

我完全同意。现在回想起来，这些事情可能潜移默化地影响了我对很多事情的认知。

他发表这个手册的时候，你大几？

大一、大二吧。那时候他已经申请成功，去了加州理工读PhD。我跟他是在网上沟通，因为他也是那个实验室毕业的。

他当时在加州理工读PhD，申请到了很好的学校，我们都非常羡慕。我和他在Google Chat上聊过很多东西。

现在还记得他给过你什么建议吗？

更多时候是在网上聊research，讨论到底应该做什么，跟他讲我的迷茫，问怎样才能发出一篇论文，向他取经。

通过侯晓迪和我看过的那些书，我基本确定了，这辈子就想做这件事。我觉得计算机视觉太有意思了。

那时候“计算机视觉”这个名字还没有完全固定下来，或者说刚刚开始流行。之前大家已经处理图像和视频信息很长时间了，比如image processing，也就是图像处理，更多是从电子工程等专业开始的。后来computer vision慢慢变得越来越流行。

我刚开始学习这些知识的时候，正好是它逐渐流行起来的时间点。

你之前说，这个世界总不想让你做这件事，具体指什么？

交大ACM班有一个特点：每个学生大三都要出去实习一次。现在这很常规，但当时是俞勇老师的一个创举。

那时候大部分ACM班的学生会去微软亚洲研究院实习，实习大概6个月。如果我什么都不做，就会去微软亚洲研究院。

虽然那也很好，但当时没有一个做视觉的组愿意接受ACM班本科生去实习。

为什么？

我不知道。可能是因为那时候马毅老师、孙健老师都在，何恺明当时应该也在那里。他们可能不喜欢有太多什么都不懂的本科生来参与研究。当时那里确实人才济济，但我们真的什么都不懂，现在我也能理解。

当时还有一个选择，就是去微软亚洲研究院，但不做视觉相关的研究。俞勇老师也跟我说，本科生现在最重要的是有一段研究经历，学会怎样做研究，具体做什么方向不是那么重要。

但我觉得不行。我没办法接受去做一个完全不一样的方向。我希望对这个领域有更多了解，踏踏实实地做一些事情，希望有朝一日能像侯晓迪师兄一样，发表一篇CVPR论文。

侯晓迪那时候已经是你的偶像了？

有一点。他是很多人的偶像。

所以我开始琢磨该怎么办，然后就开始发邮件，联系了新加坡国立大学颜水成老师的实验室。这件事完全是我自己联系的，也没有告诉俞老师。

等到敲定我可以去实习，对方已经有补贴，时间和安排也都确定下来之后，我才去找俞老师。我说：“俞老师，我实在不想去微软亚洲研究院，我想去新加坡国立大学的这个组，做我想做的研究。”

俞老师沉默了几秒。我猜他的想法可能是：“这个学生怎么这么刺头？”

因为在老师心中，微软亚洲研究院是更好的选择。

对。一方面是更好的选择，另一方面也能让大家一起去，便于管理，也有更多synergy，大家可以互相交流。

但俞老师最后说：“好，你去吧。”

我非常感激他。他没有阻止我，反而允许我去做自己想做的事情。

后来，颜水成老师的实验室就变成了我学弟学妹可以选择的实习地点。所以我觉得，还是要发挥主观能动性，take initiative，去做自己想做的事情。

在当时还很早期的时候，图像相关的人工智能到底吸引你的是什么？它为什么让你做出这么多不一样的选择？

因为我感受这个世界的方式就是通过视觉。

小时候我可能比较无聊，会想：人有这么多感官，如果一定要让我去掉一个，我会去掉哪个？也许我听不见，也许我不能说话，也许没有触觉、嗅觉，我会过得很悲惨，但可能还能接受。

但如果我没有视觉，那我不能看动画片，不能看电影，也不能打游戏，似乎丧失了一个人的独立性。

这些最开始的想法，和后来我在书里看到的内容也很吻合。视觉信号占据了人脑皮层很大的区域，主要视觉区域可能占整个大脑的30%左右，但当你看到图像时，整个大脑被激活的部分可能达到70%。

所以我们都是视觉动物。

不只是人，生物也是。

对，不只是人，所有动物都可能是这样。但也不完全是这样。

大约5.3亿年前，地球上的生物还没有眼睛，很多生物生活在深海里，那里暗无天日，光线照不进去。突然有一天，一些生物发展出了视觉，虽然还很弱，只能看到一点模糊的信号。

但这时候它们就很厉害了，因为它们能看到捕食对象在哪里，可以快速游过去把它吃掉；也能看到天敌，发现有东西要来抓自己，就立刻逃跑。

一旦视觉诞生，其他生物在进化过程中就不得不发展出更强的视觉。因为如果你的视觉不够强，就会被吃掉，于是展开了一场军备竞赛。

这就是所谓的寒武纪大爆发。寒武纪之前，地球上可能只有屈指可数的一些物种；过了寒武纪之后，突然像爆炸一样出现了几十万种物种。

一个主流理论认为，这种大爆发的来源，就是生物在视觉层面展开的军备竞赛。

所以视觉不只是人特有的事情，动物也是这样。

而且视觉其实不只是一个感官。有一种说法是，眼睛是大脑的一部分，却是唯一暴露在真实世界中的大脑部分。其他大脑区域都藏在头骨后面。

这样想的话，解决视觉不只是解决视觉本身，而是要解决智能本身。一切都可以串起来。

从你还没有正式进入大一、在宿舍里打游戏虚度时光，到你找到计算机视觉这条人生主线，中间发生了什么？

其实没发生什么。很多时候都来源于偶然。如果当初没有看那本书，我可能不会走上这条路。但有时候我觉得，这也是一种必然。

我现在还蛮信命运的。我有时跟学生说，不要想着“我不做这件事，别人就会把它做了”。你要想，如果你不做，这件事可能永远不会在这个世界上发生。

这是什么意思？

比如你现在在做一个研究课题。你是怎样一步一步走到这个节点的，完全取决于你之前个人的人生经验、成长背景，可能是你看过的一本书，可能是你和某个人的一段对话，也可能是你的基因和别人不一样。

每一个个体在这个世界上都是独立的，每个人都是这个世界的一个变量。谁说得准呢？也许你就是这个世界上最重要的那个变量。

这是你的世界观。

我觉得这是我乐观的一面。

你在新加坡国立大学获得了自己想要的东西吗？

我觉得获得了。首先我交了很多很好的朋友。带我的主要导师是冯佳时，当时他还是PhD学生。他带着我做了一些工作，我们发表了一篇论文。

不是顶会，本科还是没能发出CVPR，但发表了一篇还不错的BMVC论文。这是一个没有那么顶会的计算机视觉论文，但我收获很大。

我第一次真正知道research是怎么回事。真正写过一篇paper，和没有写过，差别还是很大的。

这是你关于计算机视觉的第一篇paper？

可以这么认为。但其实它和计算机视觉也没有太大关系，唯一的应用是人脸识别，更像一篇机器学习论文。

不过那时候也很正常，所有学计算机视觉的人都在做类似的事情，比如manifold、clustering相关的工作。那是2012年、2013年，刚好也是AlexNet出现的时间点。

所以我在那个时候知道了AlexNet，知道了ImageNet，也知道了深度学习。那是一个原点，是我刚开始做research、学习怎样做research的原点，也是整个深度学习发展的一个原点。

这是你大三的时候？

对。这个时候大学也快结束了，所以我在本科期间就找到了自己的主线。

你当时的内生奖励机制是什么？

还是好奇心。我想知道为什么。

我也不知道自己的intrinsic motivation到底是什么，但我希望了解更多，了解这个领域更多的事情，希望和这个领域最顶尖的学生、研究员、老师有更深入的交流。

这也是后来我决定出国、申请PhD的原因。

你也有很多清华姚班的朋友。你觉得清华姚班和交大ACM班最大的差别是什么？

可能ACM班没那么卷。但这个差别其实也是俞勇老师的设计，他是一个很伟大的教育家。

我们当时的课程设计里有很多看起来很奇怪的设定。比如有一门课叫“学子讲坛”。大家要在课上花45分钟到1个小时做一个presentation，做一个talk，但不能和学习有关，可以讲这个世界上任何事情。

有人讲哲学，有人讲历史，有人讲社会，也有人讲科学。大家在相对宽松、强调通识的环境里往前走。

你给我的感觉，好像不是一个喜欢过度竞争的人。

我不惧怕竞争，但确实不喜欢过度竞争。我觉得过度竞争一定不利于创新。

当然ACM班也不是没有竞争，其实竞争很强。

你在这个竞争中是优胜者吗？

至少没有被淘汰出去。其实也不能叫淘汰，大家只是判断自己适不适合，然后选择继续留下来还是出去。

你本科大概排第几？

一共三四十个人，可能十几名，没有特别卷自己。

你想过成为ACM班第一名、第二名吗？这是你的追求吗？

我成为不了，真的成为不了。我没有很强的竞赛背景，而且评价标准本身也是多元的，不好说谁是第一名、第二名。

如果只看GPA，我确实做不到。但我也受《交大学生生存手册》的启发，不是那么在意这件事情。

所以你从那时候开始，就非常追随自己的兴趣。

对。我会追随自己的兴趣，并且想方设法促成这件事情，申请的时候也是这样。

你去了新加坡国立大学，没有去微软亚洲研究院。

对。申请PhD的时候，还有另一个故事。当时差点没有offer，虽然最后还是有一些，但没有一个是我想去的、做计算机视觉的老师给的offer。

这让我非常沮丧。一度我想，或许可以做推荐系统，做一些更偏机器学习的研究。

后来我开始疯狂给大家写套磁邮件，涂志文教授回复了我。

但这已经非常晚了。大家接受PhD offer通常4月15日截止，我是在4月才收到他的回复。

你当时最想去的老师是谁？

那时候做计算机视觉的老师不多。涂老师是我非常敬佩的老师，所以是我的top choice。

当然，斯坦福、伯克利、MIT也有很多计算机视觉先驱，但那时候都超出了我的能力范围。

我给涂老师发邮件，他回复我以后，我还记得因为有时差，他问：“要不要打个电话？你什么时候有时间？”

我说：“我任何时候都有时间。”

所以我半夜3点在宿舍楼下和涂老师打了一个电话，告诉他为什么我想做这件事，之前做过什么，以及为什么欣赏他的research，为什么觉得我们可以一起工作。

后来涂老师把我捞起来了，非常幸运，在最后几天把我捞起来了。

但后面还有转折。涂志文教授当时在UCLA，我拿到的也是UCLA的offer。我办好签证，准备入学，结果入学前大概一个星期，涂老师告诉我：“不好意思，我要跳槽了。我在UCLA待不下去了，要去另外一个地方。”

他当时也在面试，所以不能告诉我去哪儿。

他告诉我有几个选择：可以留在UCLA，交给其他老师；也可以等一等，看看他那边的情况。如果他去了一个我愿意去的学校，我可以和他一起去。

所以你等了吗？还是马上就说选择他？

我基本上马上就说选择他。

你不在意学校吗？

我不太在意学校，而且这件事情现在回头看也很有意思。

如果当时看UCSD，综合排名可能不如UCLA。但现在完全不是这样了。如果看计算机科学排名、AI领域招聘、学生和师资储备，UCSD已经是前几名的级别。

当时我还很想和Serge Belongie合作，但他也刚决定离开UCSD。所以一切看起来都很绝望：我要去的地方排名没那么高，师资也在外流。

但我想了想，这些都不重要。重要的是我和谁一起做什么事情，这件事是不是我想做的。我想抛开所有噪音，只关心这一件事。

这件事情发生过好几次。在交大是一个向上的轨迹，去UCSD也是。我能看到一个地方，甚至一个人的upside potential，愿意和这些地方一起成长，这是我体会很深的事情。

你多久知道涂老师去的是UCSD？

可能隔了一两个月。

你当时有担忧吗？

当然有。涂老师是一个非常谦虚、能力极强的人，他总会给我打预防针，说他要去的学校排名可能比较靠后，让我考虑一下。

但当时还没有到真正做选择的时候。为什么要为没有发生的事情提前忧虑？所以我没有想太多。

在和涂老师沟通的学生中，有其他人做了这样的选择吗？

应该基本没有。我是他在UCSD招的第一个学生。

光凭这一点，涂老师应该就很喜欢你。

我觉得是他救了我。当然不只是最开始把我捞起来，在PhD做research的过程中，他也真的帮到了我。

我之前在新加坡实习，可以说还只是小打小闹。有一个人在旁边手把手教你做事，感受是不一样的。

涂老师是那种会坐在你显示器旁边，跟你一行一行代码往下看的老师。

他也会很骄傲地跟我们说，他发表过几篇对后来的计算机视觉有重要影响的工作，而且都是独立作者完成的。

那些工作没有现在这样的PyTorch、开源社区、各种库，也没有GPU。他要从底层开始写，比如做图像分割，要从头写大概5万行代码。那些代码包括底层的distributed training，全部是C++写的。

我觉得自己很幸运，不需要经历那个阶段。但另一方面，美国这一代科学家和教授真的令人敬佩。如果没有他们，也不会有我们的今天。他们闯出了一条原本不存在的路。

当年发表一篇CVPR论文非常困难，也有一个固定的圈子。要靠涂老师、他的导师朱松纯教授，包括后来李飞飞老师等人，把这条路走出来，我们才有路可走。

我看到有个小红书评论说，谢赛宁在国内表现平平、平凡无奇，到了美国一鸣惊人。你觉得变量到底是什么？

首先，我不接受“在国内平平无奇”。其次，我也不接受“在美国一鸣惊人”。

我觉得自己经历的是一个很平滑的过程。我希望自己作为一个研究人员、科学从业者，处在一种不是瞬间荷尔蒙或肾上腺素爆发，而是终其一生建设、宁静发展的状态。

我最崇敬的研究人员，都是这样的状态。他们没有一鸣惊人，至少他们做事情的方式和目的不是为了“一鸣惊人”。

他们是为了把问题想清楚。

你的博士期间是怎么展开的？

3. 博士研究的非线性

博士期间也很有意思，主要是靠涂老师手把手带。

从现在的标准看，我也不是一个特别成功的PhD学生。我一共发了五六篇顶会论文，那个时代应该还行，能找到顶尖实验室工作的水平。现在我的很多学生，论文数量和质量都比我当时好得多。

一开始我们做的工作叫Deeply-Supervised Nets，是我和另一个高年级博士生合作完成的。那是2013年、2014年，深度学习刚开始爆发。

那时候很多人不接受深度学习，尤其是做计算机视觉的老师。大家觉得深度学习像炼金术、黑盒子，更相信传统机器学习理论、SVM，或者贝叶斯方法。

现在从历史后视镜看，转向深度学习似乎是不需要思考的选择，但当时做出这个选择需要勇气。涂老师很及时地完成了这个转身，这件事情对我影响很大。

Deeply-Supervised Nets做的事情很简单。之前的神经网络都是single stream，一条长链，有输入，最后得到输出。DSN允许网络拥有多个branch，在不同出口施加监督信号。

这样做的好处是，你不必只从最远端的信号一路反向传播到最前面的层，也可以从中间节点反向传播，解决一部分梯度消失的问题。

这和后来大家做ResNet有些相似，都是在解决类似的问题。虽然已经过去12年，但现在一些论文又会用到类似的设计，有时甚至没有意识到这一点。

我的第二篇论文叫Holistically-Nested Edge Detection，也就是HED，做边缘检测。

我对这篇工作也很骄傲，因为它真正解决了一个research问题。幸运的是，它是一篇不错的论文；不幸的是，问题解决之后，后面没人继续做，所以引用数反而少了很多。

这项工作的本质，是把Deeply-Supervised Nets应用到图像边缘检测，也就是全局的pixel labeling任务上。

它让我发现，神经网络的每一层都有隐含的结构和信息。神经网络不只有输入和输出，中间层也代表了这个世界的hierarchical structure。

在边缘检测中，初级层输出的边缘比较粗糙，越往上边缘越细致。最后可以把不同层的边缘融合起来，得到更接近人类认知的边缘结果。

这让我对深度学习有了新的理解。它可以是一个black box，但你又能打开这个black box的每个部分，加入新的灵感，实现新的目标。

这篇论文发表在ICCV，也得到了一个奖项，是Marr Prize的提名，不是最佳论文奖，只是提名。但对Marr Prize来说，提名本身就相当于一个奖项。

当时我确实觉得自己年少成名。现在中国学生在世界舞台上拿到best paper的太多了，但当时对我来说，走上那个舞台、做award presentation，对我的触动很大。

我会觉得：“我的人生开始了。”我以为自己会不断努力，拿到越来越多的best paper。

很不幸，那是我最后一次拿best paper。

当时是博几？

博二。到现在，春节大家发短信还会祝我“新年快乐，best paper多多”。我说已经过去10年了，每个人还这么祝我，但我再也没有拿到。

你还想要吗？

这是个好问题。我觉得这件事对我已经没有那么重要了。

一方面，我知道这个流程，知道拿不拿best paper不一定代表工作的好坏。另一方面，我也知道当初拿到那次honorable mention，很大程度上是运气。

论文能不能被接收，能不能得奖，是一个非常随机的过程。如果一件事情这么随机，就不应该是研究人员真正关注的事情。

所以你到了博二，感觉人生终于开始了，然后现实立刻把你打翻在地。

倒也没有那么夸张。我要再次感恩涂老师，他非常开放，允许我们探索各种不同方向。我在PhD期间一共实习了5次。

即使在今天，学校和产业合作已经非常广泛，我觉得这也很难想象。

你为什么想去实习？

4. 实习打开研究世界

我想走出去看看。可能就像小时候旅游一样，我想知道世界不同地方、不同组织里发生着什么，有哪些人在做哪些事情。

而且我一直想做人工智能、计算机视觉，但我也会问自己：What if I'm wrong？万一这个世界上有另外一件更有趣的事情发生，怎么办？

所以这也是我的一个motivation。

你去了NEC Labs、Adobe、Meta、Google Research和DeepMind。

对，是这5个地方。前4个都在湾区，那段时间其实很开心。

每年夏天，我会把宿舍转租出去，开着自己的破车，从南加州开到北加州，大概8小时。有一两次会和朋友一起，大部分时候都是自己在路上。

所有身家都在车里，两个行李箱，什么都不带走。因为房子也没了，回来之后要重新找房子。居无定所、流浪式研究员的生活，我还蛮开心的。

这5家里面你最喜欢谁？

各有各的特点。我最近也跟学生说，有些学生实习没有做出什么好的工作，我会拿自己举例。我说我做过5次实习，有一半也没做出什么东西。

每次实习多长时间？

一般是3到6个月。我大概一半时间在学校，一半时间在湾区，DeepMind那次在伦敦。

我会尽量diversify，希望每个地方都给我不同的经历。

NEC Labs是我第一个去的地方。我在那里发表了一篇CVPR论文，有很多很好的同事，主要是华人。大家中午、下班后会一起去Cupertino吃饭。

我非常喜欢那个集体，也喜欢大家做研究的态度，而且发表了自己的论文，所以非常高兴。

NEC Labs当年也是深度学习的聚集地，余凯博士也在那里待过。

是的。它有两个地点，一个在Princeton，一个在Cupertino。做vision、media相关的人大多在湾区，做传统机器学习的人集中在Princeton。

在Adobe我没做出什么东西。Adobe是一家非常艺术、非常有艺术家气质的公司。当时我在旧金山，做一些和design、crowdsourcing有关的事情，也就是通过互联网、Mechanical Turk获得用户反馈，用来指导机器学习和计算机视觉任务，比如segmentation。

但我没做好，还对mentor心怀愧疚。当然他们都很友善。这次经历让我体会到，没做出什么东西也没关系，不是世界末日。

但那段时间我还是比较消沉，一直持续到去Meta实习。那时候在学校里好像也没做出什么有趣的工作。

到了Meta，实习只有3个月。前两个月我主要在探索和神经网络架构有关的东西，但没有探索出什么名堂。

突然发生了一个转机：何恺明加入了FAIR。

这是我第一次和何恺明共事，也是第一次向他学习。那时候还建立了深厚的友情，因为他第一次来美国，人生地不熟，不会开车，我会开车带他出去吃饭、送他回家。

他后来学会了开车，也不会用Linux。微软当时只能用Windows编程，所以我还教他怎样使用cluster、怎样用Linux。

但你会发现，何恺明之所以是何恺明，不是没有原因的。他身上有一种光环，或者说现实扭曲力场。这个说法来自Steve Jobs，意思是周围的人受到他的影响，会觉得现实发生了扭曲，本来做不到的事情，慢慢竟然可以做到。

何恺明有这样的魔力。

你那时候实习期只剩一个月，为什么能建立起深厚的友谊？

一方面是生活上的交流。另一方面，我的manager把我交给何恺明，因为我做得不好，也没做出什么东西。何恺明来了之后，manager说：“你来带一带，参与参与讨论。”

那时候还剩一个月，何恺明说：“要不我们一起参加ImageNet Challenge？”

何恺明在微软时就是通过打ImageNet比赛，一步一步做出那些工作的。所以我们也去参加这个比赛。

过程中我们发现，之前想到的一些思路其实是合理的，是很好的思路。这个idea是我提出的，但何恺明的魔力在于，他能把普通的东西变成金子。

于是我们做了ResNeXt，这是参加ImageNet Challenge的一个solution，最后拿了第二名。

我觉得从效果上来说，我们可能是第一名，因为第一名是ensemble solution，把之前的一些算法融合在一起；我们是一个全新的框架。

ResNeXt想讲的是怎样通过改变神经网络架构，学到更可扩展的representation。

原来的ResNet是串行网络，只有一层一层的卷积层。ResNeXt把它平行扩展成多个group，每个group里有自己的小网络，相当于一个大网络里面平行分布着很多小网络。

从现在的说法看，这有点像MoE。我们当时至少在ImageNet上看到了一些scaling behavior：group数量越多，网络越稀疏；网络越稀疏，宽度越大；在相同计算量下可以得到更好的结果，收敛更快，最终结果也更好。

这和现在大家探索MoE有一些相似之处。

这个工作算何恺明ResNet的延伸吗？

算。为什么叫ResNeXt？何恺明说，这是“谢氏ResNet”。X既代表Next，也代表给了我一些credit。

何恺明是一个很会取名字的人，后面很多论文也是他帮我们取名。他会把人的名字藏进去，但不是每次都这样，只是一个巧思，也是research taste的一部分。

为什么要把你的名字藏进去？

我不知道，也没问过他。

你们当时共事多久？实习期有延长吗？

这些事情全部发生在最后一个月里。这样的事情不计其数。

我很多很好的工作都是同样的节奏：一开始怎么做都做不出来，到最后突然一瞬间灵感迸发，把事情收敛起来。

Research从来不是线性发展的，或者说，线性发展的research永远不是好的research。很多工作都是非线性的。

后来我结束了那段实习，但我们的友谊保持了下来。

去Google的时候做得也还不错，我开始了解视频是怎样处理的。这些实习都和我以前做的东西不一样，每段经历都对应不同的topic，所以导致我最后的博士论文表面上很分散。

但我还是能找到一种方式把它们串起来。

在Google时，我研究了视频神经网络的架构和训练流程，也收获很大。

既然你在Meta和何恺明合作得很好，他又是非常有名的AI研究员，为什么不留下来继续跟他合作，而要去其他地方？

这是何恺明的建议。他会建议每个人去不同地方实习，这样才能最大化收获。

当时包括我、王小龙在内，大家都实习了一次，当然也都愿意留下来，但何恺明说：“你们去其他地方看看，也许会有不一样的收获。”

但你博士毕业以后回到了Meta。

对。Google之后我去了DeepMind，那段经历对我启发很大。

DeepMind当时已经被Google收购，但仍然是两个不同的organization，因为它主要在伦敦。我去那里做RL相关研究，因为我不知道这件事是怎么运作的，想去看一看。

那段时间做得很痛苦，而且伦敦冬天很冷。我晚上工作到10点、11点，从地铁出来，凛冽的寒风夹着雨打在脸上，衣服和帽子都挡不住，一步一步回到临时宿舍的小屋里，还是很辛苦的。

但这段经历的启发很大。第一，我发现自己好像不喜欢做RL相关研究，也不喜欢做机器人研究。因为当时做的是在虚拟环境、模拟环境里完成embodied agent任务。

更重要的收获，是我对DeepMind这个组织建立了认知。我觉得这个地方和之前去的所有地方都不一样。

他们有不同的管理模式，有很多PM协调不同研究团队的运作，也有不同的working group。大家有很多bottom-up的想法，但同时有一种top-down、有组织、层级化的管理模式。

一开始是纯粹探索的idea，大家可以有自己的小组做early study；一旦某个东西成型，就会进入更加top-down、更有组织的管理模式。

我觉得这非常有趣。

现在回想起来，我之前在Twitter上也讲过，当时Demis会和很多intern见面。有人问他：“DeepMind的使命到底是什么？这个公司最后想成为一个什么样的公司？”

他的回答是：“DeepMind最终会成为一个能拿多个诺贝尔奖的公司。”

当时我们都觉得太ambitious，像天方夜谭，只是在做AI而已。但现在看，他们至少实现了一步。我非常敬佩他们。

AlphaFold整个团队，就是在我实习的过程中逐渐衍生出来的。我能看到哪些人在做这些事情，一开始也有intern参与，然后一步一步从探索性的idea变成有组织、重视执行、最终彻底改变世界的项目。

我们稍后再重点聊组织问题。我在想，你是不是实习太多，所以后来没有best paper？

可能是。或者说我做的东西太多、太杂。

你从博几开始实习？

第一年开始，和博士学习交织在一起。我的时间线确实被打乱了，可能失去了一些注意力，但这是我自己的设计。

怎么把这些事情串起来？我博士论文的题目是Deep Representation Learning with Visual Structure，大概是用结构化先验指导我们学习更好的深度表征。

这件事情已经过去很多年，但我发现现在做的事情还是它。去年11月或12月有一个workshop，主题是Representation Learning with Structural Priors。我给了一个talk，在最后说，过去12年，这个workshop的主题现在仍然是frontier。

我们讨论它的意义可能不同，但这也是我一开始想研究的问题，直到现在还没有完全解决。

一方面，我PhD期间的时间线有点支离破碎，因为在不同地方做不同事情；另一方面，如果你研究的是representation learning，这也是不可避免的。

它像种一棵树。Representation是树根，树长起来之后要有不同枝桠，每一枝就是一个downstream application。

我做过图像识别、图像分割、边缘检测、视频识别、动作识别，后期也做过embodied RL。这些问题都是枝桠上的分叉，不是根。

我希望更多地种这棵树，把根扎得更深，而不是只在枝桠上走得更远。

我觉得这就是deep learning的核心。Representation learning基本等价于deep learning。

给大家解释一下什么是representation learning。

这是个好问题。我之所以喜欢说自己是做representation learning的人，是因为这件事很难定义。

从数学上讲，可以认为有一个数据x，要把它map到一个space。这个space会有一些性质，这些好的性质能让你在下游任务上取得更好的结果。

所以你要学习的，就是从原始数据到一个具有良好性质的空间的映射函数，这就是representation learning。这个函数不只是简单映射，也可能是一个hierarchical的层级化映射。现在主流的实现方式，当然是用非线性神经网络来实现这个函数。

我愿意说自己做representation learning，是因为这是一个永恒的title。这个领域发展太快了，很多时候我们做的事情很快就会换名字。

举一个负面的例子。PhD刚毕业的时候，Neural Architecture Search非常火。这个topic耽误了整个领域大概两年，大家在错误方向上发了几千篇论文，最后没有太多收获。

如果你说自己是做Neural Architecture Search的，两年后可能就要改行，要把网站上的研究方向删掉，换成下一个fancy的词。

Representation learning是一个fundamental问题，是一个永恒主题，也是一个还没有解决的问题。

PhD期间我也遭受了挫折。比如Deeply-Supervised Nets，一开始投NeurIPS，得分大概是8、8、6，或者8、8、7，最后还是被拒。

原因很离谱：论文里一个数学公式应该有平方项，但我们有一个typo，把平方漏掉了。PC说这个错误导致数学上不成立。Rebuttal时reviewer没有看到我们的解释，所以不能修正。

现在看不可想象，因为大家可能不会特别检查公式，也相对宽容。但当时大家会抠这些细节。

后来我们把论文投到AISTATS，去年拿到了Test of Time Award，也就是时间检验奖。这个奖是评价10年前发表的论文，哪篇对领域影响最大。

所以我突然释怀了。做研究是一个长期过程。我也会跟学生说，不要在乎每个时刻的成败，不要在时间轴上的每个点估计自己做得好不好。

最后所有评价都会变成一个积分，需要时间积累。你之前做过的所有事情累加到一起，才决定你是不是一个好的研究者。

但在那一刻你还是会很沮丧。

非常沮丧。那时很难想到10年以后。

你博士毕业时，对自己的人生有什么期待？你觉得应该走科研还是产业？你做过这个选择吗？

那时候一直不自信，没有想过找教职，因为觉得自己不配。

为什么你在每一个阶段都觉得自己不配？

现在好一点，但也不是完全觉得不配。只是和那些peer相比，他们沿着既定轨道一步一步走向教职，而我不在那条路线上。

如果你要找教职，至少当时不应该去5个地方实习、做5个不同项目。这对找教职非常不利。留在何恺明的团队里，可能会发更多论文，得到更多结果，更顺畅地通向一个确定的目标。

但我只考虑自己应该去哪里，做最想做的事情，最好和最想共事的人一起工作。这个想法其实很单纯。

5. 两次拒绝Ilya

找工作时，各个大厂也有不少offer。我还面试过OpenAI，经历挺特别，在一个小黑屋里待了五六个小时，做一道题，出来时天都黑了。

我对那个体验很奇妙。面试题是一张A4纸，铅笔手写，一行一行写下来。这件事对我触动很大，我觉得那个地方很有意思。

最后我当然也拿到了offer，但没有去OpenAI。

这是哪一年？

2018年。那时候如果我去了OpenAI，可能现在也是LLM的一员，也许吧，我不知道。

但当时我没有想太多。我想去FAIR，如果FAIR给我offer，我一定去。

你想去FAIR是因为何恺明？

何恺明、Yann LeCun和Ross Girshick，也就是当时计算机视觉的“三驾马车”。他们不是那种已经功成名就的大学教授，而是中青年研究员，但都是最顶尖的人。

他们在那里做最顶尖的计算机视觉研究，对我来说没有什么好选的。

当时很有意思，Ilya给我打电话。我什么都没说，就把OpenAI拒了。他们给我发了offer，我说不去，抱歉。

Ilya打电话说了什么？

他有点生气，问我为什么不讨论一下就拒绝，是不是他们给的钱不够。

多少钱？

记不太清楚，当时其实非常低。2018年顶尖PhD毕业生的工资大概是40万到50万美元，现在至少翻了3倍。

Ilya当时语气很严厉，但也没说太多。我只能搪塞几句，说自己不能去。

他为什么要亲自打这个电话？说明他招人很用心，也可能没被拒绝过。

我不觉得他没被拒绝过。2018年的时候，他应该经常被拒绝。

因为那时候的FAIR，在很多方面对顶尖PhD毕业生来说，比OpenAI更有确定性，更开放，更像学术环境。至少在我身边，如果有这样的选择，大家都会倾向FAIR，除非真的要做OpenAI已经擅长的事情。

你很顺畅地拿到FAIR的offer吗？

也没有那么顺畅，一路都很坎坷。

我去FAIR做了一个talk，但当时没有经验。正常job talk应该讲45到50分钟，再留10分钟提问，但我讲了半个小时就结束了。

大家面面相觑，不知道怎么办。下面的研究员给我很大面子，提了很多问题，才把时间撑到45分钟，不至于太尴尬。

后来何恺明告诉我，大家觉得这件事很不常规，怎么能这么快讲完；还说以后面试都这样也挺好，半小时讲完，省大家时间。

你为什么这么快讲完？为什么不遵守规则？

我不知道有这个规则。这个规则其实是学术界job talk的惯例，没有人告诉我。大家只说11点有一个talk，但没有告诉我具体规则。

当时FAIR本质上是一个学术机构，运作方式是PI带着年轻人一起做事情。

我加入FAIR时，可能是前几个能够加入的fresh PhD graduate。之前他们不招刚毕业的PhD，只招像何恺明一样已经做得很好的研究员。

所以我也比较幸运。

FAIR当时确实像AI研究的圣殿。

是的，我没有过多纠结其他可能性。

关于Ilya，我一共和他打过两次电话，那是第一次。第二次是2024年7月，SSI刚成立，他发邮件问我愿不愿意一起工作。

你又拒绝了他。为什么？

因为我刚在NYU开始工作。我和他主要讨论的不是工资，而是怎样赋予未来的人工智能爱的能力。

我们讨论了哲学。最后我问他：“你怎么看多模态？怎么看计算机视觉，或者更一般的感知模型？”

Ilya的说法是，他觉得这件事已经解决得很好了。

所以我觉得，SSI可能有自己的、基于语言的路线，但至少现在这不是我想设计的路线。

这是你们底层的分歧，到底是LLM还是视觉？

我不觉得这是分歧。我觉得这是一个有机体，大家只是在不同地方、不同时间做不同的事情。

我很喜欢一句话：兄弟爬山，各自努力。大家在各个地方做自己的事情，没有问题，不需要拼得你死我活。

LLM和我想做的事情并不冲突。没有LLM最近的发展，也不一定有现在计算机视觉的状态。

你们讨论“如何赋予人工智能爱的能力”，有结论吗？

结论是这件事很重要。因为如果没有爱，我们面临的是一个非常不确定、非常危险的未来。

但有爱的同时一定有恨，它们是一体两面，不可能只有爱。它学会爱之后，一定也会知道爱的反面是什么。

我完全同意。这已经上升到哲学命题了。

我想反问一句：为什么人会信任自己的孩子、信任人，却会担心和恐惧AI这个新的智能实体？

我没有答案。但我觉得有一些地方可以通过技术手段控制，让AI变得更可信、更安全、更controllable。

这也是为什么要做世界模型。

他为什么想找你？

不知道，可能他联系了一千个人、一万人，我猜。

我们那天在纽约街头一起走、排餐厅的时候，话题自然延展到了那些对你很重要、影响过你的人。

在你的分享里，“人”这个因素占据了你很多选择的很大比重。为什么人对你这么重要？你的个人简介里还清楚写出了哪些合作者对你很重要，这非常少见。

这件事情少见吗？我觉得一点也不少见。这就是学术圈里很常见的行为模式。

大家会形成social network，而这些人决定了你的认知。他们可能是你的学生，也可能是你的老师，但不一定总是老师教导学生，有时也是学生反过来教导老师。

所有这些关系构成一个巨大的graph，人与人之间相互联系。

这也是research、science特别奇妙的地方。人与人之间的信任、欣赏和感受，不一定要通过共同生活或成为朋友建立起来，很多时候是通过scientific discovery、通过research建立起来的。

我可能了解这些人的个人生活，但这对我来说不是最重要的。我更像是透过他们的论文了解他们的想法。

这才是research的意义。Research不是为了发论文，我不认为发论文是目的。

那目的是什么？是对人有利吗？

何恺明跟我说过，发论文的本质是把knowledge share出去。论文不是为了给别人看，而是为了让别人看完之后有事情可做。

别人理解了论文中的一些内容，会觉得自己的视野被打开了。这就是对别人有帮助，也就是启蒙别人。

更浪漫一点说，这是汉娜·阿伦特的观点。她说自己不在乎impact。学术圈会说发论文的目的是创造impact，但我对impact这个词有一点抵触。

为什么？

她说impact是一个过于aggressive、过于男性化的词。她做这些事情的目的不是创造impact，而是理解本身。

如果你理解了一件事情，把理解写下来，无论是一篇文章还是论文，传播出去，就有可能让更多人对这个问题产生和你一样的理解。

这件事一步一步传导下去，会形成某种共鸣。她会在其中找到一种“家人”的感觉：自己理解了一件事情，告诉别人，让别人也能够被理解，这说明那些人也在一定程度上理解了自己。

人作为社会生物，是需要被理解的。

她把“影响力”这个词用一种很柔软的方式表达了出来：在谋求理解。

我很赞同。创造impact本身没有问题，但如果是以我为中心——我要创造impact、我要改变世界——这个世界的人同意我这样改变它吗？

世界上的很多灾难，可能就是因为大家想创造impact、想改造世界带来的。

如果我们做的研究，能让世界上的人对问题多一层新的认识，地球上的智能总量就会提升。智能总量提升，永远不是一件错误的事情。

你希望被更多人认识和记住吗？你对fame有需求吗？

我当然没有这个需求。或者说，站在我现在的角度，我是某种虚假fame的受害者。

现在大家会把我们的论文放到小红书上议论，甚至说“三大会”、宣传工作。但我从来没有要求任何媒体宣传。

我还跟学生说，千万不要去小红书、知乎宣传自己的工作。你可以解释、评论自己的工作，但不要宣传自己的工作。

为什么在X上可以？

要看怎么定义宣传。我在X上更多是把事情凝练总结，告诉大家是怎么回事，更像是吸引大家去看工作，这没有问题。

我说的宣传，更接近你说的fame。我不能接受的是，大家会说“某某团队发表了什么工作”，从而强化某个人、某个团队。

如果有媒体编辑听到，希望以后不要写“谢赛宁团队”，不要放我的照片和名字。我们应该更多鼓励真正做出工作的人，让年轻人有更多visibility。

但他们可能会觉得你是一作。

如果我是那篇工作的第一作者，当然没问题。但我不是，我只是团队负责人，很多工作都是学生做的。

就事论事，讲这件事解决了什么问题、为什么重要，就够了。

你讨厌被别人拿出来当靶子吗？

对，因为这会增加很多风险。

那我们继续讲影响过你的人。刚才已经讲了何恺明、涂教授，还有吗？

6. 纽约成为新的起点

可以顺着FAIR往下讲。FAIR结束之后，我就来NYU了。这又是一个decision-making point。

FAIR我待了4年，起起伏伏。很多地方我去的时候都在和它共同成长，但FAIR可能是例外，我去的时候它已经在高点。

现在那里发生的一些事情很可惜，但我跳船比较早，没有等到谷底。我当时已经看到了一些迹象。

去NYU是一个很玄学的决策。决定去纽约，一部分是因为我喜欢这座城市，另一个重要原因是Yann LeCun在这里。

为什么他在这里，你就愿意去？你们在FAIR共事过吗？

他经常会说，他recruit了我3次。第一次是在FAIR，但那时候他是FAIR的director，我没有和他直接共事，当然长期有交流。

第二次就是去NYU，第三次以后可以再聊。

Yann在NYU很重要，是因为我觉得他是一个非常有责任感的人。很多决定可能是直觉性的。

比如NYU的Center for Data Science，是Yann在十几年前牵头建立的。它独立于传统计算机系、数学系之外，是一个新的department。

第一次走进那栋楼，我就觉得感觉很好。全部是玻璃门，所有东西都很open。学生有点像在公司里，配色也很好，有暖色调和橙色的floor，各种沙发。

里面虽然很混乱，有机器人在地上跑来跑去，也有学生坐在不同沙发上学习，但几乎没有隐私，教授办公室都是玻璃门，里面发生什么都看得清楚。

现在越来越多美国学校开始建立这种跨学科中心，尤其是AI中心，用来吸引人才，把不同院系组织到一起。

AI承担了一个中间层的身份，可以连接物理、化学、数学、统计、商学院和计算机科学。Yann十几年前就建立了这样的组织，所以我觉得他很有远见。

NYU在AI上的布局也很好。计算机系可能不是学校最强的地方，但有很多AI人才和很强的AI faculty。

Yann是我选择NYU的原因之一，因为他要面试我，最后也要拍板。或者说，是他选择了我。

还有其他重要的人吗？

在NYU期间，我和很多老师合作。对我影响很大的还有李飞飞老师。

她写的那本自传大家一定要看。我读过，但深入交流之后，收获更大。

有时我会和她说我面对的困境和挑战，她会很语重心长地讲她过去的故事，这对我是一种极大的安慰。

具体故事可能不方便讲，但她一路成长也不是一帆风顺，也经历过很多荆棘，一步一步克服障碍，最后站到世界舞台上，成为华人的骄傲，也成为计算机视觉领域的北极星。

她最厉害的地方，是能够定义问题。

大家都说她最重要的成就是建立ImageNet数据集，但ImageNet不只是一个数据集。很难想象，在2011年、2012年的时候，图像分类还不是一个明确的问题。

把问题定义清楚，远比建立一个数据集重要得多。她设定了议程，把问题定义清楚，让深度学习有了一个playground，可以在这个平台上施展拳脚。

这也是我一直想学习的地方。

我和她做了两篇工作。一篇叫Thinking Space，主要讨论多模态语言模型怎样更好地解决空间智能问题。最近还有一篇论文叫Cambrian-S，讨论视频里哪些问题重要，以及怎样定义问题。

和她合作也拓展了我research的边界。

李飞飞老师是怎么和你熟识的？

很机缘巧合。她有一次来纽约出差，我们一起吃饭，她跟我讲了很多东西。后来她经常来纽约，因为她也在创业，我们会聚一聚、聊一聊，平时也会有research meeting。

我想问一个可能很多人都好奇的问题：你是怎样从一个很年轻的学术研究者，慢慢和这些AI领域赫赫有名的人走到一起，并且站到一起的？你是怎么走进AI核心链条的？

我还是不觉得自己在AI核心，也不觉得走进了AI核心。

但很多人都很想和这些人合作。你是怎样让他们对你打开自己的？

这件事很难刻意做到，也有点玄学。你可以叫它某种吸引力法则，也可以认为想法一致的人最终会聚合在一起。

虽然有无数条小溪，最后可能都会汇入一条河流。我列举的这些人，至少都在做视觉；即使是Yann，他可以被认为是在做General AI，但出发点也是数字识别，本质上还是视觉问题。

大家的根基非常吻合，所以我没有刻意让这件事发生，也不需要刻意让它发生。大家只是基于research问题、对问题的理解，然后一起合作。

从外部看，我觉得你是一个很有目标、很有逻辑的人。但通过我们的聊天，我发现你在选择上其实相当无序。

我觉得有一点无序，但这是by design。我选择这样的无序，可能就是一个很老套的说法：follow your heart。

很多时候没办法真正优化一个结果，这就是无序性的来源。

在这么无序的选择中，你还能把所有研究历程串成一条线吗？

可以一点一点讲。我确实没有那么多paper，所以可能比较容易串起来。

7. 表征学习的长期主线

不能说是草蛇灰线，但背后确实有一条线。计算机视觉发展了这么多年，我很多朋友开始探索新的方向，比如robotics、3D视觉。我也在尝试拓展边界，但回过头来发现，表征学习这条主线上还有太多问题没有解决。

所以我希望停留在这条主线上继续拓展。

最开始当然是deep learning和deep neural network架构设计。这和表征学习有关，也是过去大家努力的方向：怎样设计更好的架构，学到更好的表征，解决更好的问题。

后来我发现，architecture虽然重要，却不一定是最重要的，也不是全部。至少有几件事情交织在一起：架构、数据、objective。

架构像引擎的硬件，但只有引擎没有油，无法运转。所以数据和目标函数也很重要。

我后面的research，也都是围绕表征学习、架构、数据和objective往前走。

在FAIR正式工作期间，一个核心是我和何恺明一起做自监督学习。现在大家都在谈scaling，但第一个真正告诉我“模型要做大、大、大”的人，就是何恺明。

哪一年告诉你的？

大概2018年、2019年。他很早就认定，要把模型变得更大，把数据变得更大，才能得到更好的结果。

自监督学习方面，Yann LeCun是一个非常重要的倡导者。他有一个经典的蛋糕比喻：蛋糕主体是self-supervised learning，上面是supervised learning，也就是icing on the cake，最上面是reinforcement learning，像cherry on top。

每一层都重要，但没有蛋糕底座，只靠最上面的樱桃无法通向智能。

2015年、2016年，大家已经知道自监督学习可能是视觉的未来，会设计各种pretext task。比如把图片旋转90度、180度、270度，让模型预测旋转角度；把彩色图变成灰度图，让模型重构颜色；把图片中间挖掉一块，让模型把它填回来。

这些任务的依据是，人能根据对物理世界的认知和common sense，猜出被破坏、被遮挡的信号应该是什么。

但当时百花齐放，却没有一个方法真正能打，结果都比ImageNet supervised pretraining差15到20个百分点。

我们和何恺明做的工作叫MoCo，也就是Momentum Contrast，动量对比学习。它是第一个真正把对比学习框架做work的论文。

对比学习的逻辑很简单：在representation space里，不同图片对应不同点。同一类物体，比如不同椅子的图片，representation应该更接近；椅子和猫的representation应该更远。

这并不是全新的思想，早期论文里，Yann LeCun和学生也做过类似的metric learning。但在2019年，我们赋予了对比学习新的意义。

此前已经有CPC、Memory Bank等工作，沿着对比学习做自监督学习走了几步。

何恺明的本事在于，他能把很多已有的东西整合成真正有效的工作。

你觉得何恺明平时是怎么做研究的？

我觉得有几点。第一是极致的专注力。他能够进入一种心流，沉浸在一个问题上，不考虑其他事情。

他的专注体现在，每天除了这个问题之外，几乎不想其他事情。他会抓着合作的人聊，也会抓着其他人聊，这个问题是他思维的主体。

大部分mental cycle都会分配到这个具体问题上。念头很多时候很难控制，但何恺明有非常强的决策能力和专注力。

顶尖研究员或多或少都需要这种能力，需要足够专注、足够好的research taste，还要有坚守，不能随波逐流，去做别人感兴趣的事情。

当然也需要工程能力和research sense。你读文献时，知道什么重要、什么不重要，非常关键。

学术界有个奇怪的地方，就是大家不一定讲重点。有时是不会讲，有时是不愿意讲，有时是自己也不知道重点是什么。

何恺明能把重点抽丝剥茧地提取出来，告诉你，并在高维抽象空间里建立联系。

他的idea不是坐在房间里拍脑袋想出来的，而是基于不断探索、大量阅读和思考，一点一点衍生出来的。

这深刻影响了我做研究的方式，也影响了我现在告诉学生应该怎样做研究：增加输入。

何恺明说，idea不能坐在那里想。如果你凭空想出一个idea，它大概率不是好idea。

可能性有几种：第一，你比世界上所有人都聪明，想出了别人都想不到的东西，但概率极小；第二，在你想这个idea的同时，世界上有100个人、1000个人、1万人在想同一个idea，你要和他们竞争，手速不一定比他们快；第三，这是一个很差的idea，别人已经试过很多次、不成功，你也没必要再试。

所以找到research idea是一个求索过程。

现在我有新学生进来，会告诉他们一个research周期。理想情况下应该更长，但在当前竞争环境下，最多可能只有6个月：从开始想idea，到把idea写成paper并发表，大概6个月。

第一步，你需要一个general direction，知道自己要做什么，不能完全没有方向。这个方向可以通过和老师、peers讨论，或者通过自己的阅读形成。

但一定要给自己足够时间和空间探索，至少1到2个月。

探索期应该做什么？

不能坐在那里想问题。你要不断hack一些东西，像hacker一样play with，像玩游戏、玩玩具一样做research。

可以推公式、读更多论文、寻找联系，但更重要的是动手写代码。代码不是为了立刻实现一开始的idea，而是探索过程。

可以先复现一个baseline，拿别人的paper重现一遍；也可以在baseline上做一些扩展。最重要的是找到一个signal。

这个决策过程像随机梯度下降，是机器学习的基石，也适用于research本身和人生。大家在追求最终目标的过程中，都在做stochastic gradient descent。

Research不是从A点到B点，A是idea，B是paper；而是在过程中找到什么signal，找到你的gradient在哪里。

这个gradient本身才是真正的idea来源。你试了很多东西，有可能成功，有可能失败。一个错误的实验有时反而会给你更大的gradient。

最怕的是不知道往哪里走。一个好结果、一个坏结果，对research来说都可以是好结果。一个令人惊讶的observation，是研究人员最幸福的事情。

经过这样的探索，发现的idea才真正属于你。一开始想的idea并不属于你，探索中的idea才属于你。

当然也可能你是天才，或者极端走运，上帝握着你的手写下一个公式。但大部分重要进展，还是一步一步发生的，总能追根溯源找到起点。

我也会跟学生说，最差的research是什么？就是一开始定义好一个问题，最后发出的论文和最初想的完全一致，中间没有任何障碍。

为什么这是最差的？因为这说明idea很无聊，论文也是boring paper。

大家有时不能接受这个事实，总觉得应该一开始想到一个小妙招，然后实现它、发论文、成功。但这样的个人积累其实非常有限。

探索很难，也正因为如此，论文都是非线性的。

你前5个月怎样保持心态？

你要接受这是research的常态。你还得告诉自己，这就是正常过程。

前5个月会想到换方向吗？

会，可能会去选一个boring idea。换方向非常重要，一定要学会pivot。

最差的工作是，一开始的idea就是最后的idea，最后的pivot还是原来的idea。最好的工作，是在过程中弯弯绕绕、跳来跳去，走很长的路，最后才到达这个节点。

最后从终点回头看，能一步一步找到最开始的起点，把它连成一条线。但在过程中不行，因为你无法预测未来。

两个月探索，逐渐形成idea，再拓展、scale up，补充实验，可能花2到3个月，最后写paper花1到2个月，这是一个非常顺利的流程。

现在竞争压力太大，大家想追赶最前沿、尽早完成、抢占先机。但如果失去定义问题的能力，也就失去很多创新能力，甚至失去做research的能力。

从结果上看，research也是非线性的。MIT教授Bill Freeman有一个经典的plot：横轴是工作从差到非常厉害，纵轴是这篇论文对职业生涯的影响。

它不是线性曲线。很差的工作没人关心，不会伤害你；还不错的工作也没人注意，收益很小；但如果做出一篇非常好的、每个人都知道的工作，影响会突然冲到顶点。

所以学术界衡量的是代表作。大家优化的不是所有工作的平均值，而是工作质量的max，是上界的最高点。

这体现了research这个游戏的非线性。你这辈子只需要成功一次，当然如果足够幸运，也许能成功两次，但不需要成功100次。

我以前给过一个talk，叫“Research：无限游戏”。研究人员不是棋手，也不是运动员。棋手和运动员的成就，在某种意义上取决于最差的一步，一次失误就可能输掉，这是有限游戏。

Researcher更像发明家，这辈子只需要成功一次。

学术界原本是制定游戏规则、决定方向的人。现在制定方向的可能是OpenAI、Google、Meta等大厂。他们之间玩的是有限游戏，但也把学术界带成了有限游戏。

大厂发一个工作、产品或模型，学术界所有人就蜂拥而至，想用很少的资源追赶。这有什么意义？

我在NYU最近两年还在Google兼职，在一个团队做part-time。我有时跟朋友说，我去Google的原因是想看看Google在做什么，这样我就知道自己在学术界不做什么。

如果他们在做这件事，我为什么还要和他们一起做？他们有更多资源，没必要再跟他们卷。

当然，我说的这些都只是基于我在NYU一个不那么成功的经验，不代表研究世界的多元和复杂性。

我也没有做出一篇我认为真正有价值的工作。

你说这句话，是想告诉大家你还没有到达那个最高点？

你说得对，我还年轻，还可以努力。

我前两天想，大概有20篇、22篇或23篇论文，深远影响了整个深度学习和AI进程。世界上也许就这么20多篇代表作，一篇都不是我的，我有什么理由不继续努力？

DiT不算吗？

我觉得算0.25。DiT更像是在研究边界上往前推了一小步，即使不是我们做，也会有其他人做。它没有完全改变领域，不能说它完全属于我。

Diffusion Model当然算，DDPM可能也算。

我们可以随便数一数。LeNet、AlexNet、ImageNet、ResNet，R-CNN、Faster R-CNN，Transformer、Attention Is All You Need，GPT-3、BERT，CLIP、ViT、Vision Transformer，GAN，还有3D里的NeRF、Gaussian Splatting。

这些工作本来让大家渐进式地往某个方向走，突然一篇论文出现，彻底改变随机梯度下降的过程，收敛曲线会突然出现一个drop。

历史还在继续，可能不断有论文让大家跳出local optimum、进入下一个阶段。我觉得这条路远远没有收敛，还有很多事情可以做。

我希望下一次革命发生时，自己能够参与其中。不是创造某种impact，而是因为我的经历、合作方式、认知和思考，能够理解一些东西，而我的理解能对AI发展产生一定影响。

LLM是不是没有这个希望了？

完全不是。我会说LLM终将凋零，但不是死亡。They won't die, they will just fade away。

LLM一定有价值，是很好的工具，我现在也天天使用。但它不是构建通用智能系统的基石，不是世界模型大厦的地基。

世界模型我们稍后再聊。你的工作还要继续展开吗？

当然。就像我刚才说的非线性research，一篇论文里先做一些事情，逐渐积累，最后一个月找到新方向，交付结果。

回头看我过去的工作，也有类似感觉。我现在可能还处在迷茫的探索期，但谁知道呢？也许今年、明年，突然灵魂开窍，做出更有意义的工作。

这里面的根基是能够串成一条线，或者说不是一条线，而是一个graph。每篇论文是一个节点，节点之间都有联系，后面的论文会受到前面所有论文影响。

比如contrastive learning，我们在视觉任务上做了MoCo，后来有V1、V2、V3，V3使用Transformer并进行scale up，最终在很多任务上的representation已经比ImageNet更好。

那对我们是一个重大surprise。我们以为自监督学习找到了答案，只要scale up就会有光明未来。

但很遗憾，这件事没有发生。

MoCo和MAE都是何恺明主导的项目。他真正承担了大部分一作和通讯作者的职责：写baseline、跑实验、完成论文、讲story、做presentation，基本上是单枪匹马完成。

其他人当然也参与、做出贡献，但这是他主导的路线。

他到现在还很享受IC，也就是individual contributor、个人贡献者的身份。他不喜欢管理大团队，不喜欢只作为manager指导方向。

他现在管多少人？

也有很多人，包括本科生。他现在也做很多很好的工作。

我不相信他不是一个好manager。我虽然没有被他真正manage过，但只要待在他身边，就能感受到自己做事效率提高了，好像变聪明了。

如果我需要一个manager，我希望是这样的：能够empower身边的人，让他们变得更好。

MAE是因为contrastive learning不能scale up，于是我们换了方向，使用一种去噪autoencoder，也就是Masked Autoencoder。

把图像做corruption，然后重建被mask、被破坏的图像，用这种方式学习representation。

它和contrastive learning在原理上不同，性质也不同。它不会显式建模某种invariance，所以做linear probing可能稍差；但做end-to-end fine-tuning，效果会好很多。

当时我们觉得MAE很厉害，至少可以拿一个best paper，结果也没拿到。我们以为MAE scale up能解决所有问题，后来发现也不能scale up。

自监督学习不是失败。它被拓展到3D、point cloud，也就是PointContrast。它说明representation learning不只是图像领域的问题，而是一种普适的方法论。

后来很多人把它用于medical imaging、robotics等任务。这些工作在很多不同领域都成立，超越了计算机视觉本身。

但另一方面，它远远没有达到LLM那样的影响力。

这些都是在FAIR做的？

对，还是FAIR，而且当时还只是前一两年。

还有一件事情很有意思。FAIR当时GPU总是不够，于是决定试试TPU。Google一直在用TPU。

我们在Google Cloud上租了大概5000个TPU core，一开始是为语言模型准备的。大家玩了一下发现太难用，生态不好。

何恺明说：“我来。”

他单枪匹马，从头到尾在TPU上搭建了一整套infrastructure，使得我们能做后面的工作，包括MoCo、MAE和DiT。

这对我来说也是很重要的指导：工欲善其事，必先利其器。

何恺明教我的一件事是，research的上限取决于baseline的好坏。如果baseline很差，你可能会自欺欺人。

如果没有花足够心思把system搭好，把工程做到极致，就没有平台做真正的探索。你发现的信号，可能只是baseline不够好造成的假象。

这件事很反直觉。大家会说baseline差一点，performance gain才更大，更容易发paper。但何恺明会想，怎样把baseline做到不能再高，在这个基础上做出的提升才是真正的breakthrough。

Detection领域的Faster R-CNN、Mask R-CNN、Focal Loss等工作，也都建立在大量infra和code base之上，让baseline远远超过一般CVPR论文。

你的baseline已经比别人强，再往上走一步，才能走得更远。

这不是简单的工程，而是research breakthrough的脚手架。脚手架不稳，什么都做不出来。

你很幸运，很早就有人告诉你很多正确的做法，所以少走了很多弯路。

我非常幸运。但很多东西一方面是common sense，另一方面对学生来说并不obvious。

FAIR有一个running joke：实习生进来的第一课是什么？用Excel。

我们会有一套track experiments，精细构建一个template，就是Excel表格。有时像文职人员一样，每天做research不是满屏代码，而是盯着spreadsheet，看每一行代表什么。

关键是怎样设计表格，保证每个实验都能给你一个gradient信号。

一个极端是实验太少，信号不明确；另一个极端是不关心做什么实验，有资源就全部跑，然后把结果dump进表格，觉得research做完了。

这两种都是较差的模式。

看何恺明怎样构建spreadsheet，我学到很多。你需要决定关注哪些metric，记录哪些内容，哪些column，哪些row，哪些实验结果放进去，哪些不放。

放进去的每一行都要和其他行发生关系，通过对照式比较产生gradient信号。

有时结果越好，不一定越接近正确道路。真正重要的是哪一个对照能给你最大信息量。

比如一个实验让performance掉10个点，悲观的人会说实验失败了。但如果你有方法论，就会想：这个方向能掉10个点，那反方向是不是能涨很多？

最害怕的是performance停在原地，不好也不差，因为没有信号。负向信号的反方向可能是正向信号，正向结果也能提供好的信息。

何恺明还会要求大家做预测。每跑一个实验，都要预测结果会怎样。

如果预测对了，说明前面的思维链条还能继续；如果预测错了，也是一个surprise，也给了你信号，让你反思为什么想错、哪里错了。

这些都是有价值的信号。

他是一个只做research的机器吗？他有生活吗？

他不是。他是一个真诚、有趣的人，也有生活。生活很干净、很纯粹。

我们一起工作几年，也一起打过几年游戏。他是魔兽世界的忠实玩家，我们一起打过《炉石传说》。

有时上线会发现他也在打游戏。我们不会一起打很久，但线下会讨论游戏。比如他会告诉我上次打了12连胜，发生了什么。

从打游戏能学到什么research方法吗？

倒也没有。但我发现何恺明游戏也比我打得好，天梯排名比我高。我觉得自己在各个维度都被碾压。

如果你真的和他一起工作，他很愿意交流很多东西，既包括research方法，也包括一些更虚、更broad的内容。

他最喜欢聊进化生物学。本科他学物理，也聊量子、哲学。他经常问我们：“你们在美国读PhD，title是Doctor of Philosophy，哲学博士，为什么培养出来的人一点哲学都不懂？”

他劝我们多读哲学。

他给我入职时送过一本书，不是教你怎样做research的，而是《金刚经》。

《金刚经》和research有什么关系？

我觉得这涉及research taste。

研究员圈现在经常说research taste。什么是research taste？什么决定了它？

你用这么一个高大上的英文词，说明它很难定义。它确实是一种研究审美。

它包含我前面说的所有事情，也涉及更高层次的哲学考量。

何恺明送《金刚经》，可能是因为里面说“一切有为法，如梦幻泡影”，以及“凡所有相，皆是虚妄。若见诸相非相，即见如来”。

这和西方哲学里的一些观点很像，比如康德讲物自体，叔本华讲作为意志和表象的世界。

我不懂哲学，也不想高谈阔论。但以我粗浅的理解，他们想讨论的是：你看到的东西不是事情的本体，看到的世界不是实质。

所以看一篇论文，重要的是打破论文给你的幻想，追问论文背后隐含的实质。

Research taste的来源，就是能不能抛开虚无的表象，通往真理的道路，一直求索。

如果想得长远一点，怎样选择题目、具体每一步该做什么，所有事情都是一致的。

Research taste不够好的问题，是可能沉迷于某个相，比如论文接收、外界的fame、快速做完一件事得到的称赞。

对何恺明来说，这些东西完全不在他的world model里，他根本不care。

Research本身也是创意和写作过程。何恺明写作能力很强，也鼓励我们尽早开始写作。

FAIR时，他的论文通常在deadline前一个月就已经完成了。其他人还在熬夜赶deadline时，他已经把论文写完，开始一遍遍polish。

他会关注每个表格、每个字、每个标点符号。

这也影响了我，让我有一点强迫症。他说，一行论文不能有少于60%的文字。如果一行大半是空的，看起来不好看，要尽量占满，让论文更优雅、更uniform。

现在每篇论文，我都会让学生检查有没有trailing word，不能让一个词单独占一行。

因为论文不是给自己看的，而是给别人看的。你要在乎别人的观感。论文是一个沟通界面，要让别人顺畅地理解你想表达的内核。

这些细节也是research taste的一部分，但更general地说，是对生活、对宇宙一切的审美。

这也是为什么我们在意论文的独特性，会设计网页、录视频。有人会觉得这些和research没关系，是distraction，是营销。

但我希望大家不要这么看。拥有自己的风格很重要。我们所有论文会用一套模板，也会有一些自己的设计。我希望和学生一起讨论，把这件事情构思出来。

这是一种大的research taste，包含很多具体细节。

你从小的梦想是当导演，对吗？

对，但很快就破灭了。不过我还是看很多电影。

后来我发现，research和拍电影其实没有什么不同。

电影也需要发现主题。你有一个想拍的故事，但不能站在此刻就觉得故事已经确定，然后直线走到终点。

最差的电影像流水账，从A到B，中间没有冲突，事情结束。好的电影是storytelling。

写paper也是这样。技术和knowledge当然重要，但更重要的是你怎样到达这里，中间做了哪些决策。

你的decision是怎么做的？为什么重要？读者看了decision-making过程之后，也许会受到启发，去做完全不一样的事情，但又能和你展示的结果串起来。

这不就是拍电影吗？

研究已经进化到了艺术层面。

我完全没有艺术修养，也没有艺术能力。但每个人都有很个人化的东西。

Martin Scorsese说过，最有创意的东西其实是最个人化的。

每个人都不一样。做research的过程中，也要发掘自己心里的那团火，找到自己不一样的地方，用它指导research taste。

人在选择自己的偏好、相信自己的偏好时其实很难。大多数人愿意走大家一起走的路，因为更安全。你说的research探索，也是在相信自己的偏好。

对。这件事对research很重要，虽然有一点玄学。

俞勇老师本科时对我们说过一句话：“不是因为看见所以相信，而是因为相信所以看见。”

如果你不相信，可能完全看不到事情按照你设想的方式发生。

当然不能太玄学，research仍然是科学过程，每个decision要基于事实，不能因为相信就往某个方向走。

但这里面确实有某种精神力量，能够改变你研究问题、看待问题的方式。

我们有点飘远了。你说research更重要的是怎样做决定，但你的研究历程还没有讲完，后面的决定是怎么做的？

后面的事情可以讲得快一点。第一是要有质疑精神，但在竞争环境下，大家可能会慢慢丧失这种精神。

我在“Research：无限游戏”的talk里讲过：You are the genius of yourself。希望你自己做不一样的事情，be different，这是一个高层原则。

比如我和当时的实习生刘壮合作，他现在是普林斯顿教授，我们一起做了一个工作叫ConvNeXt，也和ResNeXt形成呼应。

论文标题非常ambitious，叫A ConvNet for the 2020s，也就是“面向2020年代的卷积神经网络”。可以猜是谁取的名字，当然是何恺明。

这篇论文其实很简单。大家认为Vision Transformer最重要的是self-attention，我们质疑这件事到底是不是真的，然后做了大量实验。

最后发现，self-attention可能不是最重要的，宏观和微观的architecture design才是决定performance的关键。

我们提出了问题，并通过大量ablation study梳理清楚，展示怎样一步一步从卷积神经网络走向层次化Transformer架构，哪些实验重要，哪些不重要。

论文里的figure后来变成经典配图，在很多paper里都能看到它的痕迹。这个图是我花很长时间手工画出来的。

它给我的启发是：精细地做ablation、控制变量的方法，可以应用于任何主题的论文。

后来是DiT吗？

对，但DiT是FAIR最后的工作之一。

那时候FAIR已经发生culture shift。ChatGPT刚出来，OpenAI发展得很好，做了很多FAIR不敢想、即使想了也做不到的事情。

大家开始思考组织模式是不是出了问题，是否要改革。这也是我决定离开FAIR的原因之一：大家的focus已经不在research上了。

大家会开几个小时、几个小时的research alignment meeting，唯一主题是接下来到底应该做什么。这样的会议持续几个星期，也无法确定方向。

因为这完全违背bottom-up research逻辑，变成坐在一起讨论未来一年、两年做什么项目。这在我、何恺明和很多研究人员看来，都是反research的。

我做DiT时，Diffusion刚起步，FAIR里还没有人在做Diffusion Model。我觉得这个东西很有趣，应该试试。

Bill Peebles是我当时招的intern，现在是Sora的负责人。他非常sharp，在我看来是一个近乎完美的PhD学生，各方面都像六边形战士。

但我们一开始不是要做Diffusion Model，也不是要做DiT。前两个月探索集中在表征学习：想看看Diffusion Model学到的representation和supervised learning、softmax学到的表征有什么不同。

结果发现它能学到不错的表征，但比自监督学习差得远，不能打。

我们本来使用ViT，是因为要在representation层面和ViT-Base的系统比较，所以没有使用U-Net。

后来发现，表征角度可能没太大价值，但新的架构更efficient、更scalable，比U-Net稳定。

从代码角度，我很在意minimum description length。代码短，却能达到同样目的的方法，通常比几千行的复杂系统更优雅、更好。

所以我们发现，这个架构简单、能work、scalable、efficient，于是决定追这个方向。

那时需要竞争资源，很多人反对，说应该把资源集中到更大的项目上。Diffusion Model不在critical path上。

但我认为，从架构角度，这是Diffusion架构的未来。架构只是数据、目标函数之外的一部分，但绕不过去。

最后一个月我们转向这个方向，结果很好，获得了scaling behavior，投到CVPR。

论文被拒，理由是novelty不够。Reviewer觉得结构简单，没有复杂数学和复杂模块，虽然结果很好，但不买账。

这也是一个lesson。但那时我已经慢慢想通，论文接收与否在巨大随机过程中并不重要。

我们没有改什么，投到另一个会议，拿到了论文接收。再次证明这是一个随机过程。

后来我发现DiT各个维度都比U-Net系统好，为什么不使用它？底层逻辑统一，能够共享基础设施，效率高、结果好、可扩展。

我们去联系Stable Diffusion团队和其他公司，发现没有人真的用它做事情。

这篇论文正好处在我离开FAIR、开始在NYU工作的交界处。FAIR不让我们署名，最后只署了NYU和Berkeley的名字，因为他们觉得这只是篇paper，而且我已经离开了，不想让我们借FAIR的名声；本质上还是一些legal原因。但这件事情是在FAIR完整做完的。

后来Bill去了OpenAI。

是因为大家不买账，所以他自己去做？

可以这么说。那时候他在选择工作，有startup、OpenAI和大公司等多个offer。他才第三年，但有很好的判断力，能看到应该早点加入OpenAI。

他是2022年底加入的，当时ChatGPT刚出来。

那DiT是在ChatGPT之后做的吗？

不是。我2023年1月已经到NYU，所以这个工作是2022年暑假开始的，在ChatGPT之前。

这也是OpenAI厉害的地方：他们能意识到Bill的能力，让他和团队有足够bottom-up的自由和资源，做出之前大家想都不敢想的事情，也就是Sora。

FAIR当时没有这个基因，大公司也不一定有。

如果你们没有离职、还在FAIR，他们也不会用DiT吗？

不一定是用不用的问题，更多是怎样催生出创新结果。

DiT只是其中一部分，更重要的是，相信这件事能做成，并给它资源和自由。

这其实是在讲Sora诞生的前序故事。

对。我见证了一些人和事，也错过了很多。

比如没有去OpenAI，或者一些非常早期的创业机会。我曾经可能是Perplexity创始人Aravind第一次或第二次看到demo的人。

他从OpenAI出来，在帕洛阿尔托的Blue Bottle咖啡店给我看一个浏览器，说：“我们要革Google的命。”

我觉得很厉害，但心里想，这不就是GPT套了一个壳吗？Why are you doing this？

他问我要不要一起做，我说自己更享受在NYU做research。

后来我对创业者的认知发生了变化。创业和research有很多相通之处，也有不同。

但我没有后悔任何决定。每个决定都忠于我的内心，做我想做的事。有些决定可能很傻，从某些维度看是错误的，但我现在很知足，也很感恩。

DiT之后，我们又做了一个把Flow Matching拓展到Transformer setting的工作，也先投稿被拒，理由类似。

经历多次之后，我基本免疫了。这个过程很像塔勒布说的“反脆弱”。

研究必须是反脆弱系统。一个组织、个人或事情，如果随机事件、黑天鹅、shock带来的收益大于损失，就是反脆弱；如果立刻被shock击倒，就是脆弱。

Research就是让人越来越反脆弱的过程。所以论文被拒，也没那么伤心。

DiT、SiT后来会成为学术界的baseline，让大家继续在上面做事情，它们的历史任务也完成了。

我们还做了Cambrian系列。这个名字来自寒武纪，因为寒武纪大爆发可能和视觉能力的军备竞赛有关，所以大家会把它视为视觉的起点。

如果把地球从5.38亿年前到现在压缩成24小时，现代行为、语言、抽象思维、符号推理，其实只发生在最后几秒，大概8到10秒。

我们之所以从人的角度思考历史，是因为我们是人，会觉得语言自然是智能的一部分。但这段时间在历史中极其短暂。

Cambrian系列的出发点，是想检验现在多模态大模型发生的事情，比较solid、比较scientific地研究什么重要、什么不重要。

之前还有一篇论文叫S*3，名字来自库布里克电影《2001太空漫游》中的概念。它讨论视觉encoder，认为CLIP可能不是最优，有太多语言shortcut，导致视觉理解出现偏差。

Cambrian是它的延续：训练自己的系统，研究数据构成、visual representation、架构等，但不改动LLM部分。

这是一个很大的collaborative effort。工业界朋友常问，怎样组织这么多学生做这么大的项目。其实答案很简单：学生给力，大家愿意探索问题，也愿意合作。

之所以能做，是因为我们在Google拿到了一些TPU资源。Google有一个TPU Research Cloud项目，无偿提供计算资源给学术界。

但TPU很难用，没有ecosystem和infrastructure，很多PyTorch代码不能work。学生试了一个星期，说受不了了，想买两台H100。

我告诉他们，要沉得住气。如果试3到4周，确认有技术障碍，我们可以放弃；但如果只是试一个星期遇到困难，就要走出舒适区，解决infrastructure问题。

最后他们被我劝回去，继续在TPU上开发基础设施。

为什么不用GPU？

没钱。学校很惨。

美国学术界资源不够。Funding系统过去几十年几乎没有增长，但通胀很高，学生学费变贵，政府资助和公司项目却维持在低水平。

以NSF为例，一个PI大概5年能拿到50万美元，平均每年10万美元。公司资助也少了，通常一次给10万到15万美元，但可能有100所学校、100个老师竞争这笔钱。

10万美元可以养一个学生一年，还可以买半个H100，或者3到4张卡，做不了太多事情。

美国青年教师基本都在水深火热中，要通过自己的方式找到资源。这有点像创业：在资源极度受限的情况下，从不同地方找资源，也要融资。

我有一个Google合作伙伴很特别，从不上班。他说我们可以聊，但不要在办公室聊，去Google旁边的trail徒步。

我大夏天跟他走了一个小时，讲我们在TPU上做的基础设施贡献，以及为什么建立长期合作关系对Google和我们都好。

这不就是一个融资过程吗？就是化缘。

你这个商业访谈录越来越像商业访谈了。

我完全不懂商业，也没成功或失败过startup。但确实有一些共性。

我们现在有了一些卡，就可以做Cambrian。所有这些叙事，还是过去多年的逻辑：representation很重要。

不管解决的是普通计算机视觉任务，还是多模态大模型时代通过VQA解决问题，背后都还有实质性的东西需要思考。

后来我们又做Cambrian-S，不只做image-level VQA，也涉及视频。

这和电影有关。毕赣在《路边野餐》里大量使用长镜头，让我想到：长镜头对导演是视觉工具，但对人来说也是视觉理解的重要媒介。

人活在这个世界上就是长镜头，眼睛就是相机，不停在世界里做事。我们看到的是video，但能看到像素背后的东西，推理因果，感受空间。

贾樟柯说过，电影有意思，是因为如果只看timeline，它是一根线性的时间轴，但时间轴每个点都需要一个空间去扩展它。

我们看到的是一帧一帧的画面，但背后体现的是整个世界的状态和空间信息，超越每一帧像素本身。

所以我们要做视频，即使视频难做、需要处理海量数据。

Cambrian-S有点像position paper，提出super sensing、空间智能等概念。它关于数据、架构，也关于spatial intelligence。

我们想定义多模态下一步应该往哪里走，建立一条通往世界模型的阶梯。

可能还不知道怎样定义世界模型，但可以知道哪些capability是必须具备的。

我们还拍了一小段视频，发在Twitter上。学生拿摄像机在纽约街头边走边拍，没有花钱，也不是为了宣传，算是写给纽约的情书。

有人不理解，这和paper有什么关系。当然有关系。Paper讲的是，一个生活在真实世界里的智能体，怎样摄入连续视觉流，感受世界发生的事情。

它会被某些事情触动、感到惊讶，但更多时候，大脑里有一个自发运行的世界模型，指导它生活。

我以前没有做过这种定义问题、设定agenda的工作，所以希望向李飞飞老师学习。她经常讲北极星，我一直问：视觉的北极星是什么？问题是什么？怎样解决？

你找到答案了吗？

找不到。找到答案我就不坐在这里了。

8. 视觉寻找新的北极星

我觉得这不是一个单纯的计算机视觉问题。Computer vision这个词很有意思，vision有两重含义：视觉，也有对未来的预判和愿景。

我可以说自己是做computer vision的人，但在我的定义里，computer vision是一种perspective，不是具体任务，也不是具体领域，而是智能需要解决的一系列问题的总和。

第一，它处理的是连续空间、高维、有噪声的信号，而不是纸上写下来的文字。它和语言要解决的模态不同。

第二，从我做计算机视觉第一天起，我就认为最重要的是hierarchical representation。没有层次化表征，很多问题无法解决。

层次化就是抽象化，抽象化就是泛化。它和language model很不一样，因为language model主要在语义空间里工作。

视觉还有大规模并行处理。我们同时看到很多东西，大脑皮层很多地方同时激活，并行处理不同对象、因果规律和物理变化。

还有一种特征共享：一个小孩画的狗、动画片里的狗、真实世界里的狗，虽然像素完全不同，但我们能把它们连接起来，形成抽象认知，知道它们都是狗。

所以视觉要解决的，可能包括层次化结构、连续域建模、大规模并行和大规模共享。

这些是智能体的一部分，不能简单归约为一个computer vision系统的小问题。

现在越来越少学生选择计算机视觉，faculty招聘也越来越少招纯视觉的人。但如果把计算机视觉看作一种perspective，它其实是智能的本质。

过去几年ChatGPT出现后，CV从AI中心位置退到边缘。你们这些人沮丧吗？

完全不沮丧。我甚至要感谢LLM。没有LLM，视觉也无法拓展到现在多模态智能的scope。

计算机视觉发展有两条轴。一条是任务从简单到复杂：早期是MNIST数字识别，然后是CIFAR-10这类32×32图像分类，再到ImageNet的256×256分类，之后是detection、segmentation等结构化认知。

另一条轴，是语言逐渐介入视觉。多模态让我们可以自由定义问题，拿一张图问各种问题，语言成为很好的interface。

但风险是，语言介入之后，我们对语言的依赖变强，很多多模态任务其实与视觉无关，只是语言问题。

这确实让视觉看起来边缘化，但我觉得这是巨大机会。

如果问题比较简单，语言能解决就用语言解决。即使没有grounding，模型也可以通过统计信息完成一些任务。

但如果有一天要处理真实世界的任务、构建真正的智能，不完美的视觉表征就会成为重大缺陷。

Yann说，现在大家像拄着拐杖走路，这个拐杖就是语言模型。你可以走，但可能跑不起来，也不能参加奥运会，因为其中一条腿，也就是视觉表征，还不够好。

为什么你说是真实的intelligence？LLM为什么不是真实智能？

“虚拟”这个词可能不准确。我定义的真实，是要和真实世界发生交互。

现在LLM擅长的问题，大部分发生在digital space。它记忆事实知识，可以存储Wikipedia文章，做法律顾问、总结知识、教育等。

但如果要处理连续、高维、有噪声的领域，问题就不一样了。机器人是一个例子，但不只是机器人。

涉及sensory modeling的任务，需要传感器感知世界，统一建模环境和系统，然后预测执行动作或介入后系统会怎样变化。这是LLM很难做到的。

一端是LLM，擅长数字空间；另一端是真正的general-purpose robotics，能泛化到人能做的一切，有自己的决策系统和大脑。

从LLM到机器人，中间要解决的，就是新的视觉智能问题。

我最想做的事情，是通过不直接做机器人的方式解决机器人问题。

机器人进展很快，春晚上的机器人表演令人震撼。但仍需要有人focus在预训练，解决机器人大脑是什么，包含视觉系统、控制和硬件。

在硬件层面，兄弟爬山，各自努力。我不想过早介入硬件。我希望focus在大脑，解决表征学习和世界模型问题。

当然有人会说要有闭环，在机器人上验证。我认同，但可以通过partnership完成。我没有钱买很多机器人，机器人硬件也有自己的scaling law，要买很多机器人才有足够数据。

何恺明那么早就说要“大、大、大”，为什么LLM的scaling law比CV早这么多？

不能说早很多，因为CV现在没有一个统一的scaling law。以前我们很绝望，觉得vision怎么一直没有scaling law。

现在可能好一些，比如video diffusion出现了某些scaling behavior：数据吃得更多，结果变得更好。

更形式化地说，如果有Transformer系统，满足某种compute、tokens和parameters的配比，就可以scale。

但我现在越来越觉得，vision不需要一个和language一样的scaling law。因为vision和language关注的事情完全不同。

很多NLP研究者也认同：language model其实不完全是自监督学习，而是strongly supervised learning。

通常是否有外部annotation、label，决定是自监督还是监督。但语言很特殊。

语言是人类几千年文明不断演化、处理世界知识后，以token形式存储下来的东西。恰好我们有互联网，把这些knowledge上传上去，所以对LLM研究者来说像是免费的。

但免费不代表没有label。假设没有互联网，还能训练语言模型吗？可以把书放进去，但如果没有书呢？

知识上传本身就是构建监督的过程。

语言模型主要刻画的是y space。机器学习通常是x到y的映射，y是监督或label，x是数据。LLM很大程度上是在刻画y space。

但这不足以代表世界全部。很多东西无法通过语言描述。这既是语言的优势，也是它可能不会成为世界模型根基的原因。

语言的好处是，不需要额外努力就和人对齐，因为每句话都是人写的。但它也失去了智能系统应该建模的很多东西。

比如我们说“我有一杯水，杯子掉地上碎了”。这是最适合沟通的表达，我们关心结果和状态，不关心杯子怎样碎，遵循什么物理定律，背后的动力学是什么。

这些东西语言不care，这就是局限。

LLM的人会担心加入视觉影响智商，希望不要变成“傻的多模态”。

当然不应该用一个傻的多模态。但如果不加入视觉，一定会很傻。

问题在于怎样定义聪明和傻，怎样定义简单任务和困难任务。

过去几十年，AI研究者不断撞上Moravec悖论：对机器来说简单的事情，对人可能很难；对机器来说困难的事情，对人却很简单。

你在NYU好像还有几篇工作。

V*是一个很有意思的工作。我们第一次尝试在多模态系统里构建System 2，也就是可以在test time进行scaling的模型。

人看周围的世界时，如果问“旁边垃圾桶是什么颜色”，不会直接回答，而是先寻找垃圾桶，可能回头，定位物体，再给答案。

这就是视觉推理，是推理过程中的一个行为。

我们做了这样的系统，而且是在ChatGPT o1之前很久，至少早几个月。当时test-time scaling还不是buzzword，没人讨论。

这对我来说是一个bittersweet lesson。

我们有了paper和benchmark，找了两个朋友Alex Kirillov和Bowen，他们当时在OpenAI。我告诉他们工作和benchmark，也讲了visual thinking背后的逻辑。

后来大概一年多之后，OpenAI发布了Thinking with Images。里面很多例子和benchmark，其实就是我们的paper和benchmark。

幸福的是，我第一次觉得学校里的研究真的可以走一条不一样的道路，启发OpenAI研究员改进模型。

苦涩的是，工业研究实验室越来越封闭。最开始大家发论文，后来可以写blog post、加citation、署名；再后来可以发blog但不能署名，只能写OpenAI Team或Gemini Team。

这会破坏学术界和工业界原本良性的交流。Research本质上是为爱发电，我们不是为了产品或赚多少钱。但credit assignment，也就是让大家知道谁做了什么，是支撑学术界发展的机制。

现在这个机制慢慢被这一代模型和背后的组织结构打破，变成商业竞争。

还有两篇工作想快速提一下。一篇是REPA，Representation Alignment。它把过去的工作以奇怪的方式组合起来，产生了某种化学反应。

本质上，它也是Deeply-Supervised Nets：模型不只有最上面的diffusion loss，中间还加入其他objective，让diffusion model的internal representation和外部自监督模型的representation对齐。

这再次说明，表征非常重要。它不仅对Cambrian这样的多模态理解系统重要，对生成模型生成图像、视频也重要。

之后是Representation Autoencoders，也就是RAE。它使用强表征作为生成模型的encoder或foundation。

马毅老师曾经提醒，表征层维度很高，在高维表征上做去噪、生成图像很难。有人担心高维会增加复杂度、训练更难。

但马毅老师很激动地说，不要害怕高维。高维是机器学习非常重要的基石。

无论是kernel method，还是Transformer里的up-projection layer，都是通过升维让数据变得线性可分，让原来低维空间解决不了的问题变得可解。

这件事给我很多鼓舞。大家害怕的不只是高维representation，也害怕逃离当前local optimum。

VAE可能是当前的local optimum，我们希望用representation learning把事情串起来。跳出旧框架，做新的事情，世界会被打开。

我的bet是：这个世界上最重要的事情，是学到表征。有足够好的表征之后，其他问题都简单。

Language model会逐渐退化成一个communication interface。未来不会像现在这样，所有多模态智能都由LLM驱动，而表征层只提供一点context。

未来会有一个好的foundation，它既是表征，也是世界模型。它可能不是一个checkpoint，而是多个neural modules组成的cognitive architecture。

语言层仍然重要，因为人需要提问、回答、沟通，但它会退化成foundation的一个interface。

Pixel generation也需要足够好的表征基础，或者说世界模型。表征不是世界模型的全部，但可能是最重要的部分。

有了这样的foundation，可以把它decode成语言、像素、视频，也可以decode成action，类似VLA，但基于更强表征和世界模型。

现在表征包含哪些部分？语言是其中之一吗？

我觉得语言是其中之一，但这件事有争议。

语言其实像一种毒药或鸦片。加入更多语言，会让你觉得更幸福。它当然有用，但它是shortcut。

如果一个人一直吸鸦片，就会废掉；如果一直拄拐，也无法训练大腿肌肉。

所以我非常担心语言污染视觉，而且这种污染已经在发生。

整个LLM有一条巨大的价值链，从产业界传导到学术界。最上层是一个叙事：AGI、scaling law、LLM、bitter lesson。

这套叙事定义benchmark，benchmark决定资源分配。因为目标是在榜单上第一，就要投入最多资源竞争。

于是资源分配和researcher认为什么重要、什么正确逐渐脱离。

很多人知道视频理解重要，也有能力做，但无论学术界还是工业界，最后都会被分配到视频生成或video captioning团队，因为这是价值链中唯一能间接参与的position。

他们知道需要更好的world-model-based video understanding，但没有空间探索。

最后哪些表征会足够通用？终点是什么？

可以叫世界模型。

那我们进入世界模型。什么是世界模型？

9. 世界模型究竟是什么

严格定义上，给定一个系统或环境的状态sₜ，再给定一个intervention或action aₜ，希望学习一个predictive function或transition function f，使它能够接收当前状态和动作，预测下一个状态。

这是最基础的世界模型定义。这个概念并不新，1943年生理学家Kenneth Craik就提出过：人的脑子里有一个世界模型，能告诉我们做某个动作后会发生什么。

因为能预测行动后果，所以能指导我们选择行动和决策。如果知道把手伸进火里会疼，就不会把手伸进去。

控制理论在六七十年代也会用类似模型，把月球探测器送到目标位置。经典算法Model Predictive Control，就是通过模型roll out未来动作序列，预测每一步状态，计算和目标的距离。

不断sample动作序列，找到cost最低的序列，执行第一步，再重复。

每次决策都基于对未来的预测。

在model-based reinforcement learning里，也有人意识到世界模型的重要性。经典论文Dyna是Rich Sutton的工作。

Sutton认为人的智能可能有两种：reactive policy，和更智能的model-based policy。这和System 1、System 2类似。

刚学开车时，我们左看右看、做很多决策；真正会开车之后，决策会内化成肌肉记忆，变成reactive policy。

Rich Sutton在Dyna里说，纯RL是一个没有模型、没有世界模型的基础学习算法。他其实也有点反对纯粹的RL，认为有足够强的世界模型后，可以基于当前状态预测下一个状态，具备planning能力。

Planning在某种意义上和reasoning是同一个概念。

所以世界模型的实质，是刻画系统和环境，使你能预测，并用预测指导action sequence和决策。

LLM是predict next word，世界模型是predict next action吗？

更准确地说，是基于action predict next state。

怎样理解state？

State至少是能够描述系统状态的最小信息单元。

比如我们这个房间，当然可以把整个空间重建出来，记录桌面纹理、声波、桌子质量、话筒的物理参数，但不会这样做。

如果我们的目的只是聊天，只需要知道话筒能放在桌上，不需要关心每一点光照和纹理。

State可以包含很多信息，也可以只包含足够的信息，取决于你要解决的任务。

怎样构建state，和representation learning直接相关。

层次化表征的目的，是一层一层发展越来越抽象、对决策越来越有意义的representation。它不需要精细到每一点。

比如造飞机、建模动力学，当然不会从分子碰撞开始模拟。那是完全愚蠢的方式。

我们会在统计意义上研究，才有流体力学、Navier-Stokes方程。抽象程度越来越高，但能刻画的世界越来越广。

语言也是某种抽象，而且是已经被验证过的抽象，是高度凝练、已经存在的抽象。

你们想构建的是语言之外的新抽象，对，是latent representation。

人可以通过侧面方式了解模型学到了什么，但它不受语言句法和逻辑限制。

这就是为什么LLM不符合真正的bitter lesson。Bitter lesson要求尽可能减少人类知识、人类傲慢和聪明才智设计的结构，更多依靠search和learning寻找答案。

语言是人类极其聪明的产物，有精巧设计。如果讨论怎样刻画世界，语言本身就是一种结构，而且是非常强的结构。

语言一定会在未来智能体系中占据重要位置，它也可以做CoT。但CoT可能只是阶段性产物，LLM的一切都可能是阶段性产物。

LLM不controllable，也不safe，因为它没有真正的世界模型，甚至我们把它当世界模型使用，但它是fundamentally flawed。

现在的controllability和safety，主要通过fine-tuning和post-training实现，给它大量数据，告诉它什么能做、什么不能做，什么话能说、什么不能说。

真正的世界模型不需要完全依赖这种方式，因为它能预测action会带来什么后果，在inference时避免危险行为，还可以加external constraints。

比如机器人拿刀切菜，怎样保证它不会转身把人砍伤？LLM方式是喂大量数据，但世界模型可以理解动作可能造成的后果。

现在世界模型的定义还没有收敛。你们定义的世界模型，和李飞飞团队定义的有什么区别？

我前面讲的是我们定义下的世界模型。但世界模型不是技术路线，也不是算法，而是一个目的。

无论做LLM、video diffusion、Gaussian Splatting，大家都在通往世界模型。它不是一个具体的技术路线。

所以很多竞争和争论，过一两年可能会显得可笑，因为大家都在往这条路走，只是从不同方向思考。

Video diffusion公司，比如Sora、Veo、Genie、Runway、Luma，都把自己定位为world model company，但它们主要在做世界模拟器，也就是world simulator。

目标是渲染足够好看的视频，有一致性、更长内容，还能施加控制。比如向前走两步、向后走两步，具备一定memory。

李飞飞的World Labs更像是一个front-end、空间资产接口，提供强3D representation。它不是抽象藏在参数里的东西，而是显式的3D形式。

Autodesk给他们投了2亿美元，也说明这种具体的3D表达对设计、CAD等场景很重要。

有了3D空间，才能掌握空间智能，探索空间，并且百分之百确定不出错。生成式world simulator未必能保证这一点。

我们想做的更像是predictive brain，核心问题仍是提升智能本身。

这意味着你觉得LLM不智能？

LLM是智能体非常重要的一部分，但不是全部。

比如我们坐在这里，头稍微转5度、10度，就会产生很多帧。人的视觉系统能够感知很高频率的变化。

如果按LLM方式处理，每一帧都tokenize，拉平成长序列，再和语言对齐。256个token一帧，32帧或128帧串在一起，送入大语言模型。

这合理吗？完全不合理。

世界representation背后有某种global state，不能序列化成冗余token。Transformer虽然常被说没有inductive bias，但仍然有某些偏置：它会对每个token付出相近注意力。

这不适合连续空间信号。

世界模型需要理解physical world，有足够大的associative memory，能reason、plan，进行counterfactual和causal inference，还要controllable、safe。

它和大语言模型不是延伸关系，而是替代关系。

我不叫它替代关系。LLM也想往世界模型发展。

在没有LLM之前，纯RL只能对当前environment过拟合。LLM让系统具备一定真实世界认知，构成世界模型的一个元素。

但它的认知太间接，语言能带来的东西太少。

语言还是communication tool。人使用语言时通常带着intention，要传达目的。所以LLM更像search engine或chatbox的延伸，总是带着目的问问题、期待答案。

而我们大脑的world model，很多工作是在background里完成的，甚至在意识决定之前，大脑已经做出了决定。

语言模型不是这样。语言是communication tool，也可以做symbolic reasoning，但只是语义层面的推理。

大家之所以逐渐走向world model，是因为语言模型已经侧面展现了一点world-model behavior。但它没有action，对真实世界没有真正理解，也不能真正reason and plan。

Video generation比LLM往前推了一步，所以很多人称它world model，我觉得无可厚非，虽然不同意它就是最终的world model。

视频生成仍然依赖语言模型做prompt rewriting和conditioning，但历史进程很有趣：语言模型原本是主体，现在变成视频生成模型前期的脚手架。

LLM建模的是p(y)，y在语义或label空间；视频生成建模的是p(x|y)，x是数据本身，y变成条件。

生成模型需要知道世界上哪些现象更可能存在。比如四条腿的猫比三条腿的猫更常见，平滑奔跑比突然出现三条腿更可信。

这要求更多世界认知。

但像素本身可能也不是最终答案。像素是人为定义的规则网格，每个格子里有信息。它也是一个给人看的接口。

真正的bitter lesson可能是：为什么一定要给人看？世界模型可以给系统本身使用，不需要生成一个酷视频给人看。

它的核心是自主学习更好的表征、做更好的预测，是否生成视频只是接口问题。

总有一天会有更好的世界模型。语言模型会在其上变强，也会有更好的多模态模型和视频生成模型。

Unified model、omni model都在尝试把数据堆叠，让一个系统既理解又生成。理解帮助生成，还是生成帮助理解，我觉得都不重要。

理解和生成是一体的，都需要真正的世界模型作为基础。一旦有好的世界模型，prediction、planning、reasoning之后，上层解码就很简单。

所以表征是底座，世界模型也是底座？

对。表征派想做的是蛋糕最底下的底座。

表征怎样统一？最终和语言统一成某种抽象表征吗？还需要scaling吗？除了语言，还有什么在scaling？

语言的scaling本身也不容易说清楚。有一个理论叫compression is intelligence，压缩即智能。

语言模型可以看作一种lossless compression。模型变大，结果变好，不只是因为死记硬背，而是因为模型更强、压缩率更好，带来泛化能力。

但语言模型关注的问题，导致它的scaling law里有水分。它不一定用最小模型、真正理解世界的方式回答问题，也需要retrieve factual knowledge。

如果模型不能告诉你Wikipedia上的人名和经历，那是很差的LLM。

所以语言模型的scaling law，来自对knowledge representation的需求，数据token和参数大概需要某种平衡。

世界模型，尤其视觉世界模型，会有完全不同的scaling law，模型可能不需要很大。

如果做视频生成另说，但世界模型不需要记住所有细节，也不需要在极高维空间里解方程判断苹果是否掉下来。

它需要通过理解过滤信息，保留真正重要的东西，最后服务于决策。

人的视觉、听觉、嗅觉、触觉输入带宽非常高，可能达到每秒10亿bits，但人说话只有每秒几十到几百bits。

大脑在20瓦功率下，把极高带宽的信息转成低带宽行为，这就是world model过滤大量冗余和噪音的能力。

过滤系统很重要，而且是层级化的。

世界模型怎么训练？语言模型好训练，因为互联网信息在那里。世界模型看起来不知道怎样下手。

这是biggest bet。越接近智能本质，越难。

过去是download internet，现在是download human，要把人类下载下来。

四岁小孩看过的视频，比训练最好的大语言模型的token还多。小孩几个月接收的数据量，可能比几十个LLM训练数据还大。

所以数据量级太大。我们看到的东西怎样采集，是关键。

视频可能是全村的希望，这也是我们在Cambrian-S中重视视频的原因。

可以分阶段。第一步先用互联网数据，从YouTube开始。所有大模型训练数据加起来，等于YouTube上传的三十分钟视频。

这有版权问题吗？

所有人都知道有版权问题，但所有人也还在继续做。

严格说不只是版权问题，更是terms of service问题。YouTube禁止爬取这些数据，现在很难爬，爬几个视频，IP就会被封。

数据公司和平台像道高一尺、魔高一丈，一方严防死守，另一方想办法爬更多数据。

字节是不是很有优势？

确实有优势，也许他们不太在意，但也收到很多律师函。未来会有更多政治和法律优化。

第一步是视频。并行的另一条路，是找到世界模型的应用。

纯research不够，LLM成功也因为Chatbot这个interface非常自然、非常成功。它依赖互联网和移动设备，是很好的product。

世界模型最终的product是什么，可能比数据更难。

至少有两个出口。一个是AI glasses和personal assistant。它需要world model，只有语言模型不够。

我现在使用一些wearable device，它们还不是真正的AI wearable，但有一些world model特点：always on，一直监控身体体征。

比如它持续记录心跳，但心跳数据本身对人没有意义，需要智能系统告诉你：你压力太大，需要休息；过去几天睡眠不好，需要采取补救措施；今天应该take a day off。

这是一个最基础的world model，因为信息很垂直，但它是未来视觉模型在AI wearable上的缩影。

如果有always-on眼镜，能够实时看到我们看到的一切，无限视觉tokens进入系统，潜力会非常大。

我想知道几点喝咖啡、咖啡时间是否影响睡眠；运动员可以用它指导每个动作；医院可以给老人配备设备，了解每天行为、吃了什么药、做了什么事、心情和状态，再结合医疗记录提供决策。

现有LLM多模态智能可能做不到这些。

另一个出口是robotics。机器人面临的问题是大脑不够。即使能表演武术，也是很好的垂直应用，但距离通用机器人进入家庭、照顾老人、承担家务还很远。

机器人是很好的downstream application。LLM出现，可以有VLA；视频生成变好，可以做action-conditioned video；各种world simulator变好，可以用于action planning。

但网上看机器人、春晚看机器人，和私下跟机器人研究人员聊天，感受不同。后者更愿意告诉你系统的缺陷，为什么现有模型还解决不了。

你是怎样从十多年的研究跳到世界模型的？

其实没有跳跃。Representation learning、world model和AI发展，是一个平滑transition。

我不太喜欢“世界模型”这个词，听起来有点hype，也变成一个口袋式称呼，所有人都claim自己做world model。

但一个领域发展可能需要这样的buzzword。

Jitendra Malik说，他唯一喜欢world model这个词的地方，是它能告诉大家自己做的是world model，而不是word model。

我很同意。世界模型是所有人最终会抵达的目标。

10. 逃出硅谷创办AMI Labs

随着你开始做世界模型，也做了一个重大决定：创业。为什么做这个选择？

这也是一个玄学选择。之前湾区认识的一些朋友、mentor，有投资人也有创业者，会说：“赛宁，你应该尝试创业。”

学校其实有很大困境，但不是一无是处。学校给我足够空间找到想做的事情。

我突然觉得，现在可能是一个时间点，我探索到了一定程度，再往后可能陷入“中等论文陷阱”，像中等收入陷阱。

你会发一些不错的论文，但受resource限制，无法把idea发展成新的breakthrough。

所以我觉得可能是一个好时间点。

去年年终或秋天，一个mentor让我去问Yann，说他在Meta可能待得不太顺心。

当时还没有现在这么动荡，没有Meta的裁员，也没有后来的那么多事情。我的第一直觉是：怎么可能？他是AI教父，是纯粹研究员，怎么会创业？

结果第二周周一，我们刚好有one-on-one meeting。还没等我说什么，Yann就说：“赛宁，先不要告诉别人，但我已经决定了。我觉得现在想做的事情应该在外面做，我想创业，开一家公司。”

我问他想做什么，business model是什么，后来发现和我想做的事情完全一致。

我想做的事情，在现在这个世界上，不管哪个国家都很难做。它需要research，但不是纯学术setting；也不是过去的FAIR或NYU；也不是湾区大厂和现在很多封闭的new lab。

硅谷的问题是，很多公司不开源、不发表论文，甚至blog不能署名。即使同一个公司里的research部门和product部门，也有很大隔阂。

核心模型训练部门必须在高度竞争赛道上走到最前，这是唯一目标，会压缩research空间，抽走环境里的氧气。

所以你没想过加入其他lab，是无法忍受这种没有氧气的感觉？

确实有过一些机会，但如果真想做前沿探索、定义问题，可能还是要在自己的startup里才成立。

别人的startup有它要定义的问题，你只能执行。更重要的是，没有其他startup或大公司真正focus在“building the predictive brain”这个最foundation、最upstream的层面。

很多朋友和我聊时也意识到，这件事是必须的。它既有反共识的一面，也逐渐变成共识。

现在AI行业有一条巨大的value chain。最上层是bitter lesson、AGI、LLM等叙事，定义一系列benchmark。

Benchmark定义resource allocation。目标是榜单第一，就投入最多资源。于是资源分配逐渐脱离研究者认为真正重要的事情。

视频理解显然重要，但现在无论学术界还是工业界，大家往往把它分配给video generation或captioning团队，因为这是价值链中唯一能间接参与的position。

我在Google时也有这种困扰。REPA前后做了快一年。发表之后，有Google研究员来找我，我担心他们会说我们泄露了机密。

结果他们说：“这件事是对的，我做了两个星期，但manager说不能继续做，要完成product cycle。”

驱动力不一样。

所以还是回到有限游戏和强竞争环境下的问题：公司失去了定义问题的能力。

早期OpenAI具备这种能力，GPT、CLIP等都是他们定义的问题。成立初期，他们有探索过程，很像research。

但现在research变成product和商业问题，必须竞争。

所以我们要逃出来，创造一个更friendly、对researcher友好的组织。

所以你们要逃离硅谷的叙事。

我觉得是双向选择，也可以互相diss。

Yann见你的时候跟你说了什么？

他主要说了世界模型的定义。我们对这件事的理解非常吻合。

他还说，这家公司不是nonprofit，也不是纯research lab，需要有business model。

我理解他的意思是：世界需要一个世界模型，但在硅谷和LLM叙事之外，还有一个隐形世界。

这个世界里有很多人想解决物理世界的问题，比如农场、医院。他们拿着LLM无法直接解决这些涉及真实世界理解的问题。

大家焦虑，担心AI浪潮来了，自己连牌桌都上不了。

这个隐形世界在硅谷叙事下不可见，但它是很大的市场。

现在我最享受的，不是和AI研究人员聊天，而是和完全不在AI research field的人聊天。

侯晓迪和MAD的张涛都说过同样的话：如果想做一个好产品，首先得热爱生活，知道生活中的人在做什么、需要什么。不能把AI、智能强加给别人，要理解他们的需求。

世界上有大量生活在真实世界里的人，他们是问题的定义者。问题不是研究人员坐在实验室里想出来的。

如果要做惠及人类的AI，不应该是头部几个公司独裁式地强加能力，而要知道世界在发生什么、大家需要什么。

世界需要world model，world model也需要这个世界。

第一是定义问题的能力，问题应该来自生活、人的真实需求、工业生产需求。这些对硅谷和LLM趋势来说都是隐形的。

第二是数据。YouTube数据和人类价值观、娱乐需求高度对齐，但世界里还有大量非视频、非视觉的连续、高维、有噪声的数据。

我们需要从现实世界获得这些数据。

你说世界模型不只是视觉，还有什么？

比如飞机引擎。一个飞机引擎可能有1000个传感器，不断记录数据。怎样训练一个飞机引擎世界模型，知道设计缺陷和long-tail错误？

这是一个垂直的飞机引擎世界模型，但它可以建立在universal world model预训练之上。

预训练模型上可以有很多垂直方向：语言、视频生成、action、planning、robotics，都会是不同分支。

你们会训练一个通用世界模型？

这是目标。首先要有pretraining，上面再有很多垂直应用。

我们现在有roadmap，也招了很多人，大家重视怎样落地，不只是做research。

最终目标需要很多research，但也要找到平衡。它不是纯research lab，也不是像xAI、Google DeepMind、Meta等在现有范式下封闭竞争的lab。

定位可能在两者之间，超过50%像new lab，可能60%到70%；另外20%到30%是完全自由、前沿的research。

现在frontier lab竞争激烈，是因为LLM范式已经相对确定，大家争的是商业输赢。你们是不想在这个范式下卷，而是提前找下一个范式？

我的感受就是这样。但我先声明，我不懂商业，也没做过startup，不知道成功或失败，所以既焦虑，又有无知者无畏的冲劲。

Yann自己是research背景，为什么创业？他是第一个找你的吗？为什么又找一个researcher？

不只是找researcher。因为research是公司的focus，最终最重要的product是一个research breakthrough。

数据、问题定义、产业合作，所有事情都建立在能够支持research、产生下一个AI革命的基础上。

可以叫世界模型革命，但它和LLM在fundamental上不同，至少希望达到Transformer或ChatGPT级别的影响。

我不是CEO，而是co-founder and chief science officer。我喜欢这个title，因为希望自己的定位仍然在science上。

我不是一个好的CEO，至少现在不是；也不擅长管理很大的team和launch product。

你不想当CEO，和Yann一样？

有点像。但公司里有不同co-founder，分工会很不一样。

算是硅谷的避难所吗？

不能叫避难所，但确实是不一样的地方。

很多人从OpenAI、Google DeepMind等地方加入，不是为了赚多少钱，也不是为了IPO。大家心里很纯净，就是想做research，也觉得有机会影响AI进程。

现在行业变化让很多人的心态发生微妙变化。大家会走到另一个极端：lower everyone's ego，everyone is part of the team。

但实际可能是，大家变成团队一员，也变成巨大机器里一个可替换的螺丝钉。

Researcher不能有太强ego，否则不利于协作，但我仍然希望给年轻人足够visibility，让他们有自己的人物弧光，真正成长为有声望的leading researcher。

现在这样的pipeline越来越紧，上升通道越来越少。

所以我们的招人策略，是寻找mission-driven的年轻人，一起把事情做成。

我不想把已经发表过20多篇改变AI历史论文的superhero聚在一起，期待发生化学反应。

为什么？

不是因为我的ego。我的意思是，一个人很难被闪电击中两次。

如果已经发表过20多篇代表作中的一篇，再发表类似论文的概率会低很多。我更倾向招reputation不错、能力很强，但还没有被大家发现的人。

这不是针对我个人，而是我觉得一个团队应该给这些人机会。

这家公司也是我保持NYU affiliation、维持学术联系的唯一机会。我会全职投入，但不需要对学生说，刚招来一年就离开，让他们自求多福。

我原本有过这种计划，后来发现做不到。我很爱我的学生，觉得他们都很优秀。

我有几个学生，从成熟度、工程能力和research taste来看，比我在leading research lab里见到的研究员还强。但他们在学校没有渠道，在充足资源下做不一样的事情。

他们不一定都会加入公司，我们会有清晰边界。但我希望AMI Labs能承担一个定位，联系学术界想做事情的年轻人，让他们参与历史进程。

如果Yann不从Meta离职，你还会创业吗？

可能会，但会纠结一段时间。至于会不会自己做CEO，我不知道，也会是一个玄学决定。

但现在公司讨论的，正是我一直想做的事情，所以很不谋而合。

我们想做一个“反向OpenAI”。

正向OpenAI是从互联网获得数据，download数据，训练Transformer和GPT模型，得到智能，再推向市场，做to C或to B应用。

反向OpenAI是：世界模型不能直接从互联网download下来，没有shortcut，需要一条更艰辛的路，而且不能由我们单独走。

World model needs the world。

我们希望形成一个草根联盟：那些不愿意在AI浪潮面前被淘汰、有具体问题和数据的公司，通过合作共同建设模型。

我们可以有初始世界模型，交付模型创造价值，合作方得到回报，再产生更多数据反哺世界模型，形成闭环。

你们需要从生态中收集多少数据？哪些类别的数据？

这是公司接下来要讨论的事情。

Yann有自己的声望，而且是真正的世界人，是一个中立角色。他是美国人，也是法国人；我们又不在硅谷，所以能吸引很多潜在合作伙伴。

公司第一天就会有4个办公室，总部在巴黎，也有纽约、蒙特利尔和新加坡。

目的是建立这个联盟，大家一起在research道路上往前走。

这里有一个很有意思的比喻，是mentor告诉我的：Mastercard是怎样来的。

Visa一开始是Bank of America建立的，之前没有信用卡模式。BOA建立Visa，推向市场，赚得很多，还对外说这是赔钱生意。

过了一两年，其他银行发现市场已经被Bank of America占据，小银行单独发卡竞争不过，于是组织成联盟，推出Mastercard。

我不是说公司真的要走这个模式，但在某种意义上有相似之处。

世界模型的叙事更加decentralized、分布化，也天然抵抗某种垄断。

这也是我们开放性的来源。我们可以和学术界、产业伙伴讨论合作，因为这本身是research exploration的一部分。

当然我们不是说所有research都开源，这是一个严肃的创业公司。但可能可以做得不一样。

真正困难的是寻找平衡：既不是纯research lab，也不是封闭式大模型公司。

个人也是一种平衡。我不是已经功成名就的资深教授，也不是十八九岁、可以卷着铺盖去工厂扎下来的年轻人。

有一部分数据来自深圳工厂？

有人在做。我刚才说的是一家具体公司，Build AI。创始人带着几个人从大厂离职，去了深圳工厂住下来做startup，我很佩服。

对我来说这是困难，也可能是机会。也许这个时代不属于老灯，也不属于小灯，而属于中灯创业。

你对Ilya两次说no，却对Yann说yes。为什么？在你眼里，Yann是怎样的人？

网上的Yann像一个斗士，坚决反对LLM。

但他不是反对LLM。他自己也用Gemini。他反对的是“LLM可以通往human-level intelligence”这套叙事。

他网上像斗士，四处开战，但私下是一个非常好的人，是我打心底崇拜和敬佩的人。

我们之前合作过一些论文，但当然没有在startup里做co-founder那么紧密。

Yann真的能扭曲现实。他很容易让身边的人感到宁静，觉得挑战不是挑战，前方一片光明。

他的research vision也让我非常敬佩。什么是world model、为什么要过滤信息，本质上都是JEPA思想的内核：不能做一个把所有东西都记住、都重建出来的general model，而是要在抽象representation space里做预测。

这就是JEPA的核心。

我觉得他本人也很知行合一，一直坚持认为正确的事情，不受外界干扰。但这不代表他听不进意见。

他说自己可以被改变，但必须基于事实，而不是别人告诉他应该怎样做。

Meta时期，很多人告诉他要做大模型、不能再公开批评LLM。他说，作为科学家的正直不能接受。

我敬佩的是，他说这些话不是因为现在某件事成为热点，而是可以追根溯源。World model也不是最近流行后才提，他很多年前就开始讲。

他有一篇很值得看的position paper，叫The Path to Autonomous Intelligence。

你会发现他的思想有很多层，而且表达得非常工程化、可实现、数学化。别人问world model是什么，他不会只讲高层概念，而是会写公式。

他现在每周也会有一天在NYU，带自己的group、开组会，走到白板前推公式。Highly technical。

你们两个的分工是什么？

Yann是executive chairman，更像这艘大船的船长。

我和他聊过。他不喜欢管理operation level的事情，不是一个好的CEO。我可能也不是。

但我觉得他是有智慧的管理者。他用帆船做比喻，这是他的爱好之一。

他说管理就像划帆船：给予每个人足够信任，让他们做自己的事情；一旦出现波折、需要校正，就尽可能早地调整。

Trust everyone to do their work。

所以Yann既是公司的精神领袖，也有船长的角色。

我喜欢和他共事，更多是个人原因。他虽然是大佬，但会拿着手机和大家自拍，私下里很纯净、温暖。

和他在一起没有畏惧感。即使他说错话，也不担心惹他不高兴。公司里每个人都可以直接告诉他自己的想法，觉得他说得对或不对，然后一起讨论怎样对公司最有利。

介绍一下你们目前资本和团队上的进展。

资本方面，我的世界模型还不足以支持预测。Target可能是大约10亿美元。

如果不对，这段只能剪掉。

人员方面，我们一开始大概有25人的团队，还会逐渐增长，不想太快，也不想太慢。

创业的魔力在于，过去我在大厂refer朋友和学生，大家去了不同team，各自做事。创业之后，真的可以把大家聚在一起，找到共同mission。

这让我很感动。有人在OpenAI有几千万美元的未归属股票，有人在Meta有1500万到2000万美元的offer，但大家几乎没怎么想就放弃，加入我们。

可能我们脑子缺根筋。一边是research，一边是某些反脆弱的outcome。当然创业公司做成了，upside也很大。

但现在大家主要是mission-driven，相信这是唯一能做这件事的地方。

你们已经开始考虑商业模式了吗？

当然。这次融资也是为了减少压力。但这是一个serious company，CEO、COO每天都在花很大精力考虑商业模式。

你刚才说气质相投，不是商业决定。

对。和其他机会比，有些会有更好的short-term financial return、更高工资和回报。

有人劝我先赚两年钱，赚够再创业。我部分同意，但会担心：在我现在人生阶段，还有没有两年时间，让我在足够好的精神状态里做这种完全explorative的research？

有钱之后，lifestyle可能改变，也可能失去最初的勇气。这只是对我个人而言。

我认识的很多Meta朋友赚很多钱，也很卷，每天加班加点，搬到公司附近，每周工作70到80小时。我相信他们能做出很强的模型。

但我也想对他们说，等模型做完之后，可以来我们这里看看。Hopefully it's not too late。

你们的招人策略和Meta TBD一致吗？

当然不一致，我们没那么多钱。Thinking Machines、xAI等也都不一样。

我们的融资规模可能能排进历史前几名。估值一直没变，还是30亿欧元的pre-money。但钱仍然不是很多，资本非常宝贵。Meta和Google有印钞机，可以做很多事情；创业公司必须谨慎布局。

你们是刻意不去硅谷创业吗？

对。Silicon Valley已经很AI-pilled，深陷于被大规模机器学习催眠的状态。

但这不会持续很久，被催眠的人总会醒来。到时候我们不排除去硅谷设立办公室。

最终公司在哪里，取决于人才在哪里。

你还想补充讲讲Yann吗？

我觉得Yann还有一个很吸引我的地方，他是一个斜杠青年，很文艺。

按何恺明的说法，Yann是一个16岁青春期一直延续到65岁的人。

他很骄傲地说自己有四大爱好：第一是造模型飞机；第二是天文摄影。他Zoom背景里的星云，就是自己在后院拍的。

第三是电子乐和爵士乐。他的网站是宝藏，会介绍纽约哪些爵士俱乐部和乐手，也会讲法国人通常看不起美国流行文化，但爵士乐除外。

第四是帆船，3月还要去加勒比海划帆船。

我觉得这样的人对我很有吸引力。他的世界很大，不局限于research。我希望大船的舵手是一个有格局、热爱生活的人。

我们还要发布一篇论文，叫Solaris，来自莱姆的科幻小说，后来被塔可夫斯基改编成电影。

我们做的是视频生成模型。电影里有一片海洋，能读取人的潜意识和记忆，把它们具象化生成出来。

塔可夫斯基讲的是，人最大的敌人不是外星文明或不可知的海洋，而是自己的苦难和记忆。海洋只是人的投射。

我觉得这和LLM很像。LLM可能没有真正理解人，只是人的投射和反射。

我问Yann论文叫这个名字怎么样，想知道他看过哪部电影。他问我：“你说的是1972年那部，还是2002年那部？是塔可夫斯基拍的，还是索德伯格拍的？”

我觉得不光research上服他，在电影上他也比我懂。这对我个人来说，是人格魅力的体现。

有中国投资人说，所有含着金汤匙出生的创业几乎都没有成功。你怎么看？

我不太理解什么叫含着金汤匙。

融资金额巨大，创始人已经功成名就。

我们不是。我们完全不是含着金汤匙，甚至不是草台班子，而是草根联盟。

Yann怎么可能是草根？

Yann不是草根，但在AI行业和投资人面前，他一半被支持、一半被反对，不是众星捧月的英雄。

他坚守自己，尝试做下一件事，但还没有做成功。这导致我们不是含着金汤匙，而是underdog。

即使融资很多，相比LLM现在撬动的资源，仍然差得太远。

你们融资难吗？

有Yann在，确实不难。但seed round只是seed round，还是要看后面能不能deliver mission，能不能做出research breakthrough。

我很享受underdog身份，创业和research都一样：越不相信我，我越开心。

你感受到谁不相信你？

很多人。我们有很多人相信，也有很多人不相信。硅谷大部分人可能不相信，世界其他地方很多人相信。比例不好说。

但没关系。你们可以不相信，那就let's see。我已经all in了。

创业和做research有什么不同？

有很多相似，也有很多不同。我最近开始滑雪，得到了一些感受。

第一，滑雪讲求平衡，掌握平衡才能滑起来。第二，要无所畏惧地把肩膀朝向山下。

人面对坡度会本能地往后靠，但一旦向后倒，就会失控、摔倒。只有有足够勇气，不害怕，把肩膀朝向山下，反而更稳定，更能控制速度。

我很喜欢一句话：“人类的赞歌就是勇气的赞歌。”

这也是我对创业的认知，需要勇气。学校里的很多选择也需要勇气。

还有一句话：你永远不会独行。因为身边会有很多人帮你。正是因为有人陪伴，你才会更勇敢。

你刚才说了research taste，你觉得自己识人的能力怎么样？

我不觉得应该说“对人有什么taste”，这听起来像居高临下。换成识人能力可能更好。

但这也是相互的过程。某种吸引力会把能够一起共事的人聚到一起，我们只需要遵循这种吸引力，找到这些人，和他们一起工作。

当然也有具体metric。比如面试时不能说有一套玄学逻辑，就不用面试。

但我会在意，你是不是真的有解决问题、理解事情的勇气和执着。这对research和创业都重要。

招学生也会看这样的行为和性格。

从research角度，如果一个问题摆在你面前，你是否会起床想它、吃饭想它、洗澡想它，睡觉时可能可以不想，但是否带着它入睡？

你到底有没有这样的passion，还是只把它当作一份工作？这是区分人的一个标尺。

你现在有这样的问题吗？

当然有。但这也是为什么我觉得在学校待久了有点难。作为faculty，需要不断context switching，管理很多project、合作很多人。

创业公司反而让我可以focus on一件事：组建什么团队，找什么人，接下来一个月、3个月、6个月、一年解决什么问题。

我可能想得不对，但没关系。只要团队齐心协力，能fail together、pivot together，公司就不会失败。

我不能保证现在每个设想都对，Yann可能也不能保证。但我相信人，把有理想、有热情、想闯出新天地的人聚在一起，一定能做出了不起的事情。

你是当场就答应Yann了吗？

没有，中间隔了很长时间。Yann后来负责recruit团队，需要思考每个人的角色。我们一起讨论、协商，是一个长期过程，最后大家找到了合适的位置。

你纠结了多久？

大概一个星期。从他第一次告诉我，到我决定要不要创业、要不要和Yann一起做、是不是寻求其他机会。

但没有纠结太久。Yann有一种魔力，和他说话像被施法，像《哈利·波特》里casting spells。

他对你施了什么咒语？

他讲了愿景，也讲了为什么这是对我、对公司都更好的选择。在这里我有足够的agency和autonomy，可以组建团队，设计执行roadmap。

我非常感激Yann对我的信任。

公司一共有6个co-founder，还有CEO、COO、VP of World Model，以及一个暂时叫CRIO的职位。

CRIO更像纯research和product之间的alignment层，负责innovation。他之前也有很多创业经历。

VP of World Model是JEPA团队当时的director，Mike。COO是Meta南欧区的VP。

所以这不是一个纯research背景的组合。

你们会探索to C产品吗？

会。最终一定会有to C产品，但我们希望不受压力，先把world model做出来。

Roadmap能规划到几年？

几年不现实，能规划到一年已经很好。不需要更长期规划。

伟大不能被计划吗？

我做research也是先探索、动手，然后逐渐找到属于自己的idea。Startup也一样。

现在idea进展到哪一步？

我们已经有事情可以做，也觉得很快会有promising结果。但具体内容，几个月后再聊。

外界对公司和Yann有一个错误认知，就是不知道JEPA是什么。

我自己经历了三个阶段：从质疑JEPA，到理解JEPA，再到成为JEPA。

一开始质疑，是因为我们做MoCo、MAE时觉得，JEPA不过是“又一个自监督学习算法”。

后来慢慢理解，发现JEPA比想象得更深，有很多背后的逻辑和数学原理。我们当初发现东西不能scale up，就不做了，但JEPA需要有人继续坚守。

比如最近有一篇论文LeJEPA，用严格证明说明，如果想让representation对下游任务agnostic，它需要接近某种各向同性高斯分布。这是对表征性质的刻画。

真正成为JEPA，是因为我发现它不是一个模型，也不是具体算法，而是一整套cognitive architecture，是一套认知体系。

Yann在2022年的论文里写过，JEPA是通向universal intelligence的合理道路。

它需要world understanding、prediction和planning能力。

所以JEPA不是一个固定方法，不是说必须用某个方法做某件事情，而是一片非常广阔的海洋，很多船都可以在上面航行。

整个系统需要大量协作，LLM也是其中一部分。

这让我觉得，公司可以做，也有机会成功。因为它没有把事情做小，而是刻意做大，有足够空间探索和scale up，直到出现新的breakthrough。

什么时候发生、会不会发生，无法判断。但这是我愿意投入生命走下去的路。

创业之后真实感受怎么样？变忙、变累了吗？

当然变忙、变累，也有很多ups and downs和繁琐事情。

但看着公司一点点成长，看到4个office、legal问题、内部摩擦慢慢变得顺滑，这个过程也很开心。

我们得到很多人的帮助。暂时看，我觉得做了正确选择。

和预期不一样吗？

可能更乐观。跳下来那一刻，恐惧消失了。

只要有勇气，一切都好说。我觉得在公司里能找到这种勇气。

你说AGI是伪命题，可以展开吗？

Yann以前和Demis有过讨论：什么是general intelligence，general intelligence是否存在。

这个逻辑其实很数学。比如一个人有200万个视觉神经纤维，理论上可以model的视觉函数数量是2的200万次方，但人真正能处理、看到的东西趋近于零。

我们受到意识和神经带宽限制，看不到世界上发生的一切。所以人的智能是高度specialized的，只能认知自己能看到的东西。

我最近还看了一本书，叫Are We Smart Enough to Know How Smart Animals Are？看完后，我更愿意放弃人类自大。

不同动物有不同智能。人会使用工具，但动物也会使用工具；人有自我意识，很多动物也能识别镜子里的自己。

黑猩猩有theory of mind，有自己的world model。

有一个实验：房间里有两个盒子，一个放香蕉，一个放苹果。让黑猩猩看见后把盒子扣上，再把黑猩猩带出去。很久以后带回来，它看到实验人员正在吃香蕉，就径直打开装苹果的盒子吃，看都不看香蕉。

动物也有交流方式。鲸鱼有自己的语言。还有鸟会注意同伴是否看到自己藏食物，如果被看到，就等同伴走后把食物挖出来换地方。

狗有敏锐嗅觉，蝙蝠依靠听觉。智能的边界非常广。

你们的世界模型会先朝哪种生物的智能做？

目标当然是人类智能，至少在地球上，人类智能最强，也最能benefit世界。

但我想放弃人类自大。Rich Sutton在一个播客里讲过：大家觉得LLM会写代码、拿IMO金牌、帮助人类去月球火星，很伟大。如果你觉得伟大，那就这么觉得。

但他认为，打造一只松鼠的智能才是真正难的问题。

如果能打造松鼠智能，让它在真实世界活下去，有自己的goal、intrinsic reward，知道饥饿，有emotion，能进行社群活动，那么写代码、上火星、上月球都变得容易。

我越来越认同这个观点。对人来说，很多能力好像不难，是因为人类自大。

我们仍然要做人类智能，但人类智能不只是语言模型，很多智能不能由语言模型和语言决定。

你的智能定义是什么？

11. 智能没有唯一答案

我不想给智能下一个单一的定义。不同动物有不同智能，人也有human-level intelligence。

我希望大家不要只关注个体做不到的事情，也关注我们现在做得好的、一个四岁孩子能做得好的事情。

这些恰恰是世界模型需要解决的问题。

这也是为什么robotics是合适的出口。在谈AGI、superintelligence之前，能不能先有一个可靠、足够通用的机器人，在家庭环境里做家务？

一个几岁的孩子能做很多家务，12岁的孩子基本能做所有家务。但现在没有机器人能像12岁孩子一样承担家务。

DeepMind的谭杰说过，机器人发展极不平衡。机器人的四肢已经很强，但很多能力不如孩子，因为没有人真正构建机器人大脑。

DeepMind现在也主要基于Gemini，在VLA框架里做。

这需要预训练的下半场。机器人公司需要把资源投入硬件scaling：买更多机器人、部署、在模拟器里做imitation learning，解决短期问题。

Pi也是非常researchy、很有启发性的公司，但它不会做pretraining，会把LLM当作foundation。

你说预训练下半场，具体怎么理解？输入和输出是什么？

不知道。长期来看，输入是连续空间、高维、可能有噪声的信号。第一步可能仍然是视频，也可能有多模态encoder处理视觉以外的信号。

输出是什么，是research问题。我现在还不知道，也许之后会更清楚。

这不容易，但也正是exciting的地方。

我们第一次见面你就说：“You are not the chosen one, you are just the normal one。”为什么喜欢这句话？

我没有预料到我们会聊这么多成长经历，但我当然不是天选之子。

这句话也来自我喜欢的球队利物浦。我是Kop，支持利物浦20多年。最喜欢的教练是Jürgen Klopp。

穆里尼奥曾说“I am the special one”，克洛普则说：“I'm not a special one, I'm the normal one.”

克洛普很朋克，有摇滚气质。他经常说自己在团队里像一块电池，希望用自己的passion和能量给别人发电、empower别人。

我也想成为这样的人，成为学校或创业公司团队里的一块电池。

每个人都会沮丧，我也想吐槽、发泄。但在学生和创业团队面前，需要有人发挥电池作用。

Yann是一个巨大的电池，感召了我。我希望把这股电力继续输送下去。

你最近一次感到沮丧是为什么？

我每天都感到沮丧，这可能是researcher的宿命。

Research的底色有些悲凉，因为求索是在暗无天日的地方摸索。看不见光时，总会迷茫、沮丧。

真正快乐的时光，是把东西做出来的时候，但那段时间非常短，可能只有5%到10%。

长此以往，大家的心理状态确实令人担心。

但现在和过去不一样，AI带来的好处之一，是大家可以讨论，不会觉得自己在封闭空间里独自探索。可以刷小红书、微博、知乎，看别人怎样讨论。

有时解压，有时增加压力。

被人骂的时候就不这么想了。

你们公司有创业者人格的人吗？创业者人格一般比较乐观。

Yann本身就非常乐观。

为什么他没有researcher那种悲凉底色？

可能因为他经历过悲凉然后成功了。他经历过AI寒冬，最后证明自己是对的。

这让他更有信心。他经常说，现在的智能系统和过去深度学习、神经网络发生的事情一样。

总有一小群人能清晰看见科技发展的脉络，但他们只是少数，大部分人看不见，因为大家忙着做其他事情。

我觉得他很乐观，有足够confidence，相信自己看到的是重要事情，相信这条路线清晰。

我很相信他。

你怀疑过他吗？

当然。我说过，我从质疑JEPA到理解JEPA，再到成为JEPA。

但对人的信任和对研究主线的信任，需要时间。

Yann每次出去做talk，几乎是一模一样的talk，slides也不算好看，但很有个人风格。设计和风格也很有意思，有些东西本来很丑，使用久了、时间变化后，可能变成新的时尚。

我最近反复看他的talk至少10到20次，每次都有新收获。不是因为内容重复，而是因为我在做自己的事情，会把他的内容翻译、联想进自己的认知体系。

我发现他说的东西可以清晰映射到我们现在做的具体事情，也能指导我们走出某种local optimum，通向不同未来。

所以它不只是knowledge，也是inspiration。

我们聊了很多世界模型。你对真实世界的世界模型有什么新思考？

这件事一定要超出researcher的局限，走进真实生活，了解真实世界发生的事情。

纽约和湾区很不一样。我每天步行上班，不用开车，好像从铠甲里脱离出来，进入真实生活。

从家到学校会经过Washington Square Park。公园里有各种各样的人：弹钢琴的艺人、跳舞的人、推婴儿车的妈妈、下象棋的老人、坐在台阶上发呆的年轻人、拿电脑学习的NYU学生。

我每天最解压的就是这5到10分钟。我发现世界比我们想象得大，不是所有人都关心AI，他们有自己的生活。

另一方面，AI未来可能确实会影响他们。我们作为研究人员有没有社会责任？这可能说远了，但多接触真实生活，让我对AI和下一代AI有新的认识。

这也是Ilya当初打电话想和我聊的事情，只是那时我还没有这些感悟。

你有了什么新的爱好？

滑雪算一个。其他时候可能真的没有时间。

纽约的好处是，出门之后就能找到新的爱好。即使没时间真的去做，有这样的机会也让我开心。

除了工作，你喜欢什么音乐、书、电影、游戏？

我挺爱看电视剧。可以推荐几部。

有一部老剧叫Person of Interest，里面讨论superintelligence，以及好的superintelligence和坏的superintelligence之间的竞争、对人类社会的威胁。

它很有多模态预言性：从盒子里的语言模型，或者能写代码的agent，一步一步跳脱出来，变成多模态模型。大家可以看。

我还喜欢《万神殿》，也是某种AI预言。它是刘宇昆的作品。刘宇昆是我的老乡，做过律师、程序员，后来成为小说家，非常厉害。

《万神殿》之前也被Sam Altman推荐过。

最近还有一部很火的剧，但现在流行文化被AI渗透太多，好像什么都和AI有关，有时也挺受不了。可能因为我是AI从业者，所以会有不同感受。

科幻小说和老电影常常像现实预言，但结局通常不太光明，比较惨淡。

最近还看了一部朴赞郁的电影，叫No Other Choice，可能翻译为《别无选择》。

它全片几乎没有直接讲AI，但一直在讲AI到来后人的变化：人的心态、人与人的关系怎样变化。

纽约有纽约电影节，我以前会参加。现在还参加另一个：Runway每年举办的AI电影节。

今年获得大奖的AI短片叫Total Pixel Space，可以翻译成《全像素空间》。不剧透，但它和我们刚才讲的世界模型、人类智能不是简单general intelligence等问题很相关。

每位嘉宾都会给观众推荐一本真正影响过自己的人生之书。你会推荐什么？

我想一想。可能是本科时的一种群体性记忆，大家会一起看《哥德尔、埃舍尔、巴赫：集异璧之大成》，英文是Gödel, Escher, Bach。

它讨论哲学、数理逻辑，以及哥德尔、巴赫、埃舍尔之间的共同点：一个数学家、一个作曲家、一个画家怎样产生联系。

本科时这本书很厚，我们组团学习。最开始其实看不懂，但后来越来越觉得里面有道理。

如果没有时间逐页读，可以看精简版或summary。里面有一些观点非常有意思。

还有一本是《禅与摩托车维修艺术》，英文是Zen and the Art of Motorcycle Maintenance。

这本书像一个内心求索的过程。一个人骑摩托车，遇到一个想象中的哲人，但这个哲人其实是他自己的投射。

我没有完全看懂它，但有些书和电影会把你装满，有些会把你掏空。看完这本书，我有一种被掏空的感觉，让我感受到这个世界里什么重要、什么不重要。

对你来说，什么重要，什么不重要？

我不知道，永远在寻找平衡。

人与人之间真诚的交流很重要，也许其他都不重要。某个时间点你问我，可能会说创业重要、research重要，但归根结底，我相信人与人之间的交流最重要。

听起来你做research也是为了交流。

对。Research本身也是一种更深的connection。

这件事在融资时还帮到了我们。有一个投资人愿意投我们，原因是他认识一位很强的创业者、研究员，对方说：“你们一定要投赛宁，不管以什么方式都要帮到他。”

但我和这个人只在开会时见过一次。

是谁？

Robin Rombach，Stable Diffusion的关键人物，现在是Black Forest Labs的CEO，Flux背后的团队。

投资人告诉我，他之所以有这样的信任，是因为这种信任建立在学术工作之上，甚至有时远超真正的个人连接。

大家通过一篇作品了解你，这种关系会传承下去，走得很远。

你怎么看现在的Seedance？

Seedance非常厉害。我们摄制组的朋友也可以讲，我觉得它非常强。

我听说它是一个很大的模型，也是MoE，不知道小道消息是否属实。如果它真的能做到2000亿参数的MoE架构，并且把数据吃进去，非常了不起。

但所有生成模型，90%还是数据问题，甚至95%是数据问题，架构没那么重要。

它的数据量大，还做了大量清理、captioning，校对数据分布、diversity、quality以及和语言prompt的alignment程度。

我相信很多人参与做了这些工作。一旦把这些事情做好，后面的事情会简单很多。

Seedance很厉害。Sora、Veo想超越它，也不一定简单。

我们的工作室叫“语言及世界工作室”。你听到这个名字时在想什么？

我看到你给我写了一句话：“放开维特根斯坦。”

这个结尾是不是不太好？

没事。“放开维特根斯坦”是说，大家不要拿着维特根斯坦那句“我的语言的界限意味着我的世界的界限”，使劲薅，把它当作LLM或语言决定论的背书。

这件事很离谱。

第一，维特根斯坦在《逻辑哲学论》里讲语言边界，是有强烈前提的，指的是可以被命题刻画的世界边界，不是一般意义上整个世界。

第二，他晚期完全推翻了早期体系，不再坚持那句话。他后来提出语言游戏，语言本身没有意义，符号之所以产生意义，是因为和真实世界的实践发生关系。

这就很world model：不是语言完整represent世界，而是世界的实践和action决定语言游戏的内涵和外延。

我不懂哲学，但不喜欢论文开篇随便引用一句名言。我觉得这不符合审美。

费曼那句“What I cannot create, I do not understand”也一样。它本身没错，但指的是我们通过改造真实世界来认识世界，有具体action。

现在有人拿这句话给简单的unified model背书，逻辑也不成立。不能把create简单归结为diffusion model反向传播的loss。

可能是我小时候写作文引用名人名言太多，现在看到这些会有PTSD。

你一开始就说相信命运，而且越来越相信。你觉得命运在把你往哪里推？

我不知道，好像没有被命运推着走。

只是下一次需要做选择时，希望上天保佑。

这个世界是一个巨大的世界模型吗？

当然是。

那你能预测命运吗？

不能。

为什么？

因为资源不够。

你需要用地球这么大的计算机，甚至整个宇宙作为计算机，才能得到关于生命、宇宙和一切事情的答案。

这个答案最后可能是42。

Running late again, toast in my mouth, shoes in my hand, turn the corner, sky explodes, colors I swear I've never known.

好了，今天的节目就是这样。这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目。你可以到公众号关注我们的工作室获取更多的信息，我们的公众号是语言及世界 language is world。我们希望和你一起从这里探索新的世界。在最后，很开心地想告诉大家，我们的工作室正在招募内容实习生。如果你对我们的内容感兴趣，并且你认为自己具有一定的专业知识、专业素养，欢迎联络我。你可以在show notes中找到我的邮箱，给我发邮件吧。