150. 对英伟达研究副总裁刘洺堉的4小时访谈：Cosmos 3、世界模型、武术、黄仁勋影响我的，和你不需要击败所有对手

Hello，大家好，我是小俊。今天我在上海，谈话对象是英伟达的研究副总裁刘洺堉。我们的谈话时间是黄仁勋刚刚访华之后的一个月。

刘洺堉给我的印象一直是穿着很朴素，背着一个有点旧的斜挎包，态度很谦和。不过，英伟达内部的人告诉我，他不像一个典型的研究者，更像是一个工程上的领导者。黄仁勋给他的评价是 GSD——Getting Shit Done。

不久前，刘洺堉带领团队刚刚发布了英伟达的世界模型 Cosmos 3。所以在这次访谈中，我们聊了聊 Cosmos 3，也聊到一名研究者长达20年的求索。而这名研究员的身份很特殊：他身处英伟达这样一个基础设施型的巨大系统之中，这改变了他的很多研究思路。当然，我们也不自觉地聊了一些关于英伟达和黄仁勋的内部故事。

刘洺堉说：“做模型就要 low ego，模型竞争不应该是一场鱿鱼游戏。”

Jensen 常常在讲，他喜欢这种十亿美元级别的生意。你可以不赚钱，但当这个生意成功的时候，必须是很有影响力、很巨大的。

经济的茂盛程度，是根据钱多快从一个人的口袋流到另外一个人的口袋。那研究的茂盛程度，应该是根据 idea 多快从一个人的脑袋流到另外一个人的脑袋里。

我们做完 Cosmos 1 的时候，问 Jensen 要不要继续往下做。Jensen 跟我说：“你就做到 Cosmos 97。”

其实他是一个很有纪律的人。有些东西其实很重要，他会叫你“pace, pace your steps”，就是让你不要急。他擅长打马拉松战。他每天都觉得公司只有30天的现金流，30天后就要破产。

你刚好加入英伟达10年了。这10年你的变化大吗？你在英伟达的股票涨了多少倍？

一共？

Hello，刘洺堉，要不先跟观众朋友们打个招呼？

线上的朋友，大家好，我是刘洺堉。

刚才我们也聊到，你到美国已经20年了，在英伟达也10年了。你现在在公司里还讲中文吗？

有时候会讲中文，但大部分时候还是讲英文。因为大部分时候团队里还是有很多人不会讲中文，所以沟通上以英文为主。

但如果一个小组会议里参与的都是讲中文的人，就会很自然地切换到中文模式。

这次你来中国的行程是什么样的？你多久会来一次中国？

我现在大概每年会来中国两到三次。因为公司给我的主要任务，以及我个人的兴趣，都在机器狗 AI 上。

在中国，机器狗 AI 的发展非常蓬勃，很多公司、很多研究员都在做出重大的突破。我们来这里跟大家交流，也理解一下我们如何可以帮助他们。

这次来感觉有什么不一样吗？

这次来，我看到越来越多关于灵巧手的突破。大家在这个关键科技上不断取得进展，去追求下一个阶段 AI 可以达到的一些重点能力。

跟上次来相比，我发觉速度非常快，进展非常快，每次都能学到很多东西。

1. Inside Cosmos Lab

这应该是你第一次做中文播客。我想先帮助观众和听众建立一个印象。你现在在英伟达的 title 是研究副总裁，能不能介绍一下这个职位，以及你们团队的构成和人数？

我现在是研究副总裁，同时也是 Cosmos Lab 的副总裁。

我们的团队由研究员和工程师组成，只属于我这边的大约有80到90人。另外，公司还有其他团队也在做 Cosmos，英文叫另外一条线。虽然他们不直接向我汇报，但我是整个 mission 的 overall owner，是发号施令、决定方向的人。这些人也会遵循我的指示，跟这个团队一起合作，把目标推进下去。

整个 Cosmos 项目应该有200到300人之间。这是英伟达内部非常重大的一个项目，我们投入这么多资源和人员，是因为觉得这是做出好成果所需要的。

我看到你之前还管理过一个团队，叫 Deep Imagination Research Group。Cosmos 是从它演化来的吗？它们是什么关系？

2. From Graphics to Generation

是的。我大概10年前加入英伟达。加入英伟达的时候，我的目标就是这个。我那时候做 job talk、向英伟达介绍自己的时候，讲的是：有一天，主要的视频生成运算将会是 deep learning，而不会是传统的 computer graphics。

在那个时期，电脑特效、电影特效主要还是用传统的 graphics pipeline 去生成漂亮的画面，这是主流。我是这个领域里比较早认为 deep learning 是未来趋势的人。

我记得那时候，我跟我们的 chief scientist Bill Dally 一起做 presentation。我的 presentation 里讲的是 deep learning，因为它是 data-driven 的，可以做到很多传统 graphics 做不到的事情。

比如说，有一天我可以把小说作为 input 放进 deep learning，最后产出一部电影。你还可以做很多现在需要大量人力、用传统 graphics 才能完成的控制。

那时候公司对这个方向很感兴趣，我也很荣幸加入了 NVIDIA。进去之后，我就一直朝这个方向努力。

当时最主要的模型是 generative adversarial network，也就是对抗生成网络。我是这个领域里比较早从事对抗生成网络研究的人，一直在做这方面的研究。

我做过几个自己很骄傲的工作。其中一个是最早提出可以做 unsupervised 或者 unpaired image translation。AI 里的学习，很多时候都依赖 supervision，你需要对应的 input 和 output，才能学出 input-output relationship。

Unsupervised 的意思是，你没有对应的 input 和 output。你不知道一个人笑起来是什么样，也不知道一匹马变成斑马会是什么样。

那时候我们比较早地利用 information bottleneck 做出了 image-to-image translation。

我加入英伟达的时候，英伟达还不是一个大家都认可的 AI 公司。那时候 deep learning 还没有像现在这么火热，英伟达传统上主要是做 computer architecture，设计 GPU，也没有人在做这种比较应用端的科研。

我算是比较早在英伟达把这个方向做起来的人。

我做了很多工作，其中有一个叫 GauGAN，中文好像翻成“马良神笔”。它像小画家一样，你涂几个颜色，每个颜色代表不同的语义，涂一涂之后就可以变成漂亮的山水画。

那个工作帮助 NVIDIA 建立起一个形象：我们不只是可以做出很好的 GPU，也可以做出很好的 AI 模型。

那时候我还有一些同事一起做 StyleGAN 方向的研究。我们就是这群人，把 NVIDIA 第一批生成式网络用于媒体生成的研究带了起来。

做了一段时间之后，公司觉得我可以了，于是我可以开始成立自己的团队。那时候成立的团队就叫 Deep Imagination Research，跟我当初做 job talk 时的目标是一致的。

这是哪一年？

大概在2019年到2020年之间。那时候我成为 research director，也知道自己要成立团队，于是就跟几个一起工作的伙伴开始建立 Deep Imagination Research。

之后，Deep Imagination Research 就一直在解决相关问题，一步一步朝着“把小说放进去产生电影”这个目标前进。我们做了几个有趣的 demo。

有一年，Jensen 想用一个数字人来代替他做 keynote。那时候我们帮他做了一个假的 Jensen keynote demo。

后来还有陆陆续续的一些工作。那时候正好是疫情期间，数字人的发展非常快，我们也做出了一些自己觉得很骄傲的技术。

我10年前做 job talk 的时候，就想解决“小说变成电影”这个问题。但那时候我觉得这个问题可能需要很久才能解决。应该说，我当时没有意识到，其实我们已经具备了这个条件。

当算力和数据足够的时候，就可以做出这样大的突破。

但那时候我忙着做数字人，忙着做各种有趣的应用。后来有一天，OpenAI 发布了 DALL·E 这个工作，最早的 text-to-image model，我才意识到自己的野心不够大，不够勇敢，也没有下定决心把这个东西做出来。

而且是在算力最多的地方。

对，在算力最多的地方。

那时候媒体研究是这样运作的：你要 Jensen 投资你的算力，就要讲清楚为什么这对公司重要。

我记得 DALL·E 出来的时候，我写了一封信给 Jensen，跟他讲，未来已经很明确了，就是靠 deep learning 来做影像生成。

NVIDIA 的很多客户，都是用 NVIDIA GPU 和传统 graphics 来做影像生成。我们不能在用 deep learning 做影像生成这件事上落后，必须投资 GPU 给我们的团队，帮助这个领域成长。

那段时间里，我也跟 Getty Images 有很多合作，因为我一直在做这个方向。那些传统的 content 公司对 AI 也很感兴趣，但更多只是想试试看，没有足够的决心。

看到 DALL·E 之后，我写了一封信给 Jensen，要 GPU；又写了一封信给 Getty Images，说我们应该合作，这样他们的未来才更有保障。

后来我们谈成了合作方案：他们提供数据，我们提供算力，然后一起 build 这个大模型，做 text-to-image。这就是我踏入大模型的时间点。

那时候我们成立了一个项目叫 Picasso。我们的目标是做 AI 服务。有些公司有数据，但没有 AI 人才，也没有 AI infrastructure；他们有数据，有客户。我们就帮他们做一个个 generative AI 模型，再把模型交给他们，让他们去服务自己的客户，彼此一起获利。

那时候我们跟 Getty Images 以及 Shutterstock 做了这件事情。

这仍然是 Deep Imagination Research 团队的工作。我们在做这件事的过程中，研究不只是产生一个模型，不只是产生一篇论文，也产生了一个可以帮助客户成功的产品。就是这样逐步发展起来的。

我当初以为自己已经决心充足，愿意挑战最困难的问题。毕竟我跟 Jensen 要了 GPU。

你要了多少 GPU？

那时候我要了1000张 A100 GPU。

当时1000张很多吗？

非常多。那时候还在 A100 的时代，1000张已经很多了。要把1000张 GPU 串在一起，做高效的训练，也并不容易。

那是我们当时的尝试，当然遇到了很多瓶颈，再逐一克服。

因为我是最早一批在 computer vision 里做 generative AI 的研究员，也很荣幸能够跟很多优秀的伙伴一起合作。

我当时比较资深，很多有为的年轻人还在读书，他们回来我这里实习。包括现在在 Meta 的余佳辉，以及后来做出 Sora 的团队成员 Tim Brooks，都曾经在我这里实习。

我还记得 Tim Brooks 刚加入团队做实习生的时候，就一直想做视频生成，想做后来 Sora 的东西。但那时候我们还没有这个技术，我们用游戏引擎一起做合作。

那时我就看到他的决心和热情。他非常聪明，手脚也非常快。我跟他一起合作，从他身上学到很多东西，我们也写了一篇很不错的论文。

后来他毕业之后，我想把他留下来，但他去了 OpenAI。我也很开心他在 OpenAI 获得了很好的发展，后来做出了 Sora。

Sora 出来之后，我感到非常开心，但又觉得自己的决心还是不够，还是不够。

3. How Cosmos Was Born

那时候我们有几位都在做这个领域的人，于是一起写了一封信给 Jensen，说我们必须投入更多。这就是 Cosmos 的由来。

我们这群学者，当时还有 Sanja Fidler，以及我们公司负责 NeMo 团队的 Bryan Catanzaro，都在这个媒体研究部门。我们一起讨论，决定要做这个 world model，觉得这对公司、对整个人类来说都是一项重要的技术。

那时候 Jensen 就叫我和 Sanja Fidler 一起带 Cosmos 这个 effort。那时还不叫 Cosmos，只是知道要做 world simulator。

Jensen 让我们每个人回去想，这个 project 应该叫什么名字。我们每个人都回去想了几个名字。我已经忘记当时有几个名字可选，但最后 Jensen 说，就叫 Cosmos。

我们觉得 Cosmos 这个名字非常好。所以 Cosmos 这个项目就是这样产生的。

那时我还在 Deep Imagination Research。原本我负责 Picasso，也就是 AI 服务和媒体生成，同时又负责 Cosmos。

后来觉得 Cosmos 这个项目不管是对公司还是对整个领域的发展，都更加重要。但我没有办法同时推进两个重大的 project，于是慢慢把 Picasso 项目收了起来，帮那些客户找到其他可以继续支持他们的科技公司，然后全心开始做 Cosmos。

Cosmos 做了一段时间，从 Cosmos 1 做到 Cosmos 2，再做到 Cosmos 3。这段时间里，使用它的客户越来越多，需要一定的规模，才能把 Cosmos 做好。

你可以想象，我在 Research 时期，Cosmos 可能还像一个萌芽阶段；但现在，Cosmos 已经被很多人依赖，不管是外部客户还是公司内部团队，都到了必须成功的阶段，所需要的资源也更加庞大。

今年年初，我从 Deep Imagination Research 离开了。我现在向我们新的 software leader Dwight Diercks 汇报。他是公司的第一位 software engineer，在 Jensen 的传记里也有他的故事。

之前我是向 Bill Dally 汇报，带着 Deep Imagination 团队。离开 Research 之后，我们换了一个名字，我把自己的研究团队叫作 Cosmos Lab。大概就是这样一个变化。

我听说 Sora 没有出自你的团队，让你很遗憾，是吗？

也不是遗憾。我是感到很开心，曾经一起共事过的人能够做出这么大的贡献，我觉得非常开心。

遗憾的是，每个研究员都想做出贡献。看到 Sora 产生了这么大的贡献，自己会觉得很开心，但另一方面也会想：到底在我的决策过程中、判断过程中，哪些地方我没有看对，导致我没有在正确的时期做出正确的事情？

我是一个很喜欢自我反省的人，往往都会试图理解怎样才能让自己变得更好。

说到 Sora，我还想多问一句。你觉得为什么 OpenAI 后来基本上把这条产品线关掉了？

Sora 是一项重大的研究工作，当然本身也有很多应用。

OpenAI 是一个很有野心的公司，他们有大量人才。Sam Altman 从早期在 Y Combinator 时就是一个投资者，他当然也会有投资者的心态，希望公司内部有各种各样的 project，形成一个 portfolio。有些项目非常成功，也有些项目不一定成功。

我觉得过去一年里，他们受到了 Anthropic 巨大的竞争压力。他们看到 Anthropic 在 coding agent 上产生了巨大的经济效应。

你跟 ChatGPT 聊天时，可能最多一分钟就生成完了。但 coding agent 可以工作24小时、48小时，产生的 token 量非常大。

所以我觉得，他们认为这是一个很好的方向，就集中公司的精力往 coding 方向走。

孙子兵法讲“备多则利寡”。大家的资源都是有限的，他们重新调整资源，往 coding 这边发展。

我不觉得他们认为 Sora 不是一个好的 work，只是在那个时间点，公司有更重要的事情必须去做，需要做出一个不容易的决定。

4. Why Nvidia Does Research

我很好奇，像 Anthropic、OpenAI 这样的前沿实验室，做研究是天经地义的，因为研究就是他们的产品。

但对于英伟达这样的基础设施公司，或者说平台公司，我卖 token 给这些前沿实验室就好了，为什么还要自己做研究？研究这件事情本身对于英伟达的意义是什么？

你的基础设施要做得好，定义就是要适合这些应用公司来使用。如果你自己不做这些应用，就更不能理解他们需要什么。

所以你要走他们可能会走的路，从中间理解他们的需求。

而且设计芯片、设计计算机架构，周期是很长的。你不能说现在马上改，需要很长一段时间来规划。所以你要做这方面的研究，投入资源去理解什么是重要的问题，才能设计出更好的芯片和 infrastructure，满足这些 AI 大公司的需求。

我总觉得，如果世界上每个有抱负、有理想的人，都有工具做出自己想做的事情，这个世界会变得更好。

一方面，看到 OpenAI、Anthropic 以及中国几家大公司做出的突破，我觉得非常开心。但这个社会会有源源不绝的有抱负的年轻人，我们也希望他们有机会。

我们可以做出这些模型，分享给他们，让他们做出很好的应用、延伸模型，或者从中获得灵感，做出更好的模型。大家不同的想法都可以落地。

当这么多元的 idea 都有机会被实现、被呈现给用户，我觉得大家的选择更多，社会进步也会更好。

这也是英伟达做开源模型的原因吗？你们的研究成果会不会跟客户产生一些竞争关系？

我们做开源模型，基本上就是免费放在网络上，让大家都可以使用。

但要真正落地、真正满足客户需求，还有很多东西要做。尤其是在具身领域，有很多硬件问题、商业问题都必须解决。

我们给 community 的一个信号是：我们会帮助你在这方面发展。当你看到我们的 commitment，从 Cosmos 1 做到 Cosmos 2、2.5，再做到 Cosmos 3，不断迭代，你会看到我们一步一步想把这个领域做得更好。

这样大家就可以预期，英伟达会持续在这里投资、持续进步。有了这个认知和信心，他们就可以把资源投入到更重要的地方，做出重大的贡献。

每家公司资源都是有限的。如果你不找到痛点和关键点去做投资、做进步，就不容易脱颖而出。

具身智能有这么多难题要解决，我们做出这些模型，帮助他们分担一部分压力。我不觉得这是竞争，我觉得这是帮助大家成功。

为什么你们当时要立一个非常重要的项目，却没有选择当时最火的大语言模型，也没有选择 Sora 这样的模型，而是选择了具身智能的世界模型？

大语言模型当时已经发展得非常好了。而且我的背景不是大语言模型，我是 computer vision 出身，自然而然一直在媒体、图像和视频这边。

这是我过去的背景，也是我走上这条道路的原因。因为我的背景，我一起合作的伙伴也大多是类似背景，所以我们往这个方向走。这就是为什么没有走大语言模型。

另外，NVIDIA 也有很强大的大语言模型团队。我觉得自己在那边没有太多贡献。我觉得 NeMo 团队会越做越好，我这边主要想解决更适合自己解决的问题。

Sora 当初出来的时候，也可以看作一种 world simulator。但那时候主要应用更像创作，创作非常有趣，每个人都希望用更好的方式讲故事，把自己想的东西具象化，帮助大家理解你看到的世界。这是一个很好的应用。

但同时我们也看到，AI 在数字世界的发展非常快，社会上有很多问题需要 physical tools 真正改变物理世界的状态。

比如人年纪大了之后可能没法开车，生活品质会降低很多。但如果有自动驾驶，年纪大的人还是可以拥有 mobility。

还有很多工作非常劳力密集，也非常危险。如果有 physical AI、机器人来帮忙，就可以改善人的生活。

家里总有一堆琐事，比如收碗筷、整理东西，这些不一定是你在家里最想做的事情。如果有机器人可以帮忙，就能提升人的生活品质。

我们看到 world model 可以对 physical AI 产生贡献，所以往具身智能方向走，而不是走 content creation 的路线。

Jensen 对这个团队提出过什么要求吗？

Jensen 对团队的要求非常严格，目标也很高。当然，第一目标就是帮助客户。这不是一件容易的事情。

NVIDIA 是一家运算公司，是一家 AI infrastructure 公司。我们最厉害的是整个 computer stack，从底层硬件、编译器、库，一路往上。

但我们不是一家 solution 公司，不会直接交付一套机器人解决方案，或者其他应用的解决方案。我们的目标是帮助这些做解决方案的公司成功。

有时候会觉得有点像隔靴搔痒，因为你不太了解客户的痛点在哪里。设计模型、设计产品，如果不了解客户，就没办法做到最佳化。

这就是我常来中国的原因：想理解大家遇到的问题是什么，以及我们怎么帮助他们。这是一个很大的挑战，也是 Jensen 提出的要求。

我们做东西需要 make impact。Jensen 常常在讲，他喜欢这种十亿美元级别的 business。你可以不赚钱，但当这个生意成功的时候，必须很有影响力、很巨大。

你不能满足于每年赚1亿美元的规模。对很多公司而言这已经很大了，但对英伟达来说，这个规模还不够大，甚至可能会成为一种 distraction。

你要解决最重要的问题，产生最大的贡献。我们觉得 physical AI 是一个足够大的问题，可以产生最大的贡献。

所以在这个方向上要非常小心：要解决最重要的问题，而不是解决一些短期可以产生结果、但 impact 并不大的问题。

当然，也要做到最好。这同样非常难。

听起来，过去10年你在英伟达变得越来越有野心了。

接下来我也想探索一下，作为研究员的刘洺堉，你是怎么一步一步探索自己的研究道路的？

回答这个问题之前，我先回应一下前面的问题。

我觉得自己一直很有野心。因为我那时候就认为可以用小说直接生成电影。只是我的执行力不够，判断时间点的能力不够，也不太会理解在刚进入业界的时候，怎么样在公司里获得支持、获得巨大资源去从事一个方向。

过去10年的历练，让我更加理解怎样看清楚时机，怎样帮助公司理解一件事情对公司很重要，怎样影响公司去投资。这是我觉得发生的变化。

我一直很有野心，只是不知道怎么执行。

5. Finding AI in Computer Vision

我在台北长大。读高中时，最热门的科技是无线通信。那时候手机刚出来，是巨大的手机时代，还是 Nokia 的时代。我对这个科技非常好奇。

我一直想离开台北，于是去了台湾交通大学，在新竹学习无线通信。

学了一段时间之后，我比较理解这个领域是怎么做的。我的同学很多留在台湾，比如去联发科，或者去台积电，做台湾本身很擅长的工作。

但我那时候开始有点怀疑：这是不是我要选择的道路？

我从小到大其实没有想过要去美国留学，也没有想过自己会去美国。所以我一直不太重视英文，觉得数学、物理学得好就够了。

大三那年，我出于好奇去看看美国的研究所和博士班在做什么，再看看自己当时在台湾交通大学做什么。

那时我在计算怎样设计一个 protocol，让传输更快。我觉得这是一种提升，但不是从0到1的变化。

我看到美国高等学府做的东西，就觉得每个成功似乎都是一个从0到1的变化。所以那时候我觉得，应该出去闯一闯。

我记得跟父母说我要去美国留学时，他们都吓了一跳。他们认识我20多年，却从来没听我说过要去美国留学。

这是大几？

大三。

当时我想去美国学习量子通信，因为我觉得这个东西很神奇，可以靠量子把信息从 A 直接传到 B。

但在去美国之前，我先在台湾的 Intel 待了一年。在那里认识了一个朋友，我们都在那里实习，他做图像识别。

那是我第一次接触 AI。之前我一直学通信，看到他做图像识别时，觉得非常神奇：他可以从 pixel 里面判断里面是什么、是谁、是什么物体。

于是我开始对 AI 和 computer vision 有了一些印象。

后来我申请到了美国马里兰大学，在那里开始读博士。

早期的 computer vision 都不太 work，最主要的研究经费来自国防。马里兰离华盛顿特区很近，所以当时聚集了一些早期做 computer vision 和 AI 的大牛。

我到学校之后，原本想研究量子通信，后来发现那里有人在做 computer vision，跟我在 Intel 实习时看到的东西很接近。我觉得这看起来更有趣，于是找了我的指导教授 Rama Chellappa。

他是这个领域的先锋，我就开始跟他学习 AI 和 computer vision。

当时最早做的题目，是从视频里看一个人走路的姿态，判断这个人是谁。那时候也是一个蛮有趣的问题。

我就是这样逐渐转换跑道，开始做 AI。最早做的是图像识别、视频识别，后来在博士期间学习 shape matching、segmentation 等常见的 computer vision understanding 方向，逐渐踏进 AI。

那时候还没有 deep learning？

那是传统计算机视觉的时期。传统计算机视觉那时候什么都不 work，所以什么都要学。

我们那时候做 support vector machine，这是很传统的一种 machine learning 方法，跟优化有很大关系。

不管是连续优化还是离散优化，都需要学习。还要学习 graphical model、energy minimization，以及各种 3D calibration 相关的东西。学的东西很多，我觉得算是很扎实。

但就在我毕业那一年，AlexNet 出来了，改变了整个世界。

你博士后期去了三菱电机研究院？

对，三菱电机研究院。这是我在美国的第一份工作。它在剑桥，马萨诸塞州，就在 MIT 旁边。

这家公司在20世纪90年代是非常强大的研究单位，跟微软研究院一争雌雄，在 graphics 上都非常领先。

MIT 里有很多教授以前都在三菱电机研究院当过研究员，包括 Bill Freeman。

我加入的时候已经过了那个时期，但里面仍然有很多优秀的研究员。

那一年 AlexNet 出来了，我过去学的东西开始和未来的世界产生了一些 divergence。

那一刻会失落吗？

不会。我其实对新科技很感兴趣。

因为 computer vision 什么都不 work，所以我已经养成了什么都学的习惯。那时候什么都不 work，后来 deep learning 出来，就觉得很有趣。

我还记得那时候是博士班的最后一年，等于是实验室里的大师兄。我组织师弟师妹一起研究 deep learning，办研讨会。

我记得有一位师弟跟我说，这个东西只有几个人会，没必要研究。但我没有理他，还是继续办研讨会。

我的第一份工作是在三菱电机研究院。研究院通常研究氛围比较自由，我有很多时间学习，所以在那里学习了 deep learning。

GAN 是我的指导教授 Rama Chellappa 很相信的方向。他相信 Bayesian，也相信应该把 generative 放进 understanding 里。

所以我在学习 deep learning 的时候，也一直留意生成这一块。

后来有一年，我看到 Ian Goodfellow 关于 generative adversarial network 的工作，就对这个东西非常感兴趣，开始在这个方向投入大量时间，越学越多。

你好像很早就开始做生成了。

我是最早做生成的那批研究员之一。

那时候只要能生成32×32像素的脸，看起来不像鬼，就觉得自己很成功了。

Richard Feynman 讲过一句话：“If I cannot create, I cannot understand.” 当你可以生成它的时候，才是真正彻底地理解它。

人的学习也有点像这样。当你能够讲出来，意味着你已经理解了。

早期 computer vision 也分 discriminative model 和 generative model。

判别式模型没有生成能力，但可以判断这是 A 还是 B。生成模型同样可以用来做判别，但它还包含重建信号、描述信号的能力。

当你能够把一个东西描述清楚时，大家可能会认为你更加理解了它。

最早的 AlexNet 可以做 ImageNet classification，我们就把它看成一个判别式网络。

你最早做了一年的工程师。你觉得这个经历对后来做 research 有影响吗？做 engineering 和做 research 的本质差异是什么？哪个更适合你？

这是一个好问题。

做 research 最重要的一部分就是问对问题。问对问题，大概就找对了方向。

Engineering 是帮助你跟大家说，这是对的问题，然后把东西做出来。实现能力让你能够真正做这件事情。

当 engineering 做到大规模时，还有很多东西很重要。

在去美国之前做的那一年 engineering 工作，对我最大的影响可能是让我认识了 AI 和 computation 这个领域。

我记得那时候在巨大的 software stack 里帮公司找问题，这是一个很磨练耐心的过程。我觉得这些都是很好的训练。

所以 AI 对你来说也是一场意外。它本来不在既定轨迹之中。

不算。我不是那种从小就想理解人类为什么会有智能的人。

我只是一步一步看到这个东西，觉得非常有趣，想去理解，然后一步一步往那个方向前进。

它最初打动你的是什么？

最初是因为不懂。

因为不懂？

对。因为不懂，就比较容易理解它的重要性。

有些科技领域，比如量子通信，你可能要很懂，才知道它为什么重要。但 AI 很容易理解：它可以重造智能，而且有些表现会跟人非常像。这就让人很好奇。

每个人都会对自己的存在产生困惑：到底什么是人？我们跟其他生物有什么不同？这是一个很自然会问的问题。

我觉得也正因为这个原因，这个领域才会吸引这么多人在上面做研究。

如果要找一个对你早期研究生涯非常重要的时刻，你会怎么描述？是做工程师时，还是到美国之后？

太多了。

哪个最重要？或者最重要的三个？

我觉得第一个时刻是在早期。

我喜欢漂亮的数学。在 computer vision 早期阶段，什么东西都不 work，而 computer vision 大量运用优化算法。

优化就是找最佳解。连续性问题常常会遇到 non-convex 问题，没办法找到最佳解。离散问题则常常是 NP-hard 问题，没有足够算力找到最佳解。

你还是要研究算法找一个答案，但不知道答案离最佳解有多远。为了确保答案离最佳解不是太远，就需要一定的保证。

比如最佳解虽然没找到，但你找到的答案可能只差10%，或者差20%，这比随便找一个答案要好。

为了证明这种保证，早期研究常常会做一些假设。假设让数学变得比较干净，可以找到答案，但也让你离现实更远。

早期我有点偏向追求数学的美，而忽略了跟真实世界的距离。

后来我了解到这不是正确的方向。AI 本身就是应用，应用的性质就是要解决实际问题。我越来越喜欢接近问题的本质，而不会被花俏的数学迷惑。

另一个阶段，可能跟我的成长背景有关。我总是专注把事情做出来，而不太专注让别人理解我做出了什么。

开始在英伟达工作之后，我觉得自己的 research 做得还不错。在别人看到 image translation 之前，我就已经把东西做出来了。

但我不太会表达，不太会让一般人理解我做出来的东西。

我常常说，我自己做了一百分，但我的解释只有十分，所以别人看到的只有十分。

那时候我更加重视，怎样让别人理解我做的东西为什么重要，以及这个过程。这是一个很重要的 lesson。

第三个阶段，是后来我开始做大模型时，理解到团结合作非常重要。

人与人的沟通是一个高复杂度问题。假设有 N 个人，每个人都要跟其他人沟通，从复杂度上来说是 N²。这是一个不好的复杂度，不容易 scale。

当人很多时，每个人都要点对点沟通，就很困难。更好的可能是 N，或者接近线性的复杂度。

当我开始知道，要做出巨大贡献，就需要大家团结合作，我就明白，必须把事情讲得非常明确，让大家都能懂，目标一致。

自己能把东西做出来，也希望大家都能理解在做什么，然后朝同一个方向前进。

这需要很多工作，帮助大家理解为什么一件事情重要。这是我后来做科研，尤其是大规模科研时觉得非常重要的一点。

你要做应用，要销售你的工作，也要团队协作。

这也是你的成长路线，对吗？

对。

我做出第一个很流行的工作 GauGAN，也就是刚刚讲的“马良神笔”之后，看到用户反馈让我充满成就感。

我发现自己影响的不只是读我论文的研究员，而是一个更大的群体。那一刻我觉得自己的生命可能更有价值，于是就朝这个方向前进。

GauGAN 是取自 Gauguin 吗？

对，名字就是这么来的。

当时我跟一个实习生 Taesung Park 一起研究这个方向，还有 Zhu Jun-Yan 和 Wang Ting-Chun。我们四个人一起研究这个题目。

那时候我们开发出一个算法，叫 AdaIN，也就是 adaptive instance normalization。

算法做出来之后，我在公司内部做了一个 demo。Jensen 看了非常兴奋，问我叫什么名字。

我说叫 AdaIN。他不喜欢这个名字，因为它不容易理解，不是用户语言。

那时论文已经写完，投给了 CVPR，但还没有放到 arXiv 上。公司要求我先不要放到 arXiv，等 Jensen 在2019年的 GTC 大会上宣布。

我觉得这是一个很好的机会，也很兴奋。

公司当时在想这个东西叫什么。我们有一个 marketing genius，叫 Greg Estes。他提出叫 GauGAN。

那时候很多算法名字里都有 GAN，是 GAN 的时代。GauGAN 听起来很合理，因为 Gauguin 是著名画家，而这个应用又是画画。

原本计划在 GTC 的 keynote 上宣布。结果那一年产品太多，最后一刻 Jensen 决定不把 GauGAN 放进 keynote，只发新闻稿，并安排媒体朋友看 demo。

没想到很多媒体看完之后，反而觉得它是 GTC 最受瞩目的工作之一。

后来我们做了一个 online app，让大家测试。大家使用过程中给了很多反馈，我们也就越来越往应用方向前进。

GauGAN 是不是跟你之前的研究轨迹一步一步递进的？

你博士毕业以后去了三菱电机研究院，进入 GAN 时代。之后你围绕 GAN 做了一系列工作，包括 CoGAN、MoCoGAN，到了英伟达之后又做了 GauGAN。这些工作是怎么延展的？

我最早的 GAN 工作叫 CoGAN，也就是 coupled GAN。

它是把两个 GAN 的生成网络 coupled 在一起，产生一个 information bottleneck。

所有 deep learning 都是在学习怎样压缩信息，bottleneck 可以帮助网络找到本质。

一个 GAN 是在 model 一个 distribution，两个 GAN 是 model 两个 distribution。一个是马，一个是斑马。把它们 coupled 在一起之后，就有一个限制，会减少一些共同性，从而可以做马变斑马的转换。

生成式网络是在做 distribution modeling。Distribution modeling 可以让你生成一张图像、一座山、一片海，或者一段视频。

但人不只是想生成，还想控制生成出来的东西。控制就需要信号。

一种常见信号是拿 image 当信号：这里有一匹马，怎么把它变成斑马。另一种方法是 edge，也就是素描。

还有一种是 segmentation，像小画家一样，什么颜色代表山，什么颜色代表水。

再来是 class，告诉模型这是山、这是车、这是摩托车，然后生成相应内容。

最 sophisticated、最接近人类自然语言的形式，就是 text。Text-to-image、text-to-video 是最自然的一种形式。

但 text 跟 segmentation 最不同的地方是，segmentation 会告诉你具体每个 pixel 是什么，已经帮你对位了。

Text 的结构跟 image、video 的结构很不一样，所以比较难学，需要更多数据。

所以我的发展过程是从比较容易的方向一步一步往上走。最早是 segmentation、edge 或 image。

这也是为什么我之前说，DALL·E 让我觉得自己的决心不够。我那时候总觉得 text-to-image 很困难，觉得这个领域还没有足够的数据和算力。

但其实是有的。因为没有去做，所以做不出来。

所以你是沿着 image 到 text 的路径，一点一点延伸的？

对。

早期我跟几个朋友每年一起参加 NeurIPS，我们会讨论：如果 AI 真的产生突破，第一个突破的领域会是什么？

那时候还没有 GPT。我跟大家说，第一个突破的领域会是 text，也就是 language。

我虽然自己不做 text，但知道图像信号有很多噪声，很多东西离知识的本质比较远，它更像是对世界的 observation。

Text 已经比较纯净，接近 symbol，所以它最早会产生类似智能的表现。我虽然知道最早的 AI 突破会发生在 language，后来也确实是这样，但我更喜欢视觉信号，所以一直留在视觉生成这边。

后面这几个 GAN 的工作，你再讲一下。

那时候做的是 image translation，从马变斑马，把风景画变成真实风景。

后来开始做 video，我们做过一个叫 V2V 的工作，把车辆 simulator 生成的简单卡通图像，变成真实的驾驶场景。这已经很接近现在的 world model。

那已经到 NVIDIA 了？

对，已经到 NVIDIA 了。只有 CoGAN 不是在 NVIDIA 做的，剩下的 GAN 工作都是在 NVIDIA 做的。

早期做这些工作，也让我跟 Ian Goodfellow，也就是 GAN 的发明者，成为好朋友。我们有很多讨论。

在英伟达，我也很幸运遇到很多优秀研究员。余佳辉、Tim Brooks，还有很多人来我这里实习，我跟他们学习，做了一系列围绕 image translation、video-to-video translation 的工作。

我读博士时学的都是传统 computer vision。博士毕业之后 deep learning 时代来了，那时候大家开始认为，不应该做 hand-crafted algorithm design，也不应该做 hand-crafted feature engineering，而应该 data-driven。

当时也理解到，更 scalable 的 approach、更简单的 scalable approach，比较容易成功。所以我常常提醒自己，做选择时要找更加 scalable 的东西。这后来就是大家讲的 bitter lesson。

我做 GAN 时很开心，但一直思考 GAN 到底是不是 scalable。

GAN 很难训练，所以我担心它最后可能不 scalable。

余佳辉来我这里实习时，我们研究的题目就是怎样 scale GAN。那时候我就看到她才华洋溢，做出很多惊人的实验。

比如 GAN 有一个 generator 和一个 discriminator。当时我们有很多 GPU，可以每个 GPU 放一个 discriminator，但每个 discriminator 的 weight 都不一样。就好像很多人同时跟生成网络做对抗。

在那个时代，能实现这样的东西并不容易。

那时还有一位实习生 Jeremy Bernstein，他后来发明了 Muon optimizer，现在很多人都在使用。

我跟他研究的方向，是如何在优化过程中找到更好的算法，让 GAN 训练得更稳定。

但这两个方向最后都没有成功，不过他们各自开发出了非常有成就的工作。

Jeremy Bernstein 从那时开始写一系列论文，研究如何用早期的 Muon 算法让训练更稳定，一路发展出了 Muon optimizer。

那是一段很开心的时光，我学到了很多东西。

6. When GANs Hit a Wall

后来我们非常努力地研究怎样让 GAN 更 scalable，但最后每个结果都得出一个结论：GAN 不 scalable。

我建立团队的时候，大家加入的原因就是想做 GAN。那一年我跟大家说，不能做 GAN 了，因为这个方向不 scalable，最后走不远。

那时我们看到了 diffusion，觉得这个方法极其稳定。应该是2021年，不是2017年。2017年是 Transformer 发明出来的。

Transformer 发明之后，我不是早期接触 Transformer 的人。当时它主要用于 LLM。我一直专注在 GAN。

早期比较好训练的 GAN 都使用 convolutional network。后来 Transformer 被带进来，研究人员才慢慢往 Transformer 方向走。

所以从算法层面来看，我觉得 GAN 不 scalable，就跟团队说这个方向最后走不远，应该走 diffusion。于是我们开始做 diffusion。

这是一个重大的转变时期。

一开始 diffusion 做的是 image，后来做 multi-view image，再后来变成 3D generation。我们做了一系列这方面的工作，包括 Edify image generator、Edify 3D、Edify video，以及各种用 diffusion 做的生成。

我听下来想到两个问题。你在 computer vision 这么漫长的探索过程中，计算范式发生了好几次变化：从传统方法到 GAN，再到 diffusion。

每次转变时，作为研究员应该是什么心态？会不会觉得之前的工作都白做了？

我发觉世界变得越来越简单。

Jensen 常常讲：“Suffering leads to greatness.”

在经历了这么多之后，我觉得自己越来越能掌握事情的本质。

有点像传统科研：不断找到真正的本质，用最简单的方式描述这个世界怎么运作。

现在的方法也把事情变得越来越简单。Cosmos 也是从数个模型，最后变成现在 Cosmos 3 这样的一个模型，统一了。

我慢慢理解到，原来这就是事情的本质。

每个方向我都投入了5到10年。未来做决定时，我也会深受过去经历的影响。

我不能说过去是错误的。那时候的条件、算力、数据，决定了那时候做那些事情是合理的。那时学到的东西，对我现在理解很多事情很有帮助。

我发现你好几次提到你的实习生。在 AI lab 里，通过实习生涌现 idea 是一件很常见的事情吗？你怎么看待年轻人？

经济的茂盛程度，是根据钱多快从一个人的口袋流到另外一个人的口袋。研究的茂盛程度，应该是根据 idea 多快从一个人的脑袋流到另外一个人的脑袋里。

你听了我的 idea，有一些想法，把它变得更好。我听了你的新 idea，又觉得这个地方可以更好。这样一直流动，idea 就越来越好。

我走向业界这条路，不是去学校做教授。如果在业界每天交流的只有自己的同事，idea 的 diversity 就会低一点。

英伟达会找很多实习生，跟这些有不同想法、不同背景的人一起合作研究，互相学习。

我觉得这帮助我成长，也帮助他们成长，是非常重要的一件事情。

你2012年加入三菱电机研究院，2016年加入英伟达。后面这个职业变化是怎么发生的？你怎么加入英伟达的？

7. Why He Joined Nvidia

自从开始做 deep learning 之后，我很相信算力。

三菱电机不是一个重视算力的公司，它更重视算法。为了做出好的研究，我常常跟当时的 manager 要求买 GPU。

在三菱电机有一位长期 mentor，叫 Oncel Tuzel？他也是很有名的研究员。后来他决定离职，加入苹果做自动驾驶。

我突然觉得，当初把我留在三菱电机的主要原因没有了，于是开始思考是不是要换工作。

很自然地，我去跟硅谷的大公司聊了一圈。那时候大家看到的公司包括 Google、Apple、Amazon、Meta 等。

后来 NVIDIA 的 recruiter 找到我。我一看，NVIDIA。每次我都想买他们的 GPU。

我这么缺 GPU、这么想要 GPU，为什么不加入一家生产 GPU 的公司？

所以最后决定加入英伟达。

那时候父亲不太能理解，因为英伟达是他们没听过的公司。他说：“苹果不错，谷歌不错，你为什么要加入这个英伟达？”

我当时想，因为我觉得 GPU 是最重要的。尤其是我开始做 CoGAN 时，那是一种 unsupervised approach，不需要标注数据，所以数据相对比较容易取得。

我觉得最重要的就是算力和数据。既然数据不需要标注，那我就去有算力的地方。

还有一件很有趣的事情。后来我发觉，我在三菱电机的 manager，每次我跟他争取 GPU，只要我吵赢了，他给我经费买 GPU，同时也会买 NVIDIA 的股票。

他没有告诉你？

后来他退休了，才告诉我。当时没有告诉我，不然我也可以买了。

我看到你在三菱电机工作时，已经和 NVIDIA 的人有一些合作，是吗？有一些论文上的合作？

不是。那段时间主要是我写的论文，学术论文审核有时不是第一次投稿就能发表，可能多投几次之后才发表。

我在三菱电机做的研究，后来到了英伟达之后又继续做了一些提升，所以有些论文的作者同时有三菱电机和英伟达的人。

并不是当时有合作，公司和公司之间的合作没那么容易。

我以为你们之前有一些合作基础，所以你加入英伟达。其实不是，还是正常求职的过程。

对。我那时候并不知道英伟达有一个研究机构，只觉得它主要是卖 GPU。

面试我的几位同事，后来聊了之后我才知道，他们真的在做研究。

那时候英伟达研究院还没有什么名气，人数不到100人，而且不是纯粹做 AI 研究，大部分人做的是 graphics。

那时候做 StyleGAN 的那批人，也还没有在做 GAN，而是在做别的东西。

我印象很深的是，NVIDIA Research 每年会有一个 offsite，把世界各地 NVIDIA Research 的同事飞到加州。

在硅谷南边、Monterey 附近有一个小镇，我们会在那里住两三天，做研讨。

那是我第一次见到 Tero Karras，也就是 StyleGAN 的发明者之一，还有 Timo Aila、Samuli Laine 等重要的 GAN 研究员。

那时候他们还没有做 GAN，而我已经做了一段时间。我遇到他们时，他们想解决 GAN 的问题。

我当时想，可能你们还不知道这个问题有多难。当然我希望他们成功，但觉得他们有点低估了难度。

后来他们真的一直投入，做出了 StyleGAN 1、2、3，不断突破。

跟他们合作的过程中，我学到很多。他们一直做 unconditional 的 GAN，不是我做的那种控制式 GAN。

但他们对细节和结果的极致追求，对我的研究发展影响很大。

进入英伟达做研究，有像你预期那样拥有很多 GPU 吗？

这个世界上没有任何地方的 GPU 是够的。

你总是会看到别人有更多 GPU，觉得自己永远不够。

我是比较幸运的。我是英伟达最早使用大量 GPU 做生成式网络研究的人之一。因为早期帮公司做了一些 impact 很高的工作，很多人认识我，黄仁勋也对我比较信任，所以有机会获得很多 GPU 资源。

但每次还是会看到别人的 GPU 更多，觉得自己总是不够。

怎么在英伟达这样的公司获得更多 GPU？你需要学会什么？

你需要懂公司要解决的问题是什么，然后想办法跟公司解释，为什么你做的东西会对公司产生影响。

每个研究员都有自己的想法，都想解释清楚自己的想法。研究员在某种程度上都 very high ego。

文人相轻，自古皆然。每个人都觉得自己的想法比别人好。

但公司的本质不一样。公司是为了股东获利。对 Jensen 来说，他希望 take care of the family，整个公司这么多人一起打拼把英伟达建立起来，他希望照顾好大家。

公司要赚钱。所以我学到一件事：我深信自己做的东西很重要，它会产生改变，这种改变会帮助公司。

我要做的是，怎么把这件事情讲清楚，让 leadership、让这些不懂 AI 的 leader 理解它对公司为什么重要。这是一个重大的变化。

这是你刚才分享的三个时刻里的第二个。这个转变具体发生在哪个项目里？

我说的第二个时刻，是让其他研究员更加理解自己做的东西的重要性。

这很难说是具体某个时刻，而是一个不断变化的过程。

但三菱电机的案例对我影响很大。

三菱电机在20世纪90年代非常重要，因为它是一个早期没有太多限制、可以做 blue-sky research 的地方。领域里很多著名的人都在那里工作过。

比如 Bill Freeman 曾经在三菱电机研究院，吸引了一批后来成为著名教授的人去那里实习。那里做出了很多重大的 research，可以跟微软研究院竞争。

但后来公司方向改变，开始怀疑 blue-sky research 对公司的影响，越来越难 justify 为什么要配置这些 researcher。

于是很多重要学者陆续被裁掉或离开公司。有些加入微软，有些去学校当教授，有些去了工业界。

留下来的人仍然做类似的 research，但更难跟公司的发展方向相关。

比如三菱电机对相机、工业相机、机械臂感兴趣，所以相关研究就可以获得公司支持继续做下去。

我加入的时候，这些事情已经结束了。但我得到的训练是：blue-sky research 也必须跟公司的兴趣 align。

我在业界待了很久，也常常看到这种周期：很多公司一开始给研究人员很大自由度，产生很多有趣的 idea；但某段时间之后开始收缩，留下跟公司方向比较相关的人。

Google、Meta 都有这样的过程。

我很幸运，在职业早期就看到这个过程发生。所以在英伟达时，我一直认为，用 deep learning 生成影像，跟公司绝对是正相关的。

因此我更加花心思理解，怎样跟公司的决策层解释为什么我的研究重要。

这特别重要。公司在上行期或者膨胀期，允许你做很多 blue-sky 探索；但只要进入下行阶段，就会收缩。

对。它一定会问：你做的这件事情为什么重要？跟我有什么关系？

而且做 deep learning 非常花钱，所以更要注重解释为什么这是一项对公司重要的投资。

大家也注意到，你的研究很多时候都是研究即产品。这个跟那段经历有很大关系吗？

比如 GauGAN，刚刚提到的 AdaIN 算法，后来做成了实时绘图产品；还有后面的视频会议增强、AI 增强产品。你的研究似乎都会变成产品去发布。

我是一个很幸运的人。随着年纪越来越大，我越来越重视效率，也越来越精准地把自己的 research 变成产品。

但我不能说 GauGAN 就是一个产品。

还有一个重要的学习是：AI 单独存在，并不能改变一切。

做 AI 的时候，大家都追求越来越好的模型。但慢慢会发现，模型能力会收敛，大家差不多。

有人会说模型还会不断进步，但你会看到这个月某个模型比较好，下个月换成另一个模型比较好，再下个月又有新的模型追上来。

中国也有很多强大的公司，比如阿里、DeepSeek、MiniMax 等，都在不断突破。慢慢地，大模型能力会越来越接近。

当模型能力差不多时，你会理解到，纯粹靠模型是不够的。

我可能比较幸运，早期就认为模型会收敛，所以一直重视不能只靠模型，而要跟公司的其他异构系统结合起来。

比如 Google 原本有一整套 Google Docs、Google Search、Gmail 等平台，模型跟这一整套平台结合在一起。

当越来越多人使用你的模型，你得到的反馈越多，模型越方便使用，也越容易对公司产生贡献。公司愿意给你更多投资，你就可以做出更好的模型，长期发展下去。

我早期做 AI 时，跟其他研究员差不多。研究员、博士生毕业的方法就是写出高质量论文。

什么叫高质量论文？往往就是 benchmark 结果比别人好，要有一个 killer result，击败别人的方法。

再加上文人相轻，总觉得自己比较行，所以一路做下去，很多时候就是要比别人好。

到后来我渐渐理解，比别人好只是证明东西有价值的一种方式。另一种方式是帮助别人，让大家变得更好。

我现在的想法越来越接近：我做出的东西，怎样可以帮助整个领域变好，而不是追求我比别人好。

这是一种 high ego，还是 low ego？

我不知道是 high ego 还是 low ego。

我很幸运，在过去20年里遇到很多聪明人。我总觉得世界上能人非常多，很多实习生都比我优秀。我觉得这是一件非常开心的事情。

我觉得自己可以做出东西服务社会，但不会觉得自己一定比所有人优秀。

所以我不是 high ego，也不是 low ego。我只是觉得自己有办法产生贡献。

你刚才说到一个做模型的思路：模型最终会收敛，能力可能同质化。但我理解那些 frontier lab 的认知是，智能还没有到顶，智能还会继续高速提升。你不认可这个观点吗？

我当然也很好奇。我自己也在用这些模型，也看到它们不断提升。

但有些人总会说，接下来会有 exponential growth。如果你不赶快投资或者加入这些公司，就会 miss out the opportunity。

但从历史来看，过去从来没有这样发生过：一家公司掌握所有科技，其他公司都没办法追上。这从来没有在世界上发生过，我不觉得 AI 会是一个例外。

大家都很聪明，人员也会流动。一个人在 A 公司工作一段时间，总觉得自己的才华没有受到肯定，就可能跳到 B 公司。

这些知识和技术自然会在领域里扩散。我不认为会有一家公司比其他公司超前很多。这本身就不是一个稳定的社会状态。

如果模型智能达到差不多的水平，接下来大家竞争的是什么？

整合，跟自己的生态、自己的产品整合。

大公司和创业公司的情况不一样。创业公司的优势，是可以解决大公司不能解决的问题。

对 NVIDIA 来讲，很多生意只要小于10亿美元，就没有兴趣做。但这些生意本身可能有很多值得做的东西。

有一本著名的书叫《创新者的窘境》，讲的就是很多小公司会走向那些当初不被看好的领域，看到一些机会，慢慢成长起来。很多公司都是这样起来的，英伟达也是这样起来的。

所以我觉得机会还是很多。

如果现在开一家公司，要跟 OpenAI 和 Anthropic 做一样的事情，会非常危险。

你的资金没有他们雄厚，也没有他们的客户。他们有巨大的资源，可以把东西做得很便宜，你不容易追上。

你要解决他们没办法解决的痛点。不是他们不想解决，而是他们没办法 justify 为什么要解决这件事。

哪怕你要做大模型，也要找到自己独特的生态位。

Anthropic 早期被认为落后于 OpenAI，但它最早相信 coding。当 OpenAI 在做分散式投资、把鸡蛋放在不同篮子里时，Anthropic 做的是集中式投资，最早做出了 coding 这件事。

他们看到机会，坚信并把它做出来。

所以对创业者而言，应该有决心去看到一个机会，找到独特的机会，运用自己的资源把事情做成。

但今天不管硅谷还是中国，大家又开始同质化地做 coding。你怎么看这个现象？这是对的吗？

每家公司做这件事情背后都有不同目的。我不是站在他们的立场，所以无法判断。

但从我的角度来看，这其实是一件很辛苦的事情。同质化竞争是很辛苦的。

他们可能是被迫做这件事，因为 coding 本身是一项重要技术。没有人希望自己的核心科技掌握在别人手里。

但我不觉得 coding 是他们计划的全部。他们一定还有其他计划，去做出差异化。

没有差异化，就没办法做出有差别的产品，最后还是要差异化。

8. From Researcher to VP

刚才我们回溯了你很长的一段经历。你觉得，从刚到美国时第一份工作的研究员刘洺堉，到后来在英伟达成为 tech lead，再到现在成为研究副总裁，你在不同时期解决的问题是一样的吗？

规模越来越大。

这个规模指的不只是管理规模，也包括运算资源的规模。这跟整个 AI 的发展有关：AI 从探索走向落地，是一个变化。

不同阶段都有不同经历。有时候我还会怀念以前各种方法都不 work、整天想什么会 work 的时光。

为什么？

有很多可能性时，其实也很开心。选择多，会给你一种快乐。

现在也有很多选择，只是我越来越确信，自己喜欢回到事情最核心的地方。

现在的状态很像“重剑无锋，大巧不工”：很扎实地一步一步把基础做好，把东西写出来。

在执行过程中，我也觉得这是很好的历练。你会学习怎样帮助团队看到最核心的本质，提升执行力，同时在可以创新的地方，让团队做出重大创新，跟上时代变化。

每个时期都有不同挑战，都很有趣。

从一个研究员到英伟达的 VP，这种情况多见吗？

我可能是第一个。

你觉得为什么？

我在英伟达前几年几乎每年跳一级，一直往上走，最后到 VP。

我觉得是因为早期 NVIDIA 还没有 AI 人才时，我在那里帮助公司提升 AI 在社区里的知名度，也解释 AI 会怎样影响公司。

同时我很喜欢落地，一步一步获得公司的信任。公司就愿意把越来越大规模的项目交给我。

现在整个团队这么多人，使用这么多运算资源，每天可能就是几百万美元的运算和存储成本。

这是日积月累之后，公司建立了一定信任，我才有机会带这么大的 project。

所以跟公司 align 非常重要。

一个纯粹研究员的天性，和管理者的天性，可能在某种程度上是相悖的。研究员要创新，要有 high ego，需要 recognition，而个人 recognition 跟公司需要的 recognition 有时不一样。

你在成为管理者的道路上，有没有可能抑制一部分研究员的天性？有没有可能是在带着镣铐跳舞？

我觉得自己还是一个研究员。我仍然常常读论文，有时候也会做实现，去理解问题。

我最担心在一路成为管理者的过程中，跟底层脱钩，不理解问题的核心。

所以我会强迫自己 review 大家的 code，读 paper，challenge 每个人的 idea，跟大家 debate，确保方向是对的。

公司里的人都知道，我可能是少数还继续看 code 的 VP，也会继续抠细节。

我知道自己的任务不是成为一个具体实现的人，但如果不做这些事情，我就不会理解痛点在哪里，也更不能理解每个人对方案的贡献。

我希望自己一直 stay grounded，看清楚事情，这样可以帮助团队成长，也能看清楚每个人的贡献在哪里。

过去20年，也就是你到美国之后，有哪些对你影响很大的人？

第一个是我的指导教授 Rama Chellappa。他把我带进这个领域，教会我基本能力。

他非常厉害，也非常善于沟通，可以让任何场面都充满欢笑，即使是很严肃的 review meeting。他尊重每个人，我从他那里学到很多东西。

然后是我在三菱电机实习时的第一位 mentor Oncel Tuzel，他手把手教会我很多工程能力，对我的影响非常大。

到英伟达之后，主要是跟同事学习。Tero Karras，也就是 StyleGAN 的第一作者，对我影响非常大。

哪方面的影响？

他对事情追求到极致。

如果你读过他的论文，看过他的实验分析，就会看到他怎样把本质一点一点挖出来。那种坚持，对我影响很大。

很多研究员一个想法写一篇 paper，同时一个方向一年可以写20篇，甚至40篇 paper。Tero 每年只想写一篇 paper，把所有的经历和精力投入同一个 idea，越钻越细，直到找到问题的本质，产生重大贡献。

这种压强更大，也让我学到 stay focused。

黄仁勋呢？他对你有影响吗？

非常大。

他是一个工作非常认真的人。我早期加入英伟达时，他常常发论文给我看，让我写 summary，告诉他论文讲了什么。

他非常热爱学习，一直学习、一直理解。他当初也不懂 computer graphics，却敢进入 GPU 领域，把 computer graphics 学起来。他也不懂 deep learning，但后来也进入 AI 领域。

他的学习能力和兴趣非常强。

他不懂，为什么敢投入？

他有一套自己的决策法则，叫 first principles。

他会把事情的本质理清楚，不受外界信号干扰，然后看清楚什么方向最 make sense，再往那个方向走。

他早期就敢 all in deep learning，让公司获得巨大领先；早期就敢 all in CUDA，让公司建立很好的 foundation。

在认识 Jensen 之前，我觉得自己的决策都比较短期。看到他怎样做长期决策、坚持下去，对我的影响非常大。

还有一个很惊人的地方是，他每天收到的 email 非常多，但他都会非常仔细地读，去找别人看不到的信号，然后做出重大决定。

他是一个非常理性的人。

事情很多时，如果没办法 prioritization，把时间放在不重要的事情上，就做不出重要的事情。

所以决定哪些事情重要，本身就是一件很重要的事情。

我自己推想，他强迫自己每天读大量 email，强迫自己快速决定什么重要、什么不重要。在每天不断练习之下，他看事情就非常清楚。

当你看清楚什么重要、什么不重要，接下来就是执行。

很多人执行时会把个人情感放进去：这件事虽然不重要，但我跟那个人关系不错，是不是应该让他做？

他不会这样做。他真正的目标是 take care of the whole company，只要你留在公司，他就会 take care of you。

我也从中学习怎样做 prioritization。

我以前做 research 的时候，可能同时处理两三个 project，觉得很累，每天要切换两三个 topic。

现在我几乎每半小时切换一个 topic。以前无法想象自己会做这种事情，但不断进行 context switch，也帮助我理解什么更重要。

还有一件事，如果你学过 computer science，最重要的一件事情就是懒惰：不用算的东西不要算，可以晚点算的东西晚点算，可以直接用一个 no 解决的，就全部 no。

人的时间和精力都是有限的。如果你知道什么东西不要算，把它移除，人生的运用就会更有效率。

所以我觉得还是很值得学习 computer science，不要因为 AI 就不做 computer science。

黄仁勋又把什么排除在他的计算范围之外？

每个时期不一样，每个时间点也不一样，不是永远固定的。

比如现在，他要处理的事情实在太多，也很难说什么不重要。

我看到的东西跟他看到的东西完全不是一个等级。他看到的是全球 AI 的重要推动力，看到的事情远远超过我看到的，所以我不好评论他现在觉得什么不重要。

你怎么保持自己的精力？有什么技巧吗？

我很喜欢运动。以前喜欢团体运动，打篮球、打网球。

后来我还有一个很大的兴趣，就是投入中国功夫很多年。我从18岁开始一直练习中国功夫。

我听说你练功夫？

对。我有武术老师徐纪，他是很有名的武术老师。他的老师是刘云樵，刘云樵的老师是“神枪”李书文，李书文是沧州武术家的代表。

他的八极拳、劈挂掌，对整个武术界都有重大贡献。

我很有幸在台湾学习这些中国武术。那时因为蒋介石的关系，有一批武术家到了台湾。我的老师徐纪跟刘云樵学习，我再跟徐纪学习。

武术是很好的身体锻炼，也能磨炼心智和体力。

它还有一个好处，就是一个人就可以练。我早上起来会做武术训练，站桩、打拳。

最近我还有一个新的嗜好，叫 ice plunge，就是用一个冰桶。像运动员一样，做完激烈运动之后跳进冰冷的水池里，帮助身体恢复。

我觉得这些事情帮助我保持精力，面对每天高强度的挑战。

这些都是你上班前做的事情？

跟我对你的印象还蛮不一样。我每次见你，觉得你是一个非常谦和的人，但你会做这些相对激烈的运动，武术、冰水。

我学武术的目标不是为了打架。一开始是受到金庸小说影响，对中国武术充满兴趣。

学了之后发现，这是对自身的一种磨炼。

中国武术最重要的是控制全身、控制自己。你要打出一拳，最大的力量来自全身协调，把力量从脚一路传到手。

这么长的路径，要控制全身协调，让力量传导一步一步到位，非常困难，因为所有动作在一瞬间发生。

你要通过不断练习、不断自我修改才能做到。

这跟我喜欢自我检讨、不断追求进步有很深的影响。

我不是为了展现自己的破坏能力，而是把它变成一种对自己的追求。

你的性格比较温和。你能算温和吗？在公司里应该不是这样吧？

做久之后，多少有点恨铁不成钢。

看到年轻研究员差那么一点火候就能把事情做得更好，就会忍不住提出来。所以还是会凶的。

在公司里，我觉得自己是直接指出问题所在，取决于听的人。

如果听的人觉得我是正面的，他会很开心。因为这世界上不是每个人都愿意告诉你什么地方可以进一步提升。

他们可能会感谢我告诉他这个地方可以做得更好。但如果他觉得我只是在挑剔，就会觉得我很凶。

你希望能够一击制胜的课题，是不是 Cosmos？

我们整个组织有一个 project 就是 Cosmos。

我非常专注做 Cosmos，也希望通过 Cosmos 对这个世界产生巨大贡献。

这也是你接下来也许长达10年最重要的课题？

是。

我们做完 Cosmos 1 的时候，问 Jensen 要不要继续往下做。Jensen 跟我说：“你就做到 Cosmos 97。”

我现在只做到3，还有94代可以往下走。

为什么不是100，而是97？

他是随口说的，数字是随口说的，但决心展现在这个数字上。

他认为这是一个重要方向，希望我们持续专注做 physical AI 的 foundation，帮助整个领域往下走。

接下来重点聊聊 Cosmos 和世界模型，也是你当下最重要的议题。

我看你个人主页上说，你一直被这样的愿景驱动：为机器人构建一个《黑客帝国》。

9. Building a World Model

我认为世界模型可以帮助具身智能做到泛化。

任何 AI 要解决的问题，核心都是泛化：能不能在训练数据之外表现得很好。

Coding、chat 都在解决这个问题，训练模型，让它解决训练时没见过的问题，变得像人一样。

物理世界的 AI 也不例外，同样要解决泛化。

在 Cosmos 这边，我们想从三个点提供帮助。

第一，提供更好的数据；第二，提供更好的起始点；第三，提供更好的环境。

数据方面，可以用生成数据。数据是帮助 AI 模型泛化的关键。

你可以想象，真实世界采集到的数据只是很多点。能不能生成一些你需要看到、但现实中没有采集到的数据？我把它叫作 Better Data。

如果可以训练出一个好的世界模型，理解世界怎样运作、预测未来会发生什么，那么这个模型本身的 representation 就不错。

它可以为物理世界 AI 提供一个更好的 backbone。不管是 policy model 还是其他 model，都可以从里面衍生出想要的 policy。

这就是更好的起始点。

第三，物理世界中的 AI 怎么学习？只能通过实验，跟环境交互，跟真实环境交互往往很昂贵，而且累积经验的时间很短。

如果你可以用像《黑客帝国》一样的方式，同时产生多个真实无比的环境，跟这些环境交互，获得反馈，就可以学习得非常快。

这就是更好的环境。

所以是更好的数据、更好的起始点、更好的环境。其中最有挑战性的，就是更好的环境。

我们不想把网页上的介绍写得像一篇很长的 essay，所以用《黑客帝国》这样一个比喻，帮助大家理解我们想怎么做，以及怎么帮助这个 community。

Cosmos 在内部具体是怎么立项的？这是2024年还是2025年？

应该是2024年，大概2024年3月左右决定要做。是在 Sora 之后。

大家都觉得这件事充满挑战，但一定要做。

很荣幸 Jensen 信任我，让我带这个 project。

说服他的过程难吗？

那时候已经不难了。之前要说服比较难，但 Sora 出来之后就不难了。

他很聪明，一看就知道这件事对公司的影响。

但他是一个很有纪律的人。有些事情即使很重要，他也会叫你“pace, pace your steps”，让你不要急。

他擅长打马拉松战，很有纪律，慢慢一步一步往目标前进。

为什么之前时机还没到？在 Sora 之前？

这涉及 first mover advantage。

每家公司定位不同，取决于想解决什么问题、怎样获利。我没有足够信息判断其他公司为什么选择那个时间点。

现在很多公司都做得很好。现在做视频生成最赚钱的应该是字节，对吧？TikTok。

所以这个轨迹很难说。

到了 Sora 的时候，觉得时机到了？

对。

你又跟他写了一封邮件吗？

我们这群做生成式模型、做媒体生成的人，一起决定给 Jensen 写邮件。

每个人都写吗？

我们会一起讨论、一起写一封邮件，大家都加入意见，最后形成公司的共识：必须把这件事情做出来。

Jensen 回复这封邮件了吗？

他把我们聚集起来开会，在会上达成共识。

其实会议之前大家已经有共识了，会议主要是把事情具体化：到底怎么做、谁负责。

你对那次会议有什么印象深刻的事情吗？

他叫我们想名字。

我其实已经知道最后他会提出更好的名字，所以有点不想浪费力气，觉得我们想了半天之后他还是会想出更好的名字。

我就跟他说：“你直接告诉我们你觉得什么名字好不行吗？”

他说不行，要我们自己思考。

我觉得他说得有道理，因为名字跟产品定位非常相关。

我们叫 Cosmos，目标就不是生成内容，不是为了创作，而是为了解决物理世界的问题，慢慢往 physical AI 这边前进。

Sora 更像是服务创作者的产品，它早期的 demo 也是这样定位的。

为什么你们当时选择 physical AI，面向这个市场？

那时候已经陆续看出来，physical AI 会是下一个 revolution。

这是一个刚需。每个人都会老化，每个地方都缺乏劳动力，每个人都想提升生活品质。

另一方面，media 走的是 developer market，帮助开发者做出更好的产品。

我们自己不会经营一个社交网站，也不会经营一个创作工具，那对 NVIDIA 来说有点太偏应用层了。

所以你们决定做一个世界模型，为 physical AI 服务？

对，为 physical AI 这个 community 服务。

现在大家对世界模型的定义还非常不清晰。你讲讲你的定义。

我是一个很讲究实用性的人。人为什么要设计一个模型？因为它有用。

用法有很多种。

比如设计一个模型描述世界，通过这个模型预测接下来会发生什么，目的就是预测。

另一种是理解为什么事情发生。某种程度上，整个物理学就是在建立世界模型，了解世界如何运作。从牛顿力学到量子力学，都是在建立模型，帮助我们理解世界如何运作。

在 deep learning 里，我们用标注数据教模型：这个东西会这样，是因为发生了那件事。然后利用大量数据泛化，帮助解释未来发生的新事件。

比如工厂里某条产线突然卡住，可能是某个工人忘记打开某个设备。世界模型可以帮助理解发生了什么，找到问题。

还有一种世界模型，是重建三维世界。重建三维世界有很多用处，可以规划路线，也可以让人在虚拟状态下体验一个真实世界，即使人不在真实世界里，也可以在虚拟环境中游历。

因为用途不同，模型的形态也不同。

终究我们是在同一个世界里，这些模型只是通过不同的观察去描述同一件事。

重建是很重要的学问。我以前做过重建，但现在已经不再做重建了。我现在主要做物理世界的理解和生成，也就是 prediction。

大家对世界模型会有不同解释。

几年前也发生过同样的事情：大家定义什么叫 AGI。过了这么多年，还是没有共同定义。

我认为定义“world model”很可能也会走向同样的道路。我觉得定义本身不是最重要的事情。

是因为这个词太大、太笼统？

对，过于笼统。

定义出来之后，对人类有什么影响？这才是重要的。

为什么 LLM 是一个相对精确的词？

LLM 就是 Large Language Model。模型很大，做 language，很明确。

Language model 可以 predict 接下来会出现什么词。Large 代表模型很大。

但 world model 只是一个可以帮助你 model 世界的工具。你要用它做什么，用途不同，model 世界的方式就不同。

只要用途不同，就会有不同定义。

所以世界模型能够描述 Cosmos 吗？还是应该用另外一个词描述你在做的事情？

我们一开始把 Cosmos 叫作 world foundation model。

我们的目标是建立一个 foundation，让大家都可以建出适合自己使用的世界模型。

我们把自己叫 foundation model，是因为希望自己是更底层的东西，满足大家的需求。

哪怕对方是要做世界模型的人，也可以基于我们的 foundation model 来做。

你希望提供一个基座？

对，我们要提供这个基座。

我们认为世界模型是 physical AI 里的重要环节，但不是每个想从事 physical AI 的公司都有足够资源从零开始做自己的世界模型。

他们又确实需要它。为了帮助他们，我们就做 Cosmos 这个 foundation model。

你们也投资了 World Labs，以及杨立昆的 AMI。你们做的世界模型有什么差异？

NVIDIA 是站在 enable 的角度。我们希望在自己的 GPU ecosystem 上建立的公司都能成功，大家一起走向成功，win-win。

每家公司看到的点不一样，想解决的问题也不一样，所以会有各种路线。

李飞飞的 World Labs、杨立昆的 AMI，都在走不同路线。我们会帮助他们，也希望他们成功，所以对他们进行投资，也跟他们合作。

如果他们对 Cosmos 感兴趣，就可以利用我们的东西。

还有很多公司需要 world model，但可能没有李飞飞或杨立昆那么雄厚的资金，他们更需要帮助，可以 leverage Cosmos。

我们的目标是帮助整个领域成功。重要公司当然希望成功，但还有很多人需要帮助。

那你没有竞争对手吗？

NVIDIA 的竞争对手，就是跟 NVIDIA 做同样事情、构建整套 AI ecosystem 的公司。

但我做 Cosmos 时，不想跟别人竞争，我想的是怎样帮助这个 ecosystem。

在 NVIDIA 的 ecosystem 里，如果使用我们运算平台和软件的公司成功，NVIDIA 就会成功。因为他们也会让还没有进入我们 ecosystem 的人产生信心。

我已经过了为了毕业、为了发表论文，必须让算法比别人好的阶段。

现在的目标是帮助整个领域一起往下走。

Cosmos 从第一代到第三代经历了很多变化。第一代到第二代之间，有什么积累？

10. Why Cosmos Became One Model

第一代是去年的工作，步调很快。

刚开始做 Cosmos 时，我强调要快速迭代。那时很受 DeepSeek 影响。DeepSeek 是一家非常惊人的公司，可以在一年内迭代三次，做出 DeepSeek-V3。

所以我一直强调迭代速度要快，只有快速迭代，才能不断进步，一代比一代好。

但我们当时面对的是物理世界模型，那个时候大家其实还不太清楚什么样的 world model 对大家有帮助。

刚才讲过，使用 world model 不外乎 prediction 和 understanding。

我们可以做 video model 来预测未来，也可以做 reasoning model 来解释发生了什么。

一开始我们跟一些伙伴合作，理解他们的需求，加上自己的想法，做出模型，再跟伙伴迭代，慢慢收敛。

我们先做 predict，可以预测未来。然后想到，仿真环境是大家常用的环境，但它生成的视频跟真实世界有差距，于是做 transfer，让它更逼真。

为了解释发生什么事情，我们做了 reason。

后来又发现，如果可以描述 pixel 是怎样变化的，那么 pixel 的变化跟 action 的变化其实很接近，于是做了 Cosmos Policy，给一个 policy model。

后来逐渐发现，就像刚才讲的，这是同一个世界。不管从哪个角度看，model 的都是同一个世界。

模型是在学习 internal representation，也就是在压缩过程中学到怎样表示这个世界。

既然是同一个东西，就应该可以合在一起。

Foundation model 的核心概念是纳百川，可以从各种数据里学习模型。

如果能把 prediction、recognition、parsing 等不同数据全部合在一起，模型的上限就会更高。

所以我们慢慢走向单一模型。

还有一个执行层面的问题。我当初建立第一版 Cosmos 时算了一下，因为希望模型真正帮助其他人，可能需要 A、B、C、D、E、F、G 这样22个模型。

有一次我跟 Jensen 开会，告诉他预计需要22个模型。他听了觉得我工作很认真，说：“Very good, very hard。”

但他又说，你知道吗？LV 这家店减少商品陈列之后，销售额反而提升了。

你不希望有太多东西让消费者困惑，导致他们无法做决定。

这对我影响很大。我意识到，连我自己都分不清该用 A 还是 B，其他人就更加不清楚。

而且从执行上看，我们不是发论文就结束，做下一个论文。我们要帮助使用者使用。每个模型出来，我们都要维护、解决问题。

当你有很多模型时，就会非常辛苦。“备多则利寡”，也会影响迭代速度。

所以在做 Cosmos 1 的过程中，我们快速做 Cosmos 2；做 Cosmos 2 的同时又理解到，这样做不长久，于是决定做一个 omni model，也就是 Cosmos 3。

数个方向其实可以合在一起，因为它们描述的是同一个世界。

Foundation model 可以吸收各种数据，合在一起，开发也简单很多。

所以我们走向了 Cosmos 3。

所以从 Cosmos 2 到 Cosmos 3，是一个很大的变化？

对。

Cosmos 1 到 Cosmos 2，主要是数据提升，还有把 parsing 带进去。

但 Cosmos 2 到 Cosmos 3 是一个很大的 gap。

Cosmos 3 做了多久？

Cosmos 3 从去年10月开始做。其实更早就知道必须做 Cosmos 3，但那时已经开始做 Cosmos 2.5，要先把 2.5 收尾。

大概9月时知道要做 Cosmos 3，真正执行是在10月、11月，做了将近半年，超过半年。

有一个中国做世界模型的创业者说，他看 Cosmos 3 论文看了一周，而且每天都看。他认为 Cosmos 3 在技术上的大创新不多，但把很多细节和工程都验证出来了。你觉得这个评价中肯吗？

之前也有人这样说。

我们是第一个把模型 scale 到这么大，并把 audio、video、action 合在一起的团队。

从概念上看，就是把东西合在一起，但真正做出来并不容易。

这些细节非常重要。所有大语言模型可能都是 Transformer 架构，你可以说大家都没有创新，但细节会让某些模型比另外一些模型好很多。

这么多年之后，我越来越重视东西能产生什么效果，越来越不重视它是不是革命性的原创。

对我来说，它有没有用、能不能产生 impact、能不能解决大家想解决的问题，才是重点。

这篇 paper 是希望帮助整个开源社区，帮助 physical AI。

现在很多 frontier lab 走向闭源，即使写 paper，也不愿意讲关键环节。

我们决定走不一样的道路：能讲的都讲清楚，尽量把东西讲清楚；模型开源，也开源训练模型的框架，部分训练数据也开源。

我们希望保持透明，让大家看到怎样做，也希望别人可以利用我们开源的东西，做出类似 Cosmos 的东西。

我们的目标就是 enable 整个 community。

你不担心别人做出一模一样的东西？

不担心。

你选择开源，跟 DeepSeek 有关系吗？

也不算有直接关系。

DeepSeek 的工作对整个 AI 的影响非常深远。它是最早把模型开源、把效率做到极致的公司之一。最近的模型也在把效率推到极致，这些对整个领域都产生了深远影响。

从影响的角度来看，我们是相通的：都希望产生影响，把细节讲出来。

NVIDIA ecosystem 里有很多做 physical AI 的公司，我们希望帮助他们成功。

我们的目标跟 DeepSeek 不完全一样。我们是希望帮助使用者成功。

你们天然就是这个生态。

对。我们希望帮助 physical AI 更快进入现实世界。

这次为什么选择在输入层同时输入 language、video、audio 和 action？这是一个重要决策吗？

是。我觉得这个世界不只有视觉，也有听觉。我还想加入触觉，但 touch sensor 还不好，仍然在快速迭代，需要灵巧手，也需要数据。

我觉得大模型有两种基本思路。

一种是让 language 成为 first-class citizen，比如 coding、chat。

另一种是让视觉信号、video 成为 first-class citizen。

我们认为，物理世界模型跟数字世界模型最不一样的地方，是物理世界的 agent 会 take action，会改变世界状态。

所以一个好的 physical world foundation model，也应该把 action 当成 first-class citizen。

这就是为什么我们把 language、video 和 action 合在一起，建立 Cosmos 3。

我记得杨植麟曾经跟我说，他们做语言模型时，把语言当成最重要的智能提升工具。他们会担心 vision 加进来，影响智商，变成一个“傻的多模态”。

但谢赛宁今年又跟我说，他担心语言污染视觉。他认为语言是人类的脚手架，并不一定是本质。

你怎么看这两种观念？把这些信号一起训练，会不会互相污染？

这些信号被带进来，都有各自的目的。

Language 可以把人类知识带进来，也帮助人类跟 physical AI 沟通。

Video 包含大量视觉信息，audio 包含大量听觉信息，可以描述这个世界怎样运作。

用 video 可以更精准地 capture 世界的物理运作，用 language 反而很难。

但模型最终是要服务人的。如果它不懂 language，就没办法跟人沟通。

这个模型最后也要帮助机器 take action。如果不懂 action，就没办法改变世界。

应该这样讲：我们的目的不同。

我的目的是建立一个好的 foundation model for physical AI。它需要懂 language，知道东西怎样变化，也需要 action，通过这些 constraint 把它们合在一起。

我的目标不是追求 AGI。AGI 本身也很难定义。

如果你的目标是理解人类本质，或者做 coding，可能视觉信号会影响你。但这是必然的。

遥远的古代没有语言，人类文明的发展是通过观察世界如何变化产生的。语言是为人类发展出来的，但你不知道机器是不是一定接受这一套。

也许机器可以直接从视觉信号学习世界怎样运作，得到 intelligence，发展出另外一种文明。从这个角度看，语言也可能是一种干扰。

所以要看你想要什么。

我很明确地知道我要什么：需要 language，让人跟 physical AI 沟通；需要 video 和 audio，描述物理世界的变化，学习物理本质；需要 action，因为希望最后可以真正改变世界。

所有模态融合在一起，它们是相互促进，还是相互制约？

过去一年甚至更久，我们一直研究怎样融合这些模态，从不同研究中得到线索，在 Cosmos 3 里把它们结合起来。

比如在 Cosmos Policy 那篇 work 里，我们发现把 video 和 action 合在一起，有助于 action。

当我们直接 predict action 时，除了预测要做什么 action，也预测 take the action 之后会产生的 state，也就是 observation。这有助于训练收敛。

所以我们知道，预测 video 有助于 action，也就是 world-action model 这一系列。

声音也可以帮助 video generation。当你听到“咔”的一声，知道接触发生的时间点，就能帮助生成视频。

一般做 video 的人都知道，text-to-video 是信息量变大的过程。信息量变大，意味着有很多可能性，选择会比较难学习。

同一个文字可能对应10种可能，没有固定答案，就不好学。

所以做 video 或 image generation 时，文字描述越详细，越容易生成好的 video。

文字的详细描述也能帮助 video。

我们做 Cosmos 3，就是想把之前的 Cosmos Reason、Cosmos Predict、Cosmos Transfer、Cosmos Policy 合在一起。

合在一起本身就有好处，整个东西也简化了。

这些信号怎么合在一起，才能产生互补，而不是互相冲突？

可以通过实验设计和数据比例调整来实现。

我们坚信这些信号描述的是同一个世界，都包含这个世界如何运作的信息。应该有一种方式，把它们合在一起，互相帮助。

更多信息可以帮助你理解背后的运作原理。

这里面有什么 secret sauce 吗？

做大模型没有什么 secret sauce。

严格做实验，根据假设观察结果，累积知识，再做下一个实验，一步一步扎实地往下走。

没有什么不可告人的秘密。你要追求的就是耐心，做实验验证对了，再往下一步走。

这次你们采用了双塔设计，一个塔处理离散信息，一个塔处理连续信息。为什么采取这个设计？

有很多原因。

一开始 Cosmos Reason 是离散的，从 vision-language model 出发；Predict、Transfer、Policy 是连续的。

我们知道离散方式适合 understanding，连续方式适合 generation。所以把它们放在一起，是现阶段比较合理的选择。

还有很多使用 Cosmos 的方式。常见的是 post-training：可以用 video-action pair 去 train generator，也可以只用 reasoner，用领域里的 understanding data 去训练。

当你有两个塔，可以把两边的影响切开，方便客户使用。

如果全部连在一起，generation 和 understanding 就会绑定在一起。假设我要改变 generation 的 distribution，数据也会改变 understanding 那边的表现。

如果没有两个塔，而只有一个塔，understanding 那边需要改变，但又没有 understanding data，就容易让 understanding 部分流失，不方便客户使用。

所以分成两个塔，在使用上有一定帮助。

当然，相对来说它还不够 elegant，因为你要事先决定架构。在 deep learning 里，理想情况是让数据决定，而不是人为区分。

但在这个阶段，我觉得双塔比较合理，也比较适合使用。

我们下一步的目标可能是更加简单：为什么需要两个塔，一个塔就够了。

但在往单塔方向走时，也要考虑使用者是否容易用上。我们的目标是帮助大家赢，而不是自己做一个能完成很多事情的模型。

机器人各不相同：相机数量、相机位置都不一样，自动驾驶车辆也各不相同。我们需要克制，在工程简约和完美之间找到平衡，也要考虑用户能否利用它。

这是我们必须继续研究的课题。

离散信号似乎更好处理。融合连续变量之后，难度会变高。你们怎么把它们合在一起并 scale 上去？

现在有一系列 work，比如 Transfusion，可以同时处理离散和连续。

做 next-token prediction 时处理离散信息，做 diffusion 时处理连续信息，这是一个共同的框架。

最近有很多不同变体，大家都在研究这个问题。

信号可以用离散表示，也可以用连续表示。我希望也许能开发一种架构，全部离散或者全部连续，让事情简单一点。

但这个理想能不能成功还不确定，仍然要一步一步做实验验证。

直觉来看，离散更容易，还是连续更容易？

各有好处。

离散比较容易训练，连续也有它漂亮的地方。做 inference 时，两者差异很大。

最后最关键的是客户要部署。部署时的成本考量非常重要。

我觉得最后会根据部署需求，选择最适合部署的模型。怎样最容易获得成功，就会有很多方向集中到这里讨论。

有研究员问你：既然你把所有模态都训练到一个模型里，理论上它既可以把 coding 做得很好，也可以让机器人运作，还可以生成创作者需要的内容。

那它有没有可能在单一维度，比如 coding 上，比 Claude 还强？

我还是喜欢讲孙子兵法：“备多则利寡。”

如果什么都要做好，训练过程中当然要博学多闻，接触很多类别，提升知识水平。

但当你确定只需要服务一个 application 时，是不是要做一些调整？是不是有些东西你不 care，愿意放弃，从而把目标做好？

如果什么都不愿意放弃，就会做得很辛苦。

策略往往就是决定你可以放弃什么。

这两个塔之间会互相提升吗？

我们在 paper 里有一个实验：当你使用更接近 physical AI 的 reasoner，可以帮助生成更好的 physical AI 内容。

我们也知道，如果把 generator 的梯度传回 reasoner，理论上可以帮助 reasoner 学到更好的 representation。

受限于时间，我们没有完成全部想做的实验。这个 foundation model 的开发很耗时，一个决定往往两三个月前就已经做了，很难快速调整。

我们不把 Cosmos 3 看成终极版本，会继续做 Cosmos 3.1、3.2，一步一步提升，把这次没机会呈现的能力继续补上。

除了可能从双塔变成单塔，未来模型还会有哪些变化？

我们很关注模型怎样帮助 physical AI builder。

模型推出之后，大家都在讨论，也有不少 partner 给了很好的 feedback。

泛化是核心问题，任何 AI 都是这样。

在物理世界 AI 里，我们需要达到这样的泛化：假设我教机器人把衣服这样折、这样放，只给它看一两次，它能不能快速学会？

在现实生活里，它能不能快速学会？给 physical AI 读一本说明书，它能不能知道怎样操作仪器，怎样在工厂里完成检测？

这些都是 physical AI 应该具备的重要能力。

落地时当然还有很多考量。我想说的是，在 foundation model 部分，我们能做什么来帮助 physical AI developer。

所以中间的提升，可能都会朝着提升泛化能力的方向，把这些能力加进 Cosmos。

有哪些具体优化？

加速是一定会发生的。我们希望模型运行得越来越快。

另外是能力优化、泛化优化。可能会改变架构、training objective，或者使用特殊 query data 做训练。

具体怎么做现在还不清楚，需要测试。

这是实验科学。

我常常觉得 deep learning 很像中医：试出来的。

但在尝试过程中，你要做详细的实验记录，从中理解中间的规律。

严格实验、控制变量、得到关键结果，是模型迭代非常重要的一步。

也有研究员提出，语言渲染的比重是不是应该更大，因为他们认为 LLM 是提升智能的关键。你认可吗？

早期 image generation 的研究，包括 Imagen、Google 的 Imagen，都提出过：当 language understanding 更强，使用更大的 T5 model，image generation 能力就更强。

我相信更大的 semantic representation 应该有帮助，我同意这一点。

但 physical AI 的应用跟 coding、chat 不太一样，所以还是需要实验验证。

我想做的是了解真正的痛点，从痛点中找到合适的方式补强模型能力。

如果资源不受限，当然什么都可以放进去。但挑战在于资源有限时怎么取舍。

对于某些场景，智能可能不是最关键的变量。

你需要机器人会解奥数题吗？需要机器人会 coding 吗？

可能更重要的是，它能不能把工厂需要组装的东西做好，或者把家庭卫生做好。

所以要解决的问题，跟大语言模型公司、agent 公司要解决的问题不太一样。

既然题目不同，最后解决题目的成本也很重要。要商业化，成本一定是重要考量。

在这些条件下，架构真的会跟现有 agent 模型一样吗？这是我一直在思考的问题。

纵观人类历史，答案应该是不一样。

做耕田的工具，跟做纺织的工具不一样，职业也不一样。

最后还是“备多则利寡”。老祖宗的智慧很有用。

Cosmos 未来会投入多少卡和资源？

卡的数量一直在提升。我不方便讲具体数量，但已经到了万卡级，希望未来更多。

这会是英伟达最重要的模型项目吗？

英伟达有数个模型项目，主要分两类。

一类叫 Agent AI，做 coding、chat 和 agent，服务数字智能客户。在这方面有 NeMo 团队，他们最近 release 了 Llama Nemotron Ultra，效果很好。

Physical AI 这边主要就是 Cosmos。Cosmos 是一个 base model、一个 foundation model。

NVIDIA 也很关注自动驾驶、机器人和工厂，这些都是 physical AI 的应用。

自动驾驶方面，我们有 Alpamayo effort，它是在 Cosmos 上做的 specialization，专门针对自动驾驶需求进行优化。

GR00T 则是在 Cosmos 上对机器人做相关优化，还包括 whole-body control。

我把自动驾驶和机器人团队看作自己的客户，希望帮助他们成功。

Physical AI 这边以 Cosmos 为核心，辅助这些主要的 domain developer 获得成功。

所以主要是两类。你说谁更重要？两者都重要。

Digital AI，包括 agent 和 coding，很重要；Physical AI 也很重要，很难说谁更重要。

现在最火热的是 agent AI，physical AI 是下一步。你觉得 physical AI 会是多大的市场？

应该是一个巨大的市场。

我不确定市场估值，也不方便代表公司说有多大。但随着人口老龄化、制造业自动化需求，以及各种应用，我们觉得这会是一个巨大市场。

世界模型现在缺乏有效评估方法，你们有什么探索吗？

模型评测一般有三步。

第一步是 benchmark，有固定数据集，测量模型能力。

第二种是 arena style，让 A 和 B 对比，看谁更好。

第三种是跟真正有痛点的人合作，去解决实际问题。

这三种都很重要。

在 physical AI 里，第三种特别重要。Coding agent 大家都在解决 coding 问题，但 physical AI 每个人要解决的问题不一样。

所以我更强调跟客户、跟愿意合作的伙伴一起，了解怎样评估一个模型真正有用还是没用。

这不是一件容易的事情，但它是给模型发展指引方向的重要一步，未来会越来越重要。

数据也是一个难点。这次你们是怎么做的？

数据是一个难点，尤其 physical AI 更困难。

每个机器人形体不同，没有 physical setup 就没办法收集数据。

我们服务各类 physical AI developer，每个机器人都不一样，所以能做的是找最容易共通的部分。

Physical data 主要有两种：一种是 navigation data，从 A 到 B；另一种是 manipulation data，用手或工具操作，完成既定目标。

Navigation data 比较容易。机器人怎么动、车子怎么动、机械怎么动，都可以收集。机器人 A 和 B 即使不同，移动时也是在空间中位移，有时加一些旋转，所以比较相同。

操作数据就复杂得多。

我们发现一个趋势：大家越来越追求接近人手的机械手。

理由是，这个世界是为人类建造的，大部分工具都适合人手操作。

AI 需要大量数据，数据越容易取得，就越容易快速突破。

大部分数据收集者是人，而人有手；同时这个世界大部分也是为人手设计的。所以现在大家都朝着人手方向前进。

因此在 Cosmos 3 中，我们特意加入了 egocentric data，包括人眼怎样看东西、第一人称视角，以及人手怎样操作物体。

我们的目标不是做出一个机器人，而是帮助大家做出好的机器人，所以要找最容易互通的东西。我觉得 egocentric data 非常重要。

在刚才说的限制之下，英伟达有什么显著优势？

在英伟达获得 GPU 运算，成本相对便宜，毕竟我们生产 GPU。

另外，我们在 physical AI 领域已经深耕多年，有 Thor 这样的芯片，也有 Isaac Sim 这样的 simulator。

这些东西合在一起，可以提供更多工具，满足不同 physical AI developer 的需求。

还有一点，我们是真心想帮助其他公司成功。我们很清楚自己能提供什么服务，客户也更愿意跟我们合作。

我们不会做跟你一模一样的东西，然后把你消灭。那不是我们的目标。

这个模型最让你满意的一点是什么？最遗憾的又是什么？

最满意的一点是，我当初跟大家说，可以把过去所有模型合在一起，而且效果会比之前每个独立模型都好。

这件事情发生了。现在 Cosmos 3 比过去单独的模型效果都好。很多人当时不相信，我觉得很开心。

第二点，这是我们第一次把原本建立多个模型的团队，凝聚在一起做一个模型。我也很骄傲，这件事情顺利发生了。

遗憾的是，因为时间限制，模型还没有完全收敛，我们就必须 release 了。

模型还可以继续提升，还有很多想改的地方没有时间改。毕竟我们都想追求更好的结果。

好处是，我们还会继续做 Cosmos 3.1、3.2，把之前没做好的东西补进去。

你有想过像黄仁勋说的做到 Cosmos 97，会是什么样吗？

我听到 Cosmos 97 时，理解到的是我们有决心一路做下去，把它做好。

这是很大的 commitment，因为世界模型很耗资源。

它展现出的决心，就是要持续往下走。我得到的信心是，这个东西会一直往下走。

世界模型最后会接近这个世界。

通过模型，你可以学习想在真实世界学习的东西。最接近的状态，是随时可以做出一个《黑客帝国》的矩阵。

我不确定是不是需要做到97代。如果半年一代，还要40多年。但 AI 发展速度极快，也许不需要40多年。

你们团队既做数字世界模型，又做 physical AI 模型。训练两种模型的差别大吗？

目前 NeMo 团队使用一种 hybrid architecture。一些层是传统 Transformer，一些层是 Mamba-style、接近 RNN 的架构。

这种架构有好处，因为 RNN 的 inference 运算比 Transformer 便宜。

Agent 要生成大量 token，有时需要工作很长时间，所以对运算成本有要求。

Physical AI 这边不太走这个路线，仍然使用比较传统的 Transformer，但走 multimodal Transformer，把 action 加进去。

两边模型的发展逐渐不一样，但两个团队之间合作很紧密。

你可以在 Cosmos 3 的 paper 里看到，很多作者来自 NeMo 团队。我们跟他们合作，吸取经验，一起建模型。

未来这两个模型有可能统一成一个更大的模型吗？

都有可能。

我们的决策很简单：怎样能最好地帮助客户，就怎样做。

我们是很 low ego 的。

Cosmos 是一个非常大的团队。驱动这么大的团队一起工作，难点是什么？

我印象中论文好像有290多人，不到300人。

11. Scaling Cosmos Together

这个团队非常大，这是一个组织架构难题。

你希望所有人目标一致，但又希望所有人可以自主做决定。

当所有人目标一致，但每个人都不能做决定，进展会很慢，因为只有少部分决策者可以做决定。

假设只有我能决定数据比例怎么调、架构怎么做，这个模型不会成功，因为我的知识有限，时间也有限。

我们需要每个人都能做出对组织、对模型发展重要的决定。

第二，如果大家都可以做决定，但目标不一致，也会出问题。

比如有人只想把 action 做好，完全不管 video；有人只想把某个 thing 做好，不管其他东西。这样组织就会发散，甚至产生赛马行为。

所以运行这么大的 project，关键是让大家目标一致，同时每个人都能做决定。

在组织架构上，我花了很多心思设计团队合作方式，让信息透明，让每个人有足够信息做出正确决定。

当然，也要提供容错空间。

当一个人害怕决定错误，就不会做决定。所以要让他们可以做决定，也要接受有些决定会错，但错误后要快速修正。

这些都需要时间和训练，才能让整个团队朝这个方向前进。

怎么让200多人同时做决定？听起来很难。

大家都要清楚整个项目、整个发明最终要达到的目标。

你要不断把未来画清楚，跟每个人讲清楚。

在 Cosmos 3 paper 出来之前，我已经跟主要 leader 和大部分团队讲过，我们做出来的模型会是什么样。

当然不可能完全一样，可能90%相似、10%不相似。但大家看到同一个愿景，就比较容易集中。

就像篮球运动员罚球之前，会想象球空心落网，先把目标确定下来。

每个人扮演的角色不同，但大家看到同一个目标，就比较容易在自己的岗位上做出对团队正确的决定。

你设计了什么管理方法，让大家信息更透明、更好协作？

多用点心思，了解怎样讲大家才会懂。

注重沟通？

对，注重沟通。

会开例会吗？

我很讲究团结合作，所以我们的会很多。

不是每周一次，我们每周可能开10次以上。

做 video 的团队每周可能开两三次，做 understanding 的团队也是两三次，各个环节还会有定期会议，所以会非常多。

会议可以帮助沟通。

当然大家会觉得开会有时没效率。我们尽量让每个会议更加 engaging，让每个人都参与进来。这需要训练。

永远不会有最高效的方式。你可以完全不开会，各做各的，但不一定成功；也可以一直开会，什么都不做，同样不会成功。

要找到平衡。不同时间点有不同调配方式，要因任务、因时间而定，没有一个公式保证一定成功。

硅谷现在常说，OpenAI 的企业文化是自下而上，Anthropic 是自上而下。你们属于哪一种？

两种都有。

任何东西走向极端，都会物极必反。“天下分久必合，合久必分。”

要在不同时间点，理解什么对团队最正确，而不是一味沿着某个方向、某种模式运作。

Cosmos 爆发的时间点，跟 physical AI 和机器人爆发可能正相关。你觉得这个市场什么时候会迎来所谓的 ChatGPT moment？

12. The Physical AI Moment

大家都在追求 physical AI 的 ChatGPT moment。

什么叫 ChatGPT moment？它跟 GPT moment 有什么不一样？

GPT moment 是告诉大家，东西可以 scale，scale 之后模型能力会更强。

ChatGPT moment 是让大家清楚看到，一个好的模型对人的生活会产生什么变化。

大家发现，有一个智能体可以跟它沟通，可以问它问题，像一个知识丰富的朋友。

Physical AI 的 ChatGPT moment，应该是大家看到一个以 AI 为核心、由 AI enable 的 physical 应用，让大家清楚看到这东西真的有用。

什么时候发生很难预测。

但我看到整个领域对 physical AI 的兴趣越来越大，资金越来越多，越来越多有志向的人创立公司解决这个问题。

Physical AI 可以利用数字 AI 的成功，各项条件都在逐渐收敛。

我希望尽快看到 physical AI 的 ChatGPT moment，也许今年，也许明年，我不知道，但我觉得它必然会发生。

你觉得人形机器人会在这个赛道成为主流吗？

人形机器人的优势，是可以利用大量人的数据作为学习素材。

但人形机器人越像人，有腿、有手，复杂度也越高。

很多人做轮式机器人，只有上半身像人，下半身是移动平台。这样的平台也可以解决很多问题。

这样的算人形机器人吗？

我觉得也算，至少上半身像人。

有些更接近完整人形，有些不那么接近。

最终人形机器人会是重要方向，因为人类环境本来就是为人形设计的，适合人形完成各种操作。

但关键还是运营成本，到底怎样最有经济效益。这超出我的专长，我其实不知道。

我的目标是满足各种 physical builder 的需求，不需要做选择。我会听他们的声音，看我们的模型怎样能更好地帮助他们。

DeepMind 的谭杰预测，2035到2036年可能是人形机器人走向主流的拐点。

我希望更早，但不确定。

你觉得世界模型本身会有一个拐点吗？

我觉得世界模型不是新的，早就有世界模型了。

世界模型会一直发展，性能不断提升。大语言模型越来越好，世界模型也会越来越好。

这次 Cosmos 3 做出了比较不一样的 world model，是一个 omni model 的 world model，所以确实有一些变化。

但需要时间让大家吸收、消化。模型出来之后，不能直接使用，还要看怎样调配，怎样在机器人场景落地。

所以还需要一点时间，它会继续变化、继续进步。

你说要为机器人构建一个《黑客帝国》。但《黑客帝国》讲的是人类沦为机器的活体电池，生活在虚拟世界里；一个觉醒的人试图挣脱系统的宿命，终结这个循环。

如果有一天机器人觉醒，想挣脱你为它打造的虚拟世界怎么办？

我用《黑客帝国》这个比喻，是帮助大家具象化：有一个 world model，可以加速学习。

很多人担心 AI 能力太强，会 take over the world，把人类 eliminate。

我觉得社会是人建立的，科技也是人在背后操作。只要大家有共识，我觉得这件事不会发生。

另外这就比较哲学了。

我觉得 pain 和 suffering 是驱动人类进步的重要因素。我不确定这些由数据和算法构成的 intelligence，是否有同样的 pain 和 suffering，所以心里还是存疑。

当然，我们希望科技能够大幅改善人类生活，也需要做出相应的 guardrail，确保它不会影响正常世界的发展。

其他做世界模型的团队可能会把你当作竞争对手，因为大家觉得你也是做世界模型的，但你一直说自己不是他们的竞争对手。你有什么想对他们说的吗？

世界模型只是工具。

工具是用来解决问题的，而要解决的问题有很多种。

最终，单靠 world model 是不够的，取决于你想解决什么问题。

我们要服务整个 physical AI ecosystem，建立世界模型让大家使用。而 physical AI 本身特别难，还有很多其他问题要解决。

如果你可以跟我们合作，利用我们做的东西，就能走得更快、更远。这不是一件很好的吗？

我们是开源的。如果你用我们的东西做出比我们更好的模型，而且这个模型也是开源的，让大家使用，我们也会觉得这是好事。

我们希望整个 physical AI 生态成功。

当然，彼此竞争、不断往上爬，也是重要的一环。

他们肯定会说，英伟达又下来卖我卡了。

你需要运算嘛。英伟达 ecosystem 里有很多东西可以利用，why not？

做生意总要投资。最重要的是获利多少，而不是投入多少。

Cloud company 买了大量 GPU，但它们赚了更多钱，对吧？

你们内部会讨论什么是下一个 CUDA 吗？有可能是 Cosmos？

过去的软件是 CUDA。

CUDA 帮助把 application 所需要的逻辑转换成 GPU 运算。未来软件的核心会是 AI，AI 会往 top-down 方向发展。

所以我们觉得 NeMo 和 Cosmos 都可能成为未来的 CUDA。

但我不会把 Cosmos 或 NeMo 跟 CUDA 做同等连接。

现在的发展复杂得多，有很多产业、很多 stack 合在一起。我觉得合在一起的东西，可能是新的 CUDA，而不是某一个单一模型成为 CUDA。

你还需要 serving，还要做 infrastructure，有很多东西合在一起。

你觉得 CUDA 是怎么成功的？它需要哪些要素？这条路径可以复制吗？

我不确定这是不是一条可以复制的路径。

CUDA 当初提出时是一个非常前瞻、非常冒险的想法。当时还不确定 accelerated computing 会不会被接受，公司就做出了这样勇敢的投资。

今天我们做的大模型都得益于 CUDA。

我不会把 Cosmos 或 NeMo 跟 CUDA 等同，因为现在的发展环境已经复杂很多，有多个产业和 stack 合在一起。

我觉得要 adaptive，要看清楚在什么时间点可以做出什么重要贡献。

所以不会拿着锤子去找钉子？不会因为当年做 CUDA 很成功，就决定今天也必须做出下一个 CUDA？

对。

Jensen 常讲 first principles。他会判断什么最合理，再往那个方向走，而不是拿着锤子去找钉子。

你刚好加入英伟达10年了。这10年变化大吗？你在英伟达的股票涨了多少倍？

这一切都没有预期到。

这段时间里，我们见证了一个过程：从没有人把 AI 和英伟达连接在一起，到全世界都把英伟达跟 AI 连接在一起；从我父母不知道什么叫英伟达，到全世界都知道英伟达。

这是非常巨大的变化。

中间的历程并不容易，公司和股价都有起起伏伏。

我记得 TPU 刚出来那一年，公司股价掉了很大一截。有些同事当时对公司的未来产生了不同想法，于是离职了。

但后来 NVIDIA 每年在 MLPerf 里击败 TPU，产生更好的性价比。

这些变化都很难预测。

这段长期经历让我更加理解什么叫慢慢经营，找到相信的目标，用 first principles 一步一步往下走。

看着黄仁勋带着这么大的团队，一步一步走到今天，我也与有荣焉。

你加入的时候没有想到这一切，对吧？你当时还有其他 offer，但没有去。

对，完全不可预期。

我当初加入的原因很简单：想要 GPU 支持我的学术研究。

从某种角度说，我也是 first principles。我觉得 GPU 是做科研的重要工具，想去一个 GPU 多的地方，那不如加入生产 GPU 的地方。

另外一个 offer 是一家投资公司。他们跟我说，不管我去哪里，不管对方给我多少钱，他们都给我四倍，希望我加入他们，一起研究怎样用 deep learning 做投资。

但我对这件事本身没有太大兴趣，还是想做科研，所以选择了 NVIDIA。

当时 NVIDIA 可能是更不知名的那一个？

是。

你觉得2016年的黄仁勋和现在变化大吗？

头发都白了。

我觉得他承担的压力大了很多，但他还是关心员工，会仔细阅读员工发给他的 email，寻找信号，帮助整个公司进步。

最大的变化是公司的规模。

我们加入时，公司可能不到2万人，现在已经两倍以上，可能更多。

那时 GPU 还是桌面 GPU，现在主要是 data center GPU。

那时还没有 physical AI，现在 physical AI 已经成为重点。变化非常大。

你在这个过程中见证过英伟达哪些 pain and suffering？

Jensen 常把一句话挂在嘴边。他当然不是真的每天都要破产，但每次都会说：他每天都觉得公司只剩30天现金流，30天后就要破产。

现在还这么说？

每天都这样讲，每次开会都提醒自己。

是在吓唬高管吗？

不是，是要求自己做出对公司最正确的决定。

疫情期间，有一年整体经济状况不好，很多公司开始裁员。

我记得那次公司大会，我们决定削减什么开支。首先削减 travel，员工不需要出差，全部线上，这样可以省一笔钱。

然后研究哪些工具可以不用。比如硅谷很多公司用 Slack 做沟通，我们考虑是不是可以不用 Slack，反正有 email。

公司有两三个 cloud，有时用 Microsoft，有时用 Google，也考虑是不是可以取消一个，节省成本。

可以看到，公司在困难时期做出一些不平凡的决定。

有些公司通过裁员降低人事开支，NVIDIA 想的是怎样节省不必要的开销，同时照顾员工，一起度过困难时期。

为什么 NVIDIA 一直坚持不裁员？真的没有裁过员工吗？

我在英伟达的时间里，没有听到过裁员的消息，也没有末位淘汰。

我们会做 performance review，但有些人可能因为对 performance 的结果不满意而离开，也有人因为其他因素离开。

但公司不会因为改变产品方向，或者因为一段时间 performance 不好，就直接让你走。

我们觉得人与人之间的信任很重要。

当员工对公司有认同感和安全感，就愿意讲出一些在担心被淘汰时不敢讲的事情。

没有末位淘汰，大家不会那么担心被淘汰，也不会为了抢出头而互相竞争。

在一个所有人都抢出头的地方，反而不容易促成团结合作。

我觉得这种管理模式会形成一种跟末位淘汰公司很不一样的文化。

它的优点和缺点是什么？

优点是员工敢讲真话，愿意团结合作。

缺点是，当一项科技逐渐成熟时，员工需要时间学习新的东西、完成转型。重新学习需要时间。

如果直接 lay off，再 hire 一批已经会这些东西的人，可能更快。

所以转型会慢一点，但你获得了员工的信任，也获得了可以团结合作的员工。

组织效率怎么提升？这对你们来说是个问题吗？

只要大家充满热情，觉得自己做的东西有意义，整体效率就会提升。

每个人都有选择，也都想做有成就感的事情。

如果公司能提供环境，让大家发挥，效率就会提升。让每个人做自己最喜欢、最擅长的事情，同时这些事情对公司又有极大价值。

只要抓住这一点，我觉得就是很好的状态。

听上去不裁员有很多好处，但大部分公司不是这么做的。为什么？以及黄仁勋为什么从一开始就觉得不应该裁员？

我觉得 NVIDIA 是一家想长期经营的公司。

黄仁勋在硅谷待了这么多年，经历过很多风风雨雨，他选择这种模式一定有自己的道理，不是随机选择，而是深思熟虑后认为这是他想要的企业文化和公司运作方式。

这是不是意味着新技术到来时，英伟达不会是最快的，但它依赖更早10年或5年的布局，所以对速度要求没那么高？

它很像跑马拉松，看得很远。

CUDA 就是一个案例，布局了10年。

所以你要有很强的眼光和长期投资。

你们也不赛马，对吗？

我们不喜欢赛马。

通常我们会这样做：你承担这个 mission，我们就相信你，但同时给你很高的 bar，希望你完成。

用 Jensen 的话说，就是“torture you to greatness”，不断让你接受 pain and suffering，经过考验和磨炼，一步一步成长。

你在英伟达经历过最惨烈的 suffering 是哪个阶段？

做这些大模型的几年都很辛苦。

刚才讲的很多事情，都是从错误中学习。一开始没有理解哪些东西最重要，为了把东西做好，当决策不对时，要慢慢把它改进。

自从 GPT 起来之后，整个 AI 从业者都感受到巨大的压力。

迭代速度变快，大家承受很多压力。

尤其是每天消耗大量 GPU 资源和年轻人的时间，最后做出的成果没有达到预期，那种无形压力非常大。

你的生活状态在过去几年发生变化了吗？

变得更高效。

我大概四点到五点起床。早上起来运动，那段时间比较连续。到公司之后就一直开会。

大概九点到十点到公司。

因为整个产业迭代速度变快，生活步调也变快了。要学的东西很多，处理的事情更多，所以必须让自己更加高效。

你几点睡？

大概晚上10点到11点睡，四点到五点起。

不是每天固定，但基本上是常态。

英伟达的书、黄仁勋的传记，都讲了很多他的管理方式。能不能从更一线的视角，讲讲英伟达一些不一样的管理方法？

我们刚才提到一个是不裁员。

第二个是 top five。员工要跟很多人讲，自己做的最重要的5件事情是什么。

这能让你看清楚公司的大小信号，也能看到不同团队是否在做一模一样的事情。Top five email 会自然显示出来。

NVIDIA 是一个相对透明的组织。苹果可能更封闭，但我们追求信息透明。

还有 mission is the boss。

英伟达有时像一个有机体，没有特别强的固定框架。

当公司决定往一个方向走时，不同组织里只要有相关技能，就会自动 align，朝那个方向前进。

不是说你在某个团队，就不能做别的事情。无论你在公司哪里，只要你的团队能对这个方向产生贡献，大家都会 align，变成新的方向。

Cosmos 就是这样一个案例。很多人不属于 Cosmos 团队，但都可以支持它。

Mission is the boss，而不是你的 boss 是你的 boss。

Top five 让公司各个地方的微小信号传递出来。

不轻易 lay off 员工，则是讲究转型和 culture，让员工增强信任、互相合作。

我觉得这些都是英伟达很独特的地方。

一群 S 级的人一起工作，和一群 A+ 或 A 级的人一起工作，哪个更可能取得成功？

大家都在追求一加一大于二。

重要的是大家能不能团结合作，产生更大效应。

人多之后会有沟通成本。你要让人与人合作产生正相关，同时降低沟通成本。

一群聪明人一起合作，当然大家都聪明，理解快，手脚也快。但如果彼此不信任，也很难一加一大于二。

大家防备对方，不愿意展现最好的一面，或者总想证明自己比对方聪明，也不一定是好的状态。

我觉得更像打游戏：不能整个团队都是弓箭手，还要有人负责防御，有人负责补血。

各种不同属性结合起来，多元化是更好的状态。

你今天说了很多“不把别人当竞争对手”，都是客户、合作伙伴。这种 low ego 是英伟达发生了变化，还是一种隐藏？

我觉得是一种 confidence，是一种自信。

我们相信做出来的东西可以帮助大家。我的目标是帮助大家做好，同时对自己做的东西要求很高，希望它变好。

但目标不是击败对手，而是做出好成绩，提出更好的 foundation，让大家更快行动。

这是跟黄仁勋学的吗？

对，他对我的影响非常深。

研究员毕业的方式，是让论文被顶级会议接受。审稿人会问，你的东西是不是 state of the art。

如果是 state of the art，就意味着要击败所有人。

所以研究员一开始都是 highly competitive 的 individual，觉得自己的东西要比别人强。

这当然会让你要求自己，东西越来越好。

但做久之后，你会知道，自己总会被新的 state of the art 超越，今天站的位置，明天就会被新的东西取代。

成为管理者之后，我希望培养新一代人才，帮助他们成长。

站在 NVIDIA ecosystem 的角色上，我也希望公司逐渐感受到这个好处。

有时伙伴跟我说，用了你的模型之后，效率提升很多，我就很开心。整个团队辛苦付出，得到这样的回响，本身就是很好的肯定。

不一定要击败别人才能产生贡献。

我不喜欢把他们当对手，更喜欢把他们当伙伴。

英伟达、你、黄仁勋，经常说 take care of others。不管是员工还是外部合作伙伴，这种 take care 是真实的吗？黄仁勋真的是这么想的吗？

英伟达一开始就是一家 design house，最后没有 consumer product，依靠其他公司帮我们做 GPU 卡。

我们一直有一个习惯，就是跟整个 ecosystem 一起成长，大家一起赚钱。

不能只有我们赚钱。做显卡、服务器的合作伙伴，也要一起发展。

早期显卡主要用来做游戏，我们自己不做游戏，而是开发好的 library，帮助游戏公司做游戏。

开始走向 deep learning 时，有几个框架，比如 PaddlePaddle、TensorFlow 等，我们全部支持。

后来 Triton 出来之后，我们也支持 Triton。

我觉得这是真心的：帮助建立在 GPU 平台上的客户更加成功。他们成功，代表可以服务更多客户，也会产生更多 GPU 需求。

这是一条共赢、一起走向成功的路线。

黄仁勋经营这么多年，才把公司放到今天这个位置，让帮助别人也可以获得盈利，这并不容易。

你近距离观察黄仁勋很多年。如果只用几个词形容他，会怎么形容？

我们叫他“六边形战士”。

开会时，他可以走到非常深，研究 register、computer architecture 的细节；同时又可以讲到很高层，教大家怎么做 marketing、怎样做产品。

处理产品定价、客户关系时，他面面俱到。

他有极大的热情，“He gives everything he has to help the company be successful.”

他在各个方面都能产生贡献，也都尽力做到最好，是一个很厉害的人。

他对你的鼓励多，还是批评多？

一般来说，鼓励和批评都有。

当我还没有完全理解怎么经营公司时，批评比较多。但批评中总是带着鼓励，希望你变好。

他的目标就是“to lead everybody to greatness”。通过磨炼，让你更理解怎样才能做出不平凡的事情。

这很耗精力。愿意花时间要求别人，是一件不容易的事情。

他对你说过最让你印象深刻的一句话是什么？

有一次，我们在会上比较两个 solutions。

我是其中一个方案的负责人，另一个方案是其他人做的。我说，我觉得他们使用的 setting 不公平，所以导致我们在这方面的表现没有达到预期，落后于竞品。

他当时问我：“Are you a crybaby?”

他说，这个世界上没有什么是公平的。

写论文时，你常常说我的 setting 跟你的 setting 不一样，不能直接比较。但如果目标是解决问题，你就要创造解决这个问题所需要的条件。

没有条件，就想办法拿到。

那句话让我印象很深，也让我更加严格要求自己。找理由没有用，应该 give everything you have。

我以前也听过类似的话，比如西点军校强调 no excuse。但黄仁勋亲口跟我讲，印象更加深刻。

后来我就不再找理由了。

如果你作为研究员想成为 number one，但英伟达的业务本身不想成为竞争对手，研究员的竞争心和公司的业务发生冲突时，你会选择哪个？

科学的发展本身是 incremental 的，一直进步、一直进步、一直进步，随时都可以提出 improvement，再往上走一步。

我觉得，绝对的 number one——

什么叫 number one？我很难去定义什么叫 number one。我比较喜欢看 frontier 的模型。frontier 的模型做出来的那段时间是 number one，很有成就感，但之后还会有其他模型做上去。

我是希望你具备做 number one 模型的能力，但是做出对这个社会影响最大、最有贡献的事情。因为你可以做出很好的模型，但只给少部分人使用，或者等于让权力过度集中在少部分人手里，产生一些不平衡的状态，我觉得不见得是一件对的事情。

我是希望具备 number one 的能力，但是做出对这个世界贡献最大的事情。

所以最重要的是后面那个贡献，对吗？不是那个能力？

对，人生也就走一遭嘛，对吧？然后你留下来的就是影响。所以要活得久，我的机会大一些嘛。希望能产生一些贡献，证明自己没有白来走一遭。

你还有什么在研究生涯上觉得遗憾的吗？还有什么特别想得到的？

我觉得 Physical AI 还没有成功嘛，还没有到那个时间点。谈论这些，我觉得很开心。10 年前我在讲，deep learning 会取代 computer graphics，成为最重要的影像生成模式，这件事情发生了，我觉得还蛮开心的。

我觉得 world model 会是推动 Physical AI 成功的重要推手，这是我下一个重大目标，我希望这个东西也能成功。

你得了一个 Best Paper Award，就会想说我要拿两个。但我知道有些人拿了十几个，你总是拿不完嘛，对不对？比论文数量，总是有更多的论文；比 citation 数，总是有更多的 citation；比钱，总是有人比你更有钱，对不对？

重点是，我觉得你对自己的东西是不是很骄傲？

过去很多东西，我觉得我做得不够好，但目前有些东西我觉得我做得不错，我接受。我觉得在我的能力范围内，我做出了自己满意的东西，觉得这样就够了。

所以外部的很多衡量指标，现在慢慢都变得没有那么重要了，对吧？年轻的时候都觉得它们很重要，为什么这个人的 Best Paper 比我多，为什么 citation 比我多。现在你渐渐不在意了？

对，我的重心渐渐转移到帮助别人。也许我现在 care 的是帮助的人够不够多。

你最近一年帮助了谁？

这些使用我开发的、使用 Cosmos 的用户，我觉得我都在默默之中给他们提供了帮助。当然还有自己的团队，以及一些跟我交谈过的人。我觉得或多或少，我都对他们的生命产生了一些影响。

你也经常来中国，你怎么看中国这一批模型的发展？

非常 impressive，very impressive。从 DeepSeek 开始，千问、豆包，MiniMax、Kimi，还有 MiMo，这些模型都做得很好。

还有一件事情，在美国，尤其是这些 frontier lab，现在很少招收实习生。很多 know-how 和科研结果，都只存在于他们自己的内部实验室。但在中国，我看到这些公司都招收很多实习生，帮助把这些东西做好、传递出去。

我觉得这对人类整体的知识扩增、知识 diffusion，是一件好事。看到这些快速发展，我觉得很 impressive。同时大家也都对 AI 充满热情，愿意去尝试，我觉得这都是我看到的现象。

现在有人跟我说，硅谷已经被 LLM 催眠了，你怎么看这句话？

我不觉得是纯粹被 LLM 催眠。不能否认的是，现在 AI 里面最领先的公司、模型上最领先的公司，不管是 OpenAI 还是 Anthropic，都是从大语言模型出发的。

这些模型也确实带来了巨大的变化。我现在已经不知道没有 coding agent 要怎么过下去，我也不知道，因为这些东西来得太方便了。我觉得这不是一件坏事，LLM 确实产生了很大的用处，帮助提升我们的生活。

我觉得很自然而然，大家会想：这东西既然已经在这里了，下一步是什么？人自然会想要做下一件事情。

我知道这个领域里有些人把学术变成信仰，但我觉得大部分人还是从求知、求真的角度出发。当一个东西被充分理解之后，大家会找到新的东西来重新做突破。

你很难想象一个这么聪明的人，一辈子只做 LLM，对吧？我觉得这种变化自然而然会发生。我并不觉得有这种催眠的事情，只是对那些人而言，在现在这个时间点，做 LLM 也许是一件很正确的事情。

昨天 SpaceX 上市，然后 OpenAI 和 Anthropic 也马上要上市。今年这些大模型公司的上市，会对这个行业产生什么样的影响吗？

2026 年会是巨变的一年。上市这边大家都看到新闻了，会产生很多富翁，对吧？我知道旧金山的房价在快速飙涨。

早期相信这些 space missions 的人，因为他们的远见、勇气和决心而获得认同，我觉得都很合理。这些公司真的对世界产生巨大贡献，我觉得完全值得。

但科技不会停在这里，陆陆续续还会有新的事情发生。100 年前强盛的公司，跟现在强盛的公司完全不一样；50 年前不一样，20 年前也不一样。

我觉得这个社会，只要组织架构还是一个好的、良性的状态，就会不断有创新发生。

模型这场竞赛的终局可能是什么样？短短几年已经发生这么大的变化，再往远看呢？

我讲这个可能很 controversial。我觉得模型的能力慢慢会统一，模型本身不会成为区分点，一定要靠其他东西组织在一起。

领先的模型有更充裕的时间去找到区分的方式，强大的公司也可以加大自己的 ecosystem，做出一些变化。

我不会觉得软件刚出来的时候，能写软件的公司很少；现在大家都会写 software，而且每家 software 公司都有自己的区分方式。那些活下来的 software 公司，都有自己的区分方式。

我觉得没有理由模型会不一样，我觉得它也会是一样的。所以没有必要神话模型或者模型公司。

我把它当成 commodity 了，那么多人做不同的尝试，最后就是一套学问嘛。很多人都会用，对吧？关键是你要拿它干什么。

现在假设一个新公司说，我要训练一个模型，它还有很大概率赶上来吗？

其实它可能比前面的公司落后两三年的时间。像 Kimi、MiMo 这些 App，都算是比较晚出来的吧？Kimi 还行，MiMo 比较晚。但我觉得还是有机会的。

我觉得会有一段时间大家觉得算力不够，但算力慢慢会起来，大家都有办法参加竞争。这个世界上有抱负、有决心、有办法去挪动资源、建立一个大模型团队的人很多，之后还会有更多。

如果大模型是一个绝对的区分，那当然会有更多人进来；但如果它不是绝对的区分，大家应该会想到对自己更有利的方式，对吧？

对，我觉得这是一种自然的平衡状态。

端侧模型你觉得多久之后会爆发？

这东西跟 Physical AI 会很相近。刚刚也讲了，我觉得资金会渐渐投入，科技迭代也很快。也许具体时间我说不准，但我希望它能快速爆发。

对于今年和明年的模型竞赛，你有哪些预测？

在 Physical AI 上是很难的，但进展还是很快，我还是坚信这一点。我坚信 world model 的能力，是帮助物理世界模型强化泛化的一个重要关键。

至于怎么落地、用什么样的 model，大家都还在探索当中。GPT moment for physical is coming，这是我可能可以做出的预测。

至于大语言模型、coding 模型这些东西，我自己本身在用，但我自己不做。我用得很开心，但也很难讲接下来会怎么样。

刚才你说了中国的这些模型公司。中国的机器人公司你应该也见了很多，你觉得跟美国有什么不一样吗？

美国在做本体的公司很少，主要就是 Tesla 跟 Figure AI。但在中国，有很多家公司在做本体。

做本体，它可以控制的东西更多，模型和软件一体化整合的操作空间也更大。我觉得中国强大的制造业，提供了一个很有优势的条件，可以让这些公司做一些在美国不容易做到的事情。这些都很值得关注。

这样的垂直整合会产生什么样的突破？

我觉得还蛮有趣的。

你觉得美国现在会不会有一点不那么重视硬件，可能是错的？

也很难说。但如果软硬体整合是机器人发展的一个趋势，那没有硬件当然会处于被动状态，确实有点难讲。

有好多东西要考虑，包括金融模式。中国明显具备条件，可以让大家做快速的硬体迭代和软硬体整合。

ChatGPT moment 在 Physical AI 里面，你觉得有可能在哪里爆发？

看到一个应用，大家很明显知道它是不是会产生巨大的经济价值。也许在那个时间点，那个应用还没有产生经济价值。ChatGPT 刚出来的时候也是赔钱的，对吧？但是大家看到了这个趋势，觉得它之后会发生。

我个人觉得，如果有这样一个产品：人简单地示范一下怎么样的操作，这个机器人就可以直接学会这件事情，那我就会觉得，这就是 GPT moment for Physical AI。

核心还是泛化。我觉得 AI 的核心问题，就是解决泛化的问题。

对于泛化来说，现在最重要的一个问题是什么？如果只说一个。

泛化的问题在 Physical AI 里面，就是怎样从有限的信号里面学到需要的操作，然后应用在一个没有看过的场景里面。

这是 Physical AI 里面要解决的一个主要泛化问题，也就是 observation 对 action 这个 pair 的泛化。让你看到一些 observation、action，看到它们是怎么完成一件事情的，然后怎么样快速泛化到一个新的 observation，以及类似的 action。

我在想，如果它在 Cosmos 这套系统里学习了，大家走向现实世界的时候，还是会有 sim-to-real gap，对不对？怎么解决这个问题呢？

这也是一个泛化的问题。sim-to-real gap 通常可以通过 3 个方式来解决。之前讲过，就是 Better Data、Better Starting Points 和 Better Environment。

我觉得 Better Environment 这些东西还没有发生。大家都希望能做出这样的环境，但还没有完全实现，最近陆陆续续有一些突破，我们看到一些 work 都很不错。

现在比较管用的，可能是 Better Data 和 Better Starting Points。你拿一个比较懂这个世界的模型去预测 physics，也不能说它真的懂 physics，但它抓到了那个模式，可以去 predict 接下来发生的事情。

这东西也许可以帮你产生更好的、做出更好的 policy。因为它本身的 prior 比较适合泛化，也许就可以帮你建出一个更容易泛化的 policy model。

我觉得这是短期内 Cosmos model 可以对 Physical AI builder 提供的一个贡献。

如果 5 年后我再来采访你，你希望 Cosmos 发展到什么阶段？

我希望 5 年后，如果我们再有这样一次采访，我们可以清楚地讲出来，确切的 moment 是什么时候发生的，是在哪里发生的。希望这件事情可以明确地讲出来：几年几月几日，那时候就是一个具体的时间点。

在人工智能的历史上，你希望别人怎么记录你？

不要讲我吧，我觉得讲 Cosmos 就可以。希望 Cosmos 可能是一个重要的推手，帮助几个重要的 Physical AI builder 达到 GPT moment。这可能会是让我很开心的一件事情。

快问快答。全球范围内，你最喜欢的一种食物？

牛肉面。

全球范围内，你最喜欢的一个地点？

我喜欢湾区，天气实在太舒服了。

你有什么喜欢的音乐、书、电影或者游戏吗？

书蛮多的，音乐我不怎么听。游戏我已经不怎么打了，我上次打游戏可能都是 20 几年前的事情了。

能分享一本真正改变你或者影响过你的书吗？

Jason 推荐的一本书，是讲 positioning 的事情。我忘记书名叫什么了，是一本很有趣的心理学的书，让你更加理解问题的本质是什么。

年轻的时候我读了很多不同的书，我特别喜欢金庸小说。

金庸小说有帮助到你后面的科研或者学管理吗？

倒是没有。里面可以体会金庸各式各样的幻想，以及很美的一些意境。当然，它把我推向了学习中国武术的道路。

我从中国武术里面得到了一些历练，我觉得那都是蛮不错的一些过程。

对于年轻的研究员，你会有什么建议？

不要紧张。

为什么不要紧张？

因为现在年轻的研究员往往会觉得，明年 AI 会不会就结束了，AI 会不会自己训练自己了。不要紧张，要对自己有信心，冷静下来，看清楚什么地方值得你投入精力。

不要被大家的宣传影响，觉得好像自己的路越走越窄。现在研究员进入 Physical AI，是一个好时机嘛。

是一个蓝海吗？

这是一个好时机，有各种各样的机会。还有很多地方，我当时做 Physical AI 比较懂，但这些 AI 的进步让我们可以做出更好的 material、更好的药，也能带来生物方面的突破。

我觉得在各行各业里面，都可以渐渐看到 AI 的影响，很多地方都可以去投入。

我们的工作室叫“语言及世界工作室”。当你第一次听到这个名字的时候，你在想什么？

用语言来描述这个世界上发生的有趣的事。

你觉得大模型竞争是零和游戏，还是世界模型竞争是零和游戏？还是说对于你来说不是零和游戏，对别人可能是？

我不清楚。如果大家想解的东西一模一样，那就是零和游戏，对吧？

所以模型竞争不应该是零和游戏？

对，因为这个世界上要被解决的问题这么多，可以提供价值的东西也这么多，每个人喜欢的东西又不太一样。我觉得不应该把它看成是零和游戏。

你有过那种特别嗨、ego 特别强的时候吗？

年轻的时候有。那时候我总觉得我的算法最好，我写的 paper 最漂亮，总是会这么觉得。

算法重要，但你需要很好的数据、很好的 infrastructure，让你可以做快速的算法迭代。你其实有两种可能：一种是一开始算法很好，那很好；但即使一开始算法不好，只要你有很好的 data、很好的 infrastructure，也可以不断迭代。

只要你遵循严格的纪律和控制实验的法则，算法就会越变越好。所以我反而觉得迭代速度是最重要的。迭代速度要靠强大的 infrastructure 来支持，data 也很重要。

因为如果一个问题可以用 data 解，就用 data 解，不用开发算法。data 简单多了，所以不喜欢浪费力气。这个问题只要 data 能解，就收集 data、造 data；真正不能解的，再用算法来解。

是每一个公司都需要训练一个自己的大模型吗？你觉得没有必要，是吗？

如果它是 commodity，你需要建自己的电厂吗？每家公司都要建自己的电厂吗？

就是看合不合乎经济效益，对吧？

对。早期你要做汽车工厂的时候，当电厂不充裕，你盖一个电厂，可能可以确保你的工厂 24 小时运行。但现在这个时代，你可能不需要了，对吧？

你可能跟很多 AI 开发者聊过，他们每个人都觉得自己的 AI 模型是最好的。我觉得这件事情在历史上从来没有发生过。

你看当初 Dario Amodei 跟 Sam Altman 就合不来，对吧？他就走了。你确信在 Anthropic 里面每个人都是一模一样的吗？

我不觉得。每个人都是坚信自己的模型，也许哪天就是你生了 A、不生 B，然后 B 就会觉得，哦，对吧？然后他会不会带一群人走，去做一个类似的东西？

但数据大家都有，算力可以找你们买。算力只要有钱还是买得到，对吧？所以大家都能做。你有决心、有资源，就可以做。

这有没有必要？Cosmos 对你们来说是一场不能输的战争吗？

如果有其他公司也做开源模型，那就不是。什么叫战争呢？我没有打算把别人杀死，我必须要在这个赛道上，但不是要让所有人都长在我的生态上面，而是希望大家都能继续成长。

Physical AI 是一个重大的市场。现在家家户户都没有机器人，但如果有机器人的话，我家可能会买两三个。每个节点都需要算力，等于整个世界对算力的需求会大幅增长。

如果这件事情发生，对 NVIDIA 是巨大的好处。我们的心态不是想把别人杀死，而是想怎么去造市场。你懂我的意思吗？就是扩大、造市场，造出现在这个 AI 市场。我们想的是怎么造出下一个大的市场。

所以你说这是不能输的战场吗？我觉得也不是，因为这是全新的东西。我没有跟任何人竞争，大家是带着一起把这个市场建出来。

你卖这个机器人赚钱，做这个卡、卖硬件赚钱；这个东西会需要算力，也会有人靠算力赚钱。当然还会有公司研发自己的芯片，它也会赚钱，整个市场就起来了。原本是 nothing。

老黄会分享类似的观点吗？

他经常说，要造市场，而不是在存量市场里竞争。你读他的书就会发现，他讲说我们要做这种 zero-billion-dollar business。

什么叫 zero-billion-dollar business？就是现在还不是一个 business，但以后成功后会变成 billion-dollar business。

如果现在已经有人在做，可能就不值得做。这是一种拥抱风险，还是一种抵抗风险？这是一个 low-risk 的选择吗？

我们做事永远是很 risky 的。CUDA 那时候就是很 risky 的一件事情，等于是赔本在卖。因为支持 CUDA，我们整个 GPU 的价格都比别人高。同样的 FLOPS，我们就是比别人贵，因为我们要支持 programmability，对吧？

你不这么做，这件事情很 risky；但你不做这件事情，更加 risky。如果你不做，而别人做了，对你们来说就是风险。你不做这件事情，你的东西就会渐渐变成 commodity。

你还要从老黄身上学到什么吗？

我都尽量很用心地学习他怎么去做其他事情，然后从里面应用到做 Cosmos 上。

为什么其他公司都说 CEO 不应该是最努力的人，但是你们公司的 CEO 是最努力的人？

对。这个我也不懂，但他确实是这样，对吧？世界没有绝对。

他现在的驱动力是什么？

驱动力是 take care of your family。做 AI 本身也是很有趣的一件事情。尤其是站在他的角度，看到自己的贡献改变世界，我觉得是一件很有成就感的事情。

不愧是教主。

是的。