# 147. 和蚂蚁灵波沈宇军聊：机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥 张小珺Jùn｜商业访谈录 · 2026-07-22 · 113 min · https://www.youtube.com/watch?v=fww9LN9baKQ ## 逐字稿 张小珺 哈喽，宇军，先给观众朋友们打个招呼。 沈宇军 大家好，我是沈宇军，现在在蚂蚁灵波科技担任首席科学家。之前在清华，后来到了香港中文大学。 张小珺 讲讲你在人工智能上的一系列探索。 沈宇军 ### 从生成走向表征 也是阴差阳错。当时我在清华读书，刚好大三，那时候商汤成立不久。2014 年底商汤成立，我们大三要求必须有一个暑期实习，商汤当时正好在清华东门门口，所以我就去了，开始接触 AI 相关的领域。 我在商汤一直做到大学毕业，后来就去了香港中文大学汤晓鸥老师门下读书。刚去的时候其实也比较迷茫，因为当时 AI 虽然比较火，但也不知道自己到底喜欢做什么，所以尝试了很多方向。 香港中文大学比较擅长检测、分割、分类，当时也拿了比较多的冠军。但我个人对打榜、最后只看一个数字这件事情，坦白讲不是非常感兴趣。 张小珺 嗯。 沈宇军 那个时候刚好有一个技术火起来了，叫对抗生成网络，也就是 GAN。 张小珺 对。 沈宇军 这个技术火起来之后，很多人都在这方面做探索。我觉得这件事情比较有意思，因为它真的能生成一张图，让大家去看，甚至可以做一些简单的编辑。 所以那时候我选择接下来做生成模型。我们从 2017 年开始做生成模型，后来有一系列比较火的工作出现，尤其是 StyleGAN 系列。刚开始做生成模型时，比较火的是图像编辑，比如怎么按照你想要的方式去调整一张图，把你变得更漂亮一点之类的。 但做着做着会发现，好像做得太下游了，于是就想能不能再往前做一步，从编辑再往前走。现在大家可能会把这个方向叫预训练，但那个时候其实还没有这个概念，说白了就是想把这个生成模型训好。 训着训着又会发现，这个东西好像完全不太受自己控制。那时候还没有堆参数量这些说法，只是感觉做着做着，也不知道怎么让模型变得更好。 于是我就想再往前一步，从生成之前做表征学习。基本上就是这么一步一步过来的：最开始对数字不感兴趣，后来对生成内容感兴趣，再从生成做到编辑，然后做到底层训练，最后又从底层训练往前做到表征学习。 张小珺 你是什么时候发现 GAN 不能 scale up 的？ 沈宇军 ### GAN难以规模化 这是一个挺有意思的故事。甚至在今年年初，我们还在尝试做最后一次尝试，还没有死心。 哪怕在 Diffusion 火了之后，后来大家又开始用自回归模型做生成，我和团队还是坚持做了一段时间 GAN 的 scale up。怎么说呢，确实取得了一定效果。我们前一阵子做的一个 GAN 模型会 release 出来，那个时候会发现，跟 Diffusion 比，它确实在某些方面没那么好，但相比前几年的技术还是进步了不少。 所以它还是有价值的，但最大的问题是计算量的利用效率太低。Diffusion 可以不断迭代很多次，然后生成一张图。我们觉得，对于生成特别复杂的内容，尤其是视频生成，因为里面的信息量实在太大，GAN 确实不一定是最好的选择。 所以我们会把在 GAN 上积累的一些技术沉淀下来，release 给公众之后，也算是画上了一个句号。不敢说圆满，但应该也算是画上了一个句号。接下来也不太会再在 GAN 的 scale up 上做过多尝试了。 但往回说一点，我觉得 GAN 本身，也就是对抗生成网络，核心技术还是在对抗上：同时训练两个模型，让它们不断迭代、彼此博弈。我们在这方面还是积累了一定的东西，这个技术本身抛开 GAN 不讲，之后应该还是会有用处。 张小珺 只是可能不是现在这些场景。 沈宇军 对，可能不一定用在图像生成领域了。 张小珺 你博士毕业的时候，商汤处于什么状态？多模态又处于什么状态？ 沈宇军 商汤当时发展到什么样，我印象不是很深了。生成式的、生成内容的东西，当时还没有出现在商汤整个业务的大范围里。 ### 从字节走向机器人 我毕业的时候先去了字节跳动。字节当时跟我做的东西很匹配，因为它做抖音，抖音本来就做内容。当时需要做很多特效，我记得就用到了我读书期间做的一些工作，也带火了一些比较有趣的应用。 我是做图像编辑的，所以会用一些 AI 技术，让男生变成女生、变老、变年轻，或者看看你 20 年后、70 岁时可能长什么样子。还包括怎么把一个人和另一个人之间做比较连贯的转换。 当时有一些这样的玩法在字节用起来了。我在那里待了一年多，给我的感觉是，大家每天都在想各种各样的创意，比如今天又有什么好玩的特效，希望它变成一个爆款。 但那时候我会觉得，自己还有很多想做却没做的东西。刚好那是 2022 年，蚂蚁技术研究院在招人。那一波还没有爆发，原音疑似 ChatGPT 应该是在我去了蚂蚁之后的年底才出现的。 张小珺 那时候是不是处于像你们这种人工智能学生的迷茫期？因为加入大公司之后，它的主业其实不是做人工智能，而是在既有产品上用人工智能技术赋能一下。 沈宇军 总结得比较到位。相当于是做计算机视觉这个领域。坦白讲，过去十几年，计算机视觉第一波可能是人脸识别，这确实是一个比较大的应用。第二波可能是特斯拉带火的自动驾驶，它推出了纯视觉方案。 除此之外，好像还没有看到哪一个视觉应用被大规模用起来，并且有比较强的产业价值，好像还没有遇到这样的具体场景。 所以我在 2024 年开始想从视觉转到机器人。因为我感觉视觉可能是在数字世界，但数字世界不是它主要发挥作用的地方，用武之地不够。 张小珺 但在物理世界，离开视觉，机器人肯定没办法工作。 沈宇军 对。我觉得机器人对视觉有非常强的依赖，所以 2024 年我就开始想做机器人。当时我在蚂蚁技术研究院，本来想在研究院里往具身智能方向做一些探索。 刚好整个蚂蚁集团有一个比较大的规划。蚂蚁本身是做生活服务的，做了很多数字世界的服务，大家比较熟悉的可能是金融相关，但其实蚂蚁也做了很多医疗、出行等方面的数字世界生活服务。 从集团层面来讲，数字世界的服务如果想进一步延伸，肯定要往物理世界迁移。刚好 2024 年底，蚂蚁正式宣布成立一家子公司，也就是蚂蚁灵波科技。 当时我在研究院也跟院长 propose 说，我想去做具身智能相关的事情，双方就不谋而合。于是我被调到宁波，和团队一起去做这件事。 我们当时的想法是，既然要做，就不要再以一个研究型机构的方式来做，而是要更直接地面对行业，跟着行业一起成长。大概就是这样一个契机，所以我来了宁波。 张小珺 蚂蚁研究院当时是多大规模的组织？有不同方向的研究员在探索，对吗？ 沈宇军 对。人工智能只是其中一个方向，另外还有隐私计算。因为安全是很重要的一点，所以我更多的理解是，比较探索性的东西都会放在研究院来做。 张小珺 为什么决定成立一个子公司，专门做具身智能？ 沈宇军 我觉得这是集团做出的一个比较大的决心。如果还是以研究机构的形式去做，很有可能做着做着就脱离行业。换句话说，研究员认为的先进技术，跟行业需要的先进技术之间可能会有 gap。 所以我觉得这是一个比较明智的选择。既然要做，那就以真实业务的形式来做，而不是把它变成一个研究性质、试验试错的团队。于是就成立了这么一家公司。 张小珺 你经历了 3 个组织：字节、蚂蚁的研究部门，以及现在的蚂蚁灵波。这 3 个组织分别是：第一个是产品公司，你要用 AI 技术去赋能它；第二个是研究驱动；第三个是跟产业结合的创业公司。你在这 3 个组织中的感受是什么？你觉得现在的 AI，不管是产品还是模型，应该用什么样的组织方式去驱动？ 沈宇军 最开始在字节那边，我其实也是做业务。后来到了蚂蚁技术研究院，又刚好赶上从没见过大模型，到大模型爆发，也受到了一波冲击。 那时候其实有点迷茫：研究到底是什么样的研究才算好？发了一篇论文，或者拿到比较多的引用量，是不是就代表成功？我们到底给学术圈，或者往大了说，给这个行业带来了什么？这个研究到底有没有价值？当时自己心里不是很清楚。 再到现在的蚂蚁灵波，我的感受比较深。我觉得它刚好是两者的结合：我们既想做一些不一样的事情，同时这个不一样的事情又能够直面真实需求。 为什么说现在可能是一个比较好的机会？因为现在也是在做业务的过程中，但机器人技术还没有收敛。我觉得作为技术人，可能正是在这个时候为行业做一些事情。哪怕探索出一条不正确的路，也是一种贡献。 在技术没有收敛的时候，我觉得有很多事情可以做。如果现在既想做一些比较大的事情，又不想走一条完全没有创新、只是把桩子打得更深的确定路线，那么从这个角度来讲，具身智能反而是一个比较好的机会。 大家在这里既有发挥空间，又能做一些对产业有价值的事情。 张小珺 你们刚创立、刚过来的时候，是什么样的感受？ 沈宇军 有两个感受。第一个是感觉自己还是太天真了。因为 2024 年我在研究院 propose 说想做机器人，后来发现想做和真正开始做完全不一样。 机器人这个赛道有太多我不了解的东西。当时我对视觉、模型可能懂一点，但真的要把模型用到机器人上，怎么部署、怎么调通信，我感觉有太多技术栈超出了我原来的认知。 第二个感受是，在这个过程中，从最开始灵波刚成立、整个团队不到 10 个人，到一点点看着团队不断壮大。这个过程中，一边学习，一边跟着行业变化，感觉还比较奇妙。 张小珺 创立之初，你们想明白后面要怎么走了吗？ 沈宇军 ### 机器人的大脑路线 有些东西很难判断，但创立之初我们明确了一件事：我们希望做机器人的大脑这一层。 张小珺 为什么不做本体？ 沈宇军 先说我们的初衷。我们当时成立之初，是沿着蚂蚁集团普惠的想法，再加上生活服务的推广。我们最后还是希望，未来某一天每家都会有一个机器人。 但这个机器人是什么样子，其实谁也不知道，甚至它是不是一定来自同一个品牌也不一定。就像现在大家的手机也是五花八门的。 我们希望未来每家都有一个机器人，同时希望这个机器人里运行的是灵波的模型，或者说用的是灵波的大脑。这是我们当时做出的一个比较大的决定。 我们也会做一些末端执行器之类的东西，因为现在整个模型还没有完全收敛，未来本体会发展成什么样，我们也不清楚。就像大家现在用手机，手机也不是一个固定品牌，不是所有人都用苹果或者华为。 所以在这个答案还不明确的时候，我们明确的想法就是，希望所有本体都能运行一个灵波的大脑。我们会坚定地沿着这条路先把它趟出来，先做得比较扎实。这是我们整体的想法。 张小珺 你们团队现在是什么样的构成？是更偏 research-driven 的团队吗？美国有 Physical Intelligence 这样的组织。 沈宇军 它的好处就像我刚刚说的，因为行业技术还没有收敛，所以一定要有 research 的成分。换句话说，我们要不断探索智能的上限在哪里，而这个探索本身就是一种 research。 但同时，既然成立之初我们就以公司的形式来运作这个组织，就不想让 research 太天马行空。我们还是希望它能够跟产业有非常强的结合。 所以我们现在基本上是两手抓：一手是看智能的上限在哪里，另一手是抓落地，把它放到真实的产业场景里去试。然后会发现哪里不行，再反过来用这个不行的点，驱动下一步模型迭代应该往哪些方向走。 模型还很早期，可能有七八个，甚至更多迭代方向，但精力是有限的，不可能全面开花。到底先开发哪一个方向，反而可能是由行业、由落地来决定的。 张小珺 你们从 2024 年底成立，到现在每一年分别做了哪些事情？ 沈宇军 ### 具身原生开始成形 2024 年底成立的时候，第一步是先想清楚我们到底要做什么、我们是谁。这是一个很关键的点。 2025 年全年，我们做了一个比较大胆的决定。从 2025 年 3 月开始，我们意识到机器人可能不单纯是一个多模态理解的东西，因为它毕竟要动，要跟环境交互。 那时候我们就意识到，动态建模，或者对时序进行建模，可能是机器人往后发展的一个至关重要的事情。当时还没有所谓 WAM，也就是世界动作模型这条技术路线。 但我们那时候已经比较坚定地认为，机器人往前走一定要从视频里学习。而且不是把视频抽帧后当成图像来看，而是真的要让它学会时序。 所以 2025 年初我们做了这个比较大胆的决定。经历了大概 9 个月，在 2026 年初，我们应该是行业里比较早、可能是最早开源了一个现在大家叫世界动作模型的东西，我们叫视觉动作模型，也就是 VA。 我觉得这是 2025 年做的一个比较大的决定。 到了 2026 年，今年又过了半年，我觉得做的另一个比较大的决定是：在 2025 年的探索过程中，我们发现了另外一件事。 最开始做机器人时，我们没有特别多的数据，所以很多训练依赖数字世界的模型，有点像把数字世界的模型嫁接到物理世界，变成一个 agent，再加上动作。 但那时候我们意识到，数字世界模型的开发初衷，跟物理世界的需求不一定匹配。你也没办法迫使数字世界的模型去改变，因为数字世界有自己的逻辑和应用场景。 比如从视频生成角度来说，数字世界希望生成的画质特别高，这是它的需求。但落实到机器人的动作上，画质其实没有那么重要。你不能反过来要求它改变，因为它有自己的迭代节奏。 所以 2026 年，或者说这半年，我们做了一个比较大的决定：既然不能迫使它们去改，那我们就完全基于物理世界的需求重做一遍。 张小珺 从头训练？ 沈宇军 对，从头训练。不是完全不用语言模型，LLM 还是用的，但跟视觉相关的所有东西，我们都从头做了一遍。 张小珺 语言模型还要用，是吧？ 沈宇军 对，LLM 还是用的。因为语言模型的训练成本太高，而且我觉得数字世界和物理世界在语言层面没有太大区别。物理世界可能更多靠语音交流，数字世界更多是打字，但我个人感觉，目前还没有看到语言模型在这里存在明显的短板，用起来还比较 OK。 但在视觉上，不管是理解还是生成，数字世界开发的原始动机，跟物理世界的需求确实没有那么匹配。这是 2026 年做的一个比较大的决定。 2025 年可能还做了另一件比较大的事情。第一个决定是从视频上做建模，另一方面，我们非常坚定地要从传感器出发，从真实传感器出发，去解决物理世界的问题。 这跟我 2024 年底刚来宁波时的想法有关。当时我比较天真，觉得把东西迁移到机器人上很简单。我们一开始尝试使用很多数字世界的算法，或者之前计算机视觉领域开发过的一些模型，直接放到机器人里用。 但真正使用时才发现，落地和之前想象的完全不一样。因为以前做 research 比较多，学术界有一个大家心照不宣的点，就是数据集都比较干净，很少能从数据集里看到噪声很大的东西。 但机器人要在现实世界中运行，传感器噪声完全没办法忽略。这跟干净的数据天然相悖。所以基于这个考虑，2025 年我们坚持从传感器这个维度开始做。 传感器包括视觉，也可能包括触觉。这是现在灵波整体的技术思路：一个主张是从传感器开始做，也就是大家现在更容易理解的空间智能；另一个主张是坚持从视频里学习，并且为物理世界原生地从头学习。 这两个是我觉得比较大的技术主张。 张小珺 你们在 2025 年 9 月的外滩大会上是不是还有过一个炒菜 demo？这个 demo 跟你们当时的技术路线有关系吗？ 沈宇军 炒菜其实是一个比较长程的任务。当时尝试做了一下，发现了很多软硬件上的问题，也促使我们更加坚定地把大脑这件事情做实。 因为如果没有一个比较好用的大脑，上一次是炒菜，下一次想拓展到另一个场景，复制成本实在太高了。有了那次经历之后，我们更加坚定要把大脑做好。 张小珺 我觉得现在有两类公司、两类思路：一类是软硬件一体化，一起协同往前走；另一类是彻底不做硬件，把脑子做好。你们选了第二条路，为什么没有选第一条？ 沈宇军 我们的初心就是做一个通用的脑子。所谓通用，是因为我们有一个判断：行业需要的机器人，未来可能会进入家庭，但中间可能还有一段 To B 的阶段。 我们觉得很难有一款机器人真的适合所有任务。哪怕进入家庭以后，每个家庭对机器人的需求也可能不同。从任务角度出发，一个通用本体不太可能解决所有事情，这件事短期内可能不会实现。 所以既然我们的主业是做大脑，就从大脑出发开始做。我们一直讲一个技术主张，就是大脑从最开始的定义就是要跨本体，也就是通用。 这也是为什么我们训练时会加入不同本体的数据，希望大脑在预训练过程中就经历过这些本体，了解它们的特性。等到真正落地到某个场景时，就可以快速适应那个本体。 这也是我们选择这条技术路线的原因，跟公司整体的战略规划也是一致的：做通用大脑。通用意味着跨本体，当然也可以跨任务、跨场景，这些都是通用的一部分。 但有时候我还是比较坚持，可能本体和场景没办法完全解耦。什么样的本体适合什么样的场景，可能从产品定义最开始就已经决定了。有些事情适合它做，有些事情不适合它做。 现在大家讲的通用，更多停留在任务和场景层面。但我们把硬件也考虑进去，觉得通用应该多一层，也就是本体上也要通用。 张小珺 你们 2026 年之前已经开源过 4 个模型，那是第一代大脑。现在又要开源第二代大脑，这次应该有 6 个模型。两代探索之间发生了什么变化？第一代做了哪些事情，第二代又做了哪些事情？ 沈宇军 ### 第二代大脑全面升级 这跟刚刚说的 2025 年和 2026 年两个比较大的决定有关。 2025 年我们有两个决定：一个是一定要从视频开始学，另一个是要做空间智能，也就是从传感器开始学。这也是为什么今年年初开源的 4 个模型，会有不同的分工。 第一个是 Depth。Depth 是从传感器开始，希望机器人对空间有更好的认知，对距离有更好的认知。 从视频开始学习，催生了视觉动作模型，还有一个 World Model。你可以粗略理解为，一个让它当仿真器，另一个让它当执行器。 再有一个是 VLA。VLA 是行业最主流、能够真正把活干好的技术路线。所以今年年初开源的 4 个模型，大概就是这样的选择。 张小珺 这些模型训练了多久？ 沈宇军 不同模型的开发周期不一样。最长的是视频动作模型，经历了大半年的时间，才最终把所有事情摸清楚。 Depth 因为我们之前在视觉上本来就有一定积累，所以大概用了 3 到 4 个月。每个模型的周期不太一样。 张小珺 这一代大脑能用到哪些场景和本体？它能做什么？ 沈宇军 第一代大脑支持了 9 种构型，当时主要做一些简单的抓取任务。行业当时做得比较多的，也都是这方面的动作，抓取任务解决得相对比较好。 但在跟行业交流、接触落地的过程中，催生了这一代模型一个比较根本的变化。 我们真正想把 VLA 落地时发现，有一个点之前大家没有太关注：很多 demo 基本都是实验室环境。实验室环境意味着操作都在桌面上完成。 但我们想把它落到真实场景时，会发现机器人很多动作并不是在固定高度完成的。比如要去架子上拿东西，就需要抬手。这时实验室场景和真实落地场景之间的 gap 就很明显了。 比如头到底应该不应该看向手抬起的地方？头部视角会不一样，甚至头抬起来也可能看不到。那么模型能不能控制抬头？头部相机失效时，能不能只用腕部相机，或者其他传感器把事情做完？ 第一版模型预训练时，我们只支持手臂的自由度和夹爪，没有头部，也没有其他部位。9 种构型基本上也是做桌面上的简单操作任务。 张小珺 所以要做抓取，不能只考虑手，还要考虑其他部位。 沈宇军 对。最开始很多 VLA demo 里的机器人是站着不动的，有些展示出来的机器人甚至都不一定是人形，可能只有两条手臂。实验室环境基本都是这样，把所有东西 setup 好。 但真正落地时，我们不可能让机器人每次都停在那么准确的位置。如果需要够东西，手够不到，是不是要移动一下？头是不是要抬起来？视线到底应该在哪里？ 如果抓上面的东西，需要抬手；如果从下面拿东西，就要弯腰。这些自由度是第一版模型完全没有考虑到的。 在这次 2.0 发布中，我们在机器人数据上做了比较大的升级。从 9 种构型升级到 20 多种，自由度也从原来只有双臂，扩展到支持头部、腰部、底盘，甚至灵巧手。 这就是我刚才说的两头抓：一面是上线的牵引，一面是抓落地。落地过程中会告诉我们，模型有那么多迭代方向，到底什么最重要。 张小珺 对你们训练模型来说，最重要的事情是找到这样的数据。你们的预训练规模有多大？ 沈宇军 ### 预训练数据达到六万小时 我们基于一个 3B 级别的模型去做，数据量大概到了 6 万个小时。 张小珺 第一代是 2 万小时，这一代升级到 6 万小时。 沈宇军 对。但这一代的 6 万小时，跟第一代的 2 万小时还不完全一样。最开始做第一代时，我们还没有完全探索明白什么样的数据是好的。 第一版模型发布之后，我们把很多数据重新清洗了一遍，所以第一版发布时的 2 万小时数据，落到这一次可能只剩 1 万多小时。 然后我们在更严格的数据管线上，又做了一次量的累积，差不多是上一版的 4 倍。 张小珺 数据来源包括哪些？怎么收数据？ 沈宇军 我们以真机数据为主，可能还会有一些 ego 数据。Ego 就是人戴着头部相机去做操作的那种数据。 张小珺 仿真数据也会用吗？ 沈宇军 仿真数据我们可能更多会留在评测上，不太会用仿真数据做模型训练。 仿真数据量可以做得很大，但数据除了数量之外，还有一个很关键的点就是分布。分布包括构型是一种分布，任务维度也是一种分布。 仿真数据在它擅长的方面，确实可以瞬间生成大量数据。但从另一个角度说，它的分布可能会相对同质化，做的都是差不多类似的任务。 尤其是一些柔性物体的仿真，比如撕开塑料袋，这对仿真来说，物理引擎可能还需要一些时间继续迭代升级。等到那个时候，仿真数据的用处可能会更大。 对于现在仿真比较容易做的抓取、挪动之类的任务，随着整个行业的发展，真机数据的成本也在逐步下降。 张小珺 降了多少？ 沈宇军 过去两年，我觉得至少降了 3 倍不止。 从人员管理逐渐成熟，到机器也逐渐成熟，再到数据需求逐渐变多，数据也开始量产。量产一定会降本。 所以从各个方面的成熟来看，真机数据的获取渠道变多了，成本也变低了。这可能也代表了整个行业繁荣发展的趋势。 张小珺 数据有哪些类别？准备数据上有什么 know-how 吗？ 沈宇军 核心是你到底要下发什么样的任务，这是一个比较难的点。怎么让任务尽可能覆盖我们刚才说的所有自由度，同时又有一定通用性？ 你不能说数据里 90% 都没有用到头，只有 10% 用到了头。举个更好的例子，头部自由度出现的比例，跟腰部自由度出现的比例差距特别大，就可能导致模型更倾向于学头，而不太会动腰。 另一个 know-how 是数据真正拿到之后，怎么样把它清洗好，整个链路应该怎么做。 这个坑我们也趟了比较久。因为我们做的是跨本体模型，每种本体的特性都不一样，很多数据处理方式都要跟本体有比较强的关系，不是每种本体都能用同一种数据链路完全处理。 比如相机摆放的位置可能不一样，自由度关节的连接方式也不一样，也就是 configuration 的不同。这些机器配置给数据处理带来了很大难度。 所以核心 know-how 可能就是两个：一个是怎么下发任务，另一个是拿到数据之后怎么把它处理得更干净。 张小珺 有没有观察到什么通用性比较好的任务？ 沈宇军 还是操作越简单，通用性越好。这可能取决于操作员的能力。任务越复杂，能够把任务完整、比较流畅地做下来的采集员就越少。 如果采集过程中动作不流畅，很有可能没办法把它修得流畅。一条数据的成本又非常高，如果不能把它修好，模型可能会把这种不流畅的操作当成正确方式。 最后模型控制机器人时，机器人也会非常卡。这个采集员行业也在随着行业一起成长。 张小珺 这些采集员是你们自己的，还是外包公司？ 沈宇军 都有。因为我们有很多种构型，也有一些生态合作伙伴，本体和数据方面都有。我们会拜托他们一起建立数据体系。 同时，有一些比较难的任务，我们还保留了一定的数据采集能力。至少我们会先把 SOP 弄清楚，让自己的人先把事情做一遍，再跟合作方沟通，看能不能帮我们补充什么样的数据。 所以很多数据采集方面的坑，也是我们自己一点点趟出来的。 张小珺 我听过一个说法，有一些错误数据，犯错之后再纠正的数据，也是好数据。 沈宇军 对，这可能跟真机强化有点关系。但那种素材也一样：人要在旁边看着，知道机器人犯错了，然后在合适的时机打断它，并给它一个正确示范。 现在为了落地、提高成功率，我们内部在落地环节也加入了真机强化。也就是让机器人从原本做得不太好，到被纠正，再把模型变得更好。 但这个东西更偏落地，所以我们没有在这次开源的技术报告里体现。 张小珺 这次 6 个模型之间是什么关系？ 沈宇军 ### 六个模型组成原生大脑 我觉得这是这次做得比较好的地方。我先大概讲一下关系，再说为什么我觉得它做得比较好。 首先第一天我们发布了两个模型，一个是 Lingvo Vision，另一个是 Lingvo Depth 的升级版。 上一版 1.0 的 Depth 是基于 DINO 做的，当时用 DINOv2 作为预训练模型。DINOv2 也算是一种数字世界的模型，比较擅长语义理解。 但我们发现，语义理解的预训练，因为数字世界只要理解语义就够了。比如知道这是一盆花、这是一只狗，很多时候就够了。 但对于机器人来说，这种语义级别的理解，跟真正理解空间、理解距离，并不是天然吻合的。所以我们重新做了一遍预训练。这次不再依赖 DINO，而是完全从几何角度出发进行预训练建模。 张小珺 几何角度怎么理解？ 沈宇军 可以粗浅地理解成点、线、面。给你一张图，先看有哪些边缘，我们从边缘出发，让模型更好地理解几何概念。 几何跟距离比较相关，所以基于这个 Vision，我们更新了底层基模。跟之前用 DINOv2 做的 Depth 相比，有了比较大的提升。 同时，经过半年的积累，数据量又翻了几倍，所以我们基于新的基模和更多数据，把 Depth 又迭代了一版。 这次 Depth 有几个比较有意思的例子。第一个是厨房里那种反光的水龙头，打开水之后，可以清晰地看到水流。对机器人来说，这是很关键的：如果要去接水，必须先看到水流的位置。 张小珺 你说的机器人看到水，是看到水流的位置？ 沈宇军 对，不是看到水龙头有没有打开，而是要知道水流在哪里。之前它可能知道水是开的，但距离肯定不准。基于 Vision 训练出来的 Depth，可以把距离看得更清楚。 第二个例子更形象，也能说明数字世界的语义理解和物理世界的距离理解有什么不同。 比如阳台上有一扇玻璃门，玻璃门外面有一只猫。我们这次的 Depth 模型会完全看不到那只猫，因为前面挡着一道玻璃。 如果人往前走，会先撞到玻璃，然后才会碰到猫。所以我们把玻璃门拉开时，就会看到 Depth 里的猫逐渐从门后面出现，因为玻璃被拉开了。 但从语义理解角度，猫一直在那里。数字世界只需要知道那里有一只猫就够了，但物理世界还需要知道前面有一扇门。 张小珺 它对位置的感知，在数字世界里是比较弱的。 沈宇军 对。数字世界不需要担心走过去会撞到东西。这个例子很能说明：你能看到，但摸不到。能看到是语义理解，摸不到是空间感知。 所以第一天发布的是 Vision 和 Depth。Vision 是 Depth 的预训练。以前 Depth 的预训练是 DINO，现在我们不用 DINO，而是自己做了一套新的预训练。 你可以理解成，Vision 是对视觉本身的理解，Depth 是它的下游，从视觉感知变成空间感知，也就是把图像变成三维。 张小珺 LLM 跟它们有关系吗？不需要基于 LLM，对吧？ 沈宇军 没有，完全不需要。这是完全从视觉出发做的训练。 我们一直比较戏谑地讲，关注的是三件事：看得更清楚，想得更明白，干得更利索。对机器人来说，就是这三个事情。 第一是看得更清楚，所以先解决看得更清楚的问题。这个事情不需要语言，是纯视觉、视觉原生的预训练。 第二天我们发布了 VLA，VLA 做了升级。这次升级主要是从落地角度发现了一些问题：怎么把数据质量变得更高，怎么让构型变得更多，支持的任务变得更复杂。 有了头部、腰部这些自由度之后，它能做的事情就变多了。对整个灵波来说，VLA 这次升级最大的价值，就是把数据弄明白，而且是从产业视角，把产业需要的数据、落地需要的数据弄明白。 张小珺 有些以 research 为主导的公司，数据可能会倾向于把真机和仿真数据混合使用。在你看来，这样会不会离真实场景有距离？ 沈宇军 不同公司选择的策略不一样。如果它选择的场景是仿真可以做得比较好的，我觉得从仿真拿数据没有任何问题。 但我们想做通用大脑，而且要跨本体、跨任务，希望支持的任务越多、越复杂越好。对于这种通用任务来说，仿真的覆盖率目前可能没有那么高，所以我们没有选择仿真这条路，更多还是从真机出发。 第一天的模型解决了看得更清楚的问题，第二天的 VLA 主要解决了数据问题。 另外 3 个模型我想放在一起讲：一个是 Video，一个是 World，还有一个是 VLA，也就是外面现在可能会讲的 WAM。但我们还是叫 VLA，因为我们的命名就是 VLA。 这里可以回到刚才说的那个点：上一版 1.0 的时候，我们发现很多数字世界模型的开发动机，跟物理世界的需求并不匹配。 第一个明显不匹配的地方，是数字世界，尤其视频生成，会先做一次视觉压缩，因为它要求最终生成的图像质量要高。现在常见的开源压缩方式，基本只是单纯把信息压缩，比如把 100 MB 的东西变成 30 MB，让它更好学习。 但这次为了让机器人在后面的学习过程中更好地理解语义和动作，我们训练视觉压缩模型时，加入了语义和动作对齐。 换句话说，这个编码器在编码过程中就能感知一些语义信息和动作信息。基于这个编码器编码出来的东西再去学习生成，模型就能更好地理解语义和动作。 第二个不同是，数字世界不是特别关心效率。比如现在常见的文生视频，我给它一段话，它返回一段视频。生成 30 秒视频时，用户可以等 30 秒、10 秒或者 20 秒，当然也希望越来越快，但用户至少可以等到视频生成完。 机器人执行任务时没办法等，它必须是实时的。基于这个需求，会有两个问题：模型效率能不能更快，以及模型能不能做单向建模。 现在大家可能比较常用万相，万相是 dense 模型，不是 MoE。比如一个 14B 的模型，推理时激活的就是 14B。 对于后面的加速工作来说，即使框架层面做得很好，如果模型本身激活的参数量没有变化，能够加速的比例其实是固定的，没办法做到非常快。 另外，既然是实时的，就必须是单向建模：历史看不到未来，未来可以看到历史，但历史看不到未来，时间是单向流逝的。 数字世界的生成模型可以是双向的，因为你给它一段话，等一会儿就能得到完整视频，它不需要在生成过程中只能往前走。 这些是物理世界提出的新需求。但物理世界也可以做一些取舍，最核心的就是画质可以舍弃。 数字世界要求高清、帧率高，内容看起来才好。但不同生物能看到的清晰度是不一样的，也一样可以在地球上生活。 所以物理世界生成的东西有点马赛克也没关系，画质不高也没关系，因为我们还有摄像头。生成得不清楚没关系，只要摄像头能看清楚就可以。 基于这两个新需求，以及可以舍弃画质这一点，我们做了两个工作。一个就是 Video，并且把它开源出来。Lingvo Video 本身是一个原生 MoE 架构的模型。 MoE 这个事情大家可能听得比较多，好像把 dense 模型变成每次不用全部激活就可以了，比如 3 个专家激活 1 个。 但真正把 MoE 训练明白还是有难度的。训练过程中要控制每次生成时专家激活的比例保持均衡。比如总共有 30B 参数，但每次都只激活其中 10B，另外 20B 基本不被激活，这样是不可接受的。 因为如果这样，跟一个 10B 的 dense 模型就没有区别。既然要做稀疏化，就要让稀疏得均匀，想办法让每个参数以差不多的概率被激活，并把它训练好。 这是一个技术问题，不是意愿问题。不是我想让它少激活一点，它就能少激活一点。 所以在 Video 上，我们从头训练，把 MoE 这件事基本上趟通了。 张小珺 中间失败过没有？ 沈宇军 失败了很多次。整个训练过程，我们想把它训练成具有训练能力的积木，把模型、数据等都弄起来，这些基本上可以理解成确定性求解，虽然经验没那么多，但照着做就可以。 其中最大的一部分就是 MoE。光是把 MoE 训明白，至少花了两个月。 张小珺 两个月？ 沈宇军 对。因为你会不断发现，它虽然叫 MoE，但跟你期待的 MoE 不一样。 张小珺 所以提升的是哪些能力？ 沈宇军 两个月里失败了几十次应该是有的。因为失败不一定是训到后面才发现，训一训就会发现跟想要的不一样，比如参数激活不均匀、不平衡。 MoE 最核心的问题，是怎么让这些专家被等概率地激活。这里面会涉及训练时 loss function 的选择、sampling 策略，以及加一些正则项等。 我们现在基本可以保证 MoE 稳定训练。哪怕换一个框架，这项技术本身也能够稳定运行。MoE 本质上是稀疏化技术，在这方面我们算是有了比较大的提升。 另一个技术点是时间不能倒流。我们要求整个 attention 都是单向的。 数字世界常用的模型基本是双向的，因为它追求画质。连接越多，计算量越大，效果通常也会越好。 但我们希望把它变成单向的。从 1.0 开始就想做这件事，最后又花了大概 3 到 4 个月，做到从头开始就单向训练。 另一种选择是先有一个双向模型，再把双向变成单向。但我们发现，这里面有一个很大的问题：预训练模型里学到的很多知识，比如对文字的理解，隐含在双向 attention 里。 你强行把它变成单向，单向本身可能跑通了，但那些知识会被遗忘，相当于预训练作废。直观表现就是，之前你跟它说 100 句话，每一句都能转译成比较好的视频；变成单向之后，可能只有 20% 到 30% 能转译成好视频，剩下的 70 句话它已经不理解了，因为知识被破坏了。 所以在把双向变成单向这件事上，我们做了一个比较大的决定，果断舍弃了双向变单向这条路线，从最开始设计时就是单向的。 Video 解决了 MoE 的问题，让我们具备了从头训练 MoE 的能力。World 这个工作证明了，我们也可以把单向 attention 的训练做成。 最后，我们把这些技术全部应用到具身模型上，诞生了最后一天发布的模型，也就是 VLA 2.0。 张小珺 这个模型是最关键的，对吧？ 沈宇军 对，它是所有技术拼在一起的一个模型，是一个集合。 Video 证明了 MoE 这件事，我们先把这条路趟通；World 把 causal pre-training 这件事趟通；然后我们把两个技术结合起来，再加上刚才说的视觉压缩改进，把这三个技术点放到一起，形成了一个面向机器人、纯粹面向机器人控制的原生模型。 这个模型从每一个参数都完全随机开始训练，再加入机器人采集的数据。VLA 不是收集了很多真机数据吗？我们把这些数据全部放到了这里面，从头训练了一个为具身设计的模型。 这就是我们这次发布一直讲的“具身原生”。我觉得这就是具身原生本身。 张小珺 在这 6 个模型里面，哪一部分会用到 LLM？有一种说法是，LLM 如果是大脑，机器人现在很多训练的是小脑。你觉得你们这个具身原生模型，到底是大脑还是小脑？ 沈宇军 外面每个人对大脑、小脑的定义不一样。 在一些简单指令的执行上，灵波解决得更多是这一层。比如你给它说一句话，它帮你把事情做了，这个层面是灵波在做。 但在这之上还有更加智能的部分，目前灵波还没有解决。那部分是真正把人的交互放进去，需要很多思考。 比如机器人早上起来，帮你拉开窗帘，看到外面下雨，就知道给你拿把伞，让你出门。这种层面的能力，我觉得应该属于更高阶段的智能，可能需要语言模型、多模态模型来解决，跟数字世界也更相关。 但如果只是让它执行“帮我拿一把伞”这个动作，我觉得灵波现在解决的是这一层。它不解决意图的来源，只解决意图的实现。 它可以完成一段连续动作，但它不知道为什么要做这个动作。它只负责实现意图：你有一个想法，它帮你做了，但它不会产生自己的想法，也不会主动帮你思考你要做什么。 那一层交互可能是更高阶的智能，灵波现在还没有做。 张小珺 第一代能抓取，第二代能做哪些动作？它有泛化性吗？ 沈宇军 ### 泛化能力开始显现 第二代的一个比较大的提升，是因为我们没有再基于数字世界模型继续迭代，而是单纯为具身设计了一个模型。 我觉得有几个比较有意思的提升。第一个是处理随机性的能力强了很多。 比如我们有一个跟人打球的 demo。在那个例子里，它跟一般的 demo 不太一样，因为里面有很强的随机性，你永远不知道对面打过来的球会在哪里。 我们不是把位置都定好、把球都摆好，而是要看到对方打过来之后再去做。而且整个过程中只依赖机器人自己的相机，没有在场地周围再放一圈相机去追踪球的位置。 完全跟人一样：我就用一双眼睛看到球，然后去完成动作。 另外，那个回合非常快。人打过来之后，机器人对实时性的要求很高。如果机器人动得很慢，动一下卡一下，就没办法把球打回去。 张小珺 这是挺好玩的一个场景。 沈宇军 对。再举一个例子，还是整理桌面。一般大家看到的 demo，都是先把玩具摆好，再让机器人收纳。 但我们现在可以把桌面上的东西全部拿掉、收拾起来，然后先随便撒一筐东西上去。撒上去本身就带着随机性。 中间你还可以把一些东西拿出来，再随便放到别的地方，它还是会把东西收进去。甚至你可以跟它一起收拾，有些东西它还没收到，你先帮它收了，它就不会再收那个东西。 我觉得这一点也是比较大的进步。现在模型处理随机性的能力，比 1.0 版本强很多。 张小珺 这是因为加了更多数据吗？ 沈宇军 不是，主要是因为整个模型的预训练方式不一样。 张小珺 你看到模型具有泛化性的迹象了吗？ 沈宇军 在刚才说的例子里，任务泛化可能还不能这么说，但位置上的泛化，我觉得现在有比较大的突破。它能够接受这种随机性，意味着它不是只通过一个 RL 做固定任务的反馈。 它不是一个固定任务，中间可能会有很多突发情况。泛化性有很多维度，我觉得在位置泛化上，现在可以说解决得更好一些。 但这一版模型对任务泛化还没有做得特别好。所谓任务泛化，就是直接给它一个从来没见过的新任务，不做任何额外处理，它就能完成。 这件事比较难。一个很大的原因是机器人数据还不够多，见过的任务还不够多，没办法通过见过的任务排列组合出一个没见过的任务。 这可能是接下来要重点突破的方向。 张小珺 那它需要看几次任务才能学会？学习成本降低了吗？ 沈宇军 这一版比上一版有提升，也就是 2.0 比 1.0 在这方面更好。 第一个提升是，1.0 做评测时，每个任务要单独训练一个模型。假如有 100 个任务，就要训练 100 个模型，每个任务单独做后训练，再去测试。 这一版可以把 10 个任务放在一起训练、一起测试，相当于 10 个任务只用一个模型解决。 第二个提升是后训练需要的数据量变少了。上一版基本都在 100 条左右，现在大概 20 条就可以。 当然还没办法做到一条甚至更少。我觉得这可能要随着基模能力进一步提升，再继续往下做。但整体来说，这一点比 1.0 有比较大的提升。 张小珺 具身智能今天到什么阶段了？你之前说还没有到 GPT-1 的时刻，今天到了吗？ 沈宇军 ### GPT时刻尚未来临 今天我还是觉得没有到这个阶段。因为现在还没有看到一个比较好的数据 scale up 方式。 哪怕这次用了 6 万小时数据，坦白讲，跟上一次相比还没有数量级的提升，而且这些数据远远不够。我相信随着现在行业数据采集方式的发展，大家开始做各种 ego 相关的数据，等采集方式真正确定下来、能够大规模铺开时，可能才会看到 GPT-1 的时刻。 张小珺 所以瓶颈还在数据。 沈宇军 对。我觉得跟 GPT 相比，主要还是数据。 这次我们一直讲模型设计是具身原生，模型的设计特性确实都是为了具身而设计的。但为了做预训练，也就是具身原生的预训练，我们还是用了大量互联网数据。 互联网数据的量级应该远大于机器人真机采集数据，可能差两个数量级。 张小珺 大语言模型能够 scale up，是因为互联网数据已经 ready 了。 沈宇军 对。所以虽然架构上已经做到具身原生，但数据上还没有。 当具身数据本身可以 scale up，或者至少达到跟互联网相同的量级时，可能就是我心目中的 GPT-1 时刻。 张小珺 你估计还要多久？ 沈宇军 具体时间不好预估。但现在比以前有一个好处，就是基础设施上来了，模型开发周期跟 GPT 之前已经不一样了。 那时候有一个万卡集群就觉得很了不起，至少语言模型是这样。但现在中国和美国很多公司做语言模型，基本上都是 10 万卡，甚至更多。 基础设施上来之后，模型开发效率也会比以前快。所以原来从 GPT-1 到 GPT-3.5，或者 ChatGPT，可能用了一段时间；现在从机器人的 GPT-1 到机器人的 ChatGPT，可能不一定需要那么长时间。 张小珺 因为配套工具成熟了，你们的 infra 水平也跟着提升了，是吗？ 沈宇军 对。因为我们开始做预训练了。既然想动原生具身模型，它需要的资源肯定比把它当作数字世界的下游模型去做多得多。 张小珺 你们决定做原生具身模型，这个 bet 是什么时候下的？当时纠结吗？ 沈宇军 其实不纠结。发布 1.0 的时候，我们就意识到这个问题了。 很多特性当时是强行在数字世界模型上魔改，发现很多东西不 work。你改得再 fancy，有些缺点还是会暴露出来。 所以 1.0 发布之后，我们就决定必须具备更底层模型的训练能力。 张小珺 算不算一次 bet？ 沈宇军 肯定算一次 bet。我们也不确定能不能成功，能不能训出来，因为之前没有人有过这样的经历。 但我觉得值得赌一次。如果数字世界那条路走不了特别远，这是必经之路。如果我们走不通，也会有人走通，因为我觉得这可能是正确的路。 张小珺 有什么之前怎么做都做不成的任务，这次让你觉得有点惊讶吗？有没有什么 aha moment？ 沈宇军 刚才说的跟人一起打球，就让我比较惊讶。它综合体现了很多能力：执行要快，处理随机性的能力要好，预判也要好。 而且为了执行这个任务，在预训练之后，我们可能总共只采了 20 条数据。 张小珺 以前需要采多少数据？ 沈宇军 以前可能采多少数据都不一定能做成。因为能不能让模型把随机性 cover 得比较好，我之前没有看到过类似的东西。 张小珺 在做原生机器人大脑这件事情上，有没有其他人的工作可以借鉴？比如硅谷的一些 frontier lab，它们的工作有可借鉴性吗？ 沈宇军 我记得原音疑似 Generalist 的数据量应该比我们大得多。公开消息里能查到的，可能是几十万小时，现在也不知道是不是已经到百万小时了，我不太清楚。 他们的数据管线应该比我们成熟得多，也更早开始做预训练。 但跟他们不一样的是，大家从具身数据做预训练这个出发点可能相同，可技术本身没有太多借鉴。因为我们相信，一定要从视频生成这条路线里学到一些知识，所以要把视频生成做到原生。 目前还没有看到别人把这一点真正做到原生。 张小珺 你怎么看 Generalist 和 Physical Intelligence 路线的区别？ 沈宇军 我觉得它们最后的理念有一些不一样。 原音疑似 Generalist 能接受后训练，强调高效后训练；Physical Intelligence 可能更强调 zero-shot，希望不要后训练，什么都会。 从这个角度来说，它们天然选择的路可能不一样。 张小珺 听起来 Generalist 更实用一些。 沈宇军 从我的感觉上可能是这样，但其实殊途同归。这两个能力都必须具备。 如果未来机器人真的进入家庭，你肯定希望它进到一个家庭之后，80% 到 90% 的活自己就能干；剩下 10% 到 20% 干不了的，可能你教它一下它就会了。 这两种能力都是需要的，其实就是 in-context learning。它们并不冲突。 另外一个技术理念上的不同，我个人感觉，原音疑似 Generalist 可能对原音疑似 UMI 数据理解得更深入，使用得也更好；Physical Intelligence 可能在真机遥操作上做得更扎实。 再往后看，现在大家开始讲 egocentric 数据。未来我觉得灵巧手也会逐步提上日程，大家会越来越关注更复杂的操作任务。那时候夹爪可能不能满足需求，一定要用灵巧手。 随着 ego 数据兴起，以及灵巧手不断发展，真机遥操作和 UMI 这两条数据路线可能都会发生变化。它们也要继续迭代升级。 再往后发展，可能会“合久必分，分久必合”，最后慢慢走向同一条路，这谁也不知道。 所以现在不同路线的核心，就是怎么使用数据，或者怎么获取数据，这是一个非常关键的点。 我现在比较坚信的一点是，具身一定会有自己的模型，是为具身设计的模型。但这个观点如果不变，数据就必须支撑它做自己的模型。 所以，如何把数据很好地 scale up，是至关重要的。 张小珺 我去年去上海外滩大会时，听到大家争论一个问题：具身智能到底是不是独立于语言模型之外的一门学科、一个独立的发展方向，还是基于大语言模型的一个方向？ 一派认为，具身模型是基于 LLM 训练的，是成长在 LLM 上的一条支线；另一派认为，具身智能一定是独立的。你是哪一派？ 沈宇军 我不能完全说是哪一派。如果一定要选一个，我可能会选择后者。 具身智能要解决的问题，跟语言模型其实不冲突。语言模型更多是让机器听懂指令到底是什么，而具身智能要解决的，是怎么把一件事情做好。 把事情做好本身不需要继续理解语言，但前一步，也就是把语言转译成后面的一系列动作，可能需要依赖语言模型。 所以我会认为，具身会继续拿大语言模型作为一个比较好的入口，然后成长出自己的模型。两者之间可能只是交互层面。 更好的情况当然是把语言系统也内嵌到具身模型里，但短期内，具身要聚焦解决的不是这个问题，而是先把事情干明白。 把事情干明白，对语言的依赖没有那么高。 张小珺 语言是第一个交互工具。 沈宇军 对。换句话说，如果不用语言，而是一共 1 万个任务，把这 1 万个任务编成固定编码给它，可能也可以，只是它没办法在任务维度泛化。 语言模型可以在需求维度进一步泛化，它解决的是需求泛化问题。但这显然不是现阶段具身智能的核心焦点。 张小珺 从 2024 年底开始做这家公司到现在，整个行业的突破是什么？在哪些方面进步最快？ 沈宇军 我觉得进步比我想象的快得多。 首先是硬件。现在至少有一些公司已经把量产跑通了，应该进入量产阶段了。供应链也随着行业发展在成熟。 从去年开始，大家还主要是夹爪；到今年，灵巧手公司已经层出不穷，出现了很多灵巧手公司。灵巧手的发展可能用不了太久，就会逐渐变成标配。 当然硬件有自己的发展周期，只能说大家已经不满足于夹爪了。再加上传感器层面，现在有越来越多触觉相关的传感器，这些都是为了让机器人做更复杂、更精细的任务。 从硬件和行业发展来看，我觉得这个速度非常令人惊叹。 张小珺 它们是不是也都是一种数据获取方式？ 沈宇军 对，它们一定会考虑跟数据的关系。更多还是为了模型升级。能够执行更多任务，本身也是为了让模型学到更多知识。 另外一个层面是落地。现在可以看到很多公司展示模型进入工厂干活，比如 Figure 展示物流分拣，越来越多公司开始推进机器人的落地。 而且现在的落地不再主要通过传统控制方式，大家都在尝试用模型落地。这也是比我想象中更快的一个节奏。 去年 7 月的 WAIC，我感觉更多还是在 show demo。那时候有一种说法，2024 年倒咖啡，2025 年叠衣服，反正一年展示一个新动作。 但今年大家展示 demo 少了，开始更多地讲进入场景。短短一年时间，软件侧模型的发展也突飞猛进。 从硬件和软件两个角度来看，我觉得这个行业确实在加速。 张小珺 有没有不及预期的地方？ 沈宇军 我会这样理解：在大家真正开始进入具身原生之前，虽然大家一直喊数据重要、需要数据，但真实情况是，如果不做基础模型，可能并不需要那么多数据。 到底需要多大的数据量？ 沈宇军 理想状态下，我觉得应该是百万小时起步。这样整个模型里的具身数据和互联网数据，才可能相对平衡，既能学到通用知识，又能学到操作相关知识。 但在百万小时之前，应该会先有 10 万小时规模，而且这 10 万小时可以完全拿来做预训练。不是基于数字模型训练，而是具身原生预训练。 所以我觉得不及预期的是，过去一年没有看到真正的具身原生东西出来。因为没有这个东西，大家对数据量的需求就没有想象中那么迫切。 大家都知道数据很关键，也需要大量数据，但如果不训练基模，就没有一个推动力，要求你马上拿到这么多数据。 所以我觉得，数据的发展有一点不及预期，这是我自己的看法。 张小珺 今年有一个现象：去年之前，很多机器人公司都是本体和模型一起做；但今年大家明显更看重大脑，很多公司开始只做大脑、不做本体。你觉得为什么会发生这样的变化？感觉像是两代机器人公司。 沈宇军 我觉得一个比较关键的点是，现在一个本体很难通用。 如果本体不通用，就一定要选准场景，这样做本体才有意义。这个本体是为了某个场景专门设计的，专门设计就可以有一些地方强化，有一些地方减配。 因为最后落地要讲成本。我们不可能拿一个各方面都是“六边形战士”的本体去做某个具体任务，那样很多东西都会超配，成本一定会上升。 大家不讲本体，第一个原因可能是本体本身有门槛：到底有没有量产能力，这是一个问题。第二个原因是，如果场景选不准，本体设计就一定有问题。 但现在场景比较难判断，大家也不敢说哪个场景一定会跑得最好，都在尝试。所以可能这是不做本体的一方面原因。 另一方面，从行业情况来看，大脑目前可能落后于本体。换句话说，今年的主要矛盾可能是，怎么让机器人先把活干好。 去年有位人士（名字原音不清）还说干活是一片荒漠。既然还不能把活干好，就会有更多人试图解决这个问题。 但我觉得，大脑和本体现在还不能完全解耦，不过从发展来看，它们一定会交替上升。可能现在大脑落后于本体，随着做大脑的人越来越多，智能层会跑得更快，某一天超过本体。 那时候本体就会有新的需求，可能会出现一批由智能重新定义的本体公司。它们可能不再按照以前理解的参数去设计本体，而是为了更方便模型控制去设计。 本体发展一段时间后，又会催生智能不足的问题。我觉得一定是这样一个过程。 张小珺 所以上一代硬件不一定能够迭代适应下一代模型。 沈宇军 至少我的判断是这样。硬件本身可能还好，但传感器应该还要进一步升级，尤其是触觉相关的传感器。 比如以前大家会给传感器设定一些指标：精度要达到多少，频率要达到多少。做传感器本身时，当然希望这些指标都尽可能好。 但很多时候不可能所有指标都好，一定要做取舍。取什么、舍什么，我觉得本身也是一个问题。 以前的取舍，可能是根据使用过程中的经验做的。比如力必须要准，既然是触觉传感器，力就要准。 但在 AI 时代，模型最需要的不一定是力要准，也有可能是反应够快，模型对实时性的要求比精度更高。这些都有可能。 所以传感器再迭代升级，可能要从模型需求出发，看哪些指标需要强化，哪些指标可以弱化。这肯定是未来的趋势。 张小珺 有的公司从硬件出发，有的公司从软件出发，但大家都想进入家庭这个最好的场景。其他一些场景可能还不够性感。 沈宇军 可能 To C 更性感一点。 张小珺 所以现在需要做一个选择：从软件出发，还是从硬件出发。你们是从软件出发，沿着脑子往后做。接下来几代会怎么迭代？ 沈宇军 我们这一代从物理特性上做了一些原生设计。接下来我觉得最大的事情，是从架构原生再往前走一步，做到数据原生。 数据原生要解决刚才说的泛化性。泛化性有很多种：本体构型泛化、位置泛化，我们现在能够做到位置泛化，但接下来还要做任务泛化。 任务泛化非常依赖数据。所以更优雅的数据采集方式，拿到更多好数据，并且把数据更好地送给模型，可能是下一版本最重要的核心。 张小珺 意味着你们要自己采数据，投入更多资源？ 沈宇军 可能会投入更多资源来做，或者把数据采集的整个标准做得更扎实：到底采什么数据、怎么采、能不能规模化复制。 这是接下来要关注的重点。 张小珺 现在有什么可能性可以规模化复制吗？ 沈宇军 大家现在讲得比较多的是 ego。Ego 数据提出了一个比较好的 scale up 方式，这一点毋庸置疑。 但现在的问题是，如果只有头部相机拍下来的数据，到底能不能用？未来如果灵巧手真正发展起来，我们想做手部精细化动作，这些数据有没有帮助，目前还未知。 我觉得 ego 提出了一个采集理念，但这个理念还要被打磨成具体产品，才能真正部署下去、规模化做起来。 从一个理念诞生，到真正实施，可能还需要一点时间。 张小珺 所以具身智能接下来最重要的事情，还是数据。 沈宇军 应该是数据的可规模化，以及数据能被模型使用。 这两点本身就是一个平衡。模型当然希望数据越好越好，质量越高越好，包含的模态越多越好。 但规模化要求越高，就越难规模化，最后会变成定制，很难真正上量。 所以在质量和数量之间怎么取平衡，模型哪些东西可以舍弃，现在还没有完全定义清楚。一旦定义清楚，后面的事情就会加速。 张小珺 这是你第一次创业。你对创业有什么新的感受？ 沈宇军 ### 创业就是不断下注 对我来说是两个第一次：第一次创业，包含两个部分。第一个是第一次面向落地，第二个是创业。 换句话说，第一个“第一次”是业，第二个“第一次”是创。 从落地角度来讲，以前我会更关注技术领先性；现在仍然关注技术领先，但会更关注什么样的领先是有价值的，什么只是技术人拍脑袋觉得领先。 张小珺 你现在希望哪方面领先？ 沈宇军 我现在肯定希望支持的任务越多越好。我会优先选择场景和任务的泛化性。 再说创业这部分，我觉得创业教会我的，是人要学会赌，创业一定是赌出来的。 没有人知道哪条路一定成功，资源又一定有限。在资源有限、路径不确定的情况下，就要赌。敢做决定、敢赌，是非常关键的一点。 如果大家都知道哪条路一定成功，那为什么是你成功？如果那条路一定成功，大厂肯定会成功，因为它有更多资源和更多人。 但在路径未知时，如果犹豫不决，很有可能最后什么都做不出来。 张小珺 你们这里面有哪些大赌？不做本体算一个大赌吗？ 沈宇军 第一个是传感器，这是一个大赌。第二个是原生模型，也是一个大赌。 原生模型很有可能做到最后发现没做出来：训了一年，花了很多资源，结果模型不收敛。 做不出来有很多种可能，可能是思路错了，也可能是技术还不成熟，过两三年再做就成了，太早进入也不行。还有可能是资源不够，本来只能做 100 块钱的事情，却非要做 200 块钱的事情。 这些都是赌的风险点。但一旦做成了，那时候的成就感还是比较高的。 张小珺 蚂蚁对你们的期待和要求是什么？ 沈宇军 现在蚂蚁集团整体是 AI first。从集团大的战略上讲，我们也是想突破智能的上限。 AI first 包含两部分：物理世界的 AI，也就是具身智能；以及数字世界的 AI。我们承载的可能就是集团在物理世界人工智能上限方面的使命，这是和集团一脉相承的。 另外，蚂蚁集团还是一家以数字世界生活服务为核心的公司。我们也在整个集团的延长线上，希望补齐从数字世界往物理世界迁移的中间部分，也就是怎么把一个服务真正执行起来。 我觉得这是我们跟集团理念上的契合。 张小珺 蚂蚁对你们的管理是什么样的？ 沈宇军 整体上还是按照创业公司的方式来管理。只是管理体制上可能更独立一些，跟集团下面一般的业务集团相比，我们的业务相对独立，所以管理起来也会独立一些。 但整体基础设施等，还是共享的。 张小珺 对于你们几次豪赌，集团是什么反馈？ 沈宇军 我觉得还是比较支持。从上一次发布到这一次发布，集团都比较支持。 张小珺 他们有没有说过，为什么不做本体？ 沈宇军 也会有一些 debate。但我觉得集团对灵波有充分的信任和尊重，因为我们更贴近行业本身。 集团肯定会从它的视角给出建议，但双方经过几轮交流之后，应该还是会达成一致。 张小珺 对于这次创业，最好的预期和最坏的预期分别是什么？ 沈宇军 最好的预期是，我真的看到机器人进入家庭，而且进入家庭的机器人运行的是灵波的模型。 最坏的预期就是没做出来。我觉得也没有更坏的预期了，可能某一次赌的过程中赌错了。 张小珺 你是个赌性强的人吗？ 沈宇军 还可以。 张小珺 这里面有没有哪个决策是你力排众议、必须要这么做的？ 沈宇军 我觉得具身原生这件事，是我比较坚持要做的。 从上一次发布中我感受到，沿着数字世界往后走是行不通的，我不想一直站在数字世界的延长线上。所以我非常坚持，一定要做一个从物理世界原生长出来的模型。 这是我觉得这次比较有成就感的一件事情。好在我不敢说它已经被百分之百验证，但至少我们迈出了一步。 张小珺 这次模型的进展符合你的预期、低于预期，还是高于预期？ 沈宇军 其实有点高于预期。 我们讲原生，主要有几大块。一个是视觉，也就是看得更清楚。这部分我觉得已经由原生推动往前走了一步。 然后是想得更明白，也就是架构原生。刚才说的时间流逝、推理效率等，也是由原生推动往前走了一步。 接下来还有干得更利索，也就是数据原生。数据能够更好地规模化之后，任务泛化应该会有更好的突破。 所以从看得更清楚、想得更明白、干得更利索这三点来看，经过半年时间，我们正好把前两点都由原生这个概念往前推了一步。 我没想到会来得这么快。希望数据原生也能比我预期来得更早。这样的话，就真的是物理世界有自己的一套从模型到架构、再到数据的闭环原生体系。 张小珺 现在各个领域的玩家都想争夺机器人大脑：有你们，也有原来的机器人公司，它们会重点做 AI；还有大厂和模型公司，如果有精力，也会做机器人的模型。你觉得你们的优势是什么？产业竞争到最后会是什么格局？ 沈宇军 格局可能跟大语言模型差不多：会有大厂做得比较好，也会有两三家创业公司做得比较好。 张小珺 你们属于大厂还是创业公司？ 沈宇军 我觉得我们现在跟创业公司更接近，但位置确实比较特殊，属于背靠大厂的创业公司。 从智能层来看，可能会有大厂的一两个玩家，创业公司的两三个玩家。大家各自跑出各自的生态，包括数据生态、本体生态和场景生态。 每家模型有了自己的生态之后，场景和本体可能会给这个生态提供数据，模型也会慢慢分化，更适合各自的生态。 当然最后大家可能都会走向通用生态，也就是进入家庭。但在那之前，每家模型可能会有不同特性：有的适合精细任务，有的适合长程任务。 我觉得最后应该是几家各有特色、几家鼎立的格局。 张小珺 你对人形机器人这个构型有执念吗？你觉得未来进入家庭的机器人一定是人形机器人吗？ 沈宇军 从创业公司的角度来讲，我觉得一个阶段解决一个最核心的问题就好。 现在最核心的问题是智能不够，还没有到轮式、足式，或者本体到底长什么样是核心卡点的时候。 现在的核心卡点是智能不够，而智能不够的核心卡点是数据不够。所以怎么让数据 scale up 才是重点。 当智能有了之后，才能做落地尝试。只有做落地尝试，产品才会迭代，产品迭代之后硬件才会迭代。 现在大家争论到底是足式还是轮式，其实不管是足式还是轮式，我都不会让它现在进家庭。因为智能还没到位，也没办法做 user study。 张小珺 你现在的工作状态是什么样？ 沈宇军 这两天好一点。前一阵子模型处于要出来、还没出来的阶段，其实比较紧张。 最近发布完之后，整个人的状态会轻松一些。接下来我应该会再想一想下一步到底怎么做，先复盘一下，比如数据怎么跟模型更好结合，这些方面会考虑得更多。 张小珺 受到的市场反馈怎么样？ 沈宇军 目前看应该还可以，尤其是技术社区里，对我们做的这一套还是比较认可的。 行业可能还需要一点时间，毕竟刚发布。等行业试用过之后，可能才能拿到更多反馈。 张小珺 你们现在驱动的核心指标是什么？是落地数据，还是模型智能方面的数据？ 沈宇军 我们还是两头抓。一边探索智能上限，一边抓落地，这两个方面都会关注。 张小珺 我们一开始聊到了你的学习经历。你是汤晓鸥老师的学生，对汤老师有什么印象？ 沈宇军 汤老师是一个比较幽默的人，这是我对他最大的印象。他讲话跟我一样，也带一点东北人的感觉，所以听他说话比较亲切。 另外，我觉得他能很快从一个混沌的、混乱的状态里抓到主要矛盾。 张小珺 有例子吗？ 沈宇军 毕业答辩的时候，他要参与答辩。很多老师会问你是怎么做的，但他当时问了我一个跟行业、跟这个东西到底应该怎么用相关的问题。 我当时做的是图像编辑、视频编辑那套东西。上一代 AI 最大的痛点就是不好落地，没有很好的场景。 张小珺 现在有人问你们这个模型怎么用吗？ 沈宇军 肯定有。具身智能不像大语言模型或者多模态模型那么容易传播，因为它离大家的生活实在太远了。我必须有一个机械臂，才能知道这个东西好不好用。 它现在更多是面向开发者的。离受众最近的还是娱乐场景，这是最快能感知到的。 开发者肯定会希望你告诉他这个东西怎么用好。因为这次发布的东西基本上都是预训练模型，预训练要真正落地，还要经过后训练。 后训练本身是很难的事情。不是把数据采完、扔进去、简单调一调参数就结束了。 如果效果不好，到底是没训好、数据没采好，还是模型本身不好？怎么诊断问题？有了诊断之后怎么解决？这是一个很难的事情。 因为它离大众比较远，也不是一个可以直接使用的模型，所以怎么让别人感知到模型真的好，需要能力体现。 大家会问很多问题，比如怎么复现、想让它做一件什么事应该做哪些步骤。 张小珺 我觉得你们那个玩桌上足球的 demo，如果能在现实场景里做一个跟大家互动的机器人，应该会有很多人愿意玩。 沈宇军 对。换句话说，越能直接应用，大家的问题就越少，互动性也会越强。 张小珺 你对机器人的未来发展还有什么展望？ 沈宇军 我希望它能离大众更近一点，变成像语言模型一样的东西：推出一个 app，每个人都能体验。 如果未来机器人更普及，家里都有机器人，或者有一个比较简单的渠道就能拿到机器人玩起来，我觉得那时候成就感会更多。 现在我跟爸妈说我做了什么东西，他们也听不懂，没有体感。如果有一天我能直接带一个东西给他们，告诉他们这是我做的，我觉得那时候的成就感会跟现在完全不是一个量级。 张小珺 最后几个快问快答。全球范围内你喜欢的食物？ 沈宇军 日料。 张小珺 全球范围内你喜欢的地点？ 沈宇军 家。 张小珺 我们的嘉宾都会给观众朋友推荐一本人生之书，你会推荐哪一本？ 沈宇军 《笑傲江湖》。我特别喜欢武侠，从小就比较迷金庸的小说。 金庸的小说我每一部其实都看过很多遍，但每次推荐都会推荐《笑傲江湖》。我特别喜欢令狐冲身上那种比较豁达的状态，什么都不太在乎，我非常喜欢。 张小珺 你是这样的人吗？ 沈宇军 我希望成为这样的人。 张小珺 如果机器人有性格，你希望它是什么性格？ 沈宇军 我希望它是个“J人”。 张小珺 他好干活？ 沈宇军 对，我觉得核心还是要实用。我希望它是个“J人”。换句话说，如果在提供情绪价值和干活之间，我会果断选择干活。 张小珺 为什么不是提供情绪价值？ 沈宇军 我可能觉得情绪价值应该由人来提供。 张小珺 你心目中影响机器人发展进程的几篇论文是什么？ 沈宇军 可能不一定算论文。像 Generalist 现在已经不太写论文，而是写 blog，我觉得这也可以算。 我觉得原音疑似 Generalist 的原音疑似 GN-1 对我们是比较大的一个影响。它的数据规模化做得非常好。Physical Intelligence 的工作也非常好，再就是 Google DeepMind 的一些工作，我觉得也做得很好。 张小珺 我有时候在想，如果我们在中国没有用到中国本土的硬件优势，会比较可惜。 沈宇军 对，我也觉得比较可惜。 硬件优势在这一次机器人发展中，应该会发挥不可磨灭的作用。机器人不管采用什么数据采集方式，一定依赖硬件，也一定依赖传感器。 互联网的数据，是从互联网时代积累下来的红利。但具身智能相比互联网，尤其是具身数据，可能存在一个空窗期。现在大家都在同一起跑线上。 所以在收集数据这方面，中国可能有优势。 张小珺 你们是不是应该利用这种优势？ 沈宇军 是的。我们有一个数据联盟，也就是有一些比较好的数据合作伙伴，会跟他们一起想办法把数据做得更好。 数据规模化一定需要标准。所以这方面我们正在积极利用行业优势去做。 张小珺 基于你当下的认知，一个关键的重要 bet 是什么？ 沈宇军 我觉得就是具身原生。我非常相信具身一定要有自己的模型。