E244｜机器人走错路了？与苏度韩铮聊聊具身智能的3D数据、路径分野与硅谷竞赛

之前我反复在播客里跟机器人公司讨论一个问题：我们能不能通过一个 Demo，就判断一家机器人公司的技术好坏？很多人告诉我的答案是不能，原因在于，大家并不知道在这个 Demo 之前，这些机器人公司有没有针对特定环境做适配。哪怕我们说只是在展出前几天到现场采集一下环境数据，可能都会对 Demo 有很大的帮助。所以，如果对环境做了更多优化，机器人 Demo 的效果就会更好。

1. 苏昊早年经历：从图片标注ImageNet，到3D数据集ShapeNet

而今天我们要聊的这家公司叫苏度科技，它就敢在一个完全没有训练过的新环境中做 Demo。它的效果到底怎么样？说到苏度，在机器人这条路上，其实有一个绕不开的名字，就是它的联合创始人苏昊。教机器人看懂世界的 ImageNet 有他，主流的机器人仿真器大多都和他的团队有渊源，连硅谷最火的几家机器人公司，比如 Physical Intelligence、Google DeepMind 的机器人团队，也都有他的学生和师弟师妹。可以说，他们是这条路上的开山一派。

而他自己现在最想啃的，也是机器人最难的那块骨头，就是让机器人动手。让机器人在开放世界中动手有多难，他的合伙人韩铮是这么说的：机器人如果要对物体进行操作，难度要高两到三个数量级。

另外，今年我在跟很多机器人领域的人聊天时，大家一直认为，在现在机器人的训练方法和实现路径上还没有收敛。韩铮并没有站在硅谷主流的那一派路径上，他认为在今年下半年，所有人都会重新回到他们现在正在走的这条路上。

我们有一个暴论：可能从今年下半年开始，上下分层的这种结构会重新回到主流里边来，而且可能在之后，大家选择的方案推到商业化里边去，可能会成为最终的方法。

2. 什么是Sim-to-Real（从仿真到现实）？

这期节目我们就来聊透三件事：机器人的 3D 数据从哪里来；Sim2Real，也就是从仿真到现实，这条路到底能不能走通；以及这场全球机器人竞赛中，各大头部玩家的技术路径是什么，谁能真正地跑出来。

3. 不做垂类押注，而是构建开发者生态，目标是成为机器人时代的“iOS+硬件”

今天跟我在一起的嘉宾，是苏度科技的联合创始人与 CEO 韩铮。韩总你好。

泓君你好，很高兴来到《硅谷101》的节目。

我看你们现在做机器人，其实也很火。我看到新闻说，投资人基本上很难抢到你们的投资份额，因为现在做机器人的公司非常多。

4. 白盒与黑盒之争：分层模型，在预训练中融入物理理解

我初步把它分成两层：一层是造大脑的机器人公司，以硅谷的 Physical Intelligence 为代表。这类公司在硅谷我觉得还蛮多，包括最近拿到融资、估值 14 亿美元的 Skild。还有一块是造身体，做人形机器人和机械臂的公司，比如马斯克的 Optimus、宇树，包括 Figure。Figure 算在哪一边，我们待会儿可以再详细聊。

但我觉得，大家初步看到一家机器人公司、看到它的 Demo 时，其实很难分清楚这家公司到底在做什么。所以开始的时候，您要不要简单给您的公司做一个定位，看看苏度在做机器人的哪个环节？

好的。我们其实是大脑和本体都做，这也是现在很多机器人公司都在强调的一点，就是要全栈，要做整个系统。

但整个团队的背景，其实是在将近 10 年以前，就开始往机器人以机器学习的方法来驱动机器人这个方向做探索和尝试。当时主要都是以软件为主。直到 2022 年，团队开始以商业化的方式做准备时，我们才开始正式考虑自己来做硬件本体。

当然，这也是因为多年积累下来的经验。如果自己不碰本体，也很难把大脑的能力展现出来，甚至很难去做一些迭代和探索。所以简单来讲的话，我们是做全栈。

如果我们要类比一家硅谷的、大家现在已经比较熟悉的机器人公司，你觉得你们做的这些环节跟哪一家更接近，还是说市场上没有对标者？

我觉得硅谷的机器人公司，不管是 Optimus、上一代的波士顿动力，还是 Figure、1X，其实都是本体加模型。不过，这几家公司在模型侧的能力，相对来说比 Physical Intelligence，包括 Skild，要稍微没有那么专注。

所以你们现在核心最专注的方向是什么？是模型的大脑层，还是操作层面？

比如刚刚提到的 Optimus，它是大家最熟知、最经典的人形机器人。它除了要做手部操作，也要做运动。我看到你们的 Demo，那台机器人其实是带一个滚轮的机器人，你们核心的控制是集中在手部环节的。

我并不是说做人形就一定比做机械臂差，因为我们之前的播客也讨论过，灵巧手可能是机器人最后一公里、也是最难的一部分。我想简单地做一个定位上的区隔。

我觉得，做机器人仿生手模型、做基础模型，特别是做操作模型的大部分团队，其实都会类似于我们以及 Physical Intelligence 这样的公司，专注在 gripper，也就是二指夹爪，以及它对于物体的操作能力上。

先把它拉到一定的能力边界，再针对一些二指夹爪不太好处理的情况，看能不能用多指手或者灵巧手来处理。

但人形机器人公司为了让大家感觉到像人，我觉得这一波风潮其实是在大概 2022 年左右、Optimus 出来的时候。大家对于 Elon Musk 描绘的类人型机器人，重新回到公众视野，起到了非常强的引导作用。

但在我们看来，机器人里要做的物体操作任务，可能 90% 不一定需要灵巧手。剩下的 5% 到 10% 的任务，才真正需要多指手。

另外，是不是双足和轮式作为现在机器人的下肢，还不是特别稳定？一会儿我们可能也会提到，像宇树机器人、波士顿动力、Figure 和 Optimus，现在对于环境的认知和感知其实还不是特别强，也经常会出现跌倒的情况。

所以在现在这个阶段，我们可能还是会把操作任务和下肢灵巧程度相对解耦。但未来我们感觉，可能还是会回归到同一条线上来。

未来的同一条线，你指的是通用机器人？

对。通用机器人的构型，应该是一个带有足式，或者我们自己内部认为可能是轮足式的构型。它在平地上可能会有一种稳定、高效的移动方式，但遇到一些特殊地形时，还是会像人或其他动物一样，在双足和四足之间以某种形态移动。

我觉得，要看每家公司做机器人的思路有什么不一样，可能要从它的整个历史说起。

我知道你的联合创始人苏昊是李飞飞的学生。李飞飞当年成名之战是 ImageNet，她给上百万张图片做人工标注，然后让机器第一次看到了足够多的世界。苏昊其实就是 ImageNet 的核心作者之一，后来他把这个思路搬到了 3D。

我觉得这跟今天苏度的整个历史也是一脉相承的。所以你可不可以简单跟大家介绍一下，ImageNet 当年给机器看海量的、带标签的图片，这件事在整个机器人业界是什么样的意义？为什么它会成为整个 AI 爆发的一个导火索？

苏昊在求学生涯里一共有两个 PhD 学位，其中大概将近 4 年时间，他是在李飞飞老师当时位于普林斯顿、后来位于斯坦福的实验室里。核心项目就像您讲的，实际上是 ImageNet 这个大项目。

他曾经跟我讲过，李飞飞对于整个 ImageNet 的推动和架构，实际上是非常有远见的。核心总结来讲，就是用一种结构化的方法，复现世界上典型物体的 2D 图片以及对应的文字描述。

比如我们桌子上的杯子，需要一系列典型图片去描述世界上几乎所有的杯子。但是对于同样款式的杯子，一张或者两张图片可能就够了。

5. 3D数据收集，难在哪里？

这个思想在 2012 年、2013 年，他的第二个 PhD 导师 Leo Guibas 在斯坦福的实验室里开始的时候，也把这套思想带到了 3D 里边。所以那个时候，他开始组建 3D 大数据集 ShapeNet。

当然，后续还有一些非常关键的工作成果，比如激光雷达以点云为表示的表征方法 PointNet，这些都是他的核心工作。

但回到 3D 大数据集 ShapeNet，它最大的挑战就在于，相比于 ImageNet，你可以把互联网上几乎所有的图片和下面的文字描述、标题梳理清楚。最早的时候，他们应该是在普林斯顿使用亚马逊 Mechanical Turk，以众包的方法去做标注。

但 3D 模型其实是非常欠缺的，这就是最大的挑战。

我理解，李飞飞当年 ImageNet 为什么这么火，是因为本质上她也是在堆大规模的数据，然后让机器识别，有一点像今天的 Scaling Law，只是在那个时间，大家还没有意识到可以用一个规模化的数据库去解决机器识别的问题。

她自己做了一个大规模数据库，我觉得在那个年代还是非常有创意、有想法、有远见的思想。把这个思路搬到 3D 领域，我能想象，比如在 2D 里，我们要在一张图片里面识别杯子，它就是一个杯子，我只需要一个标签。

但 3D 的话，比如今天录音的办公室里，杯子放在一张桌子上，桌子上还有手机、录音笔。首先，它的标注维度会大很多；其次，你的文字标注怎么解决这种空间上的物理关系，甚至是力的反馈？我觉得这件事听起来要难很多。

对，这里面的工作其实要复杂很多。所以，愿意去做 3D 大数据集的人，相比于做 2D 和语言大数据集的人，要少很多很多。

3D 大数据集其实有一系列工作。第一个核心工作，就是苏昊在斯坦福第二个 PhD 期间的核心工作之一——ShapeNet。ShapeNet 应该有几十万个 3D 模型，但实际上还远远没有达到像 ImageNet 那样覆盖世界上所有物体、所有模型的程度。

ImageNet 当时做到那么大规模，收集了多少数据？

最后应该是 1400 万张图片和文字的映射。

ShapeNet 是几个人的规模，现在做到了几十万条 3D 数据？

对。但当时的约束是，你要找到开源、可用的 3D 模型。这些 3D 模型理论上应该跟 ImageNet 类似，还是需要一个上千万级的物体集合，能够把整个 3D 几何，包括刚才您提到的材质、摩擦、弹性形变等参数都描述出来。

比如我们现在做的椅子，它的轮子和椅子本身，其实还有很多动力学约束。所以，3D 数据集 ShapeNet 只有基础几何和基础表面贴图。我们大概能够预估这些物体的材质，比如杯子大概就是玻璃、塑料、金属，它会有一个范围。

但再往下一步，同样一个物体可能会被分成不同的部件和组件。比如拿到一个饮料瓶子，会分成瓶身、瓶盖。围绕这个标记和标签，有时候甚至需要标注瓶身上哪个是瓶底。这些其实都是对部件的标注。

但标到 PartNet 的时候，就只有几万件物体了。我们需要从之前的 ShapeNet 再做一定筛选、标注，因为这里面涉及大量人工，这时候就会对数据标注成本提出非常高的要求。

再进一步，比如对于这个瓶子，它的瓶盖究竟是往左拧还是往右拧，拧动之后能不能把它拧下来，这就叫动力学约束的标注。这个数据集叫 PartNet-Mobility。到现在为止，如果我没有记错，它还是开源数据里最大的、带部件和动力学约束的数据集，但这里面只有不到 3000 个带标注的物体。

这其实对很多方面都有很大约束，包括机器人合成数据的训练生成，以及现在讲的视频生成中如何保证连续的空间和物理一致性。

ShapeNet 是从什么时候开始做的？

应该是在 2013 年、2014 年的时候。

我们说，之前让机器做 3D 数据收集，可能标注是一件非常耗费时间和成本的事情。现在考虑大模型和机器人的训练方法，如果我用 ShapeNet 这一套开源数据集去训练，跟直接对着视频网站上成千上万的开放世界视频去训练，因为后者能拿到的数据更多，而且视频里也有一致性的动作，它的核心区别点是什么？

我觉得核心区别在于，2D 图片和视频里有三维信息，但不太全，也不太准。

这其实也是 Sora 当时训练管线中的一部分：用 Unreal Engine 和 Unity Engine，从 3D 模型里渲染大量 2D 视频和图片，然后反过来做训练数据集。但由于互联网数据太杂，它的 3D 信息其实并不是特别精准。

如果你拿它用来做自动驾驶导航，可能对精度的要求没有那么高。比如只要求有大概 10 厘米左右的精度，可能就够用了。但对于机器人操作，10 厘米的误差是绝对不能忍受的。

像我们面前的这个录音机，我们要把线缆插到对应的孔位里，要求必须在亚毫米级以内。所以，只有 3D 建模的 3D 数据集才能做到这一点，尤其是在机器人操控方向。

6. 实际效果如何？零样本通用抓取，一次性成功率98

对。机器人不管用哪一种方法，但对于我们做仿真、做 Sim2Real 这条路，要求机器人对于物理环境里的物体和环境，在几何上有比较精准的理解。那么，它对于几何精度的理解就要达到毫米级，甚至亚毫米级才可以。

所以现在 ShapeNet 是一个开源数据集，还是说它有分层，有一些开源，有一些闭源？

ShapeNet、PartNet、PartNet-Mobility 都是开源数据集。但我们自己内部用的，肯定不是这些开源数据集。

您觉得苏昊在做完整个 ShapeNet 以后，现在开始跟你们一起做苏度机器人，这中间沉淀下来的最核心资产是什么？

我觉得这是一个特别好的问题。走 Sim2Real 这条路，有点像波音造飞机，很难讲其中是发动机更重要，还是航电系统更重要，还是材料更重要。它是一个比较复杂的系统工程。

所以，怎么能够把搭建这个复杂系统工程的团队建立起来，我觉得这是我们团队最核心的积累。我们团队里的很多同事，在苏昊的实验室以及成立公司之后，核心的几个大组负责人，其实都在一起工作过七八年。

了解这些人，也了解过去做这些事情的经验和方法论，这是无可比拟的优势。

对，我觉得是这样。包括数据，比如你们在做仿真器，大家能够想象到的市面上核心机器人仿真器，不管是 Isaac、MuJoCo，甚至一些新创公司的仿真器，都跟你们有千丝万缕的联系。

我先跟听众解释一下 Sim2Real，这会是我们后面反复提到的一个名词。它直译就是从仿真到现实：让机器人先在电脑模拟的虚拟世界中训练，练成之后，把学到的东西搬到真机上，让它在物理世界里也能使用。

大家注意，重点其实不是“仿真”两个字，而是“搬”的这个动作能不能直接搬到现实世界，搬过去之后还灵不灵。这是这条技术路径上最大的难题。英伟达的 Isaac 仿真平台，就是这条路径最大的推手之一。

与它相对的另一条路径，是跳过仿真，直接用真实世界采集的数据来训练，比如让人手把手地教，然后机器照着学。所以我听下来，你们算是这个领域的开山一派？

一定程度上讲，肯定是这样的。

比如“具身智能”，Embodied AI 这个英文提法，应该是 2019 年苏昊和很多北美教授联合提出的一个有测评标准的新研究领域。“具身智能”这个翻译，也是他当时合作过的一位教授回到国内之后，找他一起讨论、商量后定下来的描述。

但用机器学习的方法做机器人控制，我觉得他和 Sergey 他们应该是同一拨非常早开始探索的人。

所以你们公司成立是在什么时间？

苏度公司正式成立其实是在去年上半年，但我们以商业化和半商业化的方式开始组织，是从 2022 年下半年开始的。

我记得苏昊其实很早就拿着 ShapeNet 整套思想，做跟机器人、跟 3D 数据集相关的一系列探索。那是在什么时间？

应该是在 2012 年、2013 年。

他做这个决定，是因为 ImageNet 出来之后，他自己有一个想法：要做一个类似神经网络的架构。但当时跟他配合的人没有那么多。ImageNet 挑战赛上 AlexNet 横空出世之后，对他的冲击我觉得是非常大的。他觉得自己可能错过了一个非常重要的机会，所以开始思考下一站大的领域是什么。

于是，他想把“大数据集加神经网络”的方法带到物理世界里。在拿到第一个 PhD 之后，他就到 Leo Guibas 教授的组里，开始搭建新的 3D 学习团队。

很早。这个过程中，不管是机器人还是现在的 AI，技术已经经过了特别多轮迭代。

比如生成式 AI。刚刚录音前，我们还花了一些时间讨论机器人界的历史：为什么在前几年，包括 2012 年、2013 年那段时间，甚至更早，大家投资机器人都不赚钱，甚至是一个失败的投资项目？而且那个时候硅谷其实有非常多好的机器人项目，比如 Covariant。

我觉得这是一个非常好的问题。我们其实在创业初期，也受到了上一波大家对于这个问题的影响。

从 2012 年、2013 年开始，到 2015 年、2016 年，当时应该是我们所说的“安卓之父” Andy Rubin 加入谷歌之后，他负责了 Google X 项目。当时谷歌收购了非常多家机器人公司，最知名的可能就是波士顿动力，后来又转手过很多次，包括卖给 SoftBank 软银，现在主要的控股股东可能是现代。

也有像您刚才提到的 Vicarious、Intrinsic，现在还在谷歌里的 Everyday Robots，不过它的硬件部门已经关闭了。当时那一波，大家可能还是想用机器学习的方法往前推进，但当时所需要的要素可能还不是特别完整。

在 2022 年，我和苏昊开始讨论他想做机器人底层操作模型公司的时候，我们讨论最多的一点就是：什么原因能够促使大家觉得，现在的机遇跟大概七八年以前明显不同？

我们当时决策的核心原因之一，就是 DALL·E 的出现。

文生图。

对，文生图。OpenAI 早期模型的核心在于，它让我们意识到，3D 的 ShapeNet、PartNet 只有几十万个模型，但图片实际上有 ImageNet、COCO 这样的上千万级数据，可以描述世界上几乎所有物体。

那么，有没有一种方法能够把 2D 升维到 3D？实际上是有机会的。从一个朴素的想法来讲，如果要在仿真器里做一个仿真模型、重建整个世界的物体和环境，理论上这件事开始变得可行了。

我们刚才一直在提，你们在走 Sim2Real 的路线。你的 Sim2Real 底层应该是一个世界模型，或者说 3D 大模型，我这样理解对吗？

一定程度上是对的。

仿真在我们推动 SAPIEN 和 ManiSkill 开始，应该是在 2018 年、2019 年左右。相比于之前的可微有限元仿真，比如飞行器和汽车制造里的流体力学仿真，以及早期机器人里的机械和力学仿真，当时的环境是只需要在一台大型机器上开一个环境，让它跟真实的机器、飞行器、汽车或机器人尽可能接近。

但新的机器人仿真器设计思路不太一样。它并不需要我们在一台大型机器或者大型集群里无限逼近真实环境，反而需要用不一样的思路：比如在一张 GPU 上，怎么能够开出成百上千，甚至上万、上百万个并行环境。

我们的要求是不需要让它看起来非常真实。比如你去看仿真器训练时的画面，分辨率其实非常低，但它要求物理一致性尽可能接近，当然也不需要无限接近。它一定要在真实和效率之间做大量取舍和设计。

所以你们选择在仿真器里更多地遵循整个世界底层的物理法则，牺牲观赏性和分辨率？

对。我们把经典牛顿力学，包括物理仿真里的很多人类总结出来的公式，都代入仿真器里，同时又给它大量开放世界的 3D 物体、环境和任务数据，让机器人在里面做强化学习。

所以你们现在的 Sim2Real 路线，包括仿真器的设计，我理解它所有的环境搭建都是为机器人服务的。

机器人对一件事情的理解，你们可能不局限于“我要去拧一个矿泉水瓶盖”，而是想让机器人操作它能看见的现实世界中的所有环境。我的理解对吗？

对。简单来讲，就是我们想把人类和整个生物对于环境的理解、交互和物体操作，这几百万年的进化过程放在仿真器里，让机器人再经历一次完整的进化过程。

数据从哪里来？

有几个方面。第一就是我们刚才提到的物体。比如，我们怎么能够建一个跟 ImageNet 一样的 ShapeNet，怎么能够把世界上的典型物体都用 3D 表征，在仿真器里呈现出来。

我理解，之前 ShapeNet 的那一部分已经开源了。你们现在是在做一个自己的 ShapeNet？

也可以说，是一个给机器人用的、更完整、更高效的 3D 物体数据集。

这一部分是现采的吗？现在大概有多少数据可以公开？

这个我们暂时没有办法正式对外透露。

但相比于 ShapeNet 以及其他开源的结构化数据集和非结构化数据集——比如 ImageNet、ShapeNet 都是结构化数据集，也就是它有分类，每个类别里的子类都有对应标签——3D 领域其实也有非常大的非结构化数据集。

比如有一个叫 ObjectVerse 的数据集，是 Paul Allen 做的 Allen Institute 主推的，实际上有上千万条数据。它的方法之一，就是把 GitHub 上所有带有 3D 文件的项目里所有文件都挖出来。

但那是一个非结构化数据集，里面可能大量都是游戏里的角色盔甲、武器。你也可以认为，这些 3D 文件有大量重复。对于机器人做物体操作来说，它们的用处不一定很大。

所以，我们自己建立物体的结构化数据集是非常关键的。但挑战在于，很多物体是没有 3D 文件的。当然，2D 到 3D 的生成是非常有效的手段，过去这些年也取得了突飞猛进的进展，但现在仍然有一些工作需要人工建模、标注和参与。

你怎么评价你们公司这一部分数据的质量？比如普通、好、非常好，可能是几个不同的等级。你觉得现在机器人的训练中，是用极高质量的数据更关键，还是需要更大规模的数据，但是质量可能没有那么高？你怎么看这两者之间的权衡？

我觉得这是一个特别好的问题。我们也没有标准答案，永远是在质量和规模之间取得平衡。但规模是要达到一定程度的。

我有一个朴素的判断：你要把世界上的典型物体、它们之间组合出来的环境，以及要做的操作任务，都进行结构化描述。你不能只列举其中的一种形态，说我找类似的 100 个、1000 个、1 万个，就能够累计到一个结构化的程度。这在机器学习历史上，不管是 2D 视觉、自然语言，还是自动驾驶，其实都没有出现过。

所以 3D 里其实也是类似的。在仿真器里要搭建的结构化数据集非常关键。但我们也清楚，不需要无限制地精确。比如单个饮料瓶，它材质的具体描述、表面标签上的文字信息、图片需不需要 100% 还原？其实是不需要的。

究竟怎么取得这样的平衡，每家公司可能都有不一样的理解。

所以你们的数据集算是什么样的质量？

在结构化理解方面，我们应该是在所有团队里面做得最好的。但另外一点是，我们也知道，在结构化数据下面还应该补充哪些数据。

所以它有没有搭完？肯定还没有。比如瓶子要怎么拧，这些动力学约束其实还是整个行业最欠缺的数据。

我们刚刚讲了 Sim2Real。你们的仿真器跟大脑这一部分，Sim2Real 后面的“2Real”，就是怎么把电脑模拟的世界放到现实世界中。

传统机器人领域里有几派争议：一个是 Sim2Real，另一个是 Real World Data。质疑 Sim2Real 的一派会认为，把仿真里的东西放到现实世界中，效果可能没有那么好。

你们其实也有机器人的本体，而且已经开始操作了。可不可以讲一下你们的执行效果，以及你看到的 gap？

我觉得，Sim2Real 相比于主要使用真机数据或者真实世界数据采集的方法，包括 teleoperation，也就是遥操作机器人；包括 UMI，用动作捕捉设备让人采集物体操作；以及所谓的第一人称数据——以第一人称视角拍摄一些视频——操作起来都会简单一些，但很难保证某一类操作任务在开放世界中的泛化性。

这指的是什么？基础模型一般的描述是，给它一个任意物体，不管是在预训练还是后训练中有没有出现过，它都能够以非常高的成功率完成任务。假如以这个维度来衡量，我们觉得 Sim2Real 是跳不过去的。

真机操作、动捕的方法，包括 Ego 方法——Ego 就是以第一人称视角拍摄，人用自己的手去拿水杯、拧瓶盖——它们的视频和图片在几何理解和精度上可能不太够。

所以我们在仿真里，核心就是要重建这些物体和环境的 3D Ground Truth 信息。但如果规模不够，其实很难体现出 Sim2Real 的优势和能力。

多大才算一个规模？

这是一个很好的问题。我们 4 月份放过一个结果，叫苏度 R1。苏度 R1 实际上是我们去年 11 月和 12 月内部的一个结果。

在我们看来，这可能是整个机器人领域尝试用 Sim2Real 路线，做到 Zero-Shot 开放世界某一类任务，并填平 Sim2Real gap 的第一次尝试。

好，我们接下来一起来看一下 4 月份的 Demo。

这个视频里，我们连续展示了 1 个小时。我们大概试了 100 多个物体，操作了 200 多次，但这些物体都没有出现在我们的训练数据里。物体失败之后，我们也没有补充后训练数据，所以这是一个针对物体通用抓取、第一次就能做到零样本高成功率的结果。

我们会改变光照、环境和物体。到 1 个小时结束时，一共做了 200 多次物体抓放操作，准确来说是 240 次抓放操作。单次针对一个物体的抓放成功率接近 98%。

但如果第一次失败，机器人还会用闭环控制的方法迅速调整策略，就可以做到 100%。

这个结果发布之后，整个研究社区里有一派声音认为，我们肯定是精心控制了变量，包括这些物体和环境是不是在训练里见过。大家对这件事是有质疑的。

所以你们有做控制变量，确认这些物体是不是在训练集里见过吗？

没有，完全没有。

我跟大家先简单解释一下，因为大家可能看不到这个视频。你们第一次 Demo 的画面，是一台机器人站在操作台前，抓取不同的物体。

这些物体包括饮料瓶和小零食。每一种物体的形态，在我看来都不一样。比如这个瓶子可能是椭圆形的，也可能是锥形的，这可能要求机器人抓取不同的部位，才能把它抓起来。

对，还是很不一样的。

这个视频时长是 60 分钟，你们是连续拍摄的，对吗？

对，连续拍摄，没有间断。上面显示一共是 240 次抓取。

所以大家质疑的是，你们可能看过这些数据。

但其实没有。

我们当时就决定，要在公众面前给大家做一次展示。所以 6 月初，我们首先在维也纳举行的 ICRA 大会上，把这台机器人第一次带到研究者面前。

我们大概统计了一下，在几天的会议里，可能有将近 1000 人来到我们的展台前，用他们自己随机拿来的各种物体进行测试，比如参会证件、手机、耳机、小玩偶。

最近我们也刚刚从 CVPR 的会场回来，同样搭建了一个展台，让整个学术界和工业界来测试。之前大家以为我们这个视频可能是处理过的，但在非常随机的环境下做测试，这在以前类似的学术会议上从来没有人做到过这样的展示。

原因之一就在于，它几乎不给你时间准备。比如以前有些公司会在学术会议开始之前，在旁边租一个 Airbnb，把自己的机器人放在那里收集大量数据，可能要提前一个月进场，做好处理之后再反复展示。做咖啡任务就是这样。

所以它是针对单个场景做适配和练习的？

肯定要。

你们没有？

我们不需要。不过这两者的区别之一在于，我们更关注物体的基础操作，比如这种短的基础操作、高频动作，以及 Zero-Shot，也就是一次性抓取成功的单个动作。

我理解，其他公司做的是连续动作，因为做咖啡是一个连续动作。

对。它相当于要把这个连续动作让人遥控机器人完成，至少要出现过很多次。如果换一个咖啡机，或者是同样的咖啡机但换一个环境，它的成功率肯定会下降不少。这时候怎么办？包括绝大多数机器人模型公司，都还要再补充一定的数据去做拟合。

做单次一次性抓取，跟做一个像其他公司，甚至很多灵巧手公司那样、长达 21 步的长程任务，也就是复杂动作的拆解，每一步都需要连续完成，你觉得这两者哪个更难？

如果是真正做机器人操作的社区，肯定会认为，Zero-Shot 稳定地完成开放世界基础物体的短操作，成功率其实更加核心和关键。

长程任务的复现也非常核心和关键。但如果短技能足够稳定可靠，泛化性足够高，就可以把短技能拼成各种各样的长程操作。这其实也是 ManiSkill 整个核心框架的思想。

所以我理解，最难的部分是开放世界，而不在于动作是短还是长。只要你在开放世界里短操作能成功，那么连续成长程任务只是迟早的问题。

简单讲是这样。但里面其实还有很多核心工作。比如要把短技能串联成长程技能，其实也是一种类似思维链的方法。

思维链大概在 2023 年提出的时候，我们其实也有同期的一项工作，叫 Chain of Thought Predictive Control，也就是 CoTPC。它专门处理短任务如何串联成长程任务，是一个类似思维链的框架。

我看到你们视频里的展示，这台机器人是一个两指夹爪。我们知道，在灵巧手里面也分得很细：有的是两指夹爪，有的是手部有几十个关节，可以做一些复杂动作，比如在手内转小球、穿针引线，这些需要非常精巧的操作。

这两者在训练方式上会有不一样吗？还是说灵巧手是你们下一步的目标？

灵巧手的话，我们在 2022 年、2023 年，甚至更早，都有很多研究成果。

但一般在做机器人操作模型时，大家会把这个问题稍微解耦。绝大多数任务其实并不需要灵巧手操作。直到现在，行业已经取得了很多进步，但灵巧手的稳定性和可靠性还不是特别好，成本也没法控制得特别优秀。

当然，相比早期的 Shadow Hand——可能几十万美元一只——已经好很多了。但到现在为止，通过仿真我们可以知道，对于物体的操作，比如手内转魔方、盘核桃，这些的确需要多指手。有时候它不一定是五根手指，但确实需要多指协同。

穿针引线有时候也不一定需要灵巧手，主要还是看成本。

穿针引线可以直接用机器工艺，是不是？

对。所以我觉得您提到的这一点特别关键：灵巧手肯定是最通用的，但在稳定性、可靠性，以及一开始大家做探索时降低变量方面，灵巧手是一个选项，但不是性价比最高的方法。

因为今天录播客的时候，我是第一次看你们的 Demo。我知道你有更远大的梦想，就是实现更加开放世界的通用机器人操作。

但我直接看到这个 Demo 的感受是，这跟几年前 Vicarious、Covariant 想做的事情非常相似。不过我也跟它们内部的人聊过，它们当时没有办法做到这么稳定。

我记得它们当时的 Demo 场景是，把一堆从丝芙兰买来的女生化妆品小样，比如唇膏和各种小东西，放在一个筐里，让机器人去抓取，看它的成功率。当时它的成功率其实不是很高。

我们也知道，亚马逊收购了 Covariant 的核心创始团队。我能想象，这种基于仓库物流的分拣已经有超级多的工业应用场景了。

所以在商业化上，虽然我知道你可能还有更远的梦想，但你会考虑先在一些垂直应用场景里做商业化部署吗？

我觉得这是一个特别核心的商业化思考。

我们的策略实际上是认为，机器人的各种行业应用非常多。作为我们自己一家公司，第一是做不完，大概有成千上万，甚至十万、百万种不同的机器人应用。它们应该由每个垂类应用中最理解场景的团队去推动和参与。

我们自己的定位是，先把刚才看到的抓物体能力，以及之后会推出的一些基础操作技能，做成可以排列组合的能力，交给每一个想拿它去亚马逊做化妆品分拣的人。它也可以做玩具分拣、零食分拣，同时也可以拿到工厂里做零件上下料和组装，还可以进入家庭，比如把吃完饭的桌子收拾干净。

我们希望做到的是一个底层基础、短技能稳定可靠的基础模型，提供好 API，并且能够把这些基础技能拼成各种各样的长程任务。

但它的要求在于，大家要有这样的想法，搭建类似于大语言模型里 Agent 的上层应用。我们有一个新的描述，叫 Adapt。

比如今天我要在这个会议室里再拿一杯咖啡，可能要从旁边的屋子找到咖啡机，按好按钮，端着杯子回来，中间还要经过两道门。我们希望这个任务在任何办公室里都能够完成，但只需要使用同样的一套逻辑。

这一类我们都叫机器人的上层应用。我们希望大家在使用我们机器人的完整系统，包括本体和底层模型，搭建这类应用时，能够做到：假如我是一个上层开发者，开发的是往会议室送饮料的应用，那么它在任何办公室都可以起作用。

大家跟你买的是什么？是一个机器人的本体，加上模型，再加 API 的调用次数吗？

简单来讲，是本体加我们的软件支持。上层应用实际上由开发者来开发，我们也可以帮大家做二次分发。

这个模式其实回到我们如何理解机器人的商业模式。假如从硬件形态来看，它更接近汽车：里面有大量电池、电机和计算单元，相比汽车体积会更小一些，但结构上比较接近。

但从商业模式上来说，我们一直认为它更像智能手机。会有公司提供类似 iPhone 或 Android 的产品，它有硬件加操作系统，也有完整的 SDK，开发者可以在上面搭建各种应用。

可以贴牌，但更重要的是，有人去做 Uber，有人去做 DoorDash，国内有人做美团，有人做滴滴；同时还有人去做 Instagram、小红书，以及各种各样的应用。

我开始听到你这个商业模式时，本来想把它比喻成安卓手机，但后来想了一下，如果说你们是一个安卓操作系统，那还说小了。

因为手机的硬件可以自己制作，操作系统只是购买软件。但我理解，你们现在卖的是整套机器人，需要硬件和软件一起卖，因为机器人的硬件和软件是一个操作整体，很难说买一个软件，放到一台新的机器人上就能适配。

这其实也可以回应您前面提到的问题：Sim2Real 的差距怎么解决？

核心原因就是，硬件和软件要一起设计。包括我们在仿真器里仿真的这台机器人，也有两个要求。

第一个，仿真器不是万能的。我们可能有一些构型，或者某些组件、元件，现在还没有办法仿得特别好，或者还没有来得及处理。这时候就需要让机器人在做硬件选型和构型时，使用仿真器支持得比较好的方法去设计和搭建。

第二，硬件本身也有各种差异和噪声。即便我们自己在设计同一款机器人，每台个体也都有差异，这是不可能 100% 填平的。包括同一台机器每次上电时，表现其实也不太一样。

这时候，在仿真器里就要对这些噪声和差异做一定仿真，但前提是差别不能太大。

所以我理解，Sim2Real 这条路径一定要跟机器人的本体绑定在一起。

对，我们觉得是强绑定。

虽然在成立公司之前，我们做开源的 SAPIEN 和 ManiSkill，包括 Isaac，大家都在强调可以支持各种不同的构型，但我们想说，开源方法都是研究方法，它极度简化了很多东西。

比如机器人导入仿真器时使用的 URDF 格式，对于几何、动力学约束都做了一定简化。它不太会考虑电机控制中的噪声、响应曲线的迟滞，以及每次上电时的差别。

这些细节在研究界可能还没有办法考虑得这么多。但如果要做一个稳定可靠、能够解决 Sim2Real gap，并且在开放世界中具备足够稳定可靠能力的机器人，就要把它当成一个综合系统来考虑。

所以，靠跟硬件整合是一条解决 gap 的路径。还有其他方式吗？比如在软件层面，有没有调控和解决的路径？

我觉得所有方法都要有机结合在一起。比如数据规模和结构化规模，如何提高仿真效率，以及要不要使用真实世界数据训练，都是其中的一部分。

在仿真里，我们也会让机器人去看人做操作，研究哪种方法更加高效。

还是拿瓶盖举例。假如你要让机器人把瓶盖拧开，会发现机器人一开始可能碰的都不是瓶盖，可能会碰到饮料瓶的标签或底部，甚至把它往上推一下。

这些在早期强化学习探索中，都是相对随机的探索。但如果让它看一段人的操作，比如人做瓶盖操作时，会先接近瓶盖，然后在附近做一些动作，它强化学习的效率也会变高。

这些其实都是强化学习框架设计中的问题。特别是 Model-Based RL，最难的就是如何给反馈，如何把反馈设计好，甚至如何把它批量自动化。

我觉得，机器人手去拧瓶盖的难度，跟你在仿真器里面让机器人自己运动的难度，还是完全不一样的。因为手拧的角度和控制变量，不管是哪一个，差一厘米区别都非常大。

不用一厘米，几毫米。

对。您刚才提到的这点其实非常核心。仿真里的强化学习和 Sim2Real，在波士顿动力、宇树这样的人形机器人和四足机器人的 locomotion，也就是运动控制上，已经得到充分验证。

而且，比如使用英伟达的 Isaac，其中一部分强化学习引擎也是你们团队成员早期贡献的，大家都有参与。

但机器人如果要对物体进行操作，难度要高两到三个数量级。

你说的是操作层面？

对，操作层面，比如拧瓶盖，包括跟桌上很多东西进行交互。

这很有意思。上个月我们有一个线下英文论坛，当时英伟达刚好有一个证明 Sim2Real Scaling Law 起效的研究成果，说明可以用 Sim2Real 在现实中真正控制机器人的运动。

我印象很深，当时我在活动上问了那位英伟达科学家：你们控制大运动听起来已经可行了，但控制灵巧手是不是仍然是一个非常关键、还没有解决的问题？

我觉得今天跟你的聊天，好像正在找到这个问题的答案。

我们之所以说难度要高两到三个数量级，是因为如果只需要关注自身动作，其实不需要理解世界。不需要知道物体的形状，不需要知道它的材质，也不需要知道怎么移动到物体附近，以及接触到物体之后如何适度调整。

但对于物体操作，它首先要构建结构化数据。这在 locomotion，比如做姿态控制时，实际上没有这个问题，它只需要关注机器本身。

第二，它还需要理解环境，以及大家现在所说的 World Model 中非常重要的一支——机器人对于物理世界的理解、推理和预测。运动控制也不太需要这些。

所以你们的机器人是真的理解物理世界，还是只是训练数据比较多，不需要理解为什么，直接输出就好了？

我们的模型相比于另一派，比如 Physical Intelligence 主要推动的狭义 VLA，也就是模仿人类动作的端到端模型，需要对物理世界中的物体、环境以及未来变化有强理解和强预测。

它并不是一个黑盒模型。对于底层，我们一定要知道机器人移动的过程中，包括开始接触物体之前、接触过程中，每一个推理和判断，以及对未来的预测，都要有认知才可以。

你刚才提到你们的模型不是黑盒模型。

我们并不是黑盒模型，它是可解释的。为什么要接触和操作物体，为什么要做调整，其实都是可解释的。

比如我们抓这个杯子，一开始可能没有抓起来；或者拧瓶盖没有拧动，我们会大概知道它在下一个预测状态中会是什么样子。但核心就是闭环控制。

当手接触到瓶盖时，用两个手指、用一个小的力量去拧，但它没有拧动，可能有两种情况：一种是需要继续加大力度；另一种可能是某个国家的瓶盖设计方向不太一样，有的是左旋，有的是右旋。

我看你们的 Demo 是抓取物体。抓取物体和拧瓶盖，我理解对机器人的操作要求还是不一样的。

对，还是不太一样。

我们是这样定义的：ManiSkill 在 2020 年左右开始推出时，就把机器人底层的基础操作分成了一些类型。过去五六年到现在，它应该仍然是机器人物体操作领域最大的挑战赛和基准测试之一。

里面的任务会分成物体抓放、带有触觉的插线和接插、组装等很多任务。常见比赛里，一般会设置十几种任务。

你刚刚提到你们不是黑盒模型。但我理解，现在硅谷最火的公司，比如 Physical Intelligence、Skild，做大脑、纯做软件和模型的公司，还是在尽可能搭建一个黑盒模型。

因为它们遵循的是这一轮生成式 AI 崛起的范式：数据量越大，机器越智能，未来赌的是通用性和开放场景下的智能程度。

我之前也跟一些做机器人行业的人聊过，为什么白盒模型这么多年没有起来？因为人能够预测和想到的情况是有限的，同时很难解决很多场景里的边缘案例。

所以，到底是搭白盒还是搭黑盒？你们是怎么想的？未来又怎么评估？

我们的模型在预训练过程中是有分层结构的。

在预训练时，我们需要让机器人知道，对于物体未来所在的环境，它需要对几何、材质和运动学有理解；包括在做操作时，也要有一定的预测、推理和认知。

但最终在端侧部署时，我们也是一个端到端模型。

分层？

对。其实在预训练时，预训练的是大脑和软件这一层。

比如我们让机器人在仿真器里知道物体所在的几何位置，包括对周边物体材质的预估、重量的预估，以及它是否知道这个物体实际上分成瓶盖和瓶身。操作时，大概应该像逆时针旋转，这些都是它的理解和推断。

这一段是黑盒？

相对来说，这部分是以隐式表达来描述的。它大概在什么位置，有些是显式表达，有些是隐式表达。

但比如硅谷和国内绝大多数以模仿学习为主的机器人公司，它们其实不太需要知道物体在环境里的准确位置，也不太需要知道物体的几何信息。

比如刚才讲的拧瓶盖，它们并没有一个推理过程说“我需要向逆时针方向旋转”。之所以这么做、之所以接近物体，是因为在那个环境下，曾经有人遥控机器人，或者穿着动捕服做过这样的动作。它只是机械地模仿，并没有特别强的理解。

所以你们在搭建理解这一部分？

对，我们在预训练过程中是需要理解的。

但人类在操作瓶子时，其实不会在脑子里进行一个完整推理，说“这次拧瓶子我要采用逆时针策略”。顺时针拧不动，再换逆时针。人类是很可变的。

对，他是可变的，但也有一些常识。比如我们每次拧瓶子，一般都是逆时针，因为这是一个常识，已经刻在了我们过去的肌肉操作里。

假如一个小朋友第一次看着自己拧饮料瓶，他会经历两个阶段。

第一，如果他从来没有看过父母做这个操作，他可能会先往左拧一下试试，再往右拧一下试试，是随机尝试。同时，他也会观察父母是怎么操作的，可能会形成一些理论依据。

人在出生之后，天生带有一定的物体操作能力。小朋友成长过程中，会对所有物体抓一抓、咬一咬、拧一拧、掰一掰，去尝试一下。有些运动能力其实也刻在人的遗传基因里。

机器人实际上是要把整个进化过程在仿真器里再复现一次。

你们会把人类的进化过程在仿真器里复现？

其实是这样的。这个仿真器之所以当时苏昊起名叫 SAPIEN，就是尤瓦尔·赫拉利写的那本书《人类简史》的映射。它指的就是怎么让智人从猿到人经历一个进化过程。

但为什么我们选择这种模型进化策略，而不是另一派“堆数据”的策略？最大的不同在于，机器人数据堆叠的方法跟自动驾驶、2D 图片、视频以及自然语言最大的不同，就是机器人没有足够多的数据。

自动驾驶可能是最接近的一个领域，参与其中的人非常多。但它的核心在于，自动驾驶比如特斯拉，在十几年前就开始卖车。当时绝对没有现在的 FSD，虽然它当时给大家描绘未来可能有 FSD，但实际上有几百万司机买了它的车，天天在公路上开。

所以它是会变的，不一定只遵循一个范式。我可以在数据不够的情况下，用白盒加黑盒的模式搭建；等数据量够了，也可以改变技术。

但是机器人很难做到同样的事情。你很难在一款机器人还没有任何功能的时候，就卖出 500 万台，发到办公室、家庭和工厂里，而且旁边还有一个工人遥控它，去做各种操作。

我们很难想象，我买了一台机器人，还需要穿着动捕服才能做西红柿炒鸡蛋。

对，这基本上很难。

这是在说 1X 吗？

没有特指。

但这种模式实际上在于，人类以公司的方式组织生产，我觉得国内的公司已经做得非常超前了，可能已经能到百台，甚至千台以上的规模。

但它离 500 万台、1000 万台，离进入每一个家庭和办公室，还很远。特斯拉的车实际上开到了世界上几乎所有角落，收集到了各种各样的数据，而且后面还有一个司机天天帮它标注数据。

这些要素在机器人里可能都不成立。所以它冷启动的方法，就像您刚才提到的，英伟达推动的 Sim2Real，是躲不过去的。因为冷启动需要的数据，实际上要达到百万、甚至千万级别，而且要把所有开放环境里的数据都收集全才可以。

所以我理解，这就是你们用分层模型，而不是硅谷主流端到端模型的核心原因：在现有机器人数据远远达不到要求的情况下，你们可以通过分层让机器人先跑起来，先提高它在开放场景中的 Zero-Shot 操作能力。

然后你们的商业模式，比如现在卖给很多开发者。等大家开始使用这些机器人，后面你们还要不要用一种新的方法来搭建训练范式？

是可以变的。

稍微分享一些我们自己的小八卦。Physical Intelligence 在成立之前，其实很多核心人员都在 Google；Generalist 也有很多曾在 Google Robotics 工作的核心人员参与。那个时候，大家可能都是做端到端模型。

但再往前，当时大家有一个默契：可能底层模型先具备稳定可靠的底层操作能力，再向上做环境理解，包括拆分成不同的任务。比如怎么去咖啡机拿两个杯子、倒两杯咖啡，中间还要经过两道门。

但大家在 2023 年、2024 年先后成立公司时，就选择了自己擅长和熟悉的套路，所以他们可能不再提分层。

但我们有一个暴论：可能从今年下半年开始，上下分层的结构会重新回到主流里，而且之后大家选择的方案推向商业化，可能最终也会采用这种方法。

你可不可以用一句话总结一下，上下分层指的是哪种上下分层？

比如从冰箱里拿一个瓶子，把瓶盖拧开，再把我们面前的两杯水倒满。

上层实际上是：我们现在杯子里没有水了，要去重新倒水。机器人需要理解我们所在的环境，知道冰箱在哪里、里面有没有水。第一步应该走到冰箱面前，打开冰箱门，拿到瓶子，移动到这里，把瓶盖拧开，分别向两个杯子里注入一定量的水，再把瓶盖拧上。

这些属于拆分步骤和推理过程。

但底层在我们的划分里，就是如何走到冰箱面前、把门打开；抓住瓶子、移动到这里；把瓶盖拧开，并往杯子里倒水。这些底层的每一步，具体针对物体的操作，我们叫底层操作。

上层的 high-level reasoning 和 planning，我觉得是可以分开的。

所以你觉得，今年所有的硅谷公司都会开始做这种分层操作？

我觉得很难讲是今年，但它会重新回到大家的视野里。

最近几周，我们在跟学术界、工业界做现场展示和交流之后，有些人已经意识到，这可能是一个新的方向。

所以我理解，现在硅谷很多公司，比如 Physical Intelligence、Generalist，它们还是把操作层面也直接交给大模型控制？

对。

但现在能做出这个判断，也证明目前的控制没有大家想象中那么好，成功率也没有那么高。

我觉得是这样。不过这只代表我个人，不一定是公司的统一想法。

我觉得 Physical Intelligence、Generalist、Google 等机器人公司，其实更擅长做上层推理。但对于物体操作来说，靠少量数据，比如几十万小时，我觉得可能已经接近现在操作能力的极限。人类真实操作物体的数据，远远没有办法达到支撑开放环境、开放物体下稳定可靠操作的程度。

我可不可以理解成，上层是硅谷公司的优势，下层涉及操作层面，因为一定要跟硬件结合，这就是中国公司的优势？

不管是硅谷的机器人公司、大厂，还是中国的模型大厂和大量具身智能公司，我觉得它们向上层做推理的机会会更大一些。当然，还有很多具身智能和机器人公司会挑一到两个垂直应用场景，类似于大模型只做一种或两种 Agent。

但对于底层，如何在随机环境里对任意物体做某一类操作，我们认为必须由软硬件强结合的公司来完成。

但这样的公司是不是只有中国公司能做到？

我觉得未必。

你们跟宇树这样的公司，核心区别是什么？

我觉得宇树是在机器人硬件量产能力上，率先给市场交出了最好答卷的一家公司。

2025 年的出货量有 5000 多台？

对。

我们对比一下特斯拉、Figure 这些美国明星公司，它们可能只有 150 台左右。

对，而且宇树把这 5000 多台设备真实地发到了用户手里。

在操作，以及大家关注方向的不同上呢？

宇树对于物体操作可能才刚刚开始，它主要是在大运动和运动控制上。

另外，对于物体操作来说，人形机器人是不是最稳定、最可靠的方法，短期之内不一定，未来可能是。

7. 硅谷明星公司点评：Skild、Figure、Optimus

今年我看到一个热点：Skild AI 的估值冲到了 140 亿美元，最新一轮融资是 14 亿美元，投后估值达到 140 亿到 150 亿美元。7 个月前它的估值才 45 亿美元。

它其实是做全身通用机器人的基础模型 Skild Brain。对比我们刚刚一直在讲的 Physical Intelligence，它也算是硅谷做软件大脑的一个非常有代表性的公司，估值也是 56 亿美元。

你对这家公司熟悉吗？为什么它一下能拿到这么大一笔融资，估值规模大幅提升？

我觉得首先，Physical Intelligence 如果我没有记错的话，最新估值也是在 120 亿到 140 亿美元之间，不一定完全对外公开，但他们也在进行新的募资。

我觉得这几家公司，包括 Skild、Physical Intelligence、Generalist，都比较接近，都是做大脑。

Skild 比较特殊的一点是，两位创始人 Deepak 和 Abhinav 其实跟苏昊有过很多讨论。他们以前是坚决不信仿真的，但一开始募资时，却把机器人仿真作为主要募资方向。

不过据我们了解，它们做的业务可能比较敏感。我觉得在具身基础模型方面，美国第一梯队还是像 Physical Intelligence 这样的团队，包括 Generalist，以及一些创业团队，比如华人的 Sunday、Dyna，也都在做探索。

我们再来看一下最近的 Figure。Figure 好像又被看好了。

之前它的融资和估值都很高，但有一段时间，硅谷投资人似乎对 Figure 有所质疑，甚至会质疑它放出来的 Demo：是不是后期剪辑过？

为什么最近大家又重新看好 Figure？是因为它跟宝马的合作，还是因为它的技术能力和放出来的 Demo 有了全新的提高？

我觉得这轮跟宝马的 Demo 可能关系不大。最近大家重新关注它，是在大概几周以前，它开始做生产线上的物体分拣。

但在我们看来，的确比以前有一些进步，但在物体操作泛化性和环境泛化性上，差别还比较远。

第一，它里面出现了两类物体：一个是在做实验的包裹，但这些包裹的形状几乎一样，都是正方形。

你说的是它连续几天直播的那个 Demo？

对，持续了几天。

但如果按照我们的标准，第一，它的物体泛化性其实不高，因为一共只有两类物体，一个是盒子，一个是软性包装，而且颜色和重量几乎一样。

第二，机器人所在的工作环境一直是在它们自己公司搭建的那条测试线上，并没有走出去。

很难。

所以，如果采用遥操作做 VLA，最大约束和挑战就在于，它对光照和环境变化都极其敏感。一旦环境发生变化，成功率就会直线下降。

所以大家对 Figure 还是有质疑，觉得它的 Demo 放出来之后，场景还是比较简单。

对，但我觉得比以前已经好很多了。

洗碗机的那个是它的 Demo，对吧？

洗碗机是它的 Demo。

但我们听说，它花了很长时间才拍出一条。

对，我听到的也是这样。

另外我看到今年还是有很多机器人公司进入部署阶段。比如马斯克把 Optimus 放到 Fremont 工厂，让它在工厂里做一些工作。

当然，他自己也说过，最开始大家还是希望它能进入家庭、真正干活，但现在把 Optimus 放进工厂，主要也是为了训练数据，而不是真正让它干活。

我觉得特斯拉的人形机器人现在也是大家很关注的一点。从一个专业、同行业创业者的角度，你会怎么看它的部署？

在我们 2025 年把主力团队搬回国内之前，其实跟特斯拉的自动化团队有过一些合作。

但当时他们在自动化产线上使用的自动化系统，要让机器人在里面执行任务时，Optimus 肯定还没有达到那个条件。当时应该只是在 Optimus 团队内部，让它在一个固定位置执行一些动作，比如拿电池。

但我觉得 Optimus 是未来美国机器人行业里最大的推手。因为它的硬件核心和制造能力非常强。至于模型，按照 Tesla 和 Elon Musk 的风格，可以等到这个行业出现较好的方案之后再补，可能也来得及。

同时，我们当时也听到特斯拉内部可能有一派声音。Elon Musk 自己也提过，先造出一系列机器人，让外界的人来做研发和开发。

跟你们的思路有点像。

我觉得有点像，但他的思路跟现在很多做机器人硬件的团队更像：我不给你模型，我给你很好用的硬件，你自己去开发模型。

我懂了，你们是硬件加模型一起提供。

对。我们实际上是想给大家一个硬件，同时提供底层、大家不太容易操控的软硬件一体化系统。

然后我看到今年波士顿动力电动版 Atlas 也开始出货了，这是一个值得关注的点吗？

我觉得这是一个特别关键的点。

我们自己内部定义的、最大、最有潜力、最可能跟我们一起推动这个方向的，可能就是波士顿动力的电动版 Atlas 加 Google DeepMind。

如果大家去年看过 Demis Hassabis 的一些采访、纪录片以及一系列动作，我觉得他们对于物理世界 AI 的下注，可能是所有大厂里最坚决的一家。

只不过现在他们可能还要分时间，兼顾 Gemini 与 Anthropic、OpenAI 的竞争。但我觉得去年有一个非常重要的信号：第一，他们已经把硬件平台从原来的 Apptronik 和另外一台机器，换成了电动版 Atlas；第二，他们从波士顿动力硬件部门挖来了几位核心人员，加入 DeepMind 团队。

所以未来机器人行业里，假如我们走的是硬件自己造，软件底层模型也自己做，那么 Google 会不会重复 Android 的方法，再做一次？

用波士顿动力的硬件，包括现代集团在后面的量产能力支持，同时他们自己几年前就收购了 MuJoCo 团队，不断改进仿真器，还有自己的世界模型 Genie 3。

对。他们有几乎无限的算力，有世界上最好的人才聚集在一起，而且已经下定决心。

相比 Anthropic、OpenAI、Meta 以及国内的大厂，Google 可能是唯一一个由团队负责人亲自推动、在机器人上如此投入的大厂。它可能是未来最有潜力的玩家，因为它硬件也有，软件也有。我觉得这跟其他公司完全不在一个量级上。

我们感觉，它是坚定相信 Sim2Real 这条路的。

我知道苏昊的团队跟 DeepMind 可能也有很多交流，你们应该也有合作？

我们跟 Google Robotics 以前的交流合作非常多，甚至那个团队里有很多人都是苏昊的师弟师妹，也有一些核心人员是他以前带过的 PhD 学生，包括 Physical Intelligence 创始团队里也有他以前的学生。

但我觉得 DeepMind 这波会把核心人才聚集在英国伦敦，把模型团队和硬件团队聚集在一起。我们觉得这件事非常重要。

就像当年 Steve Jobs 开发 Apple 时，有人问能不能去另外一个办公室、能不能远程，他坚决不同意。我觉得是一样的。

所以在所有机器人公司中，你们最看好的是 DeepMind 加波士顿动力？这还是挺有意思的。

对，我觉得这可能跟大家想的不太一样。

接下来两到三年，从机器人的操作能力和综合能力来看，我们认为最大的竞争对手可能是 DeepMind 加波士顿动力。

因为波士顿动力最开始是谷歌收购的，后来又全部卖给现代集团了。所以它现在跟 DeepMind 之间的关系是怎样的？还有股权关系吗？

现在股权关系应该没有。如果我没记错，现代集团应该是主要控股股东，软银应该还保留了 10% 到 20% 的股份。

但 DeepMind 这次不一定会把波士顿动力重新纳入体系，波士顿动力会把 DeepMind 作为它大脑模型可能最重要的一个合作伙伴。

我们再说一下亚马逊。因为亚马逊其实去年年底，我听 All-In 播客时，他们说有一家公司非常值得关注，就是亚马逊。

理由是，亚马逊今年机器人的部署数量可能已经比员工还多了，因为它天然有仓库、分拣这样的应用场景，而且它还收购了 Covariant。

你会怎么看亚马逊在机器人上的布局？

我觉得亚马逊一直是机器人领域投入最多的大公司之一，但它的数量可能还是以仓储物流为主。

比如仓储物流中的 AGV，早期收购的 Kiva，包括各种机械臂应用，以及各种人形机器人公司，比如 Agility、Covariant，之前可能还有其他公司，也都在里面做尝试。

我觉得它会提供一定的应用场景，但亚马逊最终要么把这些公司收购，要么就自己做。我觉得 Covariant 当时也把亚马逊作为核心客户之一。

刚刚我们一直在聊硅谷和中国的机器人公司。整个硅谷的发展路径，我基本可以总结为，它更加看重机器人的通用性、泛化性，以及大脑层面的进展。

因为我们看到，市场上估值最高的公司全都集中在这一块。中国有非常好的硬件底子，但同时我也看到很多公司开始抱着做通用机器人的想法，可最后可能因为商业化压力，退回到单一场景。

你怎么看这种“理想很丰满，最后大家回去做垂直赛道”的现象？

我的核心推断，还是跟前几轮类似。比如视觉大模型、当时的 AI 四小龙，以及后来做语言模型的科大讯飞等。

如果对于基础模型如何构建没有一个特别清晰的想法，只是想边做边试，我觉得其实很难。大家都会因为商业压力而妥协。

但对于我们团队而言，也分成两方面。假如我们对于基础模型如何推进也在摸索，没有一个较为清晰的方向，能够判断在项目启动后的 12 到 24 个月里应该看到什么结果，那么我们也未必能够一直坚持这种方式。

所以你是看到了技术上通用的可能性？

我觉得是这个团队在过去七八年的合作里，已经有了一些感觉和认知。再把哪些要素补充到一起，大家合作 12 到 24 个月，就能够看到第一阶段的效果，我觉得这比较关键。

而不是先把数据做成一些小模型试一下，再看是不是把数据堆到一定程度之后就能做出来。这个程度现在也不知道，可能是 1000 万小时，也可能是 1 亿小时，甚至 10 亿小时，说不定就做出来了。

我觉得“说不定”这三个字，在我们团队里几乎不会出现。

但对于其他团队而言，大家都在探索，也会受到团队内部、投资人和商业化压力的影响，最终选择一个垂类场景。这时候，客户提出的要求，肯定会导致它跟训练基础模型的思路产生背离。

所以你们是怎么判断它能做成通用的？是结果吗？

我觉得实际上是通过以前一系列研究工作，能够感知到这个系统应该可以工作。

就是说，在小规模上应用已经起作用了，只要把整个系统搭完整，大家再齐心协力试一下，就有可能得到初步结论。

要做通用人工智能，它是一条更远、更长的路。在这个过程中，怎么让自己的公司活下来？作为公司的 CEO，你会有这个压力吗？

我们肯定会有压力，但相对而言还好一些。

我觉得机器人在这一波趋势里，由于大模型和基础设施的出现，会被推到下一个阶段。我们实际上不会赌某一个垂类场景哪个能跑出来，而是希望通过提供一个硬件加底层模型，让大家去尝试。

我们希望，在服务的 1000 个开发者里，有 100 个能够找到可以小批量部署的应用场景。但另外 900 个人，可能会有比较好的 Demo 或研究成果。

这 100 个人里，可能会有 5 个、10 个做出超级应用，可能需要部署 1 万台甚至更多机器人到不同场景。

但究竟是从冰箱里取饮料瓶、倒水，还是在工厂里完成汽车组装，还是像亚马逊这样的仓库分拣环境里抓取丝芙兰的唇膏，我们不会去赌某一个场景。

因为这个团队的特质也不是到工厂里做部署和集成测试。整个开发者社区，包括集成商和自动化团队，各自都有擅长的领域。我们希望做的是底层新的工具链。

现在你们是把更多钱投入到有长远价值的研发上，还是把一部分精力投入到面向开发者的软硬件一体平台和分发上？哪一个是你现在负责的重心？或者说，你会怎么分配资源？

我们的核心，是提供可靠稳定的硬件加底层模型，从一个抓取技能到三到五个比较常见的技能，并且把技能组合和开发工具做好，让 100 个开发者能够在上面做不同应用的尝试。

这是我们现在以及接下来几年最核心的目标。我们希望 100 个、1000 个开发者在上手时，能够出现我刚才描述的情况：有些人找到有意思的应用场景，可以进行批量使用和部署。

你们也会支持技术团队做大规模研发投入？

我们肯定会在这方面持续投入，这是最核心的工作。

但为了验证大家能不能拿它去做行业里的垂类应用，我们也会挑一到两个场景，跟一到两个开发者紧密配合，把开发工具做好。

如果 10 年后回头来看，你希望苏度科技被人记住的是：你们做出了一个通用机器人产品，还是证明了 Sim2Real 这条路是对的？

我觉得 Sim2Real 这条路是对的，只是副产物。

我们希望 10 年以后，当大家回看今天这个时间节点时，会认为这可能是一个类似 iPhone 加 iOS 操作系统的时刻。那个时候会有新的 Uber、滴滴、美团，也会有新的 DoorDash 长出来。

我们希望大家使用的硬件加底层系统和软件，至少有一部分是我们提供的。

这是一个非常有野心的梦想。

的确如此。

现在做通用机器人，应该要牺牲很多垂直商业化机会。

我觉得是的。但我跟苏昊一开始商量时也认为，现在如果做垂类商业应用，有时候账是算不过来的，但大家还在抢地盘。

有一些产品，一个机器人部署之后就很难再换掉。

对。一个机器人部署之后，替代一定人工，但实际上也可能要花三到五个 PhD 的成本去维护。

对。这是一条挺难、但可能最终最有效的路径。

很坚持。

我觉得就是难，但可能最终是最有效的方法。

今天非常精彩，谢谢韩总。

谢谢。