148: 它石智航陈亦伦：具身的三道曙光和第一道关卡

陈亦伦你好，你可以和我们的听友简单打个招呼，介绍一下自己。

大家好，我叫陈亦伦，是它石智航的创始人。从去年开始，我和创始团队一起成立了这家公司。我们公司今年2月5日正式成立，希望在具身智能时代，真正用 AI 做出有用的机器人，比较大地改变我们的工作和生活方式。

你是什么时候开始关注具身智能，或者说通用机器人的？

1. From Algorithms To Robots

从我上学的时候。那时候我在清华，对吧？

对。

我从小是物理竞赛保送生，所以对物理非常喜欢。后来我在清华学了电子系，再去美国读博士，那个时候读的是机器学习。

我在美国的时候，其实非常羡慕我的室友们做的事情，因为他们做的很多东西是机械的，能够动起来。对我来说，我那个时候研究的全是算法。虽然我会做电路板，也喜欢能动的东西，但那时就非常喜欢机器人。

机器人还包括电动车。2007年的时候，我在美国看到波士顿动力有一条液压机械狗，可以在冰面上保持稳定，当时就惊呆了，觉得太有意思了。后来看到特斯拉把电动车做得非常好，我也觉得非常了不起。

所以博士毕业以后，我没有选择人工智能领域一条非常主流的路，反而进入了机电领域。我去的第一家公司是一家非常有名的机电系统公司，在那里学会了怎么做电机、怎么做伺服控制，甚至学会了怎么做液压，因为当时我认为机器应该用液压来做。

波士顿动力很早的时候确实是液压的。

对。那时候液压的精密伺服阀，都是我在第一家公司亲自带过的产品。

其实我一直想做机器人，但是因为自己学的是算法，我知道那个时候还没有 ready。你只能写出一些比较简单的机器人，还不是我想要的那种机器人。所以我的整个工作经历一直在交叉进行，我一直觉得自己有一天要做机器人，做成我想要的那种机器人。

2. The End To End Breakthrough

我觉得最接近我想要的机器人出现的那一刻，是2021年。那时候我们整个团队已经研发了两三年，我第一次尝试做端到端系统。那是一个非常疯狂的操作：我们当时整个系统有200万行代码。

200万行代码。

对，200万行代码，非常复杂的一套系统，但它也能工作得很好，可以完成一些非常复杂的城市驾驶动作。

2020年的时候，我和丁文超博士以及几位同事，想尝试一下能不能训练一个神经网络，不用200万行代码，可能用20行，甚至3万行代码。最终我们用了300行代码，训练了一个网络，让网络直接给无人车规划轨迹。

那时候就是最早的端到端自动驾驶，只不过我们做的是两段式的。

2021年做这件事情，是你自己想到的，还是受到了什么行业趋势的启发？

那个时候没有行业趋势。端到端的概念当时并没有深入人心，而且我们实际上是从2020年开始做的。

你们2020年开始做的时候，特斯拉在2020年的 AI Day 已经召开了吗？

没有。特斯拉2020年没有讲端到端，讲的是视觉，以及怎么通过视觉恢复三维环境。对我们来说，通过视觉恢复三维环境，是我们当时已经知道怎么做的事情。

当然，我没有选择像特斯拉一样发布 AI Day。当时摆在我面前最头疼的问题，根本不是感知。那时候我们可能会把自动驾驶简单分成感知和规控，真正让我头疼的是规控：怎么在规控层面用 AI 来做。

感知其实很明确，有很多数据，也有很多真值，把两者对接起来，是一个开放问题。但规控最复杂的问题是，AI 产生的每一个动作，都会影响下一时刻的环境和观察。

比如你去加塞，对方可能让你，也可能抢你，这会产生完全不一样的行为。你的动作会改变环境，所以这是一个闭环的 AI。这个闭环 AI 应该怎么做，我们心里没有把握，当时也没有人有把握。

但我们当时的想法是，一定要用 AI 来做这件事情。因为那时我们的代码已经堆到200万行，实在堆不下去了，而且新问题出现的速度远远超过解决问题的速度，已经没有办法继续下去。

所以当时我和丁博士相当于自己启动了一个项目。

你们2021年做神经网络项目的时候，需要采集大量的人类驾驶数据。但大规模采集人类驾驶数据，在当时其实没有人这么做。

对。所以我们把整个车队的一半拿出来做这件事情，认真采集数据。丁博士每天在里面教司机怎么开车：你应该这样开，应该那样开，这样才是一个好司机。

一半车队当时是多少辆车？

大概100辆车左右。接下来我们就积累数据。刚开始数据出来以后，没有什么特别显著的发现。后来数据慢慢积累到几千个小时，就不一样了。

你会发现这个网络真的学到了一些东西。再往上积累，你会发现它变得越来越厉害。

我们当时选了一个特别难的测试场景：一个非常复杂的城中村，完全非结构化，人车混行，车辆之间还会不断抢行。这种场景通过规则几乎永远写不完。

我们非常大胆地尝试用神经网络做这件事，而且当时的原则是尽量不要用后处理，后处理露出得越少越好。最后它非常流畅地穿行了过去。

从那一刻开始，虽然那时还没有 ChatGPT，大家可能不会讲 GPT moment，但对我来说，那一刻让我感觉：AI 可以做 planning 了。

这个感觉非常强烈。所以我知道，自动驾驶之后一定会往这个方向走，而且这件事情不光适用于自动驾驶。那一刻对我来说，是一个非常强烈的信号。

这是2021年发生的事情。为什么这件事发生后的第二年，你就离开华为了？

3. Why Robotics Was Not Ready

从外界看，那个时候高级辅助驾驶正进入一个比较大的质变阶段，竞争和上量都变得越来越快。

正是行业应该发展的时候。

对。但那个时候我觉得自己已经搞明白了自动驾驶，或者说 L2 高级辅助驾驶的钥匙在哪里。这道题我觉得已经解完了，接下来是一个不断工程化的过程。

怎么用 AI 解决 L4，我当时还不知道怎么做，但怎么用 AI 解决 L2，我觉得已经想明白了。整个组织有足够的能力，把这件事情持续推到一流的产品化水准。

而那段端到端自动驾驶真正 work 的事情，对我的震撼非常大，让我看到机器人也可以通过 AI 做 planning，看到端到端的巨大可能性。

所以我离开的时候，跟所有领导和同事都说，接下来我要去做机器人了。

他们当时都觉得很意外，因为那正是自动驾驶做得最好的时候。

对，他们纷纷问我，真的要做机器人吗？我说，要做机器人。

我知道这把钥匙在之后某个时间点一定会慢慢开启，所以我选择回到学校，仔细看看它究竟会在哪个时间点开启。

但你觉得2022年直接创业，时机还没有 ready。为什么？

我觉得做机器人，创业和做科研其实不太一样。我认为创业是打造一个企业，这个企业用来提供很好的产品、解决客户的问题。这是我对创业的定义。

所以我需要明白，自己服务的是什么市场和用户，他们为什么需要这样的技术来解决问题。那个时候我看到的整个市场还没有 ready。

同样，我认为当时在自动驾驶看到的那个 moment，可能预示着机器人也会进入类似的阶段，但它还没有走到那里，只是一种可能性。还有很多问题没有研究明白，也不知道应该怎么解决，所以我想给自己一段时间搞明白。

所以后来你去了清华。

对。清华的 AIR 本身也是一个和产业界、工业界结合得比较紧密的机构。

从2022年到2024年开始筹备它石智航的过程中，这两年你看到了一些什么变化，让你觉得2024年下半年是一个好的时间点，适合开始创业？

4. Locomotion Unlocks Movement

2022年，我的感觉是有几件事情非常正向。

第一件事情，是在2021年的时候，整个技术行业已经解锁了四足机器人应该怎么样通过 AI 来控制。大家现在看到的叫 locomotion。

以前四足机器人的控制是 WBC，是非常复杂的一套方法。你会发现那些狗只能比较僵硬地跑过来，向你挥挥手，再转一下身子，基本就没有了。

但 ETH 的团队一直在做这件事情。他们走通了一种模式：可以用强化学习，至少把机器人的 locomotion 问题解决掉。

当时我觉得几乎没有悬念：首先，狗会跑得越来越好；其次，人也会走得越来越好。最后，大家不会再担心 locomotion 是一个问题。

可以回顾一下，四足机器人达到这种状态，背后有哪些重要的技术进展？你刚刚提到 ETH，也就是苏黎世联邦理工学院。更早在2019年，MIT 开源了 Mini Cheetah。

我觉得 Cheetah 当时最主要的贡献，是给大家打开了整套软硬件系统应该怎么做。ETH 真正找到了一把金钥匙：确实可以用神经网络，直接控制整体的全身运动，让机器人达到任意自由运动的效果。

当时我看到这件事，觉得非常好，也非常靠谱。我不认为这是什么意外，它一定适用于各种各样的机器人。

这项技术说起来也不算复杂。现在来看，locomotion 有两个中间模块。

第一个是找到一个并发度非常高的 simulator。最开始可能是 CPU 版本，后来英伟达起了很大作用，发展出了 GPU 版本，可以把并发度做得非常高，从而获得大量数据。

第二个是，如果你是硬件公司，因为存在 digital-to-physical gap，也就是软件里总喜欢把电机模拟成理想电机，但硬件上的电机并不是理想电机。硬件公司可以通过各种设计，把这个 gap 尽量缩小。

这样一来，训练出来的 AI 部署到机器上，基本就可以直接流畅运行。

也就是把 sim-to-real 的 gap 尽量缩小。

对，后来大家把它叫作 sim-to-real gap。

沿着这条线的发展，我们现在看到一些人形机器人可以非常流畅地跳舞、打武术。

对。你会发现，最流畅的往往都是硬件公司，或者硬件见长的公司。

因为核心就是把 sim 和 real 两边越来越靠近。

对。你可以在 sim 上让它们靠近，但 simulator 大家其实已经努力到了一定阶段，接下来就是把 real 向 sim 靠近，这是硬件公司做的。

所以这是第一条线，locomotion。它在技术上已经完全摸清楚门道了，只是需要时间发酵，会越来越好。我觉得明年 locomotion 也会继续进入一个出神入化的阶段。

5. GPT Solves Task Planning

第二件事情是 GPT。GPT 在2022年解决了具身智能的另一个问题。按照我们以前的说法，叫 task planning，也就是任务规划。

还是以自动驾驶为例。你给自动驾驶下一个指令，说“我要去东方明珠”，这是一个非常 crazy 的事情。它怎么知道应该怎么走到东方明珠？

它需要把任务拆开：走到第一个路口向右转，第二个路口向左转，一段一段拆开以后，才能走过去。

但自动驾驶是被祝福的，因为这件事不需要大模型来做。它需要导航，Google Maps、百度地图这些共享数据库，已经在上一个时代解决了这个问题，直接继承就可以。

机器人没有这个祝福。你对机器人说“我想去另一家公司”，或者“我想做这件事”，这是一句非常简单的话，但它怎么知道应该一步步完成？

如果没有自动驾驶那套共享地理信息系统，机器人很难做到。但大模型出来以后不一样了，它非常擅长做 task planning，也就是任务规划。

这是第二道曙光。

对。第三道曙光，就是我自己解锁出来的端到端。

所有机器人最终做事情，其实都是一样的：从传感器、输入的信息和指令，一直到最后的 action。因为传感器是极其高维的东西，指令又是极其低维的东西，要把它们堆叠在一起，过去自动驾驶时代，我们会画很多小方格，每个方格里都有各种技巧，再由专业领域的人把这些方格串起来，这就是所谓的规则。

但规则在自动驾驶里已经很难了，要解锁到机器人，几乎不可能。端到端这件事情是可行的，所以端到端是第三个非常重要的技术。

我当时拿到自己跑通的自动驾驶端到端系统，受到了非常大的触动。我觉得自己同时看到了三件事情。

自动驾驶的端到端，让你看到了解决 L2 的钥匙。

对，我们找到了。

那这个时刻在具身智能领域已经到了吗，还是大家正在往这个方向做？

其实我在2019年的时候就已经决定，机器人要往这个方向做。但那个时候我做各种推测，觉得这些推测是合理的，却没有看到效果，所以也很忐忑，不知道能不能看到效果。

事实上，我在2021年看到了效果，而且觉得非常棒。现在具身智能相当于又回到了2019年的状态：我觉得这一切都是合理的、没有问题的，但现在信心更强，因为毕竟我在它的一个子问题上已经看到了效果。

而且这一年我和团队做下来，信心指数越来越高，各种各样的效果已经逐渐展露出来。我没有看到预期以外的东西。

你是说，自动驾驶是整个通用机器人的一个子问题？

对。我们可以展开说第三道曙光，也就是端到端。现在端到端算是行业比较主流的方法吗？如果整个行业要实现具身大脑，有哪几种方法？

对，其实端到端现在是大家每个人都会说的事情。现在这个时间点和当年自动驾驶不一样。当年自动驾驶讲端到端，很多人是半信半疑的，直到效果做出来以后，大家才一拥而上。

具身智能现在反过来了。端到端是每个人都在说的事情，但效果呢？其实大家都觉得不好。

我喜欢的方式是：我为什么要用端到端？因为我想做出让人惊叹的效果，是上一代技术做不到的效果，而新一代技术可以解锁这个效果。这个时刻才是它的 aha moment，或者 GPT moment。

我相信最后 GPT 做出来以后，即使它是用 BERT 做出来的，大家也还是会觉得 aha，对吧？

所以你同意，现在至少在表达上，大家都在说端到端，它看起来是一个很主流的方法。

那端到端和 VLA、世界模型之间是什么关系？这个领域有非常多 buzzword。

端到端是一个更大的概念，反而是一个非常泛的概念。端到端的意思是，尽量用神经网络解决所有问题，这就是端到端。

具体用神经网络解决问题时，可以有不同方式。你可以用模仿学习，也可以用强化学习。所以围绕这个概念，大家会定义很多不同的概念。

比如 VLA，我觉得它们之间其实是互相促进的关系，有点像苹果和香蕉。VLA 说的是，最终有这么一个网络，输入是 video 和 language，输出是 action。中间怎么做、怎么训练，我不一定特别关心，反正是一张网络。当然，这没有问题。

世界模型的定义就更多了。有人认为，世界模型是一个模型，我告诉它想从任意视角观察世界，它可以预测这个视角的照片应该是什么样。也有人认为，世界模型里有一个世界在动态发展，可以预测未来可能是什么样。

很多人从计算机视觉的角度看，把它当作一种空间感知的视频生成器，也就是视频生成器。这是一种定义。

还有人认为，世界模型应该学会世界交互的规律。比如你捏一个东西，它会被捏扁。它也可能是一种世界模型。

从控制或者信息论的角度看，世界模型并不复杂：输入当前状态，再输入当前 action，预测下一时刻的状态，这就是典型的世界模型。

但状态究竟是什么，里面装什么东西，大家的定义并不一样。

有了世界模型，或者说世界演化器以后，到底怎么使用它，也有很多不同做法。有人可能把它用于元宇宙或者游戏，用来生成不同的视频；有人想在机器人集群里使用它，这又是另一个问题。

所以现在大家还没有对任务和方法形成统一定义。每次提到 VLA 和 World Model，最后会发现大家讲的好像并不完全一样。

那你们现在自己的方法，或者说对端到端的理解是什么？

我认为首先非常明确，端到端一定要通过神经网络串在一起，要通过数据解决问题，并且获得下一代技术难以匹配的性能。

所以我会坚持用端到端解决问题。我认为所有端到端，都是用完全 AI 的方式解决问题。

我的观点是，AI 要解决一个大型复杂问题，需要迈过三道墙。

6. Data Becomes The First Wall

第一道墙是数据墙。你有足够多的数据，才能让它长成足够复杂的网络。所以在自动驾驶时代，我们会非常努力地获取数据，甚至会设计商业模式来获得数据。

GPT 是一个被祝福的领域，因为它的数据本来就在那里，互联网上的数据很多，语料也很多。

第二道墙是算法和算力，往往其实是算力。按照我们之前的经验，越复杂的系统、越多的数据，算法结构往往越简单。

这就是“重剑无锋，大巧不工”。越复杂的系统、越多的数据，往往算法结构就越简单，会返璞归真，才能经得住这么多数据的冲刷。

所以大家会进入算力比拼的时代。

接下来，任何 scaling 都会有停止的一天。当算力急剧膨胀时，你会发现算力其实也不够用。仔细看就会发现，这也不是完全靠预训练能够解决的问题，于是会进入后训练。

后训练的意思是，真正找到这个问题，好好地把它解决、打穿。这会进入一个非常有创造力的时代。

你说第三个阶段会进入一个有创造力的时代，是比较考验方法上的巧思和创新能力吗？

对，而且需要针对具体问题想明白究竟应该用什么方法解决。

举个例子，自动驾驶现在我认为已经过了第二阶段，要进入第三阶段。第三阶段遇到的头部问题是什么？是应该怎么样和其他车、其他人交互，因为大家共享路权。

我换道的时候，究竟应该在这个时间点激进一点，还是保守一点？我应该刹车，还是应该让行？它需要处理这些问题。

为什么？因为每一个决策都会影响周围的环境。人怎么开车，也会受到你的影响。你影响了世界，世界的行为又会进一步影响你。

所以自动驾驶领域，有的公司在提 VLA，有的公司在提世界模型，是因为它们解决的是不一样的问题。

提世界模型的公司，解决的是怎么和其他车辆交互的问题。它需要知道，如果我往前这样走，周围的人可能会怎么开车。所以它解决的是和世界交互的问题。

如果自动驾驶要解决和其他社会车辆、行人的交互问题，需要用世界模型和强化学习。如果你认为头部问题是交互问题，那么自动驾驶的下一阶段 definitely 是世界模型。

如果你认为要解决的是开放世界问题，也就是没有很多导航信息，只能看周围环境、看牌子、看障碍物，可能遇到以前不知道的东西，比如地面上出现一个大水坑，也不知道能不能走，那么你就已经没办法用抽象变量来描绘世界了。

你需要用更复杂的语言体系描述世界，这时就应该 go VLA。

你看，它们解决的是两个不一样的问题。

从目前自动驾驶问题的统计数字来看，我看到的现象是，大部分问题来自和其他车辆、行人的交互。所以应该用世界模型解决，而且这个世界模型不一定需要是开放的，可以是一个封闭体系的世界模型。

因为你只需要建模和其他车、其他人怎么交互，它是一个封闭体系。但它需要有很好的能力，记录平行世界的演化。

如果把这个问题解决了，我觉得大概率 L3、L4 的能力就达到了。接下来你会发现还不够，需要一个更开放的体系，需要借助语言的力量，这就是我认为的 L4 到 L5 阶段。

每个技术都是为了解决相应的问题而生的。

回到最核心的问题，你们现在是不是还卡在第一道墙，也就是数据？

我基本上就是卡在数据。

其实我觉得有几个很大的关口。你有数据以后，会享受到第一重数据 scaling law，data signal 是最容易享受到的红利。

有了数据以后，你会充分享受到算力的 signal。因为你有很多数据，有更好的算力去吸收、digest 它，它就像一个超级函数压缩器。

这时候你会发现它很智能，因为每一个智能动作背后，都能追溯到相应的原子动作数据。你会觉得它非常智能。

但它还不够。你会发现，它的智能只是通过观察，联想到某一条训练数据：原来它是这样做的，于是我也这样做。

但网络在这个过程中，不会认真思考为什么这样做会成功。接下来要解决的，就是和世界交互的问题：我做这个动作改变世界，它为什么会成功？

当这个问题解决以后，成功率会直线上升，然后再往下迭代下一层。

所以现在具身智能领域最核心的，还是怎样以更低成本、更高效率、更大规模地获得数据。我们讨论的很多不同技术路线，可能是后面阶段才更重要的事情。

对。World Model、Language Model，它们都是为了解决各自想解决的问题。但在第一阶段没有数据时，其实是无能为力的。

第一阶段解决以后，往往会收到最好的一波红利，性能会急剧提升。所以我对这个行业一直非常乐观。

你现在觉得不用太担心最后算法究竟是什么样，是吗？这来自你过去的经验？你觉得肯定会有一个简单的算法，把数据里的东西学出来？

我觉得算法本质上是一个认知问题。

神经网络和传统算法不太一样。传统算法是每一步战术级的操作都需要仔细推敲，应该怎么做、怎么做。

神经网络本质上是一个函数。定义一个函数，最重要的是什么？是定义函数的入口和出口。你把这两个定义好，就把函数的功能框住了。

所以神经网络里的算法设计，更多像一套架构设计。它考验的是你的认知：怎么样把这套东西搭出来。这往往是一个系统级的架构问题。

我会问这个问题，是因为可以类比大语言模型的发展。此前互联网语料已经非常丰富，GPU 算力也比较丰富，但大家会觉得，2017年那篇提出 Transformer 架构的论文，以及后来 GPT 在 Transformer 的编码器、解码器基础上简化成只有解码器，是一个转折点。

大家觉得，似乎是这个架构的出现带来了转折。

我反而从另一个角度理解这个问题。我觉得 GPT 最伟大的事情，或者说 OpenAI 当时最伟大的事情，是他们想出了 next-token prediction 这个训练任务。

互联网数据确实都在那里，有很多文本，也可以设计各种网络。但网络究竟要做什么？怎么样设计一个任务，引导它走向你希望达到的终点？

OpenAI 的这些人，包括伊利亚，本质上想打造 AGI。对他们来说，需要思考怎么样找到一条合适的路径去打造 AGI。

你让一个网络不停做完形填空，或者不停预测下一个词，它居然能够走向今天 GPT 这样的能力，这是非常不可思议的事情。

我记得当时还有一件很有意思的事。美国有一个非常有名的人叫 Andrej Karpathy，他之前也在 OpenAI，对吧？

对。

他当时写过一篇 blog，不是论文。他做了一件非常令人惊讶的事情：用了一个不算特别大的循环神经网络，不停预测下一个词。

他在 blog 里展示，网络原来可以写诗，还可以写代码。如果不停给它输入代码，它就可以做这件事。

那个时候大家还没有人在讨论 GPT。Andrej Karpathy 也还没有去特斯拉做 FSD，他是 OpenAI 的研究员。他发现 RNN 可以一直预测下一个词，觉得极其惊讶。

我看到以后也觉得极其惊讶，因为我的第一个反应是：能不能用它来做自动驾驶？

所以这件事非常了不起。原来你只是训练了一个任务，让它不断预测下一段内容，它就可以展现出让人惊讶的能力。

而且他当时用的不是 Transformer，是 RNN。

对，是 RNN。

Transformer 呢，我认为它是这样来的：从我自己的从业经验和训练大型 AI 网络的经验来看，越复杂的任务、越大型的数据，网络结构就应该越简单，越返璞归真。

越简单的东西，越能经得住大型数据的冲刷。

以前很多人试图设计非常复杂、非常精巧的网络结构，但在大型数据冲刷下，计算效率最高、最优、最简单、最不容易出错的，往往是最好的方法。

我认为 Transformer 正是在这种情况下产生的。它在小数据集上不一定有优势，但在大数据上，因为结构非常简单、非常容易实现，所以不容易出错，也更经得起大数据的冲刷。

在大数据基础上，大家就不约而同地走向了 Transformer。

总结一下，如果类比大语言模型的发展，一个是把预测下一个 token 作为目标，这件事情非常重要；另一个是比较简单的结构，更能经受大数据训练。

对。

如果回到你们现在做的事情，你觉得具身领域合适的目标，或者说训练任务是什么？行业里大家是怎么理解的？我估计可能还没有收敛，大家也有不同想法。

这是一个特别好的问题。我经常会回过头来思考，以前大家遇到类似问题时会怎么想，以及哪些地方是非常关键、非常 creative 的东西。

我认为 GPT 或者大语言模型有两个 awesome 的东西：next-token prediction awesome，Transformer awesome。

自动驾驶也有两个 awesome 的东西。其中一个叫 BEV，不知道大家有没有听过。

这是特斯拉2020年 AI Day 上讲的。

对，BEV。为什么 BEV 非常 awesome？

我们现在讲端到端时，很多时候不会区分端到端到底是从一段视频直接映射到动作，还是从一段视频映射到空间，再映射到动作。

但在自动驾驶里，不管大家怎么做端到端，这个问题都极其明确：必须先有一道空间映射，再到最后的动作。

7. Space And Interaction Matter

BEV，也就是 Bird’s Eye View，指的是一种空间映射。第一步先重建空间，重建完空间以后，再从空间里把规划长出来。

所以不管怎么做端到端，BEV 这一步都逃不掉。现在有直接做端到端的，也有通过 VLA 做端到端的，但不管怎么用 language，BEV 都逃不掉，因为它的效果太好了。

一旦有了空间重建，后面训练 planning、训练各种 policy，做出一些高技巧的动作，就会非常容易。

但如果没有空间重建、没有 BEV 这一层，你会发现网络似乎只是在单调地记住动作：有这段视频，就应该这么做。它并不理解这件事情。

这件事是自动驾驶独有的，和大语言模型没有关系。大语言模型接收的是 text，没有这个东西。

机器人一开始也是这样的信念，包括我们现在非常明确的一点观察：空间对机器人来说是一个极其重要的概念。

从更本质的角度理解，什么样的任务或者表达是最好的？物理定律告诉你，最精简的表达是最好的。你看物理公式都极其简单。

这个世界可以用图像来理解，每个像素都是一个色彩值。你会发现有无数种图像，但从不同视角、不同摄像头去看，看到的其实是同一个东西。

这个东西首先有时空的概念：在什么时刻、什么空间被占据。这是自动驾驶要解决的问题，也就是防撞。

第二，它有相互关系的概念。第三，如果你去动它，它有力学的概念。力学概念会引导它下意识地变成什么样。

如果在物理空间上表达方案，会发现有一个非常经典的表达，它比 RGB 经典得多，因为它更加本质。

所以我觉得自动驾驶和机器人都是物理空间 AI。为什么我们喜欢把它叫作物理世界 AI？因为本质上，它的变量全是物理的东西。你需要用物理量去刻画它，让神经元学到这些物理量，很多任务就会变得非常容易。

第二类问题，是自动驾驶、具身智能和大模型在这个阶段都逃不开的：怎么和世界交互。

如果语言模型不和人交互，它就相当于一个没有头脑、不断哔哔说下一段话的东西，你也不知道它在说什么。

它真正展现智能，是因为你不断问它，它不断回答；你再问，它再回答。这样它和你产生了交互，它内部会建立一个对你的模型，知道怎么样交互能够获得更好的反馈。

机器人更难的核心难点也是这个。

现在我们拿到一个不和我们交互的东西，其实比较容易。比如我去拿一个方块，找到一个位置，捏住它、拿起来，走到哪里它跟到哪里，没有任何可交互性。

你说的“不可交互”，是指它是一个硬的东西，还是指什么？

是指你无法改变它。

但你把它抓起来，也改变了它的位置。

位置是一个维度非常低的变化。事实上，只要抓得牢，你也不用改变它，你走到哪里它跟到哪里，所以你并没有真正改变它。

但如果你操纵的是一块布料，或者拿一根针去刺绣，或者操纵一根柔软的线缆，或者操纵任何东西，并且改变它的状态，你就需要想象怎样把它操作到想要的效果，要和它进行交互。

所以这件事非常难，是整个 AI 设计里非常需要关注的一件事。

你刚刚说了两个关键点，可以叫任务，也可以叫认知：一个是空间，空间感很重要；另一个是你和世界、和要处理的物体之间的交互。

对。对于自动驾驶来说，空间非常重要，因为自动驾驶本身是一个不碰撞系统，只是在空间中怎么摆的问题，碰撞那一刻就已经出事了。

对于机器人来说，它是一个接触系统。所以除了空间之外，还有一层东西：除了 x、y、z 直线上的位置，还有力和力矩。

所以接触力、空间这些物理量，会变得非常关键。

大语言模型把任务设置成预测下一个 token，之后却出现了一些更加通用的能力，也就是大家说的智能涌现。

在具身领域，重视空间、重视它和世界的交互，是为了更深、更远的什么效果？

也是为了让它展现出让人惊讶的能力。

你要知道，大语言模型很多时候，你给它 prompt 各种各样的问题，它回答得非常得当，而且说得一套一套的，你会觉得很惊讶。

但惊讶背后的原因是什么？你问它的任何一句话，它都可以在历史训练数据中找到某个片段。这个片段和你的问题有关系，它把片段调出来以后，你会觉得非常惊讶。

通过组合，它产生了看起来比较新的数据片段。但实际上，对神经网络来说，这只是一个内插。看起来比较新，其实只是一个内插。

所以大家会觉得它涌现了。但实际上，它是通过各种方法回溯到一些数据片段。这是它的第一阶段。

如果把刚才说的这些任务设定好，在具身领域具体能看到什么效果？

你会发现它的行为首先会越来越像一个人在操作。

最简单的评价标准是什么？比如给一个机器人，让它穿一件衣服、戴一顶帽子，你可能分不清它是人还是机器人。看它的动作，也不太容易区分它究竟是人还是机器人。

这就是所谓的图灵测试。

衡量所有 AI 都是图灵测试。测试一个聊天机器人时，如果测试者分不清最近是在和人交流，还是机器在打字，图灵测试就通过了。

对，具身智能也要做到这一点。

那它在完成任务的类型，以及学习新任务方面，能够做到什么程度，是下一阶段才解决的问题吗？

首先，场景不能太简单。但我觉得，只要它在一定场景上能够展现出这样的能力，并且方法论可以泛化，就已经很好了。

我认为越大的模型，真正泛化的是背后的方法论。

比如现在大家使用大语言模型，已经被证实的一个非常落地的应用，是 AI coding，用它来写程序。

你做一个大语言模型的 AI coding 模型，理论上不需要让它去读莎士比亚，也不需要让它读各种诸子百家，反而应该让它读各种各样的代码。

这时可以认为它是一个垂域模型，是一个代码级别的垂域模型。但它背后的方法论，和大家想通过语言模型打造 AGI 的方法论，完全是一套东西。

也就是说，你可以用类似的方法论解决数学问题、物理问题，以及其他问题。背后是一套方法论。

自动驾驶也是一样。你在中国训练了一个开得很好的 AI 自动驾驶系统，比如 FSD，到了美国不一定开得好，到了日本也不一定开得好，到了印度可能更恐怖。

但它背后的方法论是一套方法论。如果想扩展到其他问题上，就用横向方法论补充数据、优化效果，它就可以延展下去。

机器人也是一样。一个机器人可能在某个任务上做得非常棒，另一个任务之前没有接触过相关数据，也没关系，只要方法论能够支撑泛化就可以。

方法论支撑泛化，数据能够不断扩充。模型越来越大以后，就可以适应 multi-task。但在部署的那一刻，也不一定真的需要把模型做得那么大。

这是你从小心中想的真正的机器人样子吗？

但按照你说的逻辑，它肯定可以应用，也可以比较高效地大规模商业化，因为可以通过补充数据，让它适应不同任务。

可是很多人想象中的机器人，是它真的像人一样，能够直接学习新任务。按照现在的范式，是不是还做不到？

你说得对。前一阵伊利亚有一个 talk，我看过他的一个 talk。伊利亚非常厉害，他的每个 talk 都值得认真看。

我认为最后不管是做具身智能、大语言模型，还是自动驾驶，大家都会收敛到一件事情上。

现在这套方式，本质上其实是在做两阶段：一个是疯狂的数据生成器，一个是疯狂的数据模拟器，也就是数据逼近器。

但人不是这样。人会在主动过程中，依靠自己的先验判断，高效地找到所需要的数据，并且吸收、学习它。

所以伊利亚提到，人的 value function 也许是非常厉害的东西。

价值函数。

对。也许这是人类多少年的进化，以及祖先留给我们的宝贵财富。它没有直接给我们数据，也没有直接给我们一个现成的神经网络，但给了我们很好的 value function，指导我们在生活中高效学习。

这个问题一旦解决，会产生非常重大的影响，让整个 AI 的学习效率提高很多。

但在目前阶段，大家已经找到的真正能展现强大效果的，还是比较暴力的方式：找到一个非常厉害的数据生成方法，再找到一个非常厉害的数据拟合方法。

那我们回到现在的方法。你们这次发布的一个关键东西，也是你们一开始就讲的 human-centric 具身数据引擎。

我看到它最后的形态，是一个可穿戴设备、一个很轻量化的手套，再加上第一视角摄像机。人们戴着这个设备，就可以做各种工作来采集数据。

你可以讲讲它是怎么运转的吗？全世界范围内也有一些类似做法，比如 Sandy Robotics 有一个 Skill Capture Glove，技能捕获手套。大家在获得高效率数据方面，有哪些实践？

8. Wearables Capture Human Skills

我们应该是从所谓第一性原理出发，认真地正向想清楚这件事情。我们把它想明白以后，才下场创业。

所以你在2024年就已经想明白了？

对。我的第一份商业融资计划书里，就非常清晰地写了这个东西。当时饱受质疑。

主要质疑点是什么？

当时一些比较有名的公司，比如 Physical Intelligence，一直在用遥操作：人遥控一个机械臂去做一件事情，然后把机械臂的全量信息，包括传感器信息，全部拿下来，用来训练。

再往前追溯，大家可能看到了特斯拉某一年的 AI Day，有人戴着 VR 眼镜去操作，可能觉得遥操作是收集数据很好的方式。

但我们认为，第一要解决的就是数据问题。

我回想起自己当时冒了那么大的压力，顶着那么大的风险，凑够了1万个小时，才看到了不一样的东西。

现在自动驾驶要做出一个可用的好产品、好系统，背后需要多少小时支撑？一般是10万到100万小时，好的公司都会有100万小时以上的数据，才能做出自动驾驶这么复杂的 AI。

具身智能需要多少数据？肯定比这个高一个数量级。

也就是至少1000万小时？

我觉得至少是。因为我们在做这件事情的第一天，就在思考数据的获得方式。

在现在的 AI 范式下，你要想清楚数据，想清楚和具身匹配的任务与算法。现在的 AI，肯定比我们当年打造自动驾驶 AI 要厉害得多，是一个升维版。

既然它的能力可能强10倍，背后要支撑的数据可能也要多10倍。

而且在自动驾驶过程中，我们做了很多选择题。很多时候是排除题，需要通过很多数据把错误的方式排除掉。

当时我们也试过互联网数据。我们扒过很多行车记录仪视频，YouTube 上有很多国内的人去外面旅游，会把自己的行车记录放到平台上，也有很多数据。

但这些数据有几个问题。

第一，它真的没有大家想象的那么多。如果你真的去处理，很快就用完了。第二，这些数据是孤立的，并不能解决你遇到的问题。

比如你现在的问题是某个十字路口过不去，但你给它灌很多别人去西藏旅游的数据，这些数据无法建立映射关系。

所以互联网数据是静态的，量也没有那么大。

很多公司、学者，甚至现在一些做具身智能创业的学者，早期都做过互联网自动驾驶视频数据，后来纷纷放弃，因为这件事确实很难继续做。

当时 Berkeley 有一个 BDD100K 数据集，也是在做这件事。

对。你会发现，当时那些非常优秀的学生，现在也开始做机器人了。

你做完数据集以后，会发现它其实没有什么用，因为很难展现出好的效果。

不过现在也有不少公司说，他们找到了一种从视频数据里学习的方法。

但这件事情我们是画叉的。因为我们已经在自动驾驶这个子问题上收获了足够教训。

核心问题就是刚才说的两点：第一，互联网数据没有大家想象得那么多，质量也没有大家想象得那么好；第二，真正有价值的数据必须和你的问题匹配。

第二类数据是仿真数据。

做自动驾驶时，我们专门有一个30多人的团队，都是非常优秀的工程师，擅长做各种 graphics 仿真。我们可以把上海很大一个区域重建出来，下雨、下雪、路面积水，都能做出非常好的展示效果。

但事实上，对自动驾驶这个任务来说，用处不大。因为仿真有几重含义。

第一重，是把图像渲染得非常逼真，核心任务其实是在解决感知问题。但感知往往不是大家最头疼的问题，感知只要努力，通常都能解决好。

真正难的是我应该怎么做，以及怎么和世界交互。但仿真器没有办法解决这一点。

第二类仿真，是用有限元等方法，试图把物理规律建立出来，也就是 physical simulator。

比如你要仿真一根线怎么弯，就把线分成很多小段，每一段当作一个小弹簧，用杨氏模量把它们串起来。这些在科研里经常有。

但你会发现，做这件事情花费的精力，以及方法论的先进程度，还不如你的下游用户已经在用 AI 解决问题。你还在用 rule、调参数解决问题，所以仿真这条路也被我们关掉了。

仿真里唯一一个我认为确实有用的，是一套足够简单但很有用的系统，比如 locomotion 仿真。

locomotion 仿真不需要关心环境，只需要把机器人自身的多关节体和力学仿真做好。这是一个相对简单的问题。

但即使这么简单的问题，行业也花了两年时间才做得比较好。所以从务实角度来说，我们也先把仿真关掉了。

所以你觉得仿真解决操作问题比较难，不太可能？

现在所谓用仿真解决操作问题，更多是一些非常简单的操作，比如抓放。我要抓一个东西，想知道抓点在哪里，怎么捏住它。

但这个本质上还是一个感知问题，是一个比较简单的问题。

所以，要找到源源不断的海量数据，应该怎么找？

我就从以前的 AI 里想办法。比较大型、广泛被人使用的 AI，我认为有两个：一个是大语言模型，一个是自动驾驶。

自动驾驶我非常熟。自动驾驶最终的数据本质是什么？就是你开车，我记录你。

不管在前面放一个摄像头，还是放8个摄像头，本质上都是一个行车记录仪。自动驾驶其实是在记录人的行为。

自动驾驶的数据采集，也经历了不同阶段。

最早最难的问题，是没有人相信只用视觉数据，就足以把整个自动驾驶行为记录下来。

马斯克讲第一性原理，认为摄像头是足够的，只靠摄像头就够开车。其实还有另一种解读：你是否相信只靠摄像头，就能获得完整信息，把所有驾驶行为重现出来？

仔细想想，当然是对的。只靠摄像头就可以获得完整信息。

但当时为什么只有特斯拉一个人坚持用全摄像头？因为这个过程很难。如果使用激光雷达，或者把激光雷达和摄像头混用，重建环境在工程上就会变得非常可行。

当时我们选择激光雷达和摄像头混用，很快就能把整个世界重建出来。但它采集数据的方式，本质上还是记录人的驾驶行为。

如果技术发展到今天，我可能连激光雷达也不装，甚至8个摄像头也不装。我可能会选择在滴滴打车的车队上，看能不能给它前面装一个小小的行车记录仪，就可以凑集海量数据，足够做很多事情。

所以自动驾驶真正获得数据的方式，是用最小代价记录人的驾驶行为。

大语言模型为什么被祝福？因为数据已经在那里。但你看数据怎么产生的，都是人一个个敲上去的。人通过数字键盘或者其他方式记录自己的生活、思考和想法，都是人产生的数据。

机器人从设计上来说，是要帮助我们做想做的事情、服务好我们。本质上，你希望它的行为越来越像人，所以我们就在想，需要用最小代价记录人的完整行为信息。

整个数据其实只有两个源头：一个从人身上出来，一个从世界出来。但很多时候，不管数据是不是从世界出来，都是先从人出来，再从人转移到世界。

从人出来，是一种非常直接、能够快速增长的数据方式。

真正需要思考的是，这些数据都是传感器数据，那么应该怎么样设计传感器，让人能够非常自然地把这些数据采集下来。

还有一件非常重要的事情：数据要从真实场景中出来。

真实场景。你觉得遥操作不符合真实场景吗？

遥操作在很多地方没办法做到真实场景。

比如我想做一个机器人到工厂去打工。用一套可穿戴设备，让真正打工的人穿上以后，把他的行为记录下来，就可以了。

但如果用遥操作，就得把这个人请走，推一个机器人过去，再用 teleop 的方式让它一点点做。遥操作有延时，也有各种各样的问题，操作很慢，所以其实是在干扰别人干活。

客户或者场地方不允许这样做，因为会打扰别人。

比如我想知道大家怎么做咖啡，推一个机器人过去再遥操作，会给所有人添乱。

但也有很多人在做大型的蔬菜工厂。

蔬菜工厂为什么一定要是真实场景？我举个例子。

当时做自动驾驶时，有很多人在做专门的自动驾驶测试场，修了各种各样的路、环形路，里面像一个小世界。

但你觉得在里面疯狂开车训练出来的神经网络，敢上路吗？肯定不敢。

所以自动驾驶在2022年、2023年，大家都强调“开城”。哪个公司开城快，本质上就是谁在采集城市数据。

你在北京采完数据以后，放到云南能不能开？在中国采完数据以后，放到日本能不能开？

机器人如果只是在一个人为设计好的环境里做任务，换到其他地方肯定有问题，除非它的任务就是在那里做。所以真实场景非常重要。

第二件事是要有真实动作。

做机器人，或者人完成任何任务，都是为了把任务顺利完成，而且应该按照正确的方式完成。

人在做事情的时候，目标就是完成任务。但如果用机器人来遥操作，就得让操作员瞬间化身成某个技能的工人、服务员。你会发现他做出的很多动作是虚假的，并不代表任务真正被完成。

所以真实场景和真实动作这两件事非常重要。

想清楚以后，就只能通过可穿戴设备来采集。

我首先想到的是，数据必须从人身上获得。最极端的方式，如果有 Neuralink，也许可以有另一种非常 smart 的数据方式，但现在还不具备。

我们还是思考人究竟在解决什么问题。人基本上在解决几件事情：移动、操作和感知。

移动我们觉得还好，有成熟的方法知道怎么做。操作这件事情，本质上是人通过双手完成的。你可以把每只手当作一个小型机械臂，有5个小机械臂放在手掌上，把动作做出来。

也就是说，把人怎么操作的信息拿出来。

我们可以做一个思想实验：人戴着手套，手套上有摄像头，去看人所看、感知人所感；再把手套和摄像头放到机器人身上，机器人理论上也能看人所看、感知人所感。

这样它就有潜力复刻人的能力。

当然，这种复刻不是通过遥操作，而是人采集大量数据，把数据变成 AI，机器人再从 AI 里提取人的经验和能力。相当于把技能通过 AI 转移到机器人身上。

遥操作则是把人的动作通过信号转移到机器人身上。

你们从这些数据里获得的关键维度是什么？视觉肯定是一部分，还有什么？

关键是能够完整刻画一只手的动作。

什么叫全信息控制？首先，手本身是一个末端机构，所以要知道手的位置和姿态。

第二，要知道手做动作时，所有手指的姿态。

第三，不光要知道位置，还要知道它施加多大的力，这些力可以通过触觉拿到。

掌握这些信息，就掌握了一个人在进行任何操作时的完整信息。

这些靠一只手套就能实现吗？不用戴到手臂上？

不用，我们靠手套。

我们做了很多方案，目标是在不让人难受的情况下，非常容易地获得数据。我们叫被动采集，可以稳定拿到指尖的位置，以及想要的各种信号。

位置是配合第一视角摄像机，看到手和人的相对位置来确定的吗？

没那么简单。

比如叠被子时，手套在被子里面，你看不见手，也不知道手在哪里。

所以我们会通过一系列设计，保证拿到非常可靠、准确的输入。这也是我们要自己做硬件的原因。

这也是你在创业前，也就是2024年就想到要怎么解决的事情？

对。我的 BP 第一页画的就是手套，手套。

这个方案之前可以借鉴或者参考哪些领域的成果？

之前做得比较多的有几个领域。

一个是虚拟现实，也就是 VR。你伸手玩游戏时，会有一只虚拟的手。但那时的问题是，绝大多数都靠 VR 眼镜上的摄像头，通过摄像头定位手。

我们发现，首先它还原的数据质量不够高；另外还会有很多遮挡。比如漆黑一片时，你也不知道手长什么样，伸手不见五指。

另一种是电影拍摄行业，有动捕服和动捕手套。我们也研究过，里面有很多有意思的技术，但也不完备。

拍电影时，很多时候只需要展现大致趋势，并不要求精确到毫米，也不要求精确到能操纵某个东西，所以它是不完备的。

无论 VR 还是动捕，都是便携式设备，会厌恶算力，因为算力代表功耗，也代表成本。

所以我们会想，应该怎么用神经网络解决这个问题。这和我们之前的思路是一脉相承的。

这个算力需要做到手套里面吗？

目前我们的主要场景是采集数据，所以算力类似自动驾驶里的 auto-labeling。

我可以调用很大的算力，把效果做得非常好。当然我们也有端上的版本，可以最大程度把算力 offload 到端上。我们会有一个缩水版，放在手套里面，里面有一个很小的芯片来做这件事。

所以以前机器人领域直接做手套的并不多？

没有，或者说，以前一些学术机构有过研究，但它们不是为这件事情设计的，所以达不到我们的要求。

看起来它们在做类似的事情，但其实不是同一个问题。

如果以前已经有符合要求的手套，就像自动驾驶当年的激光雷达一样，我直接买就好了。但我确实没有找到。

关键在于，它不是为了打造具身智能而定义的一套传感器，所以这套传感器需要重新定义。

后来你看到 Sandy Robotics 发布 Skill Capture Glove，是什么感受？

我觉得手套做得最好的是 Manus。

Manus 其实是以前做动作捕捉行业的公司。它和那个 agent 产品 Manus 的名字是一样的，对吧？

对，M-A-N-U-S。

名字确实一样，所以很多时候大家会误解，以为它是一个丹麦小公司。其实它在动作捕捉行业里，是一个垂直领域的 winner。

Manus 这个词本身就是拉丁文里的“手”。

对。手套这件事情，也代表了我们对机器人未来操作执行终端的观点，以及企业未来想走到什么状态。

我们是灵巧手的坚定拥护者。我从一开始就认为，具身智能的操作终端一定是灵巧手，所以需要找到与之匹配的传感器，也就是手套。

手套会变得非常容易泛化，可以采集各种各样的东西。

如果设计一只手套非常困难，当然这个问题我们已经解决好了；如果设计一只符合人体工学的手套非常困难，就会转向一个降维版本。

降维版本就是，采集时不用手，强迫人用夹爪。或者强迫人用三指，就像 Sandy 那样。

它相当于把一只拥有20多个自由度的手，通过一个工具塞进去，让你降维，只能按照它既定的自由度去操作，然后再把信息记录下来。

对应到部署时，因为采集的是降维信息，也要部署一个降维的东西，所以就是 gripper-to-gripper，或者三指到三指。

刚才提到 Sandy Robotics，是因为我最近和一些投资人、市场观察者交流时，他们认为中国团队虽然很多，但在一些引领性成果上没有太多贡献。

他们会举一些例子，比如 Google 最开始做 RT-2，开启了大家对 VLA 的探索。作为一个中国从业者，你怎么看？

我觉得大家还是要对中国技术有信心。我一直非常有信心，因为我自己就是从业者，而且一直在最前沿探索。

比如 Sandy 这样的采集方式，我们做得比它高级得多。我们是20多个自由度的五指手套。

你们是五指手套？

对。我们其实也顺便做了一个两指的，因为五指动作对玩家来说太复杂了，所以我们也有两指的。

如果认真做，当然可以把三指手套做得非常好。但对于我们来说，既然想做得非常好，为什么要做三指？

所以同样的道理，为什么我觉得大家一定要对中国技术有信心？

今天我告诉你，中国第一个端到端自动驾驶是在2021年，你可能是第一次听到。大家以为是2022年的特斯拉，其实不是。

在具身智能领域，很多中国的技术，甚至大家的认知程度，是远远超过美国的。

某种意义上，很多时候是在中国的中国人，和在美国的中国人之间进行比较。

我为什么对中国有非常强的信心，尤其是在具身智能层面？因为你看我们和行业里所有人在做的事情，会发现具身智能这个 AI 充满了硬件、场景、本体、数据、算法之间的交替组合。

它不是简单地把这些东西切开，而是你中有我、我中有你。

比如我想打造一个非常好的 AI，需要想明白这个 AI 应该怎么做；AI 怎么做，需要哪些模态、哪些数据；模态又涉及传感器；数据又涉及怎么采集；如果想把量放大，就要把成本降得非常低，这里面也有很多创新。

如果想获得完美的执行，执行器应该是什么样子？你会发现，美国很多人都在做灵巧手，但除了特斯拉，真正有能力认真做灵巧手的公司并不多，因为特斯拉有强大的汽车工业支持它。

所以在具身智能时代，它完全是交织在一起的。

自动驾驶时代，我觉得美国自动驾驶和中国自动驾驶基本打了一个平手。但在具身智能时代，我认为美国创业者不会是中国创业者的竞争对手，完全不会。

回到你们现在采集数据的方式。你之前说，这一年你们越来越有信心，因为数据到了一定体量以后，能看到效果越来越好。

你们现在采集的数据大概在什么量级？增速怎么样？

增速非常快。目前我们采集的数据差不多是10万小时这个数量级，而且增速非常快。

你们从什么时候开始正式做比较大规模的采集？

从今年下半年开始。

其实去年我对数据采集这种方式已经非常乐观，但我们整个团队也比较谨慎。我们先一点点试，先找一些东西把数据浓度提高，看看这种方式有没有效果。

发现确实有效果以后，就觉得需要把量打开。

量打开需要硬件支撑。所以你会发现，真正想要的东西设计出来以后，硬件也需要很多创新和开发。

我们做了很多事情，把硬件成本压到我们认为可以 scale 到满意数据量的水平，然后开始 scale。

所以我认为明年我们的数据量会暴涨很多倍。

现在这种方式的主要成本，一个是硬件成本，另一个是支付给带设备、做真实任务的人。背后的主要成本是什么？

主要成本其实是算力成本。

我想问这个，是想和遥操作的成本结构做比较。你们这种方式大幅降低成本的部分在哪里？

最简单的理解是，遥操作需要一个机器人，需要把机器人直接放到现场。

而且现在遥操作的效率很低，成功率也低，动作还很慢。一般来说，我们采10条，10条都能用，遥操作可能最多只有1条能用。

所以要达到同等规模的数据，遥操作的数据投入非常大。

你们算过单条数据的成本大概差多少吗？比如遥操作在中国目前的市场行情是多少？

我们其实比它省两个数量级，也就是少100倍，至少可以说是它的百分之一。

这种方式现在是不是会变成一个趋势？接下来应该还会有公司在这方面推进。

我自己判断，2026年这种方式会让数据大爆发，爆发到一个大家非常惊讶的地步。

据你所知，除了你们之外，还有谁在这么做？

我们认为自己做的是更全面的信息。

现在很多人会用夹爪做事情，夹爪采集的门槛并不高，可以产生非常大的数据量。

只不过大家后来会发现，再往上走，如果只是刷 demo，用夹爪可以；但如果想真正打穿场景、完成任务，还是需要全量信息，所以需要的环节一个都不会少。

现在很多人会用夹爪式采集。至于手套，他们会遇到和我去年一样的问题：找到的各种手套都不如意，所以该迈过的坑还是要一个个迈过去。

也就是说，大家可能都得自己开发一套这样的硬件。

现在也有很多公司，希望让输入采集能够平等地赋能给所有生态伙伴。我觉得这样也很好。

专门做采集设备，或者做采集数据服务，应该会像自动驾驶一样，形成相应的公司和产业。

但就像自动驾驶行业一样，最懂数据的公司往往也是最懂 AI 的公司，两者一定是互相映射的。

你们现在怎么解决第一道关卡，也就是数据问题？在模型上，你们有一个自己的提法，叫 AWE，也就是世界引擎。

9. AWE Builds A World Engine

AWE 的缩写是 AI World Engine，也就是 AI 世界引擎。

这就是我们目前在具身智能上使用的技术模型。

刚才说为什么我们特别喜欢 World 这件事情。我们的第一个选择是，最多的神经元、最多的计算，应该用来表达什么。

我们认为，最多的资源应该用来记录这个世界的时间、空间、力等基本物理量，而不是把它当成视网膜式的表达。

很多典型的 VLM 是视网膜式表达，记录的是 local pattern、texture、颜色等。但我们认为，最多的神经元一定应该用来记录这个世界的信息。

这些世界信息不只是空间占用，还包括我怎么和它交互。比如我挤压它，它会变成什么样，会怎样反馈给我。

这就是最多的神经元应该表达的东西。

第二，为什么叫 engine？它当然也可以叫 model，或者叫其他东西。叫 engine 的意思是，它是动态演化的，会被机器人或者人的 action 改变。

当人的 action 改变世界以后，世界接下来会变成什么样？在这个过程中，它还会推荐应该怎样做。

我们认为，这是网络能够高效训练的一种方式。所有高效训练的网络都有一个特点，就是和任务本身高度匹配，从而能够高效训练。

所以我认为，机器人的任务本身就应该这样定义。

所以你们现在用的方法，并不是大家讲得比较多的，在 VLM 的基础上加入 action，从而形成 VLA？

不是。

创业之前我也想过一个问题：一个行业值不值得拥有自己的基础模型？

你会发现，大家的基础模型都是跟着行业走的。机器人行业值不值得拥有自己的基础模型，这是一个很大的问题。

如果大家认为机器人基础模型是一个 VLM 模型，长出一个头来解决机器人问题，那就意味着这个行业不应该拥有自己的模型，机器人任务只是另一个行业的下游任务，是它的一个分支。

我觉得这是一个非常本质的论断。不同背景的从业者，对这件事会有不同观点。

有人可能认为，世界本质上是一个多模态大模型，action 只是这个多模态大模型掌握的一个分支。

但我认为，机器人行业本身值得拥有自己的模型。

2017年我进入自动驾驶行业时，也是一模一样的情况。那时各种计算机视觉模型层出不穷，从识别到检测、分割，几乎所有任务都有对应模型，数据集也层出不穷，网络越来越大，看起来非常有能力。

那时很多做自动驾驶的人会想：它已经这么厉害了，自动驾驶能不能在它上面长出一个头？你先把自动驾驶里的车、人、路识别出来，再让它做自动驾驶。

但我当时非常反对，逻辑很简单。

那时大家怎么形容自动驾驶？叫“AI 皇冠上的明珠”，意思是这个问题太难，解决以后可能就是通往 AGI 的道路。

既然你都认为它是皇冠上的明珠，怎么还会认为它只是一个计算机视觉模型长出一个头？它肯定不是这样。

现在回到机器人也是一样。VLM 的训练数据很多时候是问答数据，简单来说就是看图说话数据。

你教一个小孩不停看图说话，他就能知道这个世界应该怎么做事情吗？显然不能。

所以机器人领域一定要拥有一套自己的模型，而且我认为，具身智能能够展现的智能规模，应该远大于大家现在想象的多模态大模型。

你说的“智能规模超过多模态大模型”，具体是指什么？

你怎么评价一个神经网络是不是更聪明、更有智慧？就是看它做一件事情的复杂程度。它能做的事情越复杂，就代表智慧越高。

看图说话模型的智慧复杂度，没有复杂到那个程度。

所以你们现在的模型并不是大家讲得比较多的 VLA。你可以大概分享一下它是什么思路或方法吗？

我们的模型设计思路其实很简单。

我设计 AI 时，一般会先想：机器人不是一个新领域，而是一个非常古老的行业。古老行业里有课本，这些课本记录了大家如何通过机器人学，把理论框架构建出来。

我认为这套理论框架是科学的。我们做 AI，其实是在这套理论框架中，用 AI 重新 design、重新实现它。

语言真正起的作用是什么？语言为什么要和动作连接？为什么要和视觉连接？传统机器学习里其实可以找到一些答案。

传统机器学习里还有行为这个概念，会用行为树等方法来做。语言其实是描述行为的一个很好的升维版本。

以前非常难的是，怎么把行为和传感器绑在一起，怎么把行为和动作绑在一起。AI 时代，这种绑定方式其实变得很简单。

当然，关键还是要想到用什么样的数据把它们粘在一起。

行为和动作的区别是什么？

行为是一个更 high-level、更经典的表达，类似战略和战术。

如果把很多动作集中成一个更大颗粒度的表达，好处是可以把任务推得更远。这就是大家常说的长程任务。

如果只停留在动作、低层轨迹，甚至电机角度这个层面，想把一件事情推得很远，是很难的。

所以行为是由动作构成的，可以说是一连串动作，但它是一个更抽象的东西。

对。

比如现在我和你说话，你听到的是什么？耳朵听到的是我传递给你的波形，是空间震动的一个个波形。这个波形更像动作本身。

但我们真正传递的是上面的信息，是语义。

所以对于机器人的动作来说，行为更像语义这一层；具体的传感器信息和动作轨迹，更像波形。看到波形时，你会觉得杂乱无序；看到语义时，就觉得井然有序。

现在 VLA 里的 action，究竟是什么？

Action 其实也是一个很有意思的东西。现在这个时间点，大家对 action 的定义并不一样。

有人把它定义成底层执行器的关节需要多少电流；有人觉得可以定义成一条轨迹。

但没关系，它只是驱动执行器的一个信号。

从我们的角度来说，action 就是能够驱动整个物理系统最底层的那个东西。

所以你们在这方面也有一些创新，只是接下来一段时间还是会先闭源，对吗？

对。我们先高效地把它迭代到比较好的状态。

我觉得开源的使命，是让很多用户能够以非常低的门槛获得价值。我们需要先做到这一步，再开源。

开源不是简单地把一个模型复制到网上，却没有人使用。我觉得开源应该从价值出发，目的是让更多用户以很低的门槛享受到这个东西带来的价值。

大家经常会说，具身领域还没有找到自己的 scaling law，或者还没有进入一个 scaling 的状态。

你怎么看这种评价？如果现在还没有到，接下来可能怎么到达？

我觉得这个领域的 scaling law 非常明确，一定可以到达。

大家判断 scaling law，通常有两种方式：一个是看结果，看性能是不是已经刷到这个状态；另一个是看增长趋势。

如果看增长趋势，我觉得毫无疑问，现在已经处于一个非常明确的持续增长状态。对行业来说，明年这一年应该也能看到明显进步。

当然，这取决于你怎么定义它能达到的高度。

新行业的冷启动时间为什么会长？因为它一定要按顺序经过三个阶段：数据、算力，以及交互环境和技巧。

大模型为什么发展得快？因为数据这道墙没有了，直接跳到了第二阶段，所以迅速起来。

自动驾驶在2019年之前还没有进入这个阶段；从2019年到2020年以后，好的公司慢慢把数据积累起来，后来大家就看到了效果。

具身智能也是一样：先迈过数据墙，再迈过算力墙，再迈过第三堵墙。

回到最开始的问题，以你们现在的进度，或者整个行业的进度，你觉得什么时候会出现2021年自动驾驶用端到端看到惊艳效果的那个时刻？

对具身智能来说，我认为会更快一点。但保守估计，至少是同频。

从2019年认真开始做端到端、积累数据，到2021年看到效果，用了两年。我认为从2025年认真开始做这件事，到2027年一定会有效果。

但从我们目前的进度来看，我发现速度在变快。

整个行业会有人比你们更快吗？或者说，整个行业最快什么时候会出现这个时刻？

从行业平均速度来说，速度会越来越快。

我觉得2025年会有很多人决定做这件事。2026年，按照我的预测，数据会大爆发。不管是什么样的数据，数据大爆发必然伴随 AI 能力提升。

这是行业平均速度，但里面的玩家肯定有快有慢，所以很难预测具体是哪一家。

对我们来说，就是努力做好自己，希望在这条路上持续快速迭代。

那个时刻来临时，会出现什么信号？有哪些可观察到的信号？

我可以预测一下。

我觉得2026年大家会看到越来越多 demo 视频。但这和早年自动驾驶的情况一样。早年自动驾驶大家都在放视频，是因为有一套方法能刷出视频。

之后会有越来越多人有信心进入垂直领域。因为数据多了，如果领域足够小，数据浓度就高，场景看起来就容易被解决。

所以会有越来越多人诚实地进入一些非常 vertical 的领域，不管他们怎么表达自己。

同时，对于通用具身能力，从平均意义上来说，整个行业会看到它的能力越来越强，行业对具身智能的信心指数会不断上升。

信心指数上升，会体现在什么地方？比如大客户的采纳？

我觉得会。

首先，第一波信心指数上升的，应该是早鸟用户。因为越大的客户越注重使用价值，越早鸟的客户越能看到更远的未来潜在价值。

对我们来说，我们并不打算做 demo，而是觉得这就是正确的做事方法。所以2026年我们会非常聚焦，把实际价值做出来。这才是我们真正感兴趣的事情。

我觉得具身领域的噪音可能更多，也更难辨别。

比如大客户采纳这件事情，如果一些大的产业方投资了某些公司，现在就可以看到很多合作。但如果你是一个局外人，既不是产业方的人，也不是机器人公司的人，其实很难判断这个合作究竟是什么程度，是否真的在产线上产生了价值。

合作最终还是要回到合作的本质。

商业合作本质上都是互惠互利的，通过技术和产品创新创造一个价值池，然后大家在这个价值池里共享技术创新带来的收益。

核心是把价值池做出来。价值池做出来以后，自然会有合作伙伴进来。如果没有价值池，合作可能只是表面上的合作，不会有实质性的合作。

你们接下来重点要落地的场景是什么？

10. Industrial Robots Come First

我们判断，所有人做机器人，想法可能都差不多，都希望家里有机器人，或者身边有机器人。

但进入消费者市场，在这个时间点还比较早。所以我们的第一个场景，会进入现在已经出现机器人的场景，比如工业制造。

我们刚开始还是想解决机器人在生产力上的诉求，看它能不能成为一种新式生产力。

这些场景里有非常大量的真实需求，而且很多需求的颗粒度比较大。它们之所以被遗留下来，是因为之前的机器人技术解决不好。

这些就是我们非常感兴趣、事实上也正在做的事情。

可以讲一些具体的吗？

比如精密柔性的线束制造。

线束制造对应到日常生活中，大家接触到的哪些工业产品？

只要有电器的地方就会有线，比如汽车、冰箱、洗衣机、空调，各种家电、白电、服务器。只要有电，就会有电线；有电线的地方，就会发现它的制造对机器来说是一个非常难的问题。

电线很难整理，我自己理两根线都不想理，最后也会理得乱糟糟的。

把一根根电线按照相应方式，组装成非常整齐的东西，就涉及线束装配，以及插接、插拔等工序。

手机里这么精密的东西也可以做吗？

手机反而是自动化非常充分的行业，因为手机很多时候会采用 PCB 或软排线。手机是一个典型的平面加工工艺，所有东西都是一排排在平面上叠起来的。

对机器人来说，比较难的是立体、柔软的加工工艺。

但苹果的产线上还是有很多人在做组装。

对，非常多的人。

其实苹果产线难的地方也在这些点上。比如有插接，尽管可能是平面组装工艺，但还是会有一些 socket 需要抓取。

第二，平面组装工艺需要一层层堆叠，需要打螺丝固定，或者做其他固定。还有一些柔软的东西，全部难在这些地方。

你们现在有什么可以透露的具体合作客户吗？或者说，在你们想进入的这些场景里，已经做到什么状态？

我们解决的问题非常真实，用户也非常痛，所以现在愿意和我们合作的用户非常多。

我们现在更关注的，也是用户最关注的问题：聚焦把这个问题干净、漂亮地解决掉。

我们和一些合作方一直在推进。无论是我们还是用户方，合作方式都是大家非常想把这个问题解决好，然后一起快速迭代。

我还有最后一个问题。

具身智能理论上门槛应该比较高，因为它是一个非常复杂、综合很多技术的系统，或者说一种产品。

但另一方面，中国又有非常多具身团队，直到现在还有很多新公司不断涌现。

你觉得应该怎么判断，在这么多公司里，什么公司是真的比较靠谱、比较扎实地在做事情？

我觉得每个公司可能都是靠谱的。

好的公司最重要的是，首先要想清楚自己要成为一个什么样的自己。定义好未来想成为的自己，非常重要。

如果一家公司没有想清楚自己要成为什么样的自己，它就处在一个不靠谱期。

我们对这些事情是明确的，对外也大概知道自己想成为什么样的公司，并且会努力成为那样的公司。

所以至少在这个阶段，我觉得不用特别关注别人都想成为什么样，除非你想成为别人。但我觉得想成为别人不是一个好的选择。

好，谢谢。今天感谢陈亦伦陈博士做客《晚点聊》，分享你的创业起点和契机、你看到的具身智能领域的曙光和关卡，以及面对第一道关卡——数据——时，它石智航是怎么思考和解题的。我们也推演了行业接下来的节点和可能的落地进度。

再次感谢，各位拜拜。