[BidClub_]
十字路口Crossing · · 43 min

当具身智能走到十字路口|对谈苏度、蚂蚁灵波、自变量、破壳:四种一线判断

Koji韩铮沈宇军王潜许华哲

RoboticsAI & SoftwareTechnicalCompany Building
Podcast
TL;DR
  • GPT-6 Astra 直接控制机械臂的视频引发“具身智能被通用大模型降维打击”的担忧。王潜认为,这一版模型本就训练了大量机器人数据;OpenAI 和 Anthropic 从去年年初起就在采购机器人数据、自建小规模数据工厂并招募具身领域人才。他的核心论断是“智能的本体是存在于数据里面的”,模型更像“蒸馏器和容器”。如果通用模型做具身仍要依赖数据、验证基础设施、现实世界评估和硬件,它“只是另外一家具身智能公司而已”,天花板和发展速度不会因此明显提高。
  • 通用智能跨域泛化到具身,在王潜看来历史上从未发生过。Coding 被先解决,是因为相关数据最容易制造和验证,而不是因为对话能力自然迁移;coding 和数学在预训练中“通常会互相打架”,因此业界会分别训练 coding expert 和 math expert,再用其他方式合并。视频生成也没有直接转化为机器人控制优势。Astra 的启示是预训练和通用数据“至少会是一个 bonus”,这条路仍应继续。
  • 数据之争不是简单的二选一:韩铮坚定认为仿真绕不过去,同时也认可真实数据有用。他们从 2015、2016 年起做仿真器和合成数据,2024 年之后重构闭源数据体系;去年年底已有结果,并在今年 4 月发布,显示在物体、环境、光线几乎不受限制的组合下,抓取、放置、组装等技能可以接近 100% 成功率。韩铮认为真实数据收集效率较慢、质量有时受限,因此仿真是必要的。沈宇军则认为不同阶段应使用不同数据,预训练更需要真实场景数据;真正的瓶颈可能不是 sim-to-real,而是能否规模化完成 real-to-sim,把传感器噪声等底层因素搬进仿真。实测触觉传感器的频率、幅值和一致性等信号,与仿真结果“基本上千差万别”。
  • 许华哲当天实测 Astra 后认为,语义泛化和空间泛化较强,物理泛化较弱。它能识别桌面物体,抓起难抓的筷子并把筷子立起来插进杯子;但用筷子挑开东西、叠盒子、叠衣服等复杂接触任务仍做不了。物理变化的理解,是具身公司的“最后阵地”。泡沫水果可以用较大力气抓起,但真菠萝需要根据反馈改抓顶部绿叶,这说明最终需要把大模型、具身模型和物理世界连接成完整系统。
  • 商业化的终极指标是客户持续付钱,而且付得越来越多。王潜还提到,物流场景已经出现传统机器人做不到、且超过人类效率水平的任务。韩铮补充,100 个任务中可能只有 1 到 5 个能容忍约 80% 成功率或一两次纠正,剩下的 90 多个任务几乎每次执行都要接近 100%,同时还要具备泛化性,不能靠大量后训练和过拟合补救。
  • 许华哲把商业化分成两类:后训练闭环项目可以带来短期现金流,但真正期待的是具身基础模型达到阶跃式能力。GPT 即使以 50% 成功率回答问题,多轮对话仍可能得到好结果;机器人若以 50% 成功率完成任务,则可能有 50% 的概率摔碎杯子。因此仍要追求具身智能的大模型化,直到模型从面对所有任务的 50% 成功率逐步走向 99.9%,并开始处理物理世界中的大量任务。他认为具身智能在 3 年内就可能在很多地方提供通用服务。
  • 五年回望时,韩铮认为中国具身供应链的先进程度被高估,具身所需的传感器和关键组件距大工业制造水平仍有差距;沈宇军认为具身作为复杂系统工程被低估,而训练技巧被高估;许华哲认为盲目追求数据量被严重高估,具身模型的整体进展被低估。王潜则认为具身智能的重要性和潜力仍被低估:当前语言模型还缺少“物质上的再制造,或者说自我增殖”这一环节,五年后在具身智能辅助下,造飞机也许会像今天做 app 一样简单,那时才可能出现真正意义上的 ASI。
Digest · the substance, structured for research

1. 韩铮:仿真与真实数据并行,闭源重构后操作技能接近 100% 成功率

  • 韩铮从 2015、2016 年左右开始做机器人仿真器和合成数据,经历过两轮,认为科研和商业化并不一样:大家用开源项目、数据和算法完成实验后,往往不知道如何继续大规模修改基础模型,或者只把仿真器用于传统控制中的数据补充。
  • 他认为此前的开源仿真器、CBMS、Skill,以及英伟达 Isaac,在大规模预训练的数据生成方面仍有局限。因此从 2024 年之后,他们重构了闭源数据体系,包括数据管线和仿真器管线。去年 11、12 月左右已有结果,并在今年 4 月发布:在物体、环境、光线等因素几乎不受限制的组合下,抓取、放置、组装类强化学习技能可以接近 100% 成功率。
  • 但韩铮并非否定真实数据。他明确认为真实世界数据也很有用,只是单靠真实世界收集,效率较慢、质量有时受限,因此仿真“绕不过去”。他还提到,美国同行最近也在加强仿真器能力,苏老师一位尚未毕业的学生加入了一家美国公司担任仿真器核心负责人,这在他看来也向行业传递了一些信号。

2. 沈宇军:瓶颈可能不是 sim-to-real,而是 real-to-sim 的规模化

  • 沈宇军先澄清,凌波并不认为某一种数据一定要选、另一种一定不能选。预训练阶段,互联网数据和真实物理世界数据可能更重要;回到具体任务,尤其是仿真在自动驾驶中的应用时,仿真数据仍然有价值。
  • 他的第一性原理判断是:机器人最终只能依赖自身传感器,而真实传感器必然存在误差。大家通常讨论 sim-to-real gap,但更重要的问题可能是 real-to-sim 能否规模化,即能否把传感器噪声等更底层的因素可靠、可复制地搬进仿真器。如果这一步无法规模化,解决单一问题仍然可以,但支撑通用预训练的价值可能就不大。
  • 他举的硬证据是触觉传感器:虽然已有触觉仿真,但实测真实传感器信号与仿真结果“基本上千差万别”,频率、幅值以及传感器之间的一致性,都很难在仿真器中做到完美复刻。物理世界的不完美,是仿真最难处理的部分之一。

3. 王潜:智能在数据里,模型更像蒸馏器和容器

  • 面对“具身智能被通用语言大模型降维打击”的讨论,王潜认为 Astra 能完成机械臂任务并不奇怪:这一版模型训练了大量机器人数据;从去年年初开始,OpenAI 和 Anthropic 已大量采购机器人数据、自建小规模数据工厂,也招募了许多具身领域人才。
  • 他的核心理论是:“智能的本体是存在于数据里面的”,当然也有一部分存在于 evaluation 里。模型在训练时更像“蒸馏器”,部署时更像“容器”。前沿 AI 系统的大量工作,实际上花在造数据、挑数据、验证数据和标注数据上。
  • 由此他推断,如果 OpenAI 或 Anthropic 做具身仍需要现实世界数据、仿真器、世界模型、现实环境中的 evaluation 以及硬件,那么“它只是另外一家具身智能公司而已”。这些难度不会因为基础模型优势而自动降低,具身公司反而可能拥有实质优势。

4. 跨域泛化从未自然发生:coding 和数学在预训练里会打架

  • 王潜认为,大家真正担心的是通用智能能否从其他领域泛化到具身,但语言模型历史上并没有发生过这种自然迁移。Coding 的成功来自 coding 数据和验证基础设施变得完善,而不是因为对话能力本身变强。
  • Navier–Stokes 方程被解,也没有让数学因为 coding 的成功而自然变强。相反,coding 和数学能力在预训练中通常会互相影响,直接同时加入效果并不好,因此会先训练 coding expert,再训练 math expert,最后用 o1 等方式将它们结合。
  • 视频生成、3D 和 computer use 等领域也没有自动转化为机器人动作控制优势。Astra 带来的反向启示是,预训练确实有效,加入大量通用数据“至少会是一个 bonus”。未来的差别可能在于,通用模型公司把数据和验证基础设施融入语言模型,而具身公司做行业专用模型;但通用模型也难以在机器人上以合理速度推理和部署,两条路线的上限与发展速度未必有明显差别。

5. 许华哲:物理泛化是具身公司的最后阵地

  • 破壳在 Astra 可用当天就进行了测试。许华哲把具身任务拆成语义泛化、空间泛化和物理泛化三个方面:Astra 的语义和空间能力相对强,物理能力相对弱。
  • 它能识别桌面上的不同物体,也能抓起一直很难抓的筷子;进一步要求它把筷子立起来、插进杯子,它也可以完成。这说明它在三维空间中的表现不只是二维定位。
  • 但遇到用筷子挑开东西、叠盒子、叠衣服等带复杂物理接触的任务,Astra 就不太行了。Contact-rich 任务中,许华哲提到它能做的包括把筷子放进杯子,以及把物体从一只手递到另一只手;后者测试很多次后只有一两次成功。“怎么样理解物理变化”,是具身机器人公司的最后阵地。
  • 他认为未来不是大模型替代具身模型,而是将具身模型接入 Codex 或 Harness 等环境。以水果抓取为例,泡沫水果可以靠加大力气、抠住一点将其揪起,但真菠萝不能这样抓,需要根据试探反馈改抓顶部绿叶。Astra 可以在抓取后判断是真菠萝还是假菠萝,再选择下一步动作,最终需要大模型、具身模型和物理世界形成完整系统。

6. 沈宇军:具身模型可能拥有自己的范式,并反过来影响云端模型

  • 沈宇军认为,具身智能可能逐渐影响大模型或云端模型的发展路径。机器人工作时,传感器必须持续输入,不能因为模型正在推理就中断;模型也要根据新输入随时调整推理。
  • 这与数字世界的轮次对话不同。因此,部署到机器人上的具身模型可能会成为更高级模型使用的工具,同时需要自己的训练范式,以持续输入并输出 policy。
  • 具身场景也可能给云端模型提供新的发展方向。人与人聊天时会根据天气、对方脸色等视觉和环境信息改变说话方式,而屏幕后面的云端模型通常不需要处理这些物理世界信号。机器人进入生活后,天气、温度等传感器数据可能成为大模型的新语料,使模型能够感受周围环境并随时调整对话方式。对 Astra 已经能达到的主动推荐能力,沈宇军认为这是好事。

7. 韩铮:上下层模型需要可靠衔接

  • 韩铮认为,具身系统最终会出现上下分层。他从几年前就认为,Physical Intelligence 最大的对手实际上是 OpenAI,最近还包括 Anthropic;DeepMind 的另一位机器人研究员也刚加入 Anthropic。
  • 上层模型已经在尝试与底层技能结合,但底层技能的泛化性和成功率必须达到相近水平。只有泛化性而没有高成功率,在上下层衔接时会成为致命问题。
  • 他提到去年年底的演示:通过语言交互连接千问模型,使其理解周边环境和物体;模型接收到抽象指令后,会拆成 reasoning 并生成操作步骤。但这些步骤必须依靠对环境和物体极其可靠、稳定的底层操作,才能完成执行。Astra 出现后,这种上下层结合的理念重新受到关注。

8. 商业化的硬门槛:九十多个任务要接近 100%,付费要持续增长

  • 韩铮认为,科研和商业化对机器人的要求与工业机器人和自动化类似,高成功率是大多数任务商业化的前提。100 个任务中,大约只有 1 到 5 个任务可能允许成功率约 80%,或允许一两次纠正;剩下的 90 多个任务,几乎每次执行,包括快速纠错,都要接近 100% 成功。
  • 与传统自动化相比,具身系统还要对物体和环境具备泛化性,而且不能依靠大量后训练成本弥补,否则每换一个场景都要重新过拟合。设备可靠性和服务方式也是商业化绕不过去的问题。
  • 王潜认为,最终指标只有一个:客户能够持续付钱,并且付得越来越多。行业不能只是沿用上一代自动化的商业方式,而要证明新一代机器人提供了真实价值。他提到最近在物流场景中,已经有任务做到传统机器人做不到的事情,并超过人类效率水平。
  • 他还认为,公司必须赚钱,才能继续训练更大的模型、推进 AI 前沿。过早商业化曾经可能有害,但行业也许已经进入商业化与前沿能力互相促进的阶段。

9. 许华哲:现金流项目与等待 99.9% 的阶跃式商业化

  • 第一类商业化是后训练闭环:与某个品牌或工厂合作,把任务部署好。比如让机器人独立完成家门口小吃摊的关东煮,核心指标是用多少小时稳定落地、能复制开多少个摊位,本质上仍是效率和 ROI 的换算,短期可以带来现金流或营收。
  • 第二类商业化更接近这一波具身智能的目标,即能力形态类似语言大模型。GPT 即使以 50% 成功率输出答案,多轮对话后仍有较大概率得到好结果;机器人如果以 50% 成功率完成任务,就有 50% 的概率把杯子摔碎,因此使用体验完全不同。
  • 即使如此,仍应继续追求具身智能的大模型化。这里的 50% 是面对所有任务、面对全世界任何事情的 50%;如果基础模型能从 50% 走到 60%、70%,再到 99.9%,并开始处理物理世界中的大量任务,才是这一波具身智能真正意义上的商业化。

10. 五年回望:高估的是供应链、训练技巧和数据量,低估的是系统工程与进展

  • 韩铮认为最被高估的是中国供应链的先进程度。中国的供应链选择很多,但具身所需的传感器和关键组件分散在汽车、工业机器人等成熟行业中,距离大工业制造水平仍有差距,不过他认为这些问题在中国最终可以解决。
  • 被低估的是达到 99.9% 成功率所需的非后训练、非过拟合方法。对于稳定可靠的技能以及上层模型的组合,未来一到两年可能会看到某一大类、在各行业中相似的任务被较快处理掉;但所有任务都达到 99.9%,仍需要很长时间。
  • 沈宇军认为被低估的是具身智能作为复杂系统工程的性质。落地成本不只取决于模型性能,还要考虑是否必须使用完整机器人、是否双臂就够,以及整个系统的成本和鲁棒性。模型只是其中一环。
  • 他认为被高估的是训练模型的技术。具身智能可能采取与数字世界相似的模式,但不会走完全相同的技术路线,因为机器人需要一边工作一边推理,持续处理物理世界输入,可能要以 7×24 小时甚至 30×24 小时的方式运行。具身智能也许会推动新的训练范式,但训练技巧本身“没有那么像魔法”。
  • 许华哲认为行业严重高估了对数据量的追求。市场上有人宣称拥有 100 万小时、几百万小时数据,也有人说“不买就落后”;但使用超大体量数据训练的模型,未必得到超出预期的结果,也不一定比几万小时数据训练出的模型更好。
  • 他认为被低估的是整体具身模型的进展。在他的判断中,具身智能不一定要等五年或十年,3 年内就可能在很多地方提供通用服务,而不是只提供针对单一场景后训练的服务。

11. 王潜:RSI 缺少物理环节,五年后造飞机或像做 app 一样简单

  • 王潜认为,五年后回看,人们会意识到具身智能的重要性和潜力仍被低估。物理直觉与逻辑推理,即数学上的深度搜索,在科学研究中不能完全互相替代。要构建真正意义上的 AGI,这部分能力必须从真实世界、仿真或其他方式中获得并注入 AI 系统;是否放在同一个模型里,还是采用分层,是次要问题。
  • 对当前围绕 RSI 的狂热和恐惧,他认为语言模型还不足以实现完整的递归自我改进,因为缺少“物质上的再制造,或者说自我增殖”。语言模型可以修改训练方式和流程,但算力扩张仍需要更多芯片、电力、数据中心建设,以及人去建造基础设施、调整半导体工厂参数。
  • 他的思想实验是:如果 Anthropic 从今天起裁掉所有员工、全靠 agent 开发下一代模型,进度肯定会减慢,但未必完全开发不出来;如果半导体工厂没有人、全部交给 AI,则肯定不行。
  • 五年后的图景可能是,一个人开一批 agent,几小时就能做出过去需要大团队和一年时间才能完成的 app;在具身智能和通用语言模型辅助下,造一架飞机也许会像今天做 app 一样简单,生产流程由此趋向闭环,实现某种“硅基脱离碳基”。他认为那时才可能出现真正意义上的 ASI。
  • 王潜也提醒,这个未来未必一定是好事,并批评美国语言模型公司的道德水平。他认为中国或许仍需走出自己的 AI 发展道路,具身智能可能成为其中的重要起点;未来也不排除每家公司都训练自己的语言模型。
Full transcript
Koji

那我们今天直奔主题。今天我们会聊 3 个话题:一个是数据之争,一个是智能之争,一个是场景之争。为什么都是“之争”?因为感觉在 2026 年,我们正处在一个十字路口,有非常多尚未收敛的路径等着大家去探索。

所以第一个问题想请教韩铮总。在数据方面,有人会认为要押注仿真,也有公司或者研究员坚定地要押注真机。从您的角度看,你们坚定地押注仿真,当初是因为看到了哪些信号?到今天,你们有没有看到一些新的、增强的信号?

1. 仿真与真实数据并行

韩铮

我首先讲一下,我们是坚信要使用仿真的,但同时还有后面一句话:我们也坚信真实世界的数据非常有用,并不是说纯粹使用仿真。

我们的出发点其实也比较朴素。最早可能在 2015 年、2016 年开始做机器人的仿真器和合成数据这条路,直到我们自己成立公司、开始做商业化版本,其实经历过两轮。仿真,包括基于模型的强化学习,在仿真器里进行大规模强化学习,这条路本身,我觉得科研和真正商业化是不太一样的。

科研的话,你可以用一些比如我们放出来的开源项目、数据和算法去做实验。但大家通常试一下之后,就不知道接下来怎么大规模地修改到一个基础模型,所以一般都会停在那个位置上。或者大家使用仿真的时候,会在一些偏传统的控制方法里,在换成机器学习方法的时候,用仿真器去做一些数据补充。

但真正大规模地做预训练,基于模型的强化学习去进行大规模预训练的数据生成和训练,实际上现在市面上不管是我们之前的开源仿真器、CBMS、Skill,还是英伟达的 Isaac,在我们自己内部看来,还是有一定的局限性。

所以从 2024 年之后,我们坚定地做了一个大规模、完全重构的闭源数据体系,包括数据管线,也包括仿真器管线。到去年年底,也就是 11 月、12 月左右,我们已经有了一个结果,并在今年 4 月份放出来,让大家看到,对于物体和环境,包括光线等因素组合在一起的强化学习任务,比如某些技能的操作,像抓取,以及后来放出来的放置、组装类任务,的确可以在物体和环境几乎没有限制的情况下,达到接近 100% 的成功率。

但我们也坚信,包括其他路线的探索方式,最终大家还是会有一些上下分层,以及相互配合的方法。我觉得大家各自都在探索不一样的路径。

在数据方面,我们还是坚持这个观点:光靠真实世界的数据收集,主要是效率比较慢,质量有时候也比较受限,所以仿真是绕不过去的。我觉得这也是最近一段时间,美国的一些同行开始加强仿真器能力的原因。苏老师的一位学生其实还没有毕业,最近也加入了一家美国公司,担任其仿真器的核心负责人。我觉得这也给业内传递了一些信号,虽然大家使用的方法不太一样。

Koji

好的,谢谢。接下来有请沈宇军总。凌波在数据路线上非常明确,选择了真实数据。从您的角度来看,真实数据哪些方面是不可替代的,是仿真怎么都做不到的?相比仿真的数据,它提供的最大价值是什么?

2. 真实数据保留物理不完美

沈宇军

其实也不能说我们是不是坚决选择了真实数据。数据这个事情,我们是这么看的:在凌波内部,我们从来不觉得哪一种数据是一定要选,或者一定不要选。不同的数据在不同阶段,可能会起到不同的作用。

我们会认为,在预训练阶段,比如互联网数据,以及从真实物理世界采集的数据,可能作用更大一点。但如果回到某一个具体任务,尤其是仿真在自动驾驶里的意义比较大,那么回到具体任务本身时,仿真数据还是有价值的。我们没有说仿真坚决不行,这一点先澄清一下。

但为什么我们会比较坚持,在预训练阶段更多地使用来自真实场景的数据?因为我们设想一下,如果机器人有一天真的能够在现实世界中工作,它可能跟现在数字世界里很多模型的工作方式不一样。它一定是基于身上的传感器,所有观测都只能来自它身上的传感器。

我们不可能给机器人一个键盘,然后通过打字给它输入信息。但真实世界的传感器一定是有误差的,这是物理条件的限制。我们没有见过特别完美的传感器。在这种情况下,机器人一定只能依赖身上的传感器作为输入,然后做事情。这是我们觉得机器人最后落地时一定会面临的事情。

基于这个判断,如果我们从第一性原理、从最后的目标出发,我觉得仿真现在可能存在的一个问题,当然大家讲得比较多的是 sim-to-real gap,但我觉得更重要的反而是 real-to-sim 这一步能不能规模化。换句话说,我们能不能把传感器噪声或者一些更底层的东西,真正很好地搬到仿真器里,以及这件事能不能规模化复制?

如果它不可以,解决单一问题是可以的,但如果预训练希望解决更通用的能力,那么 real-to-sim 这一步如果不可规模化,我觉得我们只谈 sim-to-real gap 逐渐变小,价值可能就不大。这是我们的一个看法。

所以更底层的判断就是,哪些数据的能力一定来自真实数据、无法替代?我觉得可能是因为机器人必须在物理世界中工作,而物理世界很多东西的不完美是不好仿真的。

Koji

举一个具体的例子,什么样的不完美是在仿真器里面确实非常难做到的?

沈宇军

比如说,当然现在大家讲得比较多的视觉摄像头,可能已经比较发达。假如未来有一天,我们希望机器人在工作的过程中也能依赖一些触觉信息,大家可以知道,触觉信号——现在有很多做触觉传感器的公司,也提供一些触觉仿真的东西——但你会发现,我们测过很多真实传感器拿到的信号,跟仿出来的基本上千差万别。

不管是信号的频率、幅值,还是传感器之间的一致性,很多问题都很难真正搬到仿真器里面,让它做到非常完美的复刻。

3. 通用模型挑战具身智能

Koji

好的,谢谢。接下来我们再聊一聊智能之争。最近这个礼拜有一个非常重要的发布,是 GPT-6 的 Astra,相信大家也都看到了,社交媒体上有大量视频是用 Astra 直接控制机械臂去完成各种各样的任务。

甚至我看到一种说法:具身智能要被通用的语言大模型降维打击了。我想问王潜总,您看到那些视频时是什么感受?我们要被降维打击了吗?

王潜

最近确实是行业里最火的话题。今天早上我还看到一个用 Astra 控制灵巧手的视频。

我觉得首先得知道一件事情:在这个版本的模型里面,其实训练进去了大量机器人数据。从去年年初开始,OpenAI 包括 Anthropic,其实都在大量采购机器人数据,也有自己的小规模数据工厂去采集机器人数据,同时还招了很多具身领域的人。

所以我觉得这不是什么特别奇怪的事情。它本来就是一个非常好的多模态模型,如果里面再加了很多机器人数据,那它能够做这种事情,确实不是什么特别奇怪的事情。

我一直以来有一个所谓的悖论,但我觉得它也不是悖论。一线做大模型的同事应该都能认可我的这个理论:智能的本体是存在于数据里面的。当然,一部分存在于 evaluation 里面。至于模型,可能更多是一个蒸馏器和一个容器:训练的时候它是一个蒸馏器,部署的时候它是一个容器。

今天我们要做出一个前沿的 AI 系统,模型在里面的作用已经变得极其小了。大家看到现在每一个版本的语言模型提升,一部分是因为模型规模变大,但更多的是因为数据越来越好。

所以我们大部分时间——我指的是语言模型——都花在怎么样造数据、挑数据、验证数据、标注数据上面。而恰恰是这些东西,推动了最终 AI 系统结果的发展。

我们可以看到,为什么 coding 先被解决?因为 coding 确实是最容易被制造、也最容易被验证的一种数据。紧接着是数学。现在又包括 3D,也包括视频生成。虽然 3D 和视频生成不太容易被验证,但是相对容易被标注,所以基本上是这么一个过程。

问题就变成了:如果 OpenAI 或者 Anthropic 要做具身智能,它是否需要依赖和我们一样的数据基础设施、验证基础设施以及其他 infra?它是否需要从现实世界里收集数据,或者做仿真器,包括做一部分世界模型的仿真器?它是否需要在现实世界里做 evaluation,是否需要碰硬件?

如果它还是要做这些事情,那么我认为它只是另外一家具身智能公司而已,因为这些难度并不会因为它在基础模型上的优势而降低。反而我觉得,具身智能公司可能会有实质上的优势。也就是说,它智能的天花板以及发展速度,并不会因此有明显提升。这是第一点。

第二点,我也知道大家在担心什么。大家实质上担心的是,基础模型有没有可能通过其他领域的通用智能,泛化到具身智能上。这才是大家所说“降维打击”背后最大的隐含担忧。

我觉得这件事的可能性也不大。第一,在语言模型的历史上,从来没有发生过这种事情。我们看到 coding 的成功,并不是因为对话做得好,而是因为预训练里加入了大量 coding 数据,本质上是因为 coding 的数据基础设施以及验证基础设施变得更加完善了。

同理,最近 Navier–Stokes 方程被解,我们看到数学并没有因为 coding 的成功而自然变得更成功。反而在训练过程中会发现,coding 和数学的能力通常会互相打架。如果在预训练时把这两者都加进去,效果并不好。所以现在大家更多是先训练一个 coding expert,再训练一个 math expert,然后再用 o1 等其他方式把它们合在一起。

所以在语言模型体系上,其实并没有发生过类似的事情。最近的 3D 也是一样,包括 computer use 等其他领域。

反过头来看具身相关的领域,我觉得历史上也没有发生过类似的事情。今天的视频生成模型已经做得非常优秀了,但它并没有直接转化为在动作层面、机器人控制层面的天然优势,这个问题并没有得到解决。

所以我的看法是,这件事情是不是有可能发生?我觉得可能性确实非常小。但反过来,它对我们可能会有一些启示:预训练确实是有效的。

很多人会说,你做了大量预训练、加入了大量通用数据,是不是反而会有害,或者会影响模型效果?但我觉得从 Astra 上我们至少看到,它会是一个 bonus,至少不应该是一件坏事。

我也知道今天行业内做预训练的,比如沈老师,肯定也加入了很多通用数据。我觉得我们应该坚定地把这条路走下去。

最后很有可能会发生的一件事情是,我们和 Anthropic 或者 OpenAI 唯一的差距,是他们把这些数据和这一套 infra 融入了通用大模型、语言模型里面,而我们只是在做一个行业专用模型。

但反过来,通用大模型、语言模型没有办法在机器人上以合理的速度进行推理和部署。相应地,我们确实需要一个单纯的具身模型来做这件事情,这可能是更高效的做法。

不过最后这两种做法的上限、天花板以及发展速度,并不会有非常明显的区别。只要我们还坚持走预训练这条路,坚持把包括数据和验证在内的 infra 做得足够好,基本上这就是我的看法。

Koji

好,谢谢,非常全面。接下来也想和华哲聊一聊。我看到最近破壳发布了一个机器人做麻婆豆腐的视频。在您看来,比如用 Astra,它是不是也可以完成这样的任务?

如果可以,您会怎么看机器人完成一个特定任务这件事?今天到底能说明什么?我们应该用什么样的其他指标去判断模型真的变得更好了,而不是今天做了麻婆豆腐,明天也可能炒一个火锅底料——这种特定任务上的提升?

4. Astra 尚未突破物理世界

许华哲

我觉得 Astra 确实是一个非常惊艳的东西。我们在它出来、当天就能用之后,立刻做了一些测试。我们的感受是,如果把具身任务拆成需要语义泛化、空间泛化和物理泛化这 3 个点,那么它在物理方面相对较弱,但语义和空间方面相对很强。

简单来说,我们给 Astra 一个 prompt,它全都认识。桌面上的东西,无论是真的还是假的、无论是什么类别,它都认识,而且一定会往正确的地方走。

第二,原来这类 VLM 或者大模型,基本上走到那里之后,就开始乱动,然后结束了。但 Astra 很独特的一点是,它能抓起来,而且能抓起非常难抓的东西。

比如一根筷子放在桌面上,这种小物体一直以来对机器人来说都很难抓,你得顶到桌子,甚至得在桌子上打滑,然后才能把它抓起来。Astra 现在也能抓起来。

测到这里时,我们又想,它会不会旋转不太行?于是我们让它尝试把筷子立起来、插到一个杯子里,发现也可以。所以在整个三维空间里,它不光是二维空间,效果都很好。

但是当我们让它去做一些带物理接触的复杂任务时,比如用筷子挑开某个东西,这个时候它就开始不太行了。这也是具身机器人公司的最后阵地:怎么样理解物理变化。

我们也拿它尝试了叠盒子、叠衣服这些具身公司很喜欢做的事情,这些 Astra 都做不了。所以我们看到,所有极其复杂的任务——刚才聊到麻婆豆腐,麻婆豆腐肯定是其中最复杂的任务之一——Astra 目前能做的,还是相对偏空间和语义的具身任务。

最复杂的 contact-rich 任务,它能做的,一个是把筷子放进杯子里,另一个是 hand over,也就是把一个东西拿起来,递到另一只手上,再放到另一侧。这个我们当然也测了很多次,有一两次成功了。这就是我们目前看到的情况。

关于 Astra,我们的一个思路是,未来这些东西应该串在一起。就像刚才孟迪老师的主旨演讲里聊到的,我应该把具身模型接到 Codex 里面,或者接到一个 Harness 环境里面。

为什么要这样做?一方面,具身模型是通用地干活,但其中有一些环节需要很强的语义能力。

比如一个很典型的任务是抓水果。因为水果拿到菜市场去卖会腐烂,所以一开始通常会用玩具水果、泡沫水果,对吧?但这类数据其实非常有害。泡沫水果可以靠加大力气、抠住一点点把它揪起来,但如果真的换成一个菠萝,无论如何都不能那样抓。

这时候,模型需要先抓一下,发现它是泡沫的,就可以使用原来的抓法;如果发现它是真菠萝,就得想办法抓住上面的绿叶子,不能再去抓它胖胖的身体。

大多数具身模型没有这个能力,而 Astra 可以给你一个反馈,说我在这个地方有一些 CoT。它抓住之后,知道这是真菠萝还是假菠萝,然后再采取下一步动作。

所以我觉得,最终应该是大模型、具身模型和物理世界连接在一起,形成一个完整系统,才能真正把这个事情解决。

Koji

所以未来是要彼此配合的。

许华哲

是的。

Koji

宇军总,在您看来,Astra 现在涌现出来的这种能力,是不是我们今天所谓具身智能 scaling law 的某种信号?

5. 具身模型重塑云端智能

沈宇军

这个问题我跟华哲的观点差不太多,可能稍微再激进一点。我甚至感觉,具身智能慢慢会影响大模型,或者说云端模型的一些发展路径。

我们还是回到机器人最后的具身模型的工作方式。它最终还是要部署到机器人上,机器人做事情,真的要依赖身上的所有传感器。这些传感器要源源不断地拿到输入,哪怕机器人在做操作的时候,传感器依然要持续获得输入。

这件事情可能跟现在数字世界里很多模型的轮次对话方式不太一样。比如你问它一个问题,它回答你,但它回答的时候,你很难继续问它问题,或者做其他事情。

但机器人必须以另一种方式工作:它要拿到源源不断的输入,这个过程不可以被打断。哪怕它自己在推理,输入还是会持续进来,它可能要基于新的输入,随时改变自己的推理。

这是我们觉得具身模型,或者说部署到机器人上的模型,应该解决的问题。我觉得它要解决的问题,跟刚才华哲说的云端模型,或者 Astra 这样的更高层模型,要解决的问题不一样。

所以我认为,具身模型最后可能会成为更高级模型所使用的一个工具。这是其中一方面。只是从工具层面来讲,它可能需要自己的一套训练范式,因为它要面对源源不断的输入,然后输出 policy。这是我的一个观点。

但为什么我说,具身场景可能反过来给更高级的、可交互的、像 Astra 一样的模型,提供更多发展方向?

我举个例子。人与人之间的对话是很多模态的,它不只是语言和视觉。比如我跟一个人聊天时,外面突然下雨了,我看到下雨,可能会改变跟这个人聊天的方式。或者我跟一个人聊天,看到对方脸色不太好,接下来要说的话可能就不说了,马上换一句。

但我觉得这是现在所有云端、数字世界的模型还没有考虑到的事情,因为它不需要考虑这些。它更多是藏在屏幕后面,大家只需要通过视觉和语言交流就好了。

但我觉得,机器人以后如果真的要跟人对话,它所能囊括的信息量应该非常多,而且很多信息一定来自现实世界中的传感器。我们会观察天气、感测温度,这些东西都会影响模型最后的输出结果。

所以我觉得,如果机器人逐渐走入我们的生活,带来更多关于物理世界和现实生活的数据,这些数据有可能成为更高级的大语言模型或者大模型公司的新语料。他们可以基于这些数据,让自己的东西变得更智能,不再是一个冷冰冰地躲在后面的智能体,而是可以像人一样感受周围环境,根据变化随时调整跟你对话的方式。

就像上一轮有一位老师建议的,它能不能主动推荐,而不是只回答我的问题。我反而觉得,GPT-6 现在能做到这样的水平,是一件好事。

Koji

刚才 3 位的观点普遍都非常乐观,看到的其实都是机会和启发。在这个问题上,韩铮老师有没有什么补充?

6. 上下模型需要可靠衔接

韩铮

我觉得大家其实挺有意思的,这跟我刚才讲的一个观点也越来越接近,就是上下会分层,上层的抽象理解会分层。

如果是像 Physical Intelligence 以前的这种做法,我一直持这样的观点,从几年前就这么讲:我觉得 Physical Intelligence 最大的对手实际上是 OpenAI,最近还包括 Anthropic。最近 DeepMind 的另一位机器人研究员也刚刚加入了 Anthropic。

但还有一点,上层模型,比如 OpenAI,或者 Cosmos,其实也做了一些尝试,去和底层技能结合。我觉得最近大家开始越来越重新提到机器人的基础 skill。

同样,底层技能的泛化性和高成功率,一定要跟上层模型达到同等水平。你不能成功率不高,只是有一些泛化性,这在上下层衔接时是非常致命的问题。

所以大家在考虑具身公司和上层模型连接时,一定要解决这个问题:既要有高成功率,也要有泛化性。

其实去年年底我们做的那个演示,可能有一点没有跟大家讲。当时我们通过语言交互连接千问模型,让它理解周边的环境和物体。你给它一个抽象指令,它最终会拆成一些 reasoning,生成一系列操作步骤。

但这些步骤一定要依靠对环境和物体极其可靠、稳定的底层操作,才能完成整个动作的执行。这个理念我觉得今年特别是在 Astra 出现之后,又重新被大家拿到了前台,我觉得这也是一个大的趋势。

7. 商业化需要持续付费

Koji

好,谢谢。现在进入今天的第三部分,我们聊一下场景之争。

最近外界对整个具身行业还有一些比较现实的质疑,更多是在商业化上。大家会说,demo 很多,融资也非常火热,但真正能够规模复制,并且持续让客户付费的场景到底在哪里?

所以下一个问题想提给 3 位具身公司的 CEO:如果只看某一个指标,你们觉得什么样的指标最能够证明具身智能已经跨过了泡沫的质疑,真正进入产业阶段?这个指标不一定是今天的指标,也可能是未来我们正在等待的某个指标。

这位先来?

韩铮

还是我先来。

其实我就顺着刚才那个观点。我觉得科研和商业化对机器人的要求,跟以前的工业机器人和自动化一模一样。高成功率是绝大多数任务实现商业化的前提。

很多现在大家在尝试的任务,可能偶尔能找到:100 个任务里,大概有 1 到 5 个任务,大家对成功率的要求可能可以到 80%,也可以允许有一两次纠正的机会。

但剩下的 90 多个任务,几乎每一次执行,包括快速纠错,都要达到接近 100% 的成功率。

在这个前提之下,我们和自动化设备的区别是,还要对物体和环境有一定的泛化性,而且不能靠大量后训练成本去弥补,否则每来一个场景,就要做大量过拟合。

刚才前面的主旨嘉宾也提到了这一点。所以走到商业化,对我们最大的考验,首先是算法上高成功率之下还要有泛化性,这一点是一定要有的。

当然,后面大家还会遇到同样的挑战,包括设备可靠性、怎么提供服务。我觉得这些也都是绕不过去的。

Koji

好,谢谢。王潜总。

王潜

如果非得说一个指标,那就是客户能够持续付钱,并且付钱越来越多。这肯定是最终极、也是最现实的判断标准。

因为现在大家做商业化的时候,很多时候并不是让客户持续付钱的方式。可能是在某个特定历史阶段,用某种特定方式来做;也有一些可能是沿用了上一个历史阶段的方式,比如比较传统的自动化,或者上一代机器人的方式。

我觉得这种方式虽然可能可持续,但也谈不上多么可持续,因为它的天花板相对来说已经比较明确了。所以大家还是应该真正想一想,这一代机器人比上一代机器人强在什么地方,以及它能够给客户提供什么真实价值。

我觉得这件事现在已经开始实现了。比如最近我们在物流场景里,确实已经做到了一些以前传统机器人做不到的事情,并且超过了人类的效率水平。

所以这种真正能够落地、持续产生生产力的东西,可能才是最重要的。

另外一个方面,作为一家公司,公司一定要赚钱。有了钱之后,才能做更大的模型,才能持续发展 AI 的最前沿。

语言模型公司也是类似的经历。最开始的时候,它其实完全不赚钱,但到了某个阶段,真的可以有一些用途之后,就开始积极商业化。它的商业化和前沿能力的推进,其实是相互促进的过程。

所以我觉得,某种意义上,过早的商业化是有害的。但也许我们已经过了那个时间段,现在开始进入一个互相促进、形成飞轮的阶段。

所以回答刚才的问题,如果说有一个指标,那就是客户确实可以持续地为新技术、为前沿技术付钱。

Koji

好,谢谢。华哲。

许华哲

我觉得具身智能的商业化有好多类。一类是后训练类,就是我跟某一个品牌、某一个工厂,在它里面做一个闭环。

比如说,假设我在家门口开了一个小吃摊,做关东煮,机器人能够把这个事情完全搞定。那核心指标就是,我要花多少个小时,能够把这个事情稳定地部署落地,并且我能开多少个小吃摊。

这其实很简单,跟传统机器人上一代的部署逻辑是一样的,就是看效率和 ROI 的换算。

但我觉得,这一波具身智能另外一个商业化指标,是它跟大模型、跟语言大模型的相似度。我觉得这件事短期内可能看不到经济收益,但它是一个阶跃式的商业化。

为什么大家对大模型的体感会好一点?因为如果 GPT 以 50% 的成功率输出一个答案,我只要跟它对话几轮,大概率就可以拿到一个好的结果,就会觉得它真的有用。

但机器人如果以 50% 的成功率去完成一件事,你有 50% 的概率会把一个杯子摔碎。所以大家会觉得它真的没用。这也是为什么大家会觉得,具身智能用起来没有那么好用。

但即使这样,我们仍然要矢志不渝地追求具身智能的大模型化。因为这个 50% 是面对所有任务、面对全世界任何事情的 50%。我们要等它从 50% 到 60%、70%,一直到 99.9%,那时候的商业化,我觉得才是这一波具身智能真正意义上的商业化。

当然,前面那些落地的后训练项目,短期内可以看到很多现金流或者营收。但我们真正期待的,还是基础模型一旦达到某个阶段,然后开始吃掉物理世界里的很多东西。

8. 五年后的高估与低估

Koji

有意思。最后一个问题,我们都知道一句话:人们总是在科技领域高估未来两年的变化,却低估未来 10 年的变化。

所以想请教 4 位分享一下:假如我们不是站在两年后,也不是站在 10 年后,而是站在 5 年之后的今天回头看此刻,你们会觉得哪些东西在具身领域被低估了,又有什么东西被高估了?

韩铮

我先讲什么被高估了。我觉得最被高估的一点,就是中国供应链的先进程度。

我觉得中国的供应链选择很多,但对于具身智能现在需要的供应链,能不能满足我们实际迭代时的需求,它的成熟程度可能还需要做一些工作。

第一,我们需要有一定的数量来支持。第二,供应链里有很多东西,包括刚才沈总提到的传感器,以及关键组件,可能散落在一些成熟行业里,比如汽车供应链,或者其他工业机器人的供应链。

但实际上放到具身智能里,我觉得现在供应链的水平,距离大工业制造水平还有一定差距。不过我觉得,这在中国接下来肯定可以被解决。

我觉得被低估的,是刚才华哲老师提到的,要达到 99.9% 的成功率。中间能不能有一些非后训练、非过拟合的方法?这个时间可能会比较长,但我们觉得大家不用太悲观。

对于一些稳定、可靠的技能,以及上层各种模型的组合,我觉得接下来一到两年,大家会看到某一大类任务在各个行业里非常相似,很多事情其实很快就可以被处理掉。

但如果是 99.9% 的任务都能做,那的确还是需要很长时间。

Koji

谢谢。沈宇军总。

沈宇军

我是这么看这个问题的。我觉得现在可能被低估的,是具身智能是一个复杂的系统工程。大家可能还是低估了系统本身的能力。

很多时候,大家会把落地成本、解决问题的成本等,都跟模型性能挂钩,但其实不是这样。

比如同样是做落地,商家最终肯定会看成本:我到底是不是一定要用这款机器人?是不是一定要用完整的机器人?还是只用双臂就可以完成一件事情?

最后回归的还是成本,包括整个系统的鲁棒性。模型只是其中一环,但大家好像基本不谈这个事情,仿佛现在技术能不能落地,全部取决于模型能力的好坏。

但真正要落地,我们肯定要综合考虑整个商业逻辑。我觉得这可能是大家低估的一件事情。

我觉得被高估的,是训练模型的技术。因为我听到很多行业声音,好像具身智能要么会被数字世界的模型降维打击,要么就是重新复刻一遍它们的路线,积累一批物理世界数据,按照之前的训练方式,就可以训练出一个具身模型。

在我看来,这件事情不太成立。我认为具身智能可能会走跟数字世界相同的模式,但一定不会走相同的技术路线,因为最后是应用场景决定模型的差异。

数字世界是对话式的,但具身智能一定是机器人一边工作,一边推理。这两件事不能互斥。你不能说机器人在干活时,就完全屏蔽外面的声音,不能再接收任何输入,这件事情不存在。

既然出发点就不一样,我认为具身智能一定会有自己的新训练范式,而且这种范式要支持对物理世界信息的持续处理,可能是 7×24 小时,甚至是 30×24 小时,全年无休地处理数据。

这可能跟现在的模型不太一样。现在的模型是你用一用,不用的时候就关掉它。具身模型可能不是这样。

所以我觉得,训练技巧可能有些被高估了,它没有那么像魔法。但具身智能因为特定场景带来的挑战,可能会推动数字世界或者语言模型之外的一些训练技术。

Koji

好,谢谢。

王潜

如果说被低估的,我觉得大家 5 年之后回过头来看,应该会意识到我们低估了具身智能的重要性和潜力。

虽然大家今天已经很认可具身智能是一个重要的东西,是 AGI 的一个非常重要的组成部分,但我觉得大家可能还没有真正理解这件事情。

接着刚才 Astra 的问题来说,为什么数据很重要?因为它确实包含了一部分其他方式无法获得的智能能力。

刚才许老师也提到复杂的物理交互,各种物理过程;沈老师也提到各种传感器噪声,以及物理世界本质上的不可控因素。这些东西,我们确实没有办法通过视频、3D,更不用说代码的方式获得。

我以前研究物理,会发现大量创新,或者大量想法,很多时候来自所谓的物理直觉。当然还有另外一条路,就是逻辑推理,所谓数学上的深度搜索能力。

人类过去的科学研究过程确实发现,这两件事情在某种意义上没有办法互相弥补。做某些事情时,数学这套思维方式可能更快;另外一些事情,物理这套思维方式可能更快。

所以要构建一个真正意义上的 AGI,我觉得这部分肯定没有办法避开。你可以把它训练到同一个模型里,也可以训练到不同模型里做分层,这些是小问题。更重要的是,这部分能力确实要从真实世界、仿真或者其他方式中获得,并注入 AI 系统。

在应用层面,我觉得大家也有点低估了具身智能的重要性。最近不管是在硅谷还是国内,我都看到大家对所谓 RSI,也就是递归自我改进,产生了非常大的 FOMO 情绪,狂热和恐惧都在。

但我现在的看法是,以目前语言模型的能力,还不足以实现完整的 RSI,因为其中缺少一个最重要的环节,就是物质上的再制造,或者说自我增殖。这个事情没有办法靠语言模型实现。

它可以修改自己的训练方式,可以修改训练流程,但本质上我们需要 scale up,需要更多算力、更多芯片、更多电力。这些事情语言模型也做不了。

所以我们现在会看到,美国数据中心的建设已经成为本质上的阻碍。还是需要人去做钢筋混凝土,还是需要人去调半导体工厂里的参数。

但如果放在 5 年之后,我相信大家都会意识到一件事:具身智能实际上是在不远的将来可以做这些事情的。到那一天,我觉得真正意义上的 ASI 才会到来。

所以在数字世界里面,我觉得现在走得比大家在物理世界里走得快太多了。

我经常开一个玩笑:如果 Anthropic 从今天开始把所有员工都裁掉,全都用 agent 去开发下一代模型,会减慢多少?肯定会减慢,因为现在人的 taste 还是很重要。但你说它就开发不出下一代模型了吗?我觉得也不是,它肯定还是能开发出来。

但如果半导体工厂里面没有人,全靠 AI 去做,那肯定是不行的。

我相信 5 年之后大家可能会看到这样一种场面:今天我们要做一个 app,已经不需要像 5 年前那样组建一个很大的团队,进行非常复杂的协同,花很长时间,比如一年,去做一个 app。可能一个人只要额度足够,开一堆 agent,几个小时就能把它做出来。

也许 5 年之后,我们能看到一个未来:现在要造一架飞机,可能还需要 1000 个人、非常大的供应链和很多工厂;但也许 5 年之后,在具身智能的辅助下,当然也是在通用语言模型的辅助下,造一架飞机也可以像今天做一个 app 一样简单。

这样整个生产流程就可以闭环,人类的经济实现真正意义上的某种硅基脱离碳基。

当然,我也不知道这个未来是好是坏。特别是在语言模型公司的道德水平如此之低的今天——我指的是美国的语言模型公司——我也觉得,正如沈老师刚才说的,具身智能公司应该把数据放到语言模型里面。

也许有朝一日,我们还是要走出一条中国的 AI 发展之路。我觉得具身智能可能是其中非常重要的起点,或者非常重要的一部分。也许之后每家公司都会训练自己的语言模型,这也说不定。

Koji

很有意思。好,最后请华哲来压轴。

许华哲

我觉得被高估得挺明显的是大家对数据量的追求。

现在市面上,有人说自己有 100 万小时数据,有人说有几百万小时数据,还有人说谁谁谁已经买了多少数据,你不买就落后了。

但其实目前市面上也看到了一些训练出来的模型,使用非常大体量的数据,并没有训练出特别超出预期的结果,也不一定比用几万小时数据训练出来的模型更好。

所以单纯盲目追求数据量,这件事情被严重高估了。

被低估的,我觉得是整体智能模型的进展,或者叫具身智能模型的进展。大家一提到具身智能解决通用问题,可能会说要 5 年、10 年,但在我的视角里,我觉得 3 年内,具身智能就可以在很多地方开始提供服务,而且是通用的服务,不是针对某个场景后训练好的服务。

Koji

听完之后还是非常振奋,也非常乐观。大家描绘了一个很有意思的未来,甚至像王潜提到的,未来造飞机可能会像造 app 一样简单。

好,今天谢谢 4 位嘉宾,也谢谢在座各位的时间。我们这场论坛到此为止,谢谢大家。