[BidClub_]
晚点聊 LateTalk · · 82 min

112: 与千寻高阳聊具身:一个像机器人的人,怎么做像人的机器人

高阳王与桐

Podcast
TL;DR
  • 高阳把具身智能定义为已经从科研发散转入工程收敛的产业,而非仍待“灵光乍现”的远期概念。 2023 年,他感到真正 groundbreaking 的研究空间正在缩小,创业因此是把成熟范式工程化;对路线仍显纷杂的外界,他的判断是:“现在要素是齐备的,只是说需要一些时间把它做到。”
  • 行业关键的能力跃迁节点是 L2,而不是双足或单项炫技。 高阳定义的 L2 是机器人能在办公室等单一场景移动并完成约五至八件事,L3 则跃迁到该场景内人类任务的 70%—80%;他当时预计“明年 6 月”达到 L2,L3 还需额外一年半至两年,而可服务场景可能从 L1 到 L2 增加十倍乃至几十倍。
  • 技术主线是端到端 VLA 加快慢系统,优先形态则是轮式底盘加双臂。 慢系统理解视觉、语言与意图,快系统以 50—100 Hz 处理触觉和低层视觉反馈;双足未来需要补齐,但高阳认为当前“主要矛盾是你的手上的操作能力”,轮式双臂已可能覆盖约 80% 的能够被机器人解决的场景。
  • 数据规模将是具身模型扩展的关键约束。 高阳团队观察到数据量与 optimality gap 呈 log-linear 关系,粗略说“多采十倍的数据,性能就会多一个 9”;按其路线做到具身版“3.5”,需要约 100 亿条有效互联网视频、1 亿条遥操作数据和数千万条 RL 数据,预计历时四至五年。
  • 叠衣服之所以成为行业共同 demo,是因为它同时测试可变形物状态理解和泛化,而非因为家务是最先落地的场景。 衣服的褶皱无法归入少数固定状态,机器人必须先理解“它是怎么乱的”,再决定如何展开和折叠;下一关则是按临时指令改变折法、在左袖下藏入信封等多任务组合,即从单项“智商测试”走向 L2。
  • 中国的现实优势首先是硬件制造、维修和实验迭代速度,但最大价值仍在 AI 与脑身一体化。 清华高强度实验中的机器人可能每周寄回杭州,而千寻的 in-house 工程师通常一两天解决多数问题;美国团队即使采购 100 台机器人,也可能出现“修的速度很难赶得上做实验的速度”,但只做大脑又缺乏针对具体本体的“肌肉记忆”。
  • 商业化应随能力等级逐级兑现,而不是要求原型期机器人立刻承担通用劳动力。 高阳的回应是“不能要求 GPT-1 在 GPT-1 的时候就有商业化能力”:当前 L1 可切入汽车总装等少数高量工业工位,也确有客户愿意为十几万元的机器人买单;公司真正应优先冲向“GPT-4.0”式能力,同时用有限商业化增强抗风险能力。
Digest · the substance, structured for research

1. 范式越收敛,创业窗口越清晰

  • 高阳 2020 年 8 月从伯克利回国进入清华,真正决定创业的 moment 出现在 2023 年:他开始感觉“这个研究好像没有那么多可做了”,因为范式变化会把探索问题逐步变成工程问题。

  • 他的参照是 GPT-4 已经把日常任务做得很好:除 AI safety 等方向外,面向日常任务的基本问题已很难找到新的探索空间。科研空间收窄并非技术失去价值,恰恰意味着社会可以开始享受技术红利。

  • 王与桐追问:外界明明还看到大量非共识,为何科学家觉得已经收敛?高阳的回答是,学术话题可能已从约 500 个收至约 100 个;并非只剩一条路线,而是许多路径虽未被完全证伪,却被认为前景不大,真正有影响力的新工作更难出现。

  • 王与桐评价韩峰涛那篇具身智能文章“写作水平也就那样”,但认为核心判断非常正确:手写程序限制了传统机器人,大模型则首次提供了通用任务的技术基础。高阳回应说,韩峰涛总结得比自己更细致,而一个传统产业创业者能如此 open-minded、愿意相信这件事,极其难得。

2. Figure 02 把快慢系统变成了工程差距

  • 高阳最认可的近期美国案例是 Figure 02:两个全人形机器人面对一袋杂乱购物品,能识别牛奶应进冰箱、水果应进果篮,还会彼此对话、分工并调用生活常识。

  • Figure 明确讲过使用快慢系统,机器人的工业设计、柔顺性和动作丝滑度也给他留下深刻印象。国内虽普遍讨论快慢系统,高阳尚未听说哪家公司真正把它做好并集成进 VLA;差距主要是持续优化响应与动作的工程工作。

  • 中国的反向优势是硬件制造、维修和实验迭代。清华的机器人因高动态实验基本每周寄回杭州,宇树可能维修约一周半后寄回;美国团队只能让中国厂商寄备件、自己修。Physical Intelligence 即使买了 100 套机器人,也可能出现维修速度难以赶上实验速度的情况。

3. 行业已经越过 L1,却还没有真正抵达 L2

  • 千寻把 L0 定义为没有什么智能的工业机器人;L1 是在固定位置智能完成单一任务,例如工厂打螺丝;L2 则是在办公室等单一场景移动,并完成咖啡、收桌面等约五至八项任务。

  • 真正的大跨越是 L3:在一个物理场景内覆盖人类能做事情的 70%—80%。L4 是在单一场景完成全部人类任务,类似 Waymo 所说在旧金山可以开到任何地方;L5 才是不受办公室、家庭、便利店或工厂限制。

  • 高阳判断,千寻和全行业最好水平都已越过 L1、正在接近 L2。他当时预计“明年 6 月”可能抵达 L2,L3 还需额外一年半至两年;这是基于技术链条的推演,并非已经验证的行业时间表。

4. 轮式双臂先吃下 80%,双足留给最后 20%

  • 具身智能不必等于人形:L1 用单机械臂即可;到 L2,多数任务可能需要双臂协作和移动装置,而最简单的组合就是“双臂加轮式底盘”。

  • 高阳的主要矛盾判断很直接:只有移动能力、没有操作能力,机器人仍需人在两端装卸,价值极小;轮式底盘已经成熟却未大量进入办公室,正说明缺的不是 locomotion,而是手上的操作。

  • 对“先做轮式、以后仍得补双足”的质疑,高阳表示同意之后补齐双足,但认为轮式双臂可能在相当长一段时间内承担最大出货量,先覆盖约 80% 场景;楼梯、操场和野外等剩余约 20% 才需要双足。

  • 王与桐提出小孩学走路似乎比学手部操作更晚,高阳仍倾向于双足技术“比较简单”:其实验室已完成行走、燕式平衡和单腿踢起等动作,工业级稳定性还需工程投入,但“没有本质的卡点”。

5. 人形来自人类世界的尺寸约束

  • 机器人未必需要一个拟人的脑袋,但需要把相机装在较高位置以观察场景。桌子通常约 75 厘米高,室内空间又是按人类尺寸设计;仿照人的形态,至少能保证既有场景在物理上可行。

  • 王与桐设想一米二高、手臂像登山杖般伸出两米的机器人,高阳认为这也是可行的,只是多数场景没必要。人形并非纯粹从众,而是“世界是为人设计的”所导出的构型。

  • 四足加双臂的“半人马”也可能形成品类,其稳定性远好于双足,但会占据更大空间。构型最终仍取决于场景,而不是所有通用智能都必须复制人的外观。

6. 通用化与专业化都服务于更低成本

  • 流水线的专业分工与通用机器人并不矛盾:为每项任务设计专门方案要承担固定成本,而通用机器人可以复用硬件和 AI,只为不同任务增加能力,从而降低成本。

  • 高阳并不认为通用机器人会替代所有专机,“我们也不会用它来生产塑料杯”,因为模具仍是最快方案;未来更可能是通用机器人与专用机械臂并存。

  • 汽车总装线上安装大灯、座椅等环节至今仍需要人工完成,正是传统机械臂难以处理的候选任务。现阶段人可能更便宜,因此应先挑需求量大的工位;如果机器人能长期使用、覆盖一个人几年的成本,账才可能算得过来。

7. 端到端 VLA 是终局,分层只是当下捷径

  • 高阳把端到端与 VLA 视为等价路线:输入视觉与语言,直接输出动作,而不是在中间先把信息转换成某种表示,再输出具体操作。理论上操作类问题都可覆盖,实际边界更多来自传感器能力。

  • 分层现阶段更容易工程实现,但他认为最终“一定是端到端”。依据是自动驾驶十多年发展后的经验:手动做分层“不靠谱”,产业正在转向端到端。

  • 这份判断并非追随当下潮流。高阳与许华哲约在 2016 年就做过端到端自动驾驶,使用的数据量可能约为同期英伟达工作的 100 倍;论文技术早已过时,但背后的“哲学思想”延续到了机器人研究。

8. 叠衣服测的是状态理解,不是手劲

  • 千寻展示连续叠多件衣服,是因为可变形物没有杯子那样稳定、易描述的状态。机器人必须理解每次随机褶皱,再决定从哪里展开和折叠;难点“不是力度”,而是识别衣服究竟“怎么乱的”。

  • 高阳用朋友家两三岁孩子叠不好衣服作类比,王与桐据此称它为具身智能的“智商测试”,并认为可能对应四五岁孩子的认知挑战。它同时包含困难操作和跨颜色、衣型、初始状态的泛化。

  • Hugging Face、Physical Intelligence 的 π0,以及李飞飞团队都展示或公开过叠衣、刀叉等操作。高阳强调,行业扎堆叠衣并非认定家务最先商业化,而是它属于单任务中最难的一类技术标尺。

9. 慢系统决定“做什么”,快系统守住“有没有抓稳”

  • 千寻下一步是让机器人应对临时要求:换一种折法、叠到一半时把信藏进衣服,或准确放到左袖下面。这类组合指令才开始接近 L2。

  • 快系统以约 50—100 Hz 接收触觉和低层视觉反馈,负责“抓到了没有”“没抓稳就立刻重抓”等短周期修正。

  • 慢系统则寻找信封、判断左右、理解语言并形成意图。高阳的划分是:快系统让动作可靠,视觉和语言驱动的慢系统决定任务结构。

  • 插针等精细操作未必更考验“大脑”;若任务逻辑简单,瓶颈可能只是触觉传感器精度。具身能力不能把所有困难都归因于模型规模。

10. 泛化是从几件事跃迁到一个场景的门槛

  • 从 L2 的少数任务跃迁到 L3 的 70%—80%,不可能逐项采遍所有任务。高阳认为当前机器人的主要挑战就是泛化:“我见了一个新的物体,能不能知道该如何去处理它。”

  • 典型测试是学过抓 A、B、C、D 后,能否抓住刚买来的陌生物体;叠衣本身也要求跨颜色、衣型和褶皱调整策略。泛化已经嵌在这个任务中。

11. 互联网视频给常识和动作先验,但只有约 1% 可用

  • 千寻的数据链路是先用互联网图文和人类操作视频,再用真机遥操作数据做 SFT,最后用强化学习提高成功率,目标是“把所有我们能用上的数据都用起来”。

  • 视频网站素材质量参差不齐,与人类操作强相关的内容大约只有 1%;第一人称视频最好。团队通过预测物体未来轨迹和手部轨迹,让模型学习物体“该怎么被操作”。

  • 王与桐的追问很关键:人看很多视频也未必会做。高阳承认互联网视频只能让模型大致知道什么动作是对的;物体识别多已由视觉语言模型学到,真正的动作精度仍需真机训练。

12. SFT 教准头,RL 让模型自己干中学

  • 模仿学习像看完安装视频后亲手装一次零件,让动作从“大概如此”变得精确;但如果始终由人握着机器人的手,它仍会有约 5%—10% 的情况失败。

  • 高阳用做饭解释 RL:即便看母亲做了十年菜,第一次自己下盐、判断火候仍会失准。“为了把这个事儿做好,你必须得自己去干中学。”

  • 强化学习常呈现阈值效应:机器人可能很久不会叠衣或插 USB,偶然第一次成功后,后续成功越来越容易。“突然某一次它会了,然后它未来就一直会。”

  • 更有价值的是跨任务泛化:插入经验可能迁移到其他插接任务,拧螺丝、转门把手和拧灯泡也共享运动结构。第一次成功出现多快,取决于之前模仿学习和 SFT 是否做得足够好。

13. 数据路线尚未收敛,团队禀赋决定信仰

  • 仿真、遥操作和视频学习仍是具身领域的真实非共识。高阳认为选择往往同时反映认知与团队积累:擅长仿真器的公司自然更相信仿真;王与桐还以特斯拉进行了大量遥操作为例。

  • 千寻会把不同数据放在不同阶段;最大的量仍来自互联网图文和视频。高阳援引大模型经验:“所有的大模型最重要的一步就是预训练”,基模质量是后续能力的重要基础。

14. Data scaling law 给出了量级,也暴露了数据天花板

  • 高阳团队在约十万至几十万量级的数据区间观察到:数据量取 log 后,与模型距最优表现的 optimality gap 呈线性关系。粗略表达就是数据增加十倍,性能可能从 99.9% 进到 99.99%。

  • 按其技术路线做到具身版“3.5”,高阳估算需要约 100 亿条有效互联网视频、1 亿条遥操作数据,以及几千万条强化学习数据。

  • 若可用率仅约 1%,100 亿条有效视频意味着从约 100 倍的原始素材中筛选;他的测算是,互联网现有可用视频总量本身也大约只有 100 亿条,几乎要“学完所有的”,预计需四至五年。

  • 仿真数据不能按条数套用同一规律:仿真器可以无限运行,但 diversity 有限,真正要数的是能覆盖多少现实任务,包括透明玻璃杯、衣服,以及上软下硬的椅子。遥操作若 diversity 足够则仍符合 scaling law,只是成本更高。

15. 大脑与本体必须一起形成“肌肉记忆”

  • 只做大脑可以研究 methodology,却很难真正解决问题。高阳认为人本身并没有很强的跨具身能力;一个从未针对具体本体训练的模型,没有挥拍或快速操作所需的“肌肉记忆”。

  • 只做本体的问题在于价值主要位于大脑端:过去十至二十年,本体能力没有发生本质变化,市场突然变大的原因是 AI 大脑出现了变化。“最大的价值在大脑端”是高阳所见的大范围共识。

  • 因此千寻从一开始选择大脑加本体。脑身结合能让模型针对具体本体的特点形成类似肌肉记忆,而不是要求同一个模型快速适应任意机器人。

16. 产业链终会像汽车,但眼下仍被迫垂直整合

  • 高阳预计具身产业最终类似汽车:整机公司定义 spec、完成系统集成,大多数零部件外采或共同研发;触觉传感器、灵巧手和芯片都是本体中的困难零部件。

  • 千寻希望开放合作,但不少零件目前“还没有做得特别好”,只能暂时自己做。随着产业链成熟,更多部件可以与合作伙伴共同完成;分工越精细,最终产品才可能越好。

17. 商业化应沿 L1 到 L2 逐级兑现

  • 王与桐转述朱啸虎的质疑:行业高度共识,却没有明确客户,谁会花十几万元买机器人做这些活?高阳同意不能在 GPT-1 阶段就要求它具备成熟商业化能力:“不能要求 GPT-1 在它 GPT-1 的时候就有商业化的能力。”

  • 他的优先级是先把技术推到“GPT-4.0”,同时按能力等级有限落地以增强公司抗风险能力。L1 已能在部分工业工位工作,也确有客户愿意支付十几万元,只是可选场景不多。

  • 一旦到 L2,可商业化任务可能增加十倍甚至几十倍。路线何时真正收敛也取决于实绩:某家公司率先跑出 L2、甚至 L3,其他团队自然会收敛。

18. AI 是最短板,科学家创业的风险却在执行

  • 高阳把 data scaling law 称为具身 ChatGPT 时刻的 theory foundation,而不是 ChatGPT 时刻本身;更接近 OpenAI 提出 scaling law、两三年后做出 GPT-4 的关系。机器人数据更难获得、产业链更长,因此等待时间可能更久。

  • 在他的“木桶”里,硬件虽也不够完善,但 AI 仍是最短板:“如果能把 AI 补齐的话”,就相当于把木桶补齐。ChatGPT 时刻还要求本体、零部件和工程体系共同成熟。

  • 科学家背景也不是免检证书。高阳直言自己也同意科学家创业未必靠谱:理解技术不等于会做工程化分工、团队管理和应用节奏,这些都需要经验;王与桐转述的投资人评价则是,他与韩峰涛的互补配置和推导过程显得务实。

  • 对同时保留清华教职的决心质疑,高阳认为自己只是在做同一件事从科研到工程化落地的 transition,并未分心做两件事。他也拒绝靠长期少睡换产出:“方法论要比每天多投入一个小时、两个小时重要得多”,因为疲劳导致的一次错误决策,可能让和他一起工作的人多花两倍时间。

王与桐

大家好,欢迎收听本期《晚点聊》。这期的主播是关注具身智能的王与桐。今天我们非常荣幸地邀请到了高阳老师。他是清华大学交叉信息研究院的助理教授,同时也是具身智能公司千寻智能的联合创始人和首席科学家。

高阳老师在具身智能领域深耕多年,本科毕业于清华大学计算机系,博士毕业于 UC Berkeley。UC Berkeley 近期已经成为具身智能热潮的重要发源地,这得益于 Trevor、Pieter、Sergey 几位教授在机器人学习领域的卓越成就。高阳老师在博士和博士后期间师从国际计算机视觉大师 Trevor,也和 Pieter、Sergey 有深入合作。

2020 年从伯克利回国后,高阳加入清华大学,并在 2024 年和韩峰涛共同创立了千寻智能,致力于推动具身智能的技术摸高。成立至今,千寻已经获得了来自阿美风险投资旗下 Prosperity7 Ventures、博瑞资本和鸿辉基金等机构的 3 轮融资,也发布了自研的 VLA Spirit V-1 先行版,让机器人可以实现叠衣服全流程的顺畅操作。

我们认为,具身智能是一个非共识行业,但在高阳看来,这已经是坍缩、收敛后的结果。在今天的对话中,高阳将与我们分享他对具身智能的认知:比如为什么大家都在做人形机器人,为什么端到端的 VLA 是具身智能的共识,为什么叠衣服这样的操作会成为具身智能领域的智商测试,以及具身智能的 scaling law 从何而来等技术议题。

高老师,先自我介绍一下,跟我们的听众朋友打个招呼。

高阳

大家好,我是高阳。我现在是清华大学交叉信息研究院的助理教授,也是千寻智能具身机器人公司的联合创始人。

王与桐

你是什么时候从伯克利回国,然后到清华任职的?

高阳

我是 2020 年 8 月从伯克利回中国,然后就直接入职清华,在交叉信息研究院当助理教授。2024 年开始,我和韩老师一起创业,做千寻智能。

王与桐

你当时决定创业的时刻是什么时候?

1. 科研转向创业

高阳

我觉得应该是有一个 moment,就是突然意识到,我现在要做这件事情了。因为我之前一直在做教授,大多数时间都在想研究里面下一个研究课题怎么选,这基本上是我在科研里大多数时候思考的问题。

然后在某些瞬间,我会觉得这个研究好像没有那么多可做的了。因为你能看到范式的变化,而这个范式可能会终结掉某个研究领域。

王与桐

这怎么理解?

高阳

比如有很多科研领域,大家经常会说:“这篇论文出来之后,这个领域就不用继续做了。”因为基本的问题都已经解决完了,没有什么问题需要继续解决,剩下的只是把这些解决方法在工程上做得更好。

现在的大模型其实就是这样。学校里做自然语言处理的老师,除了 AI safety 之外,可能还有比较多的问题可以做。但从解决我们日常任务的角度来看,已经很难找到新的东西了,因为 GPT-4 已经把这件事情做得非常好了。

所以,大语言模型已经进入了这样一个阶段:做科研的人仍然有东西可做,但没有那么多需要进一步探索的方向了。

我大概在 2023 年开始有一些瞬间感觉到这一点。我觉得机器人也会在科学层面逐渐往大模型这样的成熟阶段发展。对于科学家来说,能做的事情会越来越少,因为这个东西越来越成熟了。但从工程和社会的角度讲,这是件很好的事情,因为我们真的可以开始享受这项技术带来的福利。

所以,那个时刻是我下决心的时间点。从那时开始,我就想做一家创业公司。

王与桐

当时知乎上有一篇文章,讲具身智能是什么,以及为什么这件事很重要。那篇文章是谁写的?

高阳

那篇文章不是我写的,也不是任何科学家写的,是韩峰涛写的。

王与桐

我也看过。我之前其实听说过洛石科技,但没有听说过韩老师。我当时看了那篇文章之后觉得,虽然那篇文章在我看来写作水平也就那样,但大思路是对的,而且非常正确。

他当时讲的核心思路是,原来的机器人应用方式,是人给机器人手写程序,通过手写程序让它在现实中做一些事情。但这种方式局限性很大,很多事情你没有办法手写一个程序让机器人完成。

所以,我们需要用人工智能让机器人做更多事情。而这一波大模型的变化,赋予了机器人做通用事情的技术基础。那篇文章主要是在科普这个观点。

高阳

对,他总结得比我刚才说的更细致一些。我自己因为做这个行业很多年,所以对我来说这是一个非常理所当然的事情。

但我觉得,一个原来比较传统的产业方,能够这么开放、这么愿意相信这些事情,是非常难得的。

王与桐

你当时还见了其他产业方的人吗?我理解,科学家确实可能对产业和商业的理解少一些。韩老师算是一个产业老兵,再加上一个年轻科学家,我觉得这个配置确实很好。我相信这也是很多投资人愿意相信你们的原因。

高阳

市面上已经有的这些公司,我基本上都聊过一遍。韩总有创业经历,而且洛石科技是做得还不错的一家公司。

我们做的本质上是一个机器人的生意。虽然它和传统机器人的逻辑很不一样——传统机器人,尤其是中国很多机器人的逻辑,是国产平替,有一点打价格战的意思——但我们现在做的东西,更像是 OpenAI 在做的事情。

无论如何,它仍然是机器人行业的一门生意。

王与桐

我去问过你们的投资人。他当时跟我说,他聊过市面上所有的具身智能公司,然后选了一家综合评分最高的,就是你们。

他对你们两个人的评价是,你们都非常务实。首先,你们俩的配置是顶配,而且两个人都很务实。其次,在问到一些场景、商业的问题时,你们虽然没有给出非常具体的答案,但把自己的推导过程告诉了他。他觉得这一点非常重要。

这是很多投资人对你们的共同评价吗?

高阳

我觉得基本上大家都是这么评价的。不过我觉得,融资这件事情可能也不能太朴实,还是得讲一些比较宏大的理想,可能才会做得比较好。这是我和韩总正在改进的方面。

王与桐

你现在应该还会和导师、美国的同学交流得比较多吧?从做具身智能的角度看,美国最近有没有什么新的观点、趋势或者路径?可以跟我们分享一下吗?

2. 中美机器人各有优势

高阳

我觉得可能公众不一定知道。比如 Figure 发布了 Figure 02,我觉得那是一个看起来非常炫酷的机器人,也做了一些很炫酷的事情。

王与桐

你先给听众简单科普一下,Figure 02 大概做了什么?

高阳

Figure 02 是 2 个全人形机器人,站在类似厨房的场景里。人类给它们一袋从商店买回来的东西,倒在桌面上,然后对这 2 个机器人说:“你们帮我把这些东西收一下。”

这 2 个机器人看到这些东西后,会判断:“这是牛奶,应该放进冰箱。”于是机器人会自己把冰箱门拉开,把牛奶放进去。如果是水果,它会把水果放到水果篮里。

而且这 2 个机器人之间会说话、会合作,还掌握了很多常识,知道每个东西应该放到哪里。这是最近一个看起来非常炫酷的案例。我觉得它展现了美国目前在人形机器人领域做得比较好的实力。

王与桐

有哪些具体的方法是我们可以借鉴的?

高阳

Figure 明确讲过,他们用了快慢系统。他们机器人的工业设计做得很好看,机器人的柔顺度也做得很好。这些都是我们可以学习的地方。

王与桐

快慢思考这件事情,国内大部分公司其实也在做。你觉得他们更优秀的地方在哪里?是哪些细节导致的?

高阳

从细节上看,他们的动作很丝滑。国内我还没有听说哪家公司真正把快慢系统做出来,并且用到 VLA 里面。

王与桐

快慢系统真正难的地方是什么?

高阳

我觉得还是工程问题。工程上要把它做得比较好,把动作优化得更丝滑、响应得更快。这需要做很多工程工作,不断地试、不断地试。

王与桐

也就是说,工程上的活就是不断试验?

高阳

对。

王与桐

你觉得中国现在有哪些发展,在你的观察里可能比美国更领先?

高阳

我感觉中国在基础硬件制造方面,还是比美国领先很多的,尤其是机器人本体。

我有一些美国朋友,我问他们:“你们买什么机器人?”他们说:“买了一些中国的机器人。”我又问:“你们不担心坏吗?坏了怎么修?”他们说:“好像很难修,修不了。”

他们也买了宇树的机器人,以及很多其他公司的机器人。我也觉得很难修,因为清华买了宇树的机器人。我们做实验比较狠,所以机器人基本上每周要换一次。我每周把机器人寄回杭州,宇树可能修 1 周半,再给我们寄回来。

但在美国完全没有办法这样。

王与桐

那他们的机器人坏了怎么解决?

高阳

自己修。所以我问他们坏了怎么办,他们说,像宇树这样的公司会寄一些备件过来,然后他们自己修。

王与桐

这对他们的人力消耗还是很大,可能也要准备很多备件。

高阳

对,挺麻烦的。

王与桐

宇树会专门有一个部门来修这些寄回来的机器吗?

高阳

应该是。

王与桐

一般都会出现什么问题?

高阳

我们做实验时会做很多快速动作。比如机器人的手突然甩出去撞到了,手腕就不好使了。或者做一些高动态动作时,脚踝可能会裂。

王与桐

这对你们自己做本体有什么启发?

高阳

我们公司也自己做本体,也会遇到很多硬件问题。因为我们有很多 in-house 的工程师,所以大多数问题基本上 1、2 天就能解决。

我觉得这一点是中国相对于美国很大的优势,就是修机器快。

像 Physical Intelligence 他们买了 100 套机器人,但按照机器人损坏的速度,可能修理的速度很难赶上做实验的速度。

王与桐

你会怎么给具身智能的行业发展阶段划分?有些人会用 L 来划分,比如机器人具身智能的通用性是 L 几,现在处在 L0;做大模型的人则喜欢用 GPT-3、GPT-3.5 这样的方式定义。你会怎么定义?

3. 具身智能分级与形态选择

高阳

这个问题我和韩总这周一还在讨论。首先,L0 是工业机器人,它没有什么智能。

L1 是在单一任务上具备智能。比如在工厂的一个位置打螺丝,如果机器人有这个能力,我们就称它具备 L1 智能。

L2 是可以在一个场景里完成少数几件事情。比如在办公室里给我打一杯咖啡、收拾桌子,可能有 5、6、7、8 件事情,我们把这个叫作 L2。L2 相当于机器人可以移动起来,并具备一些多任务能力。

L3 是在一个物理场景里,比如办公室,能够完成 70% 到 80% 人类能做的事情。L3 是一个比较大的跨越,因为 L2 只是少数几件事,L3 是 70% 到 80% 的事情,能力范围扩大了很多。

L4 是在单一场景内做到人类能做到的所有事情。它比较像 Waymo 所说的:“我在旧金山可以开车,你在旧金山想去任何地方都可以去。”这就是我们定义的 L4。

L5 则是不局限于单一场景,可以在任意场景里做任何事情。不仅是在写字楼里,也可以在家里、便利店、工厂里做所有事情。

这是我们自己拍脑袋定义的 level。

王与桐

现在处于什么阶段?

高阳

我们已经过了 L1,但正在接近 L2。

王与桐

你指的是千寻,还是整个行业?

高阳

整个行业最好的水平也是这样,我们也是这样,都在接近 L2。

王与桐

问一个大家比较关心的问题:具身智能一定等于人形机器人吗?为什么现在大部分做具身智能的公司都在做人形机器人?一定要做人形吗?

高阳

不一定。具身智能完全不一定要是人形。

比如 L1 完全可以用工业场景里的单个机械臂来完成。但如果要做 L2,大部分时间可能需要双臂,因为很多时候需要两只手配合完成一件事情。同时还需要一个能够移动的装置,因为要去各种各样的地方。最简单的方式就是一个移动底盘。

所以,为了完成 L2 的任务,最少需要 2 只手和一个底盘,这也是我们的物理形态。

但我觉得双足并不是那么刚需。双足可以适应更多地形,但短期内不是必须的。尤其在办公室场景里,达到 L4 之前,双足可能都不是必须的。如果场景是操场,那可能 L2 就需要双足。

王与桐

所以还是要看选择的切入方向是什么。

你刚才提到,可能到 L4,至少在室内场景里,L4 之前都不需要双足和运控能力。但行业里也有人更擅长做双足和运控,他们认为先做上半身,就像当年先做增程车一样,最后还是要补上需要的能力。你怎么看?

高阳

我同意,之后补就可以了。

王与桐

你觉得这件事情简单吗?

高阳

我的逻辑是这样的:现在底盘已经非常成熟了。我们见到的基于底盘的机器人,主要是轮式底盘,但现实中基于轮式底盘、被大规模部署的机器人其实非常少。可能只有酒店送物机器人,是一种基于底盘、在现实中被大规模部署的机器人。

但在其他办公室场景里,并没有大量这样的机器人。为什么?主要不是底盘不够好,而是光有底盘没有手。没有手的话,机器人没有用:它只能在一个地方让人装东西,再到另一个地方让人卸东西。

核心问题是,如果只有移动能力而没有操作能力,价值非常小。我们已经有很好的移动硬件,但在日常生活中并没有看到它被广泛使用。

所以,解决问题一定要抓住主要矛盾。现在的主要矛盾是手上的操作能力,而不是底盘能力,或者 locomotion,也就是双足能力。

我同样认可未来需要补足双足能力,但现实情况可能是,在相当长一段时间内,出货量最大的机器人形态都会是轮式底盘加双臂,因为这已经可以解决 80% 能够被机器人解决的场景。

未来,为了解决剩下 20% 的场景,当然需要双足。比如要上下楼梯,轮式底盘不能上下楼梯;或者要去操场、野外,也肯定需要双足。但这些是剩下的 20% 场景。

大家一定会倾向于先用更简单的解决方案,解决那些能解决的场景。这是我们未来需要做的事情。

王与桐

你是从场景出发,觉得现在做双足不是一个性价比很高的事情?

高阳

对。

王与桐

那你觉得双足的难度怎么样?我听一些做具身智能的人说,双足是好补的。按照你刚才的逻辑,等其他做双足的人把科研突破之后,再补齐就可以。

但也有人说双足比操作更难,因为双足涉及很多稳定性问题。小孩很小的时候就会用手操作很多东西,但要学会走、学会跑,需要到更大的年纪。技术上你怎么判断?

高阳

我个人倾向于认为双足的技术相对简单。

我在清华实验室也做双足和四足,最近刚好做了一个关于平衡性的项目。当然,在做平衡性之前,我们也做过双足行走。

实际上,按照现在科研领域的水平,让一个双足机器人在物理世界里行走,并没有那么困难。它不一定走得非常好,但让它走起来并不难。我们实验室能做到,我相信很多其他实验室也能做到。

当然,要把它做到工业级稳定,还需要下功夫,但这里面没有本质的卡点。

甚至在我们实验室,我们还在做一些高难度的平衡动作。比如“燕式平衡”,就是单腿站立,双手向前,另一条腿向后,这个动作我们也能做出来。

王与桐

就是瑜伽里的那个动作?

高阳

对。还有类似李小龙那种,一条腿站立,另一条腿踢起来的动作,也可以做到。

所以我觉得,从技术难度上讲,双足没有那么难。

王与桐

一定要双腿吗?有没有可能先做四条腿,上面放两只手,像人形马,也就是半人马?

高阳

腾讯之前就做过类似形态的东西。我觉得是可以的。四足的稳定性会比双足好很多。

王与桐

但它的应用场景可能会有一些局限,因为四足要占更多空间。

高阳

对,使用场合可能会稍微有一些局限,但未来可能会有一个这样的机型品类,卖点就是“我站得更稳”。

王与桐

也有可能。那你刚才提到双臂和移动能力,这种形态一定需要一个人的上半身吗?大家都说只要操作能力强就可以,但还是会忍不住做一个上半身,有躯干和脑袋。一定要是这样的形态吗?

高阳

我明白你的问题。你是说,能不能让机器人的脑袋长在下面,或者一定要有脑袋吗?

它不一定要有一个脑袋,但需要有相机去观察场景。所以很自然地,需要把相机装在比较高的位置。它可以不是一个脑袋,但上面需要有一个东西,能够俯视整个场景。

王与桐

那这个高度也一定要像特斯拉 Optimus 一样,是 1.73 米吗?

高阳

不一定,可以稍微高一些,也可以稍微矮一些。

但现实情况是,我们的物理世界是为人设计的,尤其室内场景是为人设计的。你可以设计一些奇怪的机器人构型,但如果仿照人的形态来做,它在物理上一定是可行的,因为所有场景都是为人设计的。

如果一个东西对人的身体来说都不可行,这个场景也不会存在。

比如桌子基本都是 75 厘米高。如果机器人只有 1.2 米,它可能够不着桌子里的东西。但如果它的手有 2 米长,也可以把手折叠起来,不用的时候收起来,需要用的时候展开,就能够到桌子。

甚至可以做一条像登山杖一样的胳膊,一节一节地伸长,抓取东西后再收回来。我觉得这也是可行的,只是大多数场景并不需要那么长的胳膊。

王与桐

背后的问题是,大家现在都在扎堆做人形机器人,到底是从需求出发,还是因为技术演进认为人形是最省力的,从科研成本角度出发?或者只是从众心理,所有人都在这么做?

高阳

我觉得是从需求出发。

本质原因是世界为人设计,所以人形从物理形态上可以确保解决基本上所有问题。

王与桐

如果未来真的到了机器人统治世界的那一天,机器人可以设计符合自身需求的产品和环境,它们也不一定是人形。

高阳

对。

从亨利·福特时代的流水线开始,工业生产的逻辑就是分工细化。为什么现在我们却希望用一个机器人解决大量通用问题?

因为现在有很多问题,如果为每个问题专门设计一套解决方案,就需要付出一定的固定成本。但如果有一个通用机器人,就可以复用它的硬件设计和人工智能系统,只需要赋予它完成不同任务的 AI 能力,就能做各种各样的事情。

所以这并不违反工业革命或者工业生产降低成本的逻辑。

王与桐

以前追求精细化,本质也是为了追求更低成本。现在追求通用,也是为了更低成本。

高阳

对,它们并不矛盾。

有了通用人形机器人,我们也不会用它生产塑料杯,因为塑料杯用模具生产是最快的。未来可能会存在通用机器人和精细化机械臂一起使用的场景,这并不冲突。

王与桐

它们会在工业场景里解决哪些问题?

高阳

我们现在就在做一些工业场景。这些场景很难被专用机器人解决好。

王与桐

肯定不是捡电池吧?

高阳

不是捡电池。比如汽车厂的总装线,安装大灯、安装座椅,这些事情仍然需要人手工完成。它们没有办法被传统机械臂很好地解决,仍然需要通用形态的机器人来解决。

王与桐

有人认为,现在做这些事情的人力成本比机器人成本更低,从成本角度看,用人更划算。

高阳

现在的确是这样。我只是举几个例子,说明为什么工厂里仍然有人。因为现在机器人还解决不了这些事情。

当然,有些人比较便宜,有些人比较贵,有些工作的量比较大。工业里肯定会优先做那些工作量比较大的事情,前期这样才能算得过账。

王与桐

后期如果一个人形机器人能使用很久,足以覆盖某个人几年的成本,这笔账也就能算过来了。

高阳

对。

王与桐

下面我们可能会讨论一些共识和非共识。我觉得具身智能发展到现在,大家确实有一种各说各话的感觉。谁也证明不了别人是错的,但每个人证明自己是对的,似乎都有一套逻辑。

你既有中国产业背景,又有海外留学经历,而且在伯克利时同时待过视觉和强化学习实验室,应该对这件事有更全面的思考。

首先,走向具身智能,端到端路线更容易实现,还是分层路线更容易?现在有些人在做分层,你怎么看?

4. 端到端成为行业共识

高阳

肯定是端到端。我觉得行业里可能只有少数人不认同,但大多数人都会认同,一定是端到端。

背后的逻辑,经过自动驾驶 10 多年的发展,已经基本被验证了。现在几乎所有自动驾驶从业者都开始做端到端,因为大家发现,手动做分层不靠谱。

王与桐

我给听众介绍一下。端到端相当于收集到信息之后直接给出动作,而不是中间先把信息转换成某种表示,再转换成具体操作。分层就是后者,对吗?

高阳

对。

王与桐

端到端等于 VLA 吗?现在大家都在提 VLA。

高阳

等于。端到端就是 VLA,因为输入输出是视觉加语言,输出动作。VLA 就是 Vision-Language-Action,所以 VLA 和端到端是等价的。

王与桐

VLA 不能解决什么问题?

高阳

我觉得只要是操作类问题,理论上都可以解决。

但实际上,可能会遇到传感器不够好用的问题,所以需要更好的传感器,等等。

王与桐

现在仍然有人选择分层,是因为分层在现阶段更容易实现,对吗?

高阳

对,工程上更容易实现。

王与桐

但在你看来,未来大家一定会走向端到端。分层只是现阶段的选择。

高阳

对。

王与桐

聊到操作,这其实是千寻更擅长的地方。你先简单讲一下目前的思路,以及现在大概能做到什么程度,包括操作和大脑。

高阳

我们的操作方案,就是刚才讲的端到端 VLA 模型。你对它说任何一句话,比如“给我倒杯水”或者“给我做杯咖啡”,它都会通过 VLA 的理解,把视觉场景理解和动作结合起来,生成一串动作来完成任务。

我们采用的技术方案,是把海量互联网级数据结合起来,包括互联网级的图文数据和人类操作视频,再加上操作数据的精细微调,最后进行强化学习微调。我们把所有能用上的数据都用起来。

5. 叠衣服成为智商测试

我们前一段时间发布了一个 demo 视频,展示了连续叠很多件衣服的能力。对普通人来说,叠衣服是一个稀松平常的事情,但对机器人来说,这是一个特别难的问题。

我们日常操作很多东西时,比如杯子,它们都是刚体,所以很容易理解物体的状态。杯子放在哪里就是哪里,倒水也是比较固定的行为。

但衣服不一样。衣服从洗衣篓里拿出来时,可能是折得乱七八糟的,很难把它归属于某个固定状态。你需要理解衣服的褶皱是什么样的,才能决定应该用什么策略把衣服叠好。

王与桐

叠衣服对人类小孩也很困难吗?

高阳

对。有一天我跟一个朋友说:“我们的机器人能叠衣服了。”他说:“真的吗?我家小孩 2、3 岁了,还叠不明白衣服。”

王与桐

为什么?

高阳

因为他的大脑还没有发育好。这个事情难在,你得明白衣服这么乱了之后,要怎么把它撑起来。

王与桐

所以小孩不能理解“乱”?

高阳

对,他不能理解衣服是怎么乱的,以及要怎么处理这种混乱。

王与桐

这并不是因为衣服材质柔软,我原以为是拿取时力度控制的问题。

高阳

不是力度,而是要理解它的状态,然后把它还原到一个设定的状态。衣服可能出现各种不在预先计算范围内的状态。

对于成年人来说,我们不会觉得叠衣服比倒杯水或者扔垃圾更难。但对于小孩和机器人来说,难点都是无法识别状态。

王与桐

这相当于具身智能的智商测试,可能已经是 4、5 岁小孩的智商了。

为什么是这样?我理解,在操作过程和大脑识别过程中,还有很多其他难点。这些难点应该有顺序,比如什么更难、什么更简单,接下来还有哪些可以一起探讨和解决的问题?

高阳

我们现在解决的问题,是让模型同时拥有很多能力。

比如我告诉它叠衣服,然后说:“我不想这么叠,我想那样叠。”或者叠到一半时,我说:“把一封信放进这件衣服里,我想把信藏在衣服里面。”

我们现在解决的问题,其实就是朝 L2 走。L2 是多任务能力,我们要让多任务做得很好。

对单个人而言,叠衣服已经是相对非常难的事情了。

王与桐

单个任务还有比叠衣服更难的吗?

高阳

还有一些偏精细操作的任务。但如果有相应的传感器,还是比较容易做的。

王与桐

那就和大脑关系不大了?

高阳

对,可能和大脑的关系比较弱。比如把一根针插进缝里,主要取决于触觉传感器有多精确。但和大脑相关的任务,叠衣服基本上是最难的事情。

王与桐

叠衣服竟然这么难?

高阳

对。我今天来的路上还在和一个朋友讨论,为什么最近大家都发布了一些叠衣服相关的 demo。

Hugging Face 去年开源了叠衣服项目,Physical Intelligence 的 π0 也能完成叠衣服操作,李飞飞的研究团队也已经公开了论文代码,能够让机器人学会刀叉、叠衣服等操作。

因为叠衣服是单任务里最难的事情之一。

王与桐

所以并不是从场景出发?

高阳

不是。它是技术追求更高、更快、更强的过程中,必须完成的一件事。

王与桐

下一步就是多线程操作吗?

高阳

对。比如叠衣服的同时,我让机器人做一些稀奇古怪的事情,它能不能一起完成?

王与桐

这还是要靠它的大脑思考能力。它和快系统、慢系统有关吗?还是由什么决定?

高阳

这个难题主要还是由慢系统解决。快系统比较底层,比如抓一个东西时有没有抓稳,没抓稳就重新抓一下。这些主要属于快系统。

机器人的操作模型分为快系统和慢系统。你可以把快系统理解为反馈频率很高,大概是 50 到 100 赫兹,反应非常快,主要处理触觉和一些底层视觉反馈。

比如抓一个东西有没有抓到,没抓到就快速调整一下,直到抓到,这就是快系统。

慢系统则是,比如我叠衣服时,你突然说:“把信封放在左袖子下面。”我的慢系统要先想信封在哪里,再看一下;拿到信封之后,还要判断哪边是左、哪边是右,然后把它放到左边下面。

这里主要是视觉理解和语言理解,通过视觉、语言理解产生意图。

王与桐

泛化的难度大概处于什么阶段?

高阳

我刚才讲的 L2 到 L3 的提升,主要挑战就是泛化性。因为你很难把所有任务都踩一遍,所以需要泛化性来支撑举一反三。

比如我学会抓 A、B、C、D 4 个物体,但也能抓另一个随便新买的东西,这就是泛化性。

我觉得当前机器人面临的主要挑战就是泛化性:新出现一个物体,我能不能知道应该如何处理它。

叠衣服本身也有泛化性挑战。不同颜色、不同类型的衣服,叠法可能有细微区别。所以叠衣服既是一个操作本身很难的任务,也具备一定泛化性的难题。

王与桐

你们的数据是怎么调的?从哪里来,然后怎么调整?

高阳

我们的数据主要分为 3 个来源。

6. 数据训练塑造机器人能力

一个是互联网级的文本加图像数据,一个是互联网级的视频数据。这些数据量非常大,可以让模型学会很多常识,但精确度可能不够。

所以后面我们会用真机遥操作数据对模型进行微调,也就是 SFT。SFT 之后,再继续用强化学习对模型进行进一步微调。

强化学习的作用,是让模型的成功率变得更高。

王与桐

互联网视频数据的质量怎么样?你们有哪些筛选标准?

高阳

质量参差不齐,来源也比较复杂。我们基本上会从视频网站上爬一些素材,比如 YouTube。

说实话,能用的数据大概只有 1%。大部分视频和人类操作没有关系,所以可用比例很少。我们会筛出那些和人类操作强相关的视频,其他的完全不处理。

和人类操作强相关的,通常是第一人称视角的视频。第一人称视角最好。

王与桐

我之前理解,互联网视频给机器人训练的主要作用,是帮助它识别“这是什么”。是这样吗?还是也会让它学习怎么操作?

高阳

也会学习怎么操作。一方面,它会学习什么东西是什么;另一方面,也会学习怎么操作。

“什么东西是什么”,在视觉语言模型里面其实已经基本学到了。我们更多做的是让它从视频里学习每个物品到底应该怎么操作。

王与桐

这个怎么学?

高阳

可以用到我之前的一些学术论文。比如预测视频里每个物体未来的轨迹,预测人的手未来的轨迹,通过这些方法让模型学到人是怎么操作物品的。

王与桐

我问一个很小白的问题。前段时间我也看到智源提到类似的事情,当然我知道你们提出得比他们早很多。

作为人来说,我们看了很多操作视频,可能看了很多遍,却还是不会操作。机器人是不是也一样?它只是大概明白操作应该这么做,但仍然要自己去尝试?

高阳

对。它大概知道这么做是对的,但可能做得不够精确,所以不能只看互联网视频就直接做事。

王与桐

所以还是需要你刚才说的 SFT,再加上强化学习。

高阳

对。

王与桐

可以再讲一下后半段的训练过程吗?它们分别发挥什么作用?

高阳

模仿学习相当于让动作变得更精准。

就像你看视频,知道一个零件怎么装,但自己没装过,还是不知道具体该怎么做。你得自己装一下,才知道这个事情应该怎么完成。模仿学习微调就是在做这件事。

强化学习微调和大语言模型是一样的。如果一直握着机器人的手做这件事,不让机器人自己用自己的想法去做,它总会有 5% 到 10% 的情况失败。

王与桐

怎么理解?

高阳

可以这样理解:让你看妈妈做菜,但不允许你上手。你看了她做 10 年,突然有一天要在自己家里做,就不知道盐该放多少,也不知道火候到了什么程度应该出锅。

因为你从来没有自己做过,所以强化学习的逻辑是,要把这件事情做好,就必须自己去干中学。

王与桐

但人类会有肌肉记忆。机器人也有类似的东西吗?

高阳

机器人也有类似机制。我们没有一个完全对应的专门术语,但确实相似。你看得越多,确实会给大脑一些刺激,让你不自觉地去模仿。

最后还是要靠自己不断 practice,形成类似肌肉记忆的东西。

王与桐

所以机器人和人是一样的,只是它们的肌肉记忆是电子记忆?

高阳

我也不知道人是怎样的。人可能有一部分记忆存储在脊髓里,这只是我的猜测。

王与桐

我最近也在想,这件事还挺哲学的,肌肉记忆到底是什么?

我之前滑雪时一直不会换刃,很久都突破不了。突然有一次换好了,之后每次都能换刃。

高阳

你可以把肌肉想象成大脑的一部分。你的模型在某个瞬间把神经元连接起来,然后就会了。

王与桐

那机器人怎么实现?

高阳

机器人也是一样。只是人类的控制系统可能是分布式的:你的脑子是一部分,每块肌肉也可能有一些记忆。机器人的系统现在是中心化的,但不排除未来也会变成分布式的。

王与桐

这个点很有启发。

高阳

机器人在强化学习时也是这样。它可能很长时间都不会,突然某一次会了,之后就一直会。

王与桐

实验中遇到过类似情况吗?

高阳

非常多。比如叠衣服,之前一直怎么都学不会,突然就会了。

还有一些特别难的情况,比如插拔 USB 接口。这件事情非常精细,可能插半天都插不进去,但突然有一次插进去了。之后每次插都会越来越容易。

它的学习曲线刚开始非常难,突然某一下会了,之后就很容易复现成功。

王与桐

像插 USB 接口这件事情,这一次成功之后,也会提高它做类似插入任务的成功率。这个叫跨任务泛化,对吗?

高阳

对。

一般的泛化是,比如我倒水,面对不同的瓶子、不同的杯子,做的还是同一件事。

跨任务泛化则是,我一会儿倒水,另一会儿浇花,动作比较接近,但又有一些不同;或者今天拧螺丝,明天转门把手,后天拧灯泡。它们是不同任务,但动作有很大的相似性。

王与桐

训练会有什么规律吗?还是说比较像玄学,不知道哪一次会成功?会不会在 100 到 150 次之间更容易做成?

高阳

强化学习取决于任务难度,不一定是 100 次或 150 次。它取决于什么时候能试出这个东西,一旦试出来,就会突然变好。

王与桐

什么决定它什么时候能试出来?

高阳

取决于之前模仿学习和 SFT 做得好不好。如果这两部分都做得比较好,强化学习就会比较快地起作用。

王与桐

数据这一块我还想问一下。现在大家对数据采集和训练方式也有不同意见。你们是各种方式都会用,并且用在不同阶段,对吗?

有些人更相信某一种方式能带来更大的价值,其他方式只是辅助。比如有人认为仿真环境和仿真数据可能更好;特斯拉则做了非常多遥操作。你怎么看整个行业选择不同数据方式这件事?

高阳

我觉得本质上是大家认知不同,也和各自擅长的东西有关。

做仿真器的公司,在仿真器方面有更多积累,这是他们擅长的,也是他们相信的方向,所以会这么做。

王与桐

这也是大家还没有达成共识的地方,所以现在做法非常不一样。

你们最主要的是视频学习吗?

高阳

我们最大的数据量,肯定是互联网图文加视频。

因为这件事在大语言模型里已经被无数次证明过了:如果基模足够好,就可以让模型变得非常强。所有大模型最重要的一步就是预训练,预训练需要爬取非常多的数据,把基模做得非常好。

王与桐

我看你资料里提到,你带领团队发现了 data scaling law。

高阳

对。

王与桐

具身智能领域也有 scaling law 吗?这个词好像还没有特别固定的中文翻译。

7. 具身智能存在规模定律

高阳

具身智能也存在 scaling law。我们发现,具身智能里的 scaling 性质和大模型是一模一样的。

数据量和性能之间,或者说性能与最优性能之间的差距,也就是 optimality gap,是 log-linear 的关系。数据取 log 之后,和性能的 optimality gap 呈线性关系。

粗略地说,我多采 10 倍数据,性能就会多一个 9。比如从 99.9 提升到 99.99,大概是这个意思。

王与桐

这个公式在多大的范围内成立?

高阳

论文里验证的规模还没有那么大,因为我们没有采集那么多数据。大概在 10 万到几十万这个量级的区间内,这个规律是成立的。

王与桐

如果要做出具身智能的 GPT-3,大概需要多少数据?

高阳

我们预估过,按照我们的技术路线,要做到 GPT-3.5,大概需要 100 亿条有效的互联网视频。

王与桐

100 亿条是有效数据,还是总数据?

高阳

是有效数据。

王与桐

如果能用的数据比例是 1%,那至少要学习 100 倍的数据。

高阳

对。也就是说,我们需要从 1 万亿条数据里筛出 100 亿条有效数据,再加上 1 亿条遥操作数据,以及几千万条强化学习数据。

王与桐

现在互联网上已有的视频,能用的大概有多少?

高阳

现在测算下来,互联网上已有的可用视频大概也就 100 亿条。

王与桐

也就是说,可能要把所有数据都学完。

高阳

对。

王与桐

这会是一个很久的事情。

高阳

我们预计可能需要 4、5 年。

王与桐

这个规律是在视频数据上成立。如果一家公司通过仿真生成 100 亿条数据,也成立吗?

高阳

仿真数据不一定成立。仿真的 diversity 是有限的。对于仿真来说,其实不能简单数数据条数,而要数 diversity 有多大,但这个东西很难量化。

一个仿真器放在那里一直跑,可以产生无限多数据,但不能说它能解决无限多问题,因为数据的 diversity 是有限的。

所以对于仿真器,很难按数据条数来计算。可能要看仿真器能多真实地覆盖现实世界中的多少种任务。

比如透明玻璃杯能不能仿真,衣服能不能仿真,椅子上面有一点软、下面很硬的结构能不能仿真。

王与桐

所以仿真数据有另外一套要求,可能不是按照数据量来衡量。

高阳

对,所以 scaling law 对这样的数据确实不生效。

王与桐

遥操作数据也存在同样的问题吗?

高阳

遥操作也存在,只要遥操作数据的 diversity 足够大,就会存在 scaling law。只不过遥操作的成本更高。

王与桐

千寻也是做大脑加本体,对吗?

高阳

对。我们有自己的大脑模型,让它和自己的身体配合。

王与桐

Figure 之前和 OpenAI 合作,后来决定自己做大脑。你们从一开始就选择了这条路线。

高阳

对。

王与桐

如果只做大脑,不做本体,会有机会吗?可能面临什么问题?

8. 大脑与本体协同发展

高阳

只做大脑当然可以做 methodology,但它可能很难真正解决问题。

每个人都不是跨具身的。人不拥有很强的跨具身能力。一个只做大脑的公司,可能很难适应不同本体。

就像我们刚才说的肌肉记忆。如果只做大脑,模型对于任何机器人本体都没有肌肉记忆。你很难让它针对任意一个机器人本体,快速挥一下球拍,或者很快完成一个任务。

它可能需要很慢地把事情做得更好,因为具身模型没有针对具体本体的特点形成肌肉记忆。

王与桐

那只做本体、不做大脑呢?

高阳

只做本体的问题在于,最大的价值在大脑端。

这是行业的共识吗?

高阳

最大的价值在大脑端,我觉得是一个比较广泛的共识。我们也看到,像宇树这样的公司确实不做大脑,但本体能力很强,也有很多投资人抢着投。

高阳

首先,我们做本体的能力和 10 年、20 年前没有本质区别。

王与桐

你说的“我们”,是指世界上所有人?

高阳

对,世界上所有人。

但为什么大家突然开始做本体?是因为大脑端出现了变化。以前机器人行业为人类产生的总体价值可能没有那么大,是因为大脑这一端能力比较弱。

现在有了大脑的能力,未来才有可能把这个行业做成一个千亿、万亿级别的市场。所以我认为这个共识是存在的:大脑本身才是最大的价值环节。

王与桐

你怎么看灵巧手?比如刚才说的把针插进缝里,可以依靠非常精细的触觉传感器。

行业里的零部件、关节厂商会处在什么位置?如果你们做本体,会自己做到什么程度?哪些东西可以和外界合作?

高阳

我觉得最终具身机器人会比较像汽车产业链。

也就是说,需要生产一个本体,再加上一个大脑,让它为大家做事情。本体里面也有很多困难的零部件,比如触觉、灵巧手,芯片可能也是比较难的东西。

我们的态度是,非常开放地和整个产业链一起把本体做好。但现在很多事情还没有做得特别好,所以不得不自己做。

我们更希望产业链能够成熟起来,让尽量多的东西都能和产业链上的合作伙伴一起做好。最后,分工越精细,事情就会做得越好。

就像现在的汽车行业,整车厂主要是把汽车的 spec 设计好,基本上所有零部件都是外采或者共同研发的。

王与桐

前段时间朱啸虎谈人形机器人,你看了吗?

高阳

我没有仔细看。

王与桐

他的核心论点是,人形机器人高度共识,但没有商业化路径。他问了几个 CEO:“你们的商业化客户在哪里?”

朱啸虎觉得,这些 CEO 说的客户都是想象出来的。谁会花十几万元买一个机器人去干这些活?

我对这件事有两个理解。一个是,现在正处在技术爬坡期,确实是在从原型走向技术原理的阶段。我觉得在这个阶段要求商业化,可能确实有点太早。

高阳

对。

王与桐

但我还是很想和你聊聊,你们怎么看场景问题?

9. 商业化等待能力跃迁

高阳

正如你所说,商业化这件事情不能要求 GPT-1 在 GPT-1 的时候就具备商业化能力。

但现在已经到了可以落地的时期。所以我认为,现在最应该做的是把技术做到 GPT-4.0,而不是盯着以现有水平到底该怎么商业化。

这不是最重要的事情。

当然,我们也会在这个过程中做一些商业化,主要是为了让公司的抗风险能力更强。

我们怎么做商业化?就是沿着 L1、L2、L3、L4 这条路径,到达每个阶段,就去做这个阶段能做的事情。

现在是 L1,我觉得最能做的就是工厂里的一些任务。这些任务机器人可以完成,客户也愿意花十几万元买一个机器人。只是在 L1 阶段,能找到的商业场景还没有那么多,因为能力受限。

如果到了 L2,可能就多了 10 倍甚至几十倍的场景,呈几何倍数增长。

王与桐

我对朱啸虎那句话的另一个理解是,现在具身智能行业最大的问题,就是我们刚才聊到的非共识太多。

大家都在用各自的路径往前跑,目前每条路径似乎都有一些成绩,都能做到一个不错的 L1 状态。

我们先不讨论哪条路线是对的,因为现在无法验证。你觉得要到什么阶段,行业才会开始收敛?什么时候会像大模型一样,大家都认为扩大规模、使用 Transformer 架构是正确的?

10. 行业收敛等待关键突破

高阳

当某家公司跑出 L2,甚至跑出 L3,大家自然就会收敛。

王与桐

你觉得背后需要哪些要素?是所有要素都同时存在才可能出现,还是历史由个人决定,某家公司突然想到了、做到了,就成功了?

高阳

我个人认为现在要素已经齐备,只是需要一些时间把它做到。

王与桐

所以按照你的逻辑,一步一步把链条做完,就总会到达那个地方。

之前看我们的稿子,里面提到你发现了 data scaling law,甚至被形容为具身智能的 ChatGPT 时刻。你觉得这算 ChatGPT 时刻吗?

高阳

我觉得它是 ChatGPT 的 theory foundation,也就是理论基础时刻,但肯定不是真正的 ChatGPT 时刻。

王与桐

那是 Transformer 被提出的时刻吗?

高阳

如果真的要比,最恰当的比喻是 OpenAI 提出 scaling law 的时候。可能在 2、3 年之后,OpenAI 做出了 GPT-4。

但机器人的数据更难获得,所以我期待这个时间会比大模型稍微久一些。

王与桐

机器人本身的链条也比纯软件更长。就算真的有一个非常强的大脑,还要让大脑驯化身体,这件事也很难。包括产业链上的配合。

高阳

对。让一家公司把身体上的所有东西都做得非常精细,我觉得不太可能,也很困难。

王与桐

所以具身智能如果要等到 ChatGPT 时刻,是一个非常综合的过程,各种要素都要具备,整个行业一起成熟。

高阳

我觉得现在的瓶颈还是 AI。

王与桐

硬件现在不是短板,AI 是最短的板?

高阳

对,AI 是最短的板。

就像一个木桶,其他地方虽然也不够长,但如果把 AI 补齐,就相当于把木桶补齐了。

王与桐

所以现在大家会更关注 AI 能力强的智能团队。

这就提到了你们的“归国四子”。你们几位算是根正苗红、出身名门的几位,也都比较擅长大脑和大模型,对吗?

高阳

对。

王与桐

你怎么界定“归国四子”?都有谁?

高阳

许华哲、吴毅,还有陈建宇、罗建南。

王与桐

许华哲、吴毅、陈建宇、罗建南。罗建南最近刚刚加入估值最高的具身智能公司智源,担任首席科学家。吴毅是边界智能的创始人,之前也在 OpenAI 工作过。

11. 伯克利经历塑造回国选择

高阳

我们在 Berkeley 的时候就很熟,但不是 5 个人一起组成什么小团体,只是彼此都很熟。

我当时和许华哲、吴毅都在同一层楼,经常一起吃火锅、打牌。

王与桐

你们这么忙,科学家也打牌吗?

高阳

我们读博的时候还是挺有时间的。

王与桐

你当时同时在那 2 个实验室吗?

高阳

没有。读博时主要在 Trevor 的实验室,和 Sergey 也有一些合作。博士后阶段,相当于和 2 个实验室都有合作,主要是 Trevor 和 Pieter。

王与桐

挺神奇的。读博是不是没有我们想象中那么难?

高阳

对,生活还是比较丰富的。

王与桐

吴毅现在应该不做具身智能了?

高阳

对。吴毅老师现在主要做大模型的 alignment,也就是 RL alignment。

王与桐

你和许华哲是同一个实验室的吗?

高阳

对。

王与桐

你们实验室还有谁?有什么比较有名的人?

高阳

贾扬清是我们实验室的。他比较有名的工作是深度学习软件框架。

现在大家最常用的框架之一叫 PyTorch,但最早的深度学习框架、当时使用人数比较多的叫 Caffe,是贾扬清写的。

王与桐

他比你大很多届吗?

高阳

应该大 4、5 届,我记不清了,大概大我 4 届。

他当时写了一个叫 Caffe 的框架,是当时使用最多的深度学习框架之一。他也深度参与了后来几个有名的深度学习框架,包括 TensorFlow 和 PyTorch。

王与桐

你们有同期过吗?

高阳

没有。我刚去的时候他刚毕业。

实验室还有一些外国人。和贾扬清一起开发 Caffe 的,有一位美国人叫 Evan Shelhamer。他当时比较有名的工作是 FCN,也就是第一个语义分割神经网络。

语义分割就是给一张图,把每个物体的边缘都圈出来。这些都是 Trevor 实验室的工作。

王与桐

你最开始是不是在另外一个实验室?

高阳

对,最开始是在一个做计算生物的实验室,后来也在一个做理论机器学习的实验室听过一段时间组会。刚开始就是 rotation 了一下。

王与桐

后来为什么选择跟 Trevor 做计算机视觉?

高阳

因为我觉得计算机视觉挺酷,所以就做了。

王与桐

2015、2016 年那会儿,计算机视觉确实很火。

高阳

对。

王与桐

你那时已经在做计算机视觉加具身机器人的研究了吗?

高阳

最开始没有,大概到博二、博三的时候才开始做。

最开始做的项目是自动驾驶,是我和许华哲一起做的,也是许华哲进入 Trevor 实验室后做的第一个项目。

王与桐

他是你的学弟?

高阳

对,他比我小 2 岁。

王与桐

你是哪一年的?

高阳

我是 1991 年的,他应该是 1993 年的。

王与桐

那个自动驾驶项目大概是什么情况?

高阳

我们做了一个端到端的自动驾驶模型,大概是 2016 年。

现在是 2025 年,过去了 9 年。当时自动驾驶工业界没有人相信端到端,但我们从那个年代就相信端到端,一直认为它会是未来。

当然,那篇论文从现在的角度看,技术肯定早已经过时了。但它背后的哲学思想,在那个年代我们就已经开始这样思考了。

王与桐

当时学界研究端到端自动驾驶的多吗?

高阳

我们那篇应该算比较早。当时还有一篇英伟达做的端到端自动驾驶论文。

我们那篇论文使用的数据量可能是英伟达的 100 倍,训练了一个自动驾驶模型,泛化性等方面都比当时英伟达做得好很多。

所以,我们做机器人也是从自动驾驶开始的。

王与桐

后来为什么又开始做机器人交叉研究?

高阳

自动驾驶越做越深之后,我发现自动驾驶的本质问题和机器人的本质问题是一样的。

自动驾驶也是观察场景,然后控制一个本体。对学术研究来说,机器人是一个更加通用的控制形态。

王与桐

为什么从学术角度看,机器人是更加通用的形态?

高阳

自动驾驶车只能向前开和转弯,其他事情都做不了,所以动作空间能做的事情比较少。

但机器人能做的事情非常多,是一个更难的问题,也是一个自由度更高的研究问题。

所以后来我就决定开始做机器人。

王与桐

你做的第一个机器人课题是什么?

高阳

自动驾驶之后,我们做的第一个课题是把模仿学习和强化学习结合起来。

强化学习是一件挺难的事情。就像刚才讨论的,必须先有第一次成功,未来才比较容易成功。

所以我们当时开始研究这个问题。后来研究的东西越来越多,包括更好的强化学习算法,以及和物理机器人的结合等。

王与桐

你觉得做学术需要灵感吗?需要灵光乍现的时刻吗?

高阳

我觉得不需要。

王与桐

靠不断推理?

高阳

对,靠一步一步把每个链条做好,自然会导向结果。

王与桐

所以你对技术的判断会比较乐观。你觉得只要这样做下去,达到 L3、L4 没有问题。

高阳

对,我倾向于这么认为。

王与桐

你有时间线吗?比如什么时候到 L2,什么时候到 L3?

高阳

我预计大概明年 6 月会达到 L2,也就是单场景多任务。

L3 我觉得可能还需要额外 1 年半到 2 年。

王与桐

你当时是怎么管理时间的?同时做这些课题,还参加其他组的组会,不断学习,还要和同学打牌、吃火锅。

高阳

读博时相对没有那么多事情。一般同一时间只做一个项目,虽然可能会参加不同老师的组会,听一些 seminar,但相对来说时间非常自由。

王与桐

你典型的一天怎么度过?

高阳

周一到周五主要在实验室。某一天晚上 6 点左右,我们组会,大家一边吃饭一边讨论学术问题。

有时候,尤其是周五晚上,会一起吃火锅或者打牌。

我的导师 Trevor 很喜欢滑雪。每年我们组都会一起组织滑雪。

伯克利旁边有一座山叫 Lake Tahoe,大概有 2、3 千米海拔。冬天大概有 4、5 个月的雪季,我们经常冬天去那里滑雪。那边还有一个湖,景色也很好。

王与桐

你博士后结束之后,为什么选择回国?

高阳

当时其实有很多选择。我觉得在清华做这件事情非常有意思。

当时的另一个选择,是留在美国去 Waymo,一家自动驾驶公司。但我觉得那件事没有那么有挑战性,也比较一眼望得到头,可能就是成为大厂的 engineer。

我在 Waymo 实习过 3 个月。出来的时候,我感觉自己的脑子好像坏掉了,甚至老师讲的东西我都理解不了。

王与桐

为什么会这样?

高阳

Waymo 是一个非常大的公司,每个人负责的事情都非常小。我只需要把一个极小的事情做好,不需要太多智力。

王与桐

所以员工在那里起到的是执行和操作的作用,大脑其实是公司的决策层。

高阳

对。

王与桐

所以你更想做成为大脑的事情。

高阳

对。

王与桐

你当时就想创业吗?

高阳

当时也考虑过创业,但确实没有什么好的机会。

读博时,我在 Berkeley 参加了一个叫 Berkeley ACE 的创业协会,博士期间也考虑过毕业后要不要创业。但当时确实没有特别好的产业机会。

王与桐

ACE 里面还有谁?你们几位“归国四子”好像都不在。

高阳

有一个人在,叫许卓,他好像要回清华 AI College 当助理教授。

王与桐

伯克利给清华输送了很多人。

高阳

对,非常多人才。

王与桐

我今天还在极客公园上发了一篇文章。以前大家开玩笑说清华培养美国人,因为清华给海外高校输送了很多人才,大家都留在那里。

但我觉得,你们几位的出现可能会引领一种趋势:美国高校开始给中国输送人才。你们交流过为什么大家会回清华、回国吗?

高阳

我觉得原因都差不多,都是觉得回国做科研是一件非常有挑战、非常有意思的事情。

王与桐

你们聊过这件事吗?

高阳

我回国是吴毅老师拉我的。

最开始是吴毅老师被姚期智先生面试,然后拿到了 offer,决定回国。之后他问我:“要不要一起回来?”

我就开始考虑这件事。徐华哲也是我和吴翼一起把他拉回来的。陈建宇则是我和吴翼,或者我和徐华哲一起联系的。因为陈建宇比徐华哲早回来 1 年。

王与桐

你们还兼职做 HR。

高阳

对。

王与桐

你们确实有一种互帮互助的感觉。

所以你们都觉得回国做科研更有挑战性。当时面临的选择应该都差不多:加入美国某家超级大厂。

高阳

我觉得在美国,我很难完全适应当地文化。因为美国人喜欢的东西,中国人普遍会觉得比较无聊。

美国还有一些比较特殊的文化。大家更喜欢 cheerleader style 的人。在学校里,大家不会觉得学习很好是一件特别值得崇尚的事情。

王与桐

你和许华哲平常会交流创业心得吗?

高阳

会交流一些。

王与桐

你们现在算竞品吗?

高阳

我觉得有一些竞争关系,但我们的应用方向也比较不一样,所以还好。

王与桐

他们是什么方向?

高阳

我理解他们和一些家电厂有合作,可能都是从工业角度落地,但企业形态可能很不一样。

王与桐

你们之前都是比较纯粹做科研的人。进入商业世界创业之后,有没有一些共同感悟?会交流这些吗?

高阳

共同感悟就是忙了很多。

也会交流,比如他们公司的管理风格、我们公司怎么管理,以及哪些方面可以改进。

王与桐

你们最近讨论的技术话题是什么?

高阳

我想一下。我记得有一次聊到,现在具身智能科研的 idea 好像已经进入比较平静的时期,所以我们讨论在这个 regime 下到底还有什么新的东西可以做。

当时觉得可能零售还是有蛮多可以去做的。

王与桐

关于科研瓶颈的问题,我还想回过头来问你。

我们刚开始就聊到,为什么你们会觉得这件事情到了瓶颈期?你刚才提到,一个技术出来可能会抹平之前的技术,但这件事难道不是一直都存在吗?

高阳

是这样:在学术思想上,大家正在逐渐趋同。

以前可能有人研究很多不同话题。你可以理解为原来有 500 个话题,但现在收敛了很多。为什么?因为大家在学术上形成了一定共识,某些路径已经被认为不太可能实现,所以大家就不再去碰了。

这不一定是被完全证伪,而是大家觉得这些路径没有那么有前途,做的人就少了。

现在学术话题并没有完全收敛到一个,但可能从 500 个变成了 100 个。于是每一个话题下面都可能已经有人探索过了,再想探索出新的东西,就相对更难。

这就是我们说的“没得做”的具体含义。不是完全没得做,而是要做出真正 groundbreaking、真正有影响力的东西变得更难了,因为大家的思想越来越趋同。

王与桐

你说的思想趋同,是指大家认为具身智能的实现路径越来越近,基本都认同 VLA 这一套?

高阳

对。

王与桐

所以即使在外行人看来,具身智能行业有很多非共识,在你们眼里,它其实已经是一个经过共识收敛的状态了。

高阳

还没有完全收敛,但已经在收敛过程中。

王与桐

为什么清华有这么多助理教授出来创业?

高阳

恰好是因为这个行业进入了产业化阶段。

大模型和具身智能,正好是清华有很多相关老师的领域,而且正好进入了产业化阶段。所以有这样背景的人可以出来做一些事业。

王与桐

大家有一个比较大的担心:很多年轻大学教授出来创业,过一段时间可能拍拍屁股走人。如果公司做得不好,大家担心的本质是,你同时身兼教职和企业工作,是不是决心不够?

一方面是担心时间成本,另一方面是担心决心问题。你怎么看?

高阳

本质上,我做的是同一件事情,只是这件事情经历了一个 transition,从技术逐渐成熟到工程化落地的 transition。

我没有觉得自己在做两件事情,而是在做一件事情。所以我不可能拍拍屁股走人,因为这就是我想做的事。

王与桐

如果企业发展得越来越好,你的时间精力越来越不够用,会不会考虑放弃清华的教职?

比如杨植麟,他也是你们交叉信息研究院的教授,已经辞去了学校职务,专注于行业。

高阳

不排除这种可能性。人生就是一个 journey,没有标准答案。只要享受这个过程,我觉得就是最好的。

王与桐

你现在日常的 routine 是什么样?

高阳

我一般每天早上 7 点半左右起床,9 点半到 10 点开第一个会,然后每天开会可能会开到晚上 9 点。

我日常的一个议题就是,怎么把会议时间压缩下来。

王与桐

想出什么办法了吗?

高阳

这可能是到了这个阶段大家都需要面对的事情。

一方面,很多会议要开得更高效;另一方面,要从公司的组织架构上让整个组织更有效率,也让我的参与更有效率。

王与桐

一周里大概多少时间放在公司,多少时间放在学校?

高阳

大概一半一半,动态平衡。

王与桐

这算是在燃烧生命吗?事情太多的时候,减少睡眠时间去解决?

高阳

我倾向于不是这样。我每天都是 12 点睡觉,包括上清华、读博的时候,我从来不熬夜。

我觉得做一件事情,方法论比每天多投入 1、2 个小时重要得多。所以我更倾向于从方法论角度把事情做好,而不是从时间投入角度把事情做好。

王与桐

你算是我认识的清华人里睡眠时间比较长的了。很多人事情多的时候,会极度压缩睡眠。

高阳

如果不睡,第二天脑子就没有那么清醒。脑子不清醒,可能会做很多错误决策。一个错误决策,可能让和我一起工作的人多花 2 倍时间才能把事情做好,反而会降低效率。

王与桐

高老师每天骑车上下班。

高阳

对。

王与桐

你骑什么车?

高阳

小黄车,美团单车。

王与桐

真的是共享单车?我还以为是小布之类的车。

高阳

对,我骑车主要是为了锻炼身体。

王与桐

我知道你肯定是为了锻炼身体,但没想到你的答案是骑共享单车。是因为经济成本吗?

高阳

不是。有时候白天会出去,如果骑自己的车到公司,之后第二天可能没车可骑,因为我可能会打车去一个很远的地方。

另外,共享单车一般比较难骑,所以锻炼效果更好。

王与桐

我确实听过类似的说法。这是你保持身材的秘诀吗?

高阳

算是吧。

王与桐

所以你不健身?

高阳

我也健身,每周 2 次,很固定。周二下午 4 点到 5 点,周五一般是中午 1 点半到 2 点半。

王与桐

像有人给你写好了程序,到时间点就去做。

高阳

对。我是 ISTJ,schedule 比较固定,基本包括骑车上下班。

王与桐

你会控制骑车时间吗?比如必须在多长时间内到?

高阳

一般在 31 到 33 分钟之间。共享单车还车时会显示时间,所以每天都比较相似。

王与桐

你不会觉得很枯燥吗?

高阳

我觉得很好。我比较喜欢在 routine 的 context 里面享受这件事情,而不是改变自己的 routine。

王与桐

很多投资人会说,AI 科学家创业不靠谱。我深表同意。

高阳

作为科学家本人,我也同意。

每个人都有自己的局限。虽然我懂技术,但技术如何工程化,如何做好工程团队的分工,如何带好工程团队,如何配合应用落地的节奏,这些事情都没有那么简单,需要很多经验。

这是我这一年里非常深刻的体会。

112: 与千寻高阳聊具身:一个像机器人的人,怎么做像人的机器人 | BidClub