王鹤
所以这个事儿是我们现在特别强调的：不要去搞一些砸我们行业招牌的事情了。比如承诺别人“你采了就能训出来”“你建厂就能够有技能”“我卖机器人，你来采，采完你来训，明天它就是你的员工”。这些模式是很可怕的，是在砸这个行业的饭碗。
第一件事是公开展示，而且不允许遥操作。现在国内有些人胆子特别大，敢不告诉别人自己在遥操作，但实际上就是遥操作。
张小珺
去年不是你跟黄仁勋坐在一起吗？你们聊了什么？
王鹤
他也能吃一点辣的，我原来以为他吃不了辣的。水煮肉片我看他吃得也挺好的。看变脸演员表演的时候，他给了非常热情的反馈。而且他本人也是劳模，除了我们这一桌以外，他把所有桌都挨个过去敬了酒，然后还拍了照。
张小珺
Hello，大家好，欢迎收听《张小珺Jùn｜商业访谈录》，我是小珺。这是一档提供一手高密度信息的商业访谈节目。
今天继续《商业访谈录》的机器人专场，嘉宾是北京大学助理教授、银河通用创始人兼 CTO 王鹤。王鹤毕业于清华大学和斯坦福大学，他先从具身智能的学术缘起开始聊起：一个学术流派如何从一个学科中萌芽、走向边缘，再逐渐向主流渗透。
随着 ChatGPT 的诞生，具身智能这个小众概念在过去两年成了资本的新宠，但一时间也带来了新的乱象。我们探讨了一些具身智能产业界的关键问题。
第一，具身智能起源于计算机视觉的学术流派，那么视觉、语言和智能的关系是什么？为什么 VLM，也就是视觉语言模型，表现显著弱于 LLM，也就是大语言模型？
第二，具身智能最大的困境之一是数据采集，那么合成数据是正解吗？具体应该怎么做？
第三，如果大模型提供的是智能级产品，那么具身智能是什么级别的产品？王鹤给出的答案是：生产力级产品。
就在去年年底，英伟达创始人黄仁勋来华访问。在答谢宴上，王鹤不仅和黄仁勋同桌，而且就坐在他的旁边。我们在节目的最后也聊了聊这个有趣的插曲，他提到那晚黄仁勋吃了不少水煮肉片。
好了，2025 年，我们和 AI 共同进步。
王鹤老师，先给听众朋友们打个招呼，并做一个简单的自我介绍。
王鹤
小宇宙播客的听众们，大家好。我是银河通用的创始人，也是北京大学的助理教授、智源学者王鹤。很高兴今天能通过小宇宙播客，跟大家聊一聊具身智能和人形机器人。
张小珺
老师，我们先开始几个快问快答。公司名字？
王鹤
银河通用。
张小珺
公司创立时间？
王鹤
2023 年 5 月。
张小珺
融资轮次？
王鹤
我们现在应该算是战略轮，正在 close。
张小珺
目前的估值？
王鹤
已经超过 10 亿美元。
张小珺
你的年龄？
王鹤
33 岁。
张小珺
你的 MBTI 应该是 ENTJ。
从外界可以看到，这两年的具身智能机器人实在特别火。你身处其中，是一种什么样的感受？
王鹤
1. 具身智能走向主流
只能说，这个领域开始让大家对从业者有了一些认知。
其实从我开始做人工智能，主要从三维视觉切入机器人领域来看，具身智能确实经历了一个前期慢热的过程。美国那边大概从 2020 年开始，具身智能已经成为非常主流的年轻学者研究方向。
2020 年年底我拿到了北大的 offer，2021 年回到北大。本质上，我当时就已经 all in embodied AI，把实验室的名字取成了 Embodied Perception and Interaction Lab。
据我所知，这也是中国大陆第一个把自己的实验室命名为“具身”的实验室。2021 年我回到中国时，国内确实没有什么人做这个方向，当时连“具身智能”这个词都搜不到。
大约到 2022 年，北京智源研究院开始意识到这个方向在国外非常重要，邀请我去论证具身智能是不是一个重要的人工智能前沿方向。我们开了一次座谈会，我作为主持人，最后论证的结论是：智源研究院应该发展具身智能。
后来我作为创始主任，在智源创办了具身智能研究中心，也是全中国第一个以“具身智能”命名的研究中心。
张小珺
你们当时的推理过程是什么样的？
王鹤
大家的核心思路是，数字领域里的智能，本质上是从互联网等已经存在的数据中挖掘知识，然后推动这些知识在没有实体的虚拟数字环境里形成智能。
但是，物理世界里的智能一定需要身体，而这部分数据在互联网上没有。真实世界中的物理交互，说白了就是动手干活，所有这类应用都需要这样的智能，也需要这样的数据，所以应该立即开始做。
张小珺
你们当时对于具身智能的定义是什么？这是一个公认的定义吗？
王鹤
Embodied AI 这个词在美国大约从 2019 年以后开始有人谈论，慢慢成为一个大家会使用、会形成共识的词。它其实出现得挺晚，我记忆中第一次把 embodied 这个词说出来，大约是在 2018 年或 2019 年计算机视觉顶会的一个 workshop 上。当时的名字叫 embodied agent。
那个时间点还没有形成 embodied AI 的概念。到 2020 年，美国学术圈里开始有人在 slide 里讨论 Internet AI versus Embodied AI。
它们的核心区别是：Internet AI 的数据和知识来源于互联网，Embodied AI 则来源于身体与环境的交互。身体可以在 simulator 里，遵循仿真器中的物理规律与环境交互，也可以在真实世界里交互，通过这些数据产生智能。
到 2020 年，这个词在美国逐渐形成了。那一年，我作为 organizer，和苏昊、易立等人一起举办了第一届 ICCV workshop，叫 Simulation Technology for Embodied AI，讨论如何用合成仿真推动具身智能发展。
到 2021 年，这个词在美国已经非常普及了，但在国内才刚刚露出水面。
张小珺
当说具身智能而不说机器人时，其实想突出它的什么？
王鹤
这和具身智能所衍生的领域有关。具身智能这个领域在美国主要是由计算机视觉领域的学者推动的，这也是为什么大家会讲 Internet AI versus Embodied AI。
计算机视觉从 ImageNet、人脸识别，到 semantic segmentation，都是依赖互联网上的数据和人工标注。大家在这个领域不断竞争，后来觉得范式已经确定，后续主要都是工程问题，于是开始想下一步是什么。有人提出，要用视觉赋能机器人。
从计算机视觉的角度看，这是从数字世界走向物理世界，但仍然是基于视觉的智能。所以他们会认为，自己现在做的是 Internet AI，下一步是 Embodied AI。
它根本不是在和机器人比较，也不是把计算机视觉做的事情叫机器人，而是说：我现在做的是数字世界的视觉，下一步做的是机器人的视觉。
张小珺
所以是两拨学者。那机器人是哪拨学者？
王鹤
机器人这拨学者反而一开始没有参与到 embodied AI 里，甚至今天国内还有一定的割裂。国外相对来说也仍然存在割裂，但正在融合，国内也在融合。
传统控制和机械方向，一般来说就是 mechanical engineering 和 control，这两块基本上是传统 robotics 的主阵地。Mechanical engineering 主要负责设计整个机械系统，当然其中也包括从硬件到控制的工作。
以斯坦福为例，computer science 和 electrical engineering 里都有偏 robotics 的方向，但各自的侧重点不同。CS 里有路径规划等传统的、基于 search 的机器人算法；电气工程里则有从信号出发的、基于滤波的方法，以及底层电子电气架构、嵌入式系统如何支撑整套机器人系统。
过去机器人本身就是一个无所不包的东西，有一句话叫“机器人没有自己独立的科学问题”，它把所有学科的东西都放进来。所以斯坦福没有机器人系，机械工程、电子工程、计算机科学，甚至航空航天系，都有教授做机器人。
从历史上来看，过去做机器人的主体是怎么做控制、怎么设计好的硬件，再结合控制把任务完成。这和过去几十年机器人主要落地的场景紧密相关。
比如工业机器人，它的机械结构要保证非常高的重复精度。但重复精度不只是纯硬件的问题，整套控制算法也要非常稳定，避免控制上的不稳定。这些都是偏控制、非常数学化的东西。
再比如空间站上的大型机械臂，大家也非常关心它如何完成任务。稍微前沿一些的纳米机器人、机器鱼，其实在机器人行业里更偏研究，常常会发表在 Nature 或 Science 上。但说到机器人的大规模应用，主要还是工业机器人。
张小珺
过去机器人完全没有使用强化学习吗？
王鹤
也不是。过去在控制领域就有人用强化学习做控制，比如东京大学、ETH 都有用强化学习做四足机器人的工作。
但这些工作一定程度上是数据驱动的，或者是数据驱动和传统 MPC 的混合控制。他们没有把这件事叫具身智能，是因为在他们看来，用神经网络做控制、用传统数学建模做控制，或者用更简单的 PID 做控制，本质上都还是控制。
他们的控制信号是什么？是关节角，也就是关节编码器能够提供的变量，还有传感器提供的信号，比如 IMU。因此，无论之前做 MPC，还是后来做强化学习，他们并没有觉得这件事发生了本质变化。
变化首先出现在计算机视觉领域。大家开始说，视觉要变得主动。我不是被动地从互联网上接收图片，然后回答“这是猫还是狗”；也不是你给我一张人脸，我告诉你这是这个人还是那个人。
而是我有主动观测的能力，还能和环境交互、影响环境。计算机视觉领域认为，这是它和 Internet 时代、偏 passive perception 时代相比，最大的一个新空间，所以最先喊出了 embodied AI 这个概念。
张小珺
我有一个疑问。计算机视觉的感知不产生智能，语言是智能，语言是一种更本质的模态，这一点我不是很认同。
王鹤
2. 智能不只属于语言
很多生物都有智能，但不一定有语言。哪怕是大家觉得没有什么智能的小虫子，也会飞来飞去，你想打它还不容易。很多低级智能的生物都有觅食、规避天敌、控制身体和导航的能力，我们今天很强的 VLA 还不一定达到了它们的水平。
你不能说它们没有智能。视觉也是智能，是 visual intelligence。只不过纯视觉智能的可解释性可能更差，它是端到端的。
一般生物不能说话时，可以认为它是一个纯 VA 模型，不是 VLA。它不能解释自己在做什么，也不能通过 language 这种抽象层面的一维序列数据和别人交流。
人类的智能很高，是因为我们把交流压缩成了一维语音，实现了一种更高效、更低维、大家 somehow 都能够认同的交流方式。但语言并不是智能的本质，甚至可以说，语言是极高级智能才演化出来的一种能力。
所以不能说视觉没有智能，也不能说没有语言就没有智能。甚至有些学者一直在思考，语言到底是不是智能的本质。
张小珺
那智能的本质是什么？视觉、语言和智能之间是什么关系？
王鹤
我觉得智能的本质，是一种根据情况做出相应反应的能力。当你在环境中遇到各种不同的事情、挑战和需求时，你能够用自己的方式做出反应，并且达成目标，这就是智能。
比较低级的反应，比如小飞虫发现你用手去扇它，就会躲开。比较高级的反应，比如我们遇到职业生涯上的挑战，会静下来思考到底怎么面对、怎么拆解。本质上，它们都是和环境交互时采取的应对方式。
它可以是短线的，也可以是长线的；可以是低维的，比如翅膀扇得快一点还是慢一点，也可以是高维的。人类全身有很高的自由度，不只是通过物理方式改变环境，还可以通过语言和别人沟通、影响别人，甚至在互联网上发帖，影响更多的人。
所以，智能就是对环境的一种交互能力，只不过有低维的，也有高度综合的高维能力。
我觉得语言是智能的拐杖，是人类能够发展出这么高智能的一次重要跃变。狗，尤其是边牧，大象、海豚，都有研究认为它们达到了几岁小孩，甚至四五岁以上的智能，但它们的语言可能比人类薄弱很多。
人类之所以能达到智能的 next level，我个人的总结是：直立行走解放了双手，双手劳动和灵巧操作极大丰富了我们劳动和使用工具的经验。语言也非常重要，它让知识更好地传播，交流的过程也对大脑进一步演化提出了很高的要求。
我们要形成清晰的思维，把一件长程的事情拆成好几步，进行更长程的规划。一般四五岁的孩子 reactive 的智能已经很强了，但他很难把复杂事情的每个步骤想清楚，再有序地执行。这可能和语言有关，因为语言让我们能够更好地 organize 思维，进行更长程的思考。
张小珺
生物都有智能，也都有视觉，但不一定有高阶语言。
王鹤
也不是所有生物都依赖视觉感知周围。视觉本质上是一种 sensor，是一种 sensory data 或 sensory modality。
有些低阶生物没有进化出眼睛，但仍然可以通过温觉，甚至一些非常 subtle 的方式，感知周围有没有海水冷热变化、有没有其他生物靠近等等。
我只能说，视觉是绝大多数高级动物进化出来的一种非常强的传感器。目前来看，视觉这个传感器在智能演化上肯定比声音或者语言更前置。
张小珺
我想重新把我的观点说一下：计算机视觉这个领域一直在做 Internet data，所以大家说这是 Internet AI 或 Internet vision。但互联网数据有点不够了，我们现在要能够主动掌控自己的身体，选择看什么；看完以后，还能选择怎么改变它，走向外部世界。
王鹤
3. 导航建立感知闭环
对。具身智能最早兴起的一个 task 就是导航。
什么叫导航？我给你一个仿真环境，但这个仿真环境你没见过。它和传统 SLAM 不一样，你看不到地图，也没有预先建好的地图。在这样的环境里，我要求一个轮式小机器人或者一只小狗，去帮我找到一把椅子，这叫 object-goal navigation。
这件事当时在计算机视觉领域迅速形成了一些共识。为什么它是具身视觉非常好的第一步？因为它首先和世界发生了交互。我一走，在世界里的坐标就变了；这个 action 又会导致我头上的相机看到的画面发生变化。
这就是人类具身行为中非常重要的一种模式，叫 perception-action loop。我先通过感知决定 take 什么样的 action，take action 以后，环境发生改变。最简单的改变是环境本身没有变，但我的位置变了，更新了 perception signal，然后我可以进一步 take action。
在 Internet AI 时代，视觉领域发现我们只有 perception，没有 action。如果 take 了 action，环境就必须发生变化，更新我的 perception。否则，比如你给我一张图，我告诉你这是猫，就没有后文了。环境对你认知到“它是猫”给出了什么反馈？你的问题和视觉输入都没有更新。
所以 Internet AI 一分类就结束了。计算机视觉当时寻找的研究目标就是：我能够 take action，而且 take action 以后环境还会发生变化。
操作当然会带来变化。比如我抓住一个瓶子，瓶子到了我手里，下一步我把它移动到哪里，显然会对环境产生影响。但这涉及物理交互，大家认为更难。
最早广泛吸引计算机视觉领域注意的，是一种更 comfortable 的方式：我是一个观察者，只移动自己，不改变环境中物体的位置。我的 action 一旦发生，就会导致相机位置变化，我就会看到新的东西。这样就构成了最简单意义上的 perception-action loop，可以研究具身智能体如何在感知和行动之间形成闭环。
张小珺
所以你刚才这套叙事，都是从计算机视觉研究者当年如何一步步走到具身智能的角度出发的？
王鹤
对。这套叙事主要是计算机视觉领域的研究者一步步走过来的。当然，这个过程中也有很多并行的事情。比如 2018、2019 年，甚至更早，就有人做抓取。
但这些工作当时没有被叫作具身智能。因为很多抓取工作是单步抓取：给我看一下物体的点云，我预测怎么抓，然后去抓。抓完以后再做什么，是另外一个问题。它被转化成了模式识别问题，甚至是三维几何推理问题：哪个几何局部适合抓。
大家会觉得，虽然做的是机器人任务，但它没有超出计算机视觉在 passive AI 时代的经验范畴。计算机视觉沿着自己的研究思路，要从 passive perception 转向 perception-action loop。
具身智能这个词出现以后，很多做机器人、智能机器人，以及四足狗、人形机器人控制的人，都可以被吸纳进来。做四足狗或人形机器人强化学习的人，输入通常不是 vision，而是关节角、本体信息，也就是 proprioceptive information 或 state。
做抓取的人，可能比较偏传统优化方法，后来也开始使用 learning 方法，但不一定是闭环的。于是这些人都被吸纳进来。
张小珺
这就形成共识了吗？
王鹤
严格来说没有形成共识。只是大家都觉得，应该用视觉 equip 机器人，让机器人可以用闭环或开环、基于大模型或不基于大模型的各种方法，变成数据驱动的机器人。这件事成为 embodied AI 领域共同认同的方向。
张小珺
它的标志性事件是什么？
王鹤
我觉得，一个标志是这个词出现以后，李飞飞讲具身智能是计算机视觉未来的三颗北极星之一。另一个是黄仁勋在 NVIDIA 大会上说：“We are on the verge of the next generation of AI, which is embodied AI。”
这几件事基本上由学界和产业界共同确定了 embodied AI 这个词的重要性。
此前也有一些细碎但联系很强的事情，比如 CoRL，也就是 Conference on Robot Learning 的成立。它第一届举办时，embodied AI 这个词还没有什么名气。CoRL 大约在 2017 年成立，当时并没有打出 embodied AI 这个词。
Robot learning 不一定需要视觉，所有用 learning 方式驱动机器人的工作，包括做控制，都可以叫 robot learning。意识到 learning 对 robotics 很重要，其实有更长的历史。但把视觉模态加入进来，强调 perception-action loop，成为 embodied AI 在视觉圈里站出来的核心叙事。
张小珺
学界很有意思，经常出现一批人的兴起吸纳另一批人，感觉总有一些学术力量在相互吸引，或者说相互博弈。
王鹤
我只能说，这里和声量有一定关系。
CoRL 最早的参与者主要来自 Berkeley、Stanford。大约在 2017 年，大家都意识到机器人加人工智能是一个好的方向，但具体要解决什么问题、做什么才能形成区别，大家还在摸索。
那时候 grasping 已经有不少工作了。用神经网络、计算机视觉和点云做 grasping，2017、2018 年都有相关工作。但这些工作为什么没有让大家觉得特别有冲击力？因为如果你用计算机视觉观测点云，直接预测抓取方法，抓完以后就不管了，它是开环的：观测、预测抓取位姿、移动过去抓取，然后事情就结束了。
它被认为是一个三维推理问题。大家虽然做的是机器人，但并没有超出计算机视觉在 passive AI 时代的经验。
做导航就不一样了。移步换景，再次感知，它非常体现这种视角变化，也体现了 perception-action loop。任务本身有时甚至可以用传统方法解决，比如给你一个坐标，让你过去，这叫 point-goal navigation。
再难一点的是 object-goal navigation：给你一个词，让你去找对应的物体。这里同样可以用传统方法和一些非闭环方法，以模块化的方式完成，但大家不一定要走模块化路线，而是想围绕闭环的 perception-action loop 进行探索。
李飞飞、Meta、Jitendra Malik 等人都参与推动了这个方向。Facebook 做了 Habitat，大型的仿真导航环境，任务难度不断迭代上升。于是导航成了具身智能的第一项任务，大家围绕它做研究，彻底把 perception-action 做成闭环模型。
后来大家又回头开始做 manipulation，研究如何做闭环的 manipulation。现在则是导航加 manipulation，再加上大模型：随便说一个任务，它都能做。这逐渐形成了今天具身智能最主流的方向，而大模型是保障通用性的方式。
张小珺
大模型出来之前，具身智能在中国资本界没有那么火，是为什么？
王鹤
其实大模型出来之前，具身智能在中国资本界确实没那么火。
张小珺
你是 2020 年年底决定回国、2021 年年初回国的。2020 年年底拿到北大 offer 时，国内是什么状态？
王鹤
那时候看不清。美国学术界已经觉得具身智能这个方向非常好，很多马上要入职做教职的人都把精力投入到这个方向。
举几个例子。比如今天国内也有不少人知道的 Skild AI，它的创始人是 Deepak Pathak 和 Abhinav Gupta，两位都是 CMU 的学者。
Deepak 在 2019 年于 Facebook AI Research，也就是 FAIR，做博士后。他当时已经拿到了 CMU 的教职，但中间 gap 了一年，在 FAIR 做博士后。同一时期我也在 FAIR 做 research intern，而且是在 FAIR 的 robotics team，所以我们当时有过接触。
他之前也没做过 robotics，主要做视觉强化学习。他最有名的工作之一叫 curiosity-driven exploration，研究如何通过强化学习打通马里奥游戏。
如果使用强化学习，reward 很难设计。除非你自己写一个特别复杂的 reward，否则如果 reward 是稀疏的，基本上就是通关时旗子升起来是 1，中间全是 0，死亡是负 1。强化学习很难探索到最后那个 reward，因为打好几分钟才能碰到一次 1，中间都是 0。
他们当时设计了一个基于好奇心的内在奖励函数，让马里奥不断探索自己意想不到的地方，也就是预测偏差大的地方。这是 Deepak 在加入 FAIR 之前完成的博士论文，他就是从那里开始研究 robotics 的。
我到 FAIR robotics team 时，也开始做闭环 manipulation。但那项工作没有发表，因为我在 FAIR 实习的时间太短，只有 3 个月。我们做的东西构成了一定的学术成果，但我离开 FAIR 以后就无法继续，所以最后把它作为一个 intern project 收尾。
当时做的是用强化学习完成桌面物体 manipulation，也用了 A3C 这类强化学习方法，在仿真环境里研究如何和物块交互。
其实在 2019 年前后，无论是做强化学习还是计算机视觉，很多人都开始想：如果我要做教职，就得往具身方向靠。所以你看，DeepMind 一进入 CMU，就开始做四足狗和人形机器人。其实 DeepMind 这家公司估值也挺高的，也有几十亿美元。如果你不了解 Scale AI 这家公司，也可以去了解一下。
我 2020 年年底拿到北大 offer 时非常清楚，虽然我要回中国，但能感受到美国的 trend。同时，我自己的研究一直沿着这条线，只是当时还不叫 embodied AI。
张小珺
你在斯坦福的时候呢？
王鹤
4. 研究从人机交互开始
我 2016 年做的第一个项目，叫 Learning a Generative Model of Multi-Step Human-Object Interaction from Videos。
翻译过来，就是从人类视频里学习多步的人与物体交互过程的生成。大家会觉得，2016 年竟然已经有人从人类视频里学习人与物体的多步交互。
但当时没有机器人，也没有机械臂，所以最后做了两个成果。一个是把这套系统放进动画里生成人手动作。比如你让它生成一个人把桌面上的物体重新摆放，它就能把这个东西摆到这里、把那个东西摆到那里。
如果给它一个空杯子，让它“倒水”，它会先把水壶拿过来，倒完水以后把水壶放下，再把杯子拿到你面前。这类动画属于 Internet AI 的范畴，但它使用的数据并不是典型的互联网视觉数据，因为这种数据在互联网上不好收集。
我们自己拍摄了桌面物体操作的视频，并标注从哪一帧到哪一帧是什么动作。然后用 LSTM 学习动作之间的因果关系：先做什么、后做什么，做哪件事情会改变物体状态。
比如一个空瓶子不能给别人倒水，但瓶子装满水以后就可以倒水。我们学习的 LSTM，本质上是在建模人类做了什么动作、环境状态如何改变，以及改变之后人类下一步可以做什么。这就是 perception-action loop。
但当时没有真机，也没有机械臂。一个解决方案是把它放进 3D 动画里，想做什么都可以，所以这篇文章投的是图形学，后来还获得了 Eurographics 最佳论文提名。
另一个方案是做一个简单的机器人系统。我们没有机械臂，就把杯子做成一个机器人：加工了一个很大的杯子，底下装了一个电机，让这个杯子可以在桌面上自动驾驶。
你坐在那里，手一抬，如果模型判断你是要抓瓶子，杯子就会开到你面前。如果瓶子里没有水，它就不会开过来。如果你手里拿着一本书向杯子移动，那显然不是要和杯子交互，它也不会响应。
这个 demo 可能叫 smart cup。实际上完全可以用规则写，但我们不是用规则，而是通过人类视频学习背后的因果关系，让自动驾驶的杯子智能地响应人的行为。
张小珺
你们当时是怎么标注的？
王鹤
不是标注“A 完了以后应该是 B”，本质上是告诉模型，时序上 A 之后跟随的是 B，然后让模型学习：在 A 的条件下，如果杯子是空的或满的，人手是张开的，手里是没有东西还是拿着东西，下一步可能出现什么状态。
张小珺
你当时为什么会选择这个方向？这是你读博第一年对吧？
王鹤
这是我读博的第一个 project。
更早以前，了解我学术经历的人都知道，我本科毕业于清华电子系，也叫微电子系。本科阶段我主要学的是物理学，具体是半导体物理和器件物理。我是通过物理竞赛保送清华的，所以我本人很喜欢研究和 physics 相关的东西，喜欢理解一个事物变化之后的动力学，或者说因果关系。
我刚去斯坦福时，其实是在 EE 下面一个做半导体的印度老师的组里。我做的事情不是我擅长的，而是在 clean room 里做纳米加工，包括光刻、抽真空、离子束刻蚀，做锗材料的晶体管。
张小珺
这是哪一年？
王鹤
2015 年。
但我很快发现自己不适合，也不喜欢这件事。为什么？因为我之前做器件物理时，也是先用数学和物理进行建模，得到模型以后，再从实验数据中拟合模型，看模型能不能解释数据。如果能解释，就根据模型给器件性能和下一步改进方向。
翻译过来，就是你自己手写一个数学模型，而不是使用一个通用的拟合器或者神经网络。第二步是拿实验数据，也就是 training data，用自己写的数学模型拟合这些数据。fit 完以后，看它能不能 fit 上；如果能，就用它预测新的 test case 的 behavior。
我本科做器件物理，和今天人工智能的方式其实是一样的，只不过其中涉及大量数学、物理推导，还要自己手写模型，用 MATLAB 完成。
我去斯坦福以后，斯坦福 EE 不太相信这套方法。可能也是因为半导体物理和器件物理太“脏”了，它的理论模型解释性有限。粒子物理研究的是 particle 级别的交互，没有杂质，也没有外界影响的屏蔽。但半导体物理里有各种杂质、缺陷态，一块材料里什么都有。
在物理学看来，这样的东西不可能用一个非常纯粹的理论完全描述。换句话说，就像今天的大模型或神经网络，你想用一套完美的数学理论解释它的 behavior，是做不到的，它就是一种黑盒。所以要靠实验。
我去斯坦福以后，他们让我进 clean room，不要再建立数学模型，直接去试。这和我的个人思维习惯差别很大。你想出一个 idea，需要用一个月时间把芯片完整加工出来，最后才能测它的电学属性。
张小珺
所以你想得很快，但做得很慢，验证时间超级长，而且还控制不了。
王鹤
对，而且我的手比较笨，经常把芯片掉进氢氟酸里。芯片需要在里面刻蚀 15 秒，但你用镊子夹着它，稍微一提快了，它就掉进液体里，之后根本捡不起来。这一片芯片就刻蚀过度了，氧化硅都没了，只能重新做。
大家以为半导体厂里都是全自动、非常高级的设备，但对我们博士生来说，很多操作非常原始。氢氟酸如果进入身体，达到一定剂量是会致死的。我们穿着防酸手套，用镊子夹着比 1 厘米还小的芯片，站在氢氟酸旁边，把它泡 15 秒再拿出来。
那一年我非常挣扎，所以后来决定不做这个方向。虽然从高中物理竞赛、保送清华，到做器件物理，中间有七八年时间，但我还是决定换到 AI 方向。
张小珺
是换系还是换组？
王鹤
换组。我的导师 Leo 在 EE 算是兼职教授，也可以招 EE 的 PhD 进入他的组。
当时我去找 Leo，他们组里刚好有一个博士后想研究 physical interaction。物理动画在动画领域本来就有这类工作，但通常是手工修复，一帧一帧地调整过程。我们想把它变得更智能，也就是用 AI 来做。
所以这是一个学物理的人，和一个做动画的博士后一起研究：如何从人类视频数据中学习，生成多步手物交互动画，并做一个简单的机器人 demo。
2016 年，这是我第一次转到 AI 领域的 project。当时难度非常大，因为没有人知道应该做什么、怎么 formulate 这个问题，也不知道如何确定方向。
我得实话实说，不是要抢合作伙伴的 credit：和我合作的博士后在图形学领域有经验，但当时他对 AI 不是很了解。我在斯坦福上了一些 AI 课程，包括李飞飞老师的 CS231N，所以在 AI 方面反而比他了解得更多。
张小珺
你当时觉得找到了真爱吗？
王鹤
刚开始做的时候也很苦恼，觉得这件事没有那么 work。想做成一件事很费劲。
当时我第一个项目还在用 Caffe。你们可能不知道，在 PyTorch 之前是 TensorFlow，在 TensorFlow 之前还有 Caffe，是贾扬清等人开发的第一个开源深度学习框架。那个东西很难用，要搭建这么一套复杂系统里的每一个模块。
而且当时没有人知道，究竟该如何用数据驱动动画生成，怎么 formulate 这个问题。所以是这个机会让我进入 AI 领域。
2016 年 AI 已经很热，deep learning 也很热，ResNet 都要发表了。很多人都想从不同方向转到 AI。
当时斯坦福 CS 系每个老师能 host 的学生数量有限，但一大批学生想进组。斯坦福又是一个非常自由的双向流动市场：你不需要导师签字，就可以换到下一个组，只要下一个组的老师愿意接收你。
你可以随时离开导师，导师也可以随时把你开除。这不像国内，学生录取进来以后，导师要开除学生，实操起来很困难，通常需要一个非常过分的理由。学生一般只有主动提出，或者超过规定年限还没有成果，才会离开。
斯坦福是双向选择，你可以随时踢老板，老板也可以随时踢你。在这样动态的情况下，当时出现了一个很有意思的情况：我老板组里 9 个学生，竞争两个留下来读博的名额。
张小珺
你虽然是电子系出身，也学过 C、C++、数据结构与算法，但和你竞争的都是什么人？
王鹤
清华、上交计算机系的第一名，都是非常强的人。
张小珺
全是中国人吗？
王鹤
以中国人为主。我记得还有一个伊朗人，可能还有白人或者 ABC，但记不太清了。
张小珺
那你怎么赢？
王鹤
如果研究问题已经很清楚，摆一个数据集让你把指标调上去，那我当时的 coding 能力确实不如计算机科班出身的人。今天也是一样，我写代码的马力不如计算机科班出身的人。
但我现在的主要工作，是看实验，告诉团队下一步迭代方向；更重要的是，判断这个领域应该如何发展，研究哪条技术路线，探索哪个方向。这是我现在的角色。
但读博士刚进组时非常难。为什么我能留下？因为我这个项目最难的地方，就是如何 formulate 这样的 research problem，用什么数据、什么模型学习什么知识，以及如何搭建整个系统。
我的系统非常复杂。每个物体都有一个 object detector，还要给每个类别训练一个 object state classifier。比如杯子是空的还是满的，盖子是关着还是打开的，人手是空的还是抓着东西。
今天有端到端的图文大模型，这些东西可能一个模型全都能看明白，但当年没有。你要想知道人手和物体接触背后的因果逻辑，就必须把这些关键 state 全部提取出来。
此外还有原始数据处理和视频分割理解模型。一个工作里有很多模型，都是我自己找数据、训练到一定水平。我不敢说训练得很 work，很多模型都有错误，数据处理也有一部分是自己手工标注的。
这个 project 里，和 animation 相关的部分，是博士后负责的。模型输出之后，如何用动画把它 visualize 出来，是他做的。但中间需要哪些模型、特别是哪些物理量和变化量应该串起来、用什么时序网络学习因果关系，全是我一个人想的。
这体现了我作为物理学出身的人，能够把握复杂关系之间如何进行数学建模和物理建模，也就是因果关系。
Leo 是一个非常资深的人，看人也很准。他不和组里的博士生、资深博士生或博士后商量谁能留下，只靠观察，判断 9 个人里谁真正有做研究的天赋、以后能不能做好。
张小珺
什么叫研究天赋？
王鹤
这是他的判断。他以前说过，主要是看你的思维。
我给他讲这个项目和整个系统背后的思想。我甚至在当时还不知道 perception-action loop 这个词，就给他画了一个 diagram：state、action、change world，再回到 state。
我告诉他，这个项目要从视频数据里挖掘出背后的动力学过程，再用它生成动画。Leo 听完以后觉得非常好。
一开始大家只是想：能不能从人的视频生成动画？人怎么干活，动画片里的 3D 人物能不能照着人的视频做这些事情？这样大家就不用手工 K 帧，也不用动捕来制作动画。
这其实是一个非常虚、非常像科幻小说的 idea。我刚进去的时候，大家什么都没有。作为第一年进入 AI 的学生，我花了不短的时间，断断续续做了一年多，之后又投了一年。
一开始没有人接收。动画领域的人会说，你这个东西不实用，或者问传统上用 learning 做动画的方法是什么。传统方法是写 grammar，也就是动作语法：先做什么，再做什么，做成一个有限状态机一样的东西，依靠规则。
他们会问，你能解决规则解决不了的问题吗？在当时的技术条件下，确实用 action grammar 也能实现我们要做的事情。毕竟我们做的任务并不复杂，只限定了几种物体和动作，排列组合后，事情是可穷尽的。
最开始两次投 SIGGRAPH 都没有中。后来改进以后投 Eurographics，我一度非常绝望，觉得这辈子第一篇文章可能中不了，心理压力很大。
后来文章中了，而且非常意外地获得了最佳论文提名。Eurographics 当年有 1 篇最佳论文、2 篇最佳论文提名，我们是其中之一。
但你可以想象中间等了多长时间：2016 年开始做，2019 年 5 月，也就是暑假期间，才开会。
张小珺
这么久？这个领域好漫长。
王鹤
对。我 2021 年才毕业，但 2019 年之后就进入快车道了，论文一篇接一篇地发。
张小珺
第一篇文章憋了这么久。你后来能抽象出哪些关键思考？
王鹤
它对今天可能仍然有用。
不过，今天我们做事的方法和第一个 project 不太一样。第一个 project 里用到的很多技术，今天仍然没有达到可以落地的水平，比如完全从视频中学习。
我们学习人类下一步可能做什么的模型，本质上就是 world model。它从视频中学习 world model，最后让这个模型生成新的交互序列，或者和机器人互动。
我不是从理论上反对这条技术路线，但从现实可行性来看，今天这些技术还没有达到 work 的水平，至少还没有成为我们认为最能推动具身智能发展的关键技术。
我的第二个 project，手段就和今天最一致：用合成数据。
张小珺
第二个 project 是什么？
王鹤
是类别级物体位姿估计。
第一个项目里的物体状态估计比较粗糙，比如瓶子有没有盖、盖子是打开还是关闭。能不能对物体状态进行更精细的描述？精细描述就是它的三维位置和三维旋转。
在机器人视觉里，这叫物体的六维姿态，也叫六维位姿，英文是 6D pose。
过去的 6D pose 通常是实例级物体位姿估计。你要先定义这个物体的坐标原点，以及 x、y、z 轴的方向。现在这个物体躺在这里，请告诉我它相对于原始坐标系旋转了多少、平移了多少。
但我们当时想，人类拿水杯时，其实不管它是哪一个具体的水杯。你不能要求每一个水杯都建立数字模型，标注它的原点、上方向，然后才能知道它的位姿。
人类对于同类物体有非常清晰的理解。比如这些杯子不管印的是什么图案，排成一排时，杯口都朝上，杯柄都朝右。我们不需要定义一个坐标系，就能够描述它们的状态。
这是因为人类能够想象同类物体最正常的状态，并把它当成基准状态，基于这个基准状态描述当前状态。这就是我当年要做的类别级物体位姿估计：每个类别都有一个大家都能认同的、最正常的方位。
这样，我不需要物体的原点和 x 轴标注，就能直接讨论一个没见过、但属于这个类别的物体，它的位姿是什么。
这个项目和我今天做的事情有很大关系，因为它没有数据。传统方法是扫描每一个马克杯的物体模型，再把这个物体放在环境里拍大量照片，形成一张照片对应一个六维位姿的标注，然后根据图片预测新的位姿。
但现在做的是类别级估计，马克杯可能有无穷多个。不可能对每一个马克杯拍照片、标注六维位姿，再构成一个覆盖所有马克杯的训练集，最后泛化到一个新马克杯。
这个数据在互联网上也不存在。你不可能把互联网上所有马克杯都爬下来，再标注它们的六维位姿。同时，我作为一个 PhD，这个项目还是 single first-author paper，也没有能力自己拍摄和标注足够大的数据集。
于是我们想到用图形学的方法，把大量数字资产中的马克杯渲染到真实环境里，构成一个 mixed-reality 数据集。
具体来说，我们当时强调桌面场景。我带着相机跑到湾区的宜家，问他们能不能让我拍一些桌面场景。他们说随便拍，没有版权问题。
我拿 RGB-D 相机去宜家拍摄桌子、床以及各种不同平面，记录 RGB 和对应的深度，再从深度里提取桌面。这样，我就可以把一个数字马克杯放到桌面上，让它刚好落在桌面上，再用图形学方法把马克杯渲染到宜家的真实背景上。
这样就出现了一个马克杯：背景是真的，前景是假的，但从远处看还挺真实。因为是渲染的，所以数字马克杯怎么摆放，在图形学界面里都是已知的，Ground Truth 也自动完成了标注。
这个方法产生了几十万张图的数据集，用来训练类别级物体位姿估计。这个方向的核心，是在没有大规模采集真实数据的情况下，用真实背景混合虚拟前景，构成 mixed-reality data，训练完成后再在真实世界里测试，也就是 sim-to-real 或 mix-to-real。
这是我大约 2018 年初开始做的项目，2019 年发表在 CVPR oral。到 2021 年，这已经成为 CVPR 投稿中的一个子领域。我的文章也被很多人反复刷榜，最初的数据集和合成数据后来成了机器人视觉里的经典数据集。
位姿估计在机器人视觉里是一个有历史的问题，但过去通常研究已知物体。我们把它推广成：给我一个物体，我只知道它的类别，也能对它进行位姿估计。技术上则是用合成数据解决这个任务。
张小珺
5. 回国押注家用机器人
说回你回国的第一年，那时 ChatGPT 还没有出来。
王鹤
对。我回国时，博士期间做的事情虽然和机器人相关，但技术手段主要还是图形学和三维视觉。回国以后，我可以继续做更传统的图形学和三维视觉，也可以更激进地围绕具身智能、闭环操作去做。
当时还有其他选择。2020 年疫情之前，特别接近年初的时候，李开复老师到湾区组织了一个活动，把一批 mid-career 的 PhD 和一些比较 active 的华人 researcher 找来，问大家要不要创业。
他跟我聊，说我做三维视觉，应该做自动驾驶、LiDAR 和点云。因为类别级物体位姿估计的一个重要应用就是车辆位姿估计。
他认为我应该去做车。我当时说，我对这种驾驶的兴趣不够。说到底，自动驾驶就是避障，我觉得这种交互太简单了。我希望做更丰富的人与物体、手与物体、机器人与物体之间的交互，所以我的观点是要做家用机器人，也就是 home robot。
我跟开复老师说完，他当场就说：“那你别谈了。家用机器人还有 50 年，我们现在不投资这个无法实现的东西。”
我说我理解。2020 年初我们做的东西，离在家庭环境里实现机器人确实还很远。但没关系，我可以先在学术界慢慢研究，等时机成熟的一天再出来。
后来开复老师也没有继续推动这件事，只是告诉我，这个方向的时间长短都说不定。对此我其实很释然。
张小珺
但那个时候你去做自动驾驶也晚了。
王鹤
对。我当时的意思是，第一，我的研究不会全部围绕自动驾驶；第二，我要看的是 next wave。我当时也没有“你给我钱，我就马上创业”这么着急的想法。
所以回国以后，我仍然坚定地以 home robot 作为最终目标推进研究。
北大资深老师当时也不太认同。他们给我 offer，是因为觉得我是一个思维清晰、技术工作过硬、交流能力和谈吐都不错的年轻人，但大家会说：你想做的事情在国内没有那么大的空间，也没有什么人做。
我在北大的战略会上说，我要 all in robotics。大家的反应是：“不行，你至少得留一半在三维视觉里。”
张小珺
他们看中的还是你的三维视觉？
王鹤
对。但我当时没有表态，实际上也没有听。要是听了，就没有后来了。
回国以后，我开始到处讲类别级物体位姿估计。它在机器人上的一个应用，就是用于抓取：如何根据物体类别抓取它。
同时，具身智能这个词在美国已经变成大家都知道的词，国内还没有什么声音。我也开始写文章介绍具身智能，比如《在燕园探索具身智能》。大家可以在微信上搜，这应该是中国互联网上最早的几篇介绍具身智能概念的文章。
张小珺
回头我把链接放上来。
王鹤
当然，今天回头看，里面很多观点还只是雏形。但在那个时间点，国内确实没有多少响应。唯一认同这件事的人，是卢策吾老师。
他和我都是 Leo 的学生，他是 Leo 的博士后，我是 Leo 的学生。所以在中国最早提出这个词、推动这个概念的，就是我们两个人。
为什么是他带着我？因为他 2016 年就回国了，到我 2021 年回国时，他已经在国内 5 年。但他在国内待了 5 年，也没有学者响应说要做具身智能。
我一回来就说要 all in embodied AI，他说那我们就一起推动这个概念。后来 CCF 要定义“具身智能”这个词条，最初邀请他来写。他觉得如果只有自己一个人写，好像只是个人观点，可能有失偏颇，于是把我也叫上了。
所以最开始在国内做具身智能、喊具身智能这个词，南方是卢策吾，北方是我，确实没有其他人这么喊。
张小珺
你是什么时候对具身智能这件事这么热忱的？
王鹤
具身智能的核心就是 perception-action loop，就是要主动起来。
你看我第一个工作，就是预判人下一步要做什么，让机器人主动迎合人，动起来，从人类数据里学习如何 interaction。第二个工作，是研究 interaction 中最重要的视觉问题：如何对物体精确的运动状态进行感知和追踪。
这些直到今天仍然是具身智能的关键问题。
甚至在 2020 年初，投资人问我 career 目标是什么，我就说是发展家用机器人。这个想法大概是在做完前两个项目之后形成的：一个是从人类视频里学习交互，另一个是做具有泛化能力的机器人视觉。
当时还不管这件事叫不叫具身智能，名字无所谓。最终目标是实现一个能够在物理世界交互的通用智能体。
张小珺
为什么一定是家用机器人？
王鹤
因为空间最大。自动驾驶是在外面解决开车问题，下一步解决家里的问题，肯定就是要有一个做家务、服务你的家用机器人。
当然，不能说全世界在那个时间点只有我一个人想这件事。Google 的 Everyday Robots 就有类似 vision。我给别人看我想做的东西时，常常会用 Google Everyday Robots 的截图，说 Google 正在做这个，我也想做。
张小珺
你为什么没有去 Google 这种实验室？
王鹤
很简单。在美国的 research institute 里做研究，你是一个螺丝钉。我在 Google 做过 9 个月 research intern，也在 Facebook AI Research 做过 3 个多月 research intern。我同实验室的师兄易立就在 Google。
我们所有人的感受都比较一致：在大公司里，你就是一个螺丝钉。你没有能力决定公司要做什么，只是在里面写代码。我觉得这样太慢。
而且我一直感觉，美国的发展空间对亚裔男性不是特别友好。再加上北京是我的家乡，我出生、成长都在这里。回国以后，我感觉做事情更有主人翁感。
在 Google 当螺丝钉，还是回北大立即成立一个属于自己的研究团队，我想都没想。我在美国甚至没有参加过任何公司的面试。像 Google 这样的公司，我觉得自己去面应该能拿下，但我根本没有去，因为对我没有意义。
我直接面国内教职。当时易立去清华面，我去北大面，我们两个就分开了。我面了北大的两个不同单位，最后选择了前沿计算研究中心。
回国以后，我的想法一点没变。虽然国内没有那么多研究实验室，但我来这里就是因为拥有 full control。如果来了以后还是不能控制自己做什么，那就没有意义。
所以我专心做机器人，而且更加激进。原先我们主要以三维视觉为主，我过来以后就把三维视觉和强化学习结合起来做，还拿到了第一届 ManiSkill Challenge 的全球冠军。
张小珺
你 2021 年初回国，到 2022 年底 ChatGPT 出来，紧接着强化学习也因为 OpenAI 受到更多关注。这对你做的赛道有什么影响和变量？
王鹤
智能机器人，或者说 embodied AI，一开始大家虽然有想象力，但没有那么火。因为做一件事情需要数据，数据学完以后通常只能解决这一件事，获得这一件事的干活能力。
听起来，它不存在一下子实现通用能力的潜力。每个物理任务都要先采集数据，才能做这个任务，边际成本不会下降。所以它是一种方法，但无法形成革命性的技术。
Google 的 PaLM-E 自称是 embodied 的多模态大模型，但按照今天严格的标准，它其实不算 embodied，因为它根本不输出 action。它本质上是一个 agent，调用一些小模型来执行动作。
但 PaLM-E 出来以后，大家觉得，原来可以把大语言模型当作脑，把图文大模型当作脑，再指挥一些负责干活的小模型。它能够实现 open instruction，随便说什么都能干。
这听起来像通用机器人的范式。如果通用了，机器人的空间就太大了。家用机器人需要通用能力；如果能做家用机器人，它的价值比车高，但数量比手机还大。比车贵，比手机量大。这样的东西一旦做起来，不就是世界第一产业吗？
所以大家一下子就觉得应该投。
2022 年底 ChatGPT 出来，2023 年初 PaLM-E 出来。其实 2022 年底 ChatGPT 还没出来时，我们就已经建立了具身智能研究中心，所以它和 ChatGPT 没有关系。
我们认同，即使没有走向通用，具身智能这种在物理世界交互的智能，也是重要智能的一部分，必须研究。
只不过 ChatGPT 出来以后，大家发现语言一下子变得很通用，随便问什么都能回答。PaLM-E 又讲了一个故事：视觉和语言一起做，还能调度机器人，什么都能做。
所以 2023 年初，PaLM-E 一出来，中国敏锐的投资人就开始找：谁在做 embodied AI？后来就找到我。
张小珺
多少人找你？
王鹤
当时找我聊的人有一些，但那时还属于最早期。PaLM-E 刚出来，就有人劝我创业。
我说自己没创过业，而且还要做研究，如果同时把公司的所有事情管起来，对我来说 bandwidth 消耗太大。
我最大的一个问题是，之前自己不做硬件。智源研究院成立具身智能中心以后，我们马上用了一些市场上的硬件，有些品牌我就不提了，其中有的现在已经倒闭。
那些硬件很差，我们想在上面做智能，发现连执行都执行不了。无论是轮式还是足式机器人，要在真实世界到处跑、还能干活，甚至带一只手，都做不到。
我说，你让我创业，但市场上所有硬件都很差，而我自己又不做硬件，那这家公司以后依托什么东西做硬件本体？
所以一开始我拒绝了。但他们还是愿意来。比如 2023 年初，IDG 资本管理合伙人李骁军来到我北大静园的四合院办公室，我们聊了聊。
他们当时倒也不完全是在劝我创业，主要是想了解这件事靠不靠谱、能做什么。我的想法是，必须有人把刚才说的这些问题弥补上，我们才能一起创业。
后来，我们和银河通用的团队走到了一起。
张小珺
是谁促成你们走到一起的？
王鹤
其实之前大家就认识。滕舟有多年的硬件经验，曾经在 ABB 负责机器人的量产，也在一家机器人初创公司负责过多年桌面机器人的量产。
和滕舟的团队接触以后，我才看到硬件这个重要问题确实能够被解决。
所以大概是一个软件、一个硬件，再加一个 CEO，这样形成了公司的轮廓。
张小珺
说真的，具身智能要解决的问题，到底是硬件更难还是软件更难？
王鹤
它俩是一个螺旋上升的问题。
今天银河通用落地的人形机器人，采用的是轮式底盘，有两只 7 自由度的手臂，手臂里使用谐波减速器。我们没有采用特斯拉那种腿，也没有使用非常 fancy 的行星滚柱丝杠。
本质上，我们用到的机器人零部件，从底盘到手臂，都是过去 10 年已经被证明可以工作、相对稳定的零部件。在这个基础上，主要问题是如何把原则上可以稳定工作的本体，发展出真正的智能。
如果你去看那些使用行星滚柱丝杠的企业，它们的问题同时出现在硬件零部件量产上。比如有人用绳驱，但绳驱到今天为止还没有在全球范围内大规模量产。量产以后，良率够不够、一致性够不够、可靠性和耐用性如何，都是问题。
我们选择的是相对保守的方案。底盘使用商用车上经过多年验证、没有明显问题的解决方案；上面的协作臂也是存在了很久、已经有量产版本的技术方案。
张小珺
所以是务实，而不是保守？
王鹤
对。为什么？因为这个方案本身已经能够解决很多场景的问题。
比如商超和工业场景里的搬箱子、抱箱子、码箱子、上料、sorting、分拣，至少可以看到百万台级，甚至全球千万台级的规模。用我们现在的硬件，不需要腿，也不需要完全的人形。
张小珺
为什么轮式底盘也能覆盖这些场景？
王鹤
轮式底盘当然有局限。比如它不能通过比轮子直径更小的空间。轮子直径大约 60 厘米，不可能从椅子下面爬过去，也不可能进入家里床和过道之间那种很窄的空间。
但工厂里不是这样的环境。所以今天我们看具身机器人市场，要意识到，仅仅做到这样的规模，在机器人行业里已经是现象级了。
所有工业机械臂去年在全球的总产值，也就是 1000 亿元人民币左右，相当于理想汽车一家的全球产值。如果一台机器人几十万元，那也就是几十万台的量级。
商用清洁机器人如果不是在固定环境里，而是在万达广场、大厦一层到处跑，头部企业比如高仙、普渡，一年也就是卖上万台，或者小几万台，通常是一两万台。
所以，具身机器人即使智能很强，也要先迈过千台、万台、10 万台这些数量级，才可能实现长期规模化量产和稳定运行。
张小珺
所以你们要先做一个理想 ONE？
王鹤
本质上必须有第一步。第一步就挑战非常不成熟、从未量产过的硬件技术，实际上会拖累智能发展。
成熟、相对成熟的机器人技术，今天也不能说完全成熟。一个东西只要没有达到几十万，最好是上百万的产量，就不能说经历过大规模量产。
汽车工业已经上百年了。即便今天推出一款新车，仍然会有各种问题，包括良率、可靠性，以及用户觉得不满意的地方。
机器人，特别是人形机器人，在历史上从来没有真正量产过。很多上游供应链也没有量产经验。在这种情况下，选择经过 1 万台以上量产验证的零部件，至少算是中小规模量产，相对会更可靠。
这么大一个机器人本体有 n 个零部件，任何一个出问题，机器人就坏了。如果选择激进方案，就意味着出货以后会遇到不 work 的问题，迭代周期变长，最终拖累商业化节奏。
我们干活的原则就是：非必要不增加不靠谱、也不需要的零部件。
张小珺
这不应该就是基本逻辑吗？
王鹤
To B 客户和 To C 客户不一样。To B 客户只关心这个东西能不能干活，能不能像人一样可靠地干活，能不能比人工作的时间更长、做得更好。他不关心你用的是腿还是轮子。
所以外观上没有需求。从我们的角度，硬件不是保守，而是务实。
比如我们的无人药店，一天要运行 20 多个小时。这样的机器人和一个现场演示 5 分钟、遥操 5 分钟就下场的机器人，对可靠性、续航等方面的要求完全不同。
你上来就沿着最有挑战的方式搭建一套机器人系统，还要直接落地，那就是既要又要。
我们现在的轮式机器人，是摸索和迭代相对最充分的。为什么？因为已经在一家店里以每天 20 小时的强度运行。
大家如果买过轮式机器人做科研，就知道它可能出现多少问题。很多人觉得都是把电机放在一起，怎么会有问题？但实验室买过、用过的人都知道，里面可能有很多问题。
所以我们现阶段要继续收敛硬件。如果这款硬件能够收敛，我觉得出货到 100 万台，至少 10 万台，没有任何问题。
张小珺
现在是多少？
王鹤
今年是千台级量产。
张小珺
在这个硬件基础上，智能水平现在提高到什么程度了？这是你的工作。
王鹤
在这个硬件基础上，它仍然有相对专用的智能，也有越来越通用的智能。这是我们落地时比较务实的一点。
很多人非常激进地说，具身智能大模型的目标是一步达到语言模型那样的通用程度，什么话、什么问题都知无不言、言无不尽。
但你会发现，从语言模型到加入视觉的 VLM，VLM 也不是你给它什么图片都能看懂。为什么？因为视觉数据对所有可能视觉观测的覆盖，远远小于互联网文字对人类所有可能语言的覆盖。
LLM 之所以强，是因为数据基本覆盖了语言的各种分布。模型训练完成以后，你问它什么，它都可以说。
但想象一下，人每天带着眼睛到世界各处看，全世界 70 亿人的眼睛，如果数据全部被记录下来，会是多大的量。互联网虽然有很多图片和视频，但和人眼能看到的所有图片、所有视频相比，只覆盖了一小部分。
语言则不同。互联网上的文字对人类可能说出的语言，覆盖比例确实很高。所以 VLM 训练水平不如 LLM，本质上还是数据不够。
今天说一个 VLM 什么都能做、而且做得很好，还没有做到。VLA 的 action 数据更是这两年才开始收集。
所以我们必须注意，不要把目标一步定得过高，说一两年内要做出完全通用的 VLA。至少从学术界和我个人的认知来看，这是不可能的。
我们做具身智能的核心，是找到可批量复制的商业化模式，让它成为一个产品落地。不是简单地依赖现有智能水平，而是围绕一个可批量复制的 application 发展智能，让智能 cover 这个 application 所需要的全部能力，形成完整 solution。
如果 solution 具有很好的泛化性，比如我们现在做的无人药店、无人零售和工厂分拣，它的技能相对来说就是移动、抓取、放置。这些是几种 atomic action，也就是原子技能。
它暂时不包括钻孔、玩魔方、使用剪刀等技能，但移动、抓取、放置已经能够形成一个 solution。
虽然技能层面只有这几种，但我要求它对物体和环境充分泛化。给它一瓶气泡水、咖啡或饮料，它都能拿下来、放上去。无论是在 7-Eleven、FamilyMart 还是 Lawson，它都能工作。
无论你在哪家药店，它都能工作。跨店、跨品牌，在行业应用场景内泛化，这就是一定程度的通用性。
张小珺
简单理解，就是这一代机器人成立的公司，可能比上一代机器人公司更聪明一些。
王鹤
从智能角度看，绝对不只是聪明一点。
完全基于轨迹重放的机器人没有智能，它根本没有 reaction。你如果说 PD control 也是一种 reaction，我很难反驳，但至少它不是基于数据驱动，而是基于方程进行闭环控制。
过去工业机械臂主要结合三维视觉做定位。定位完成以后，仍然是根据物体偏移的距离，把原来的轨迹 offset 一点再去抓。这是工业视觉或工业三维视觉常见的解决方案。
我们现在做的是完全闭环的系统。它从语言层面、VLM 层面，已经能看懂货架上都是什么东西。如果东西放倒、放歪或者掉了，模型层面其实能够理解，只不过动作仍然有限。
比如它只能从地面捡起来，从货架上拿下来，放上去，重新摆放。你问它：“这袋软糖能不能撕开？”它看得懂，也能拿下来，但没有训练过撕开的技能，所以不会撕。
你可以认为它是一个行为受限的物理智能体。为什么受限？因为物理操作数据还太有限。我们要优先开发几个最关键的技能，让它形成解决方案；不关键的 optional 技能可以先不开发，或者先让人做。
当然，技能库一定会扩展，不可能永远只有移动、抓取、放置。但如果这几个技能都不能泛化和通用，就无法构成可批量复制的商业解决方案。
如果不能构成解决方案，公司会出现两种情况。
第一种是长期漂浮。中国、美国都有这样的例子：长期讲人形机器人的故事，讲几十年，却没有任何商业应用案例。它可能有很多技能，但每个技能背后都需要人编排，本质上是为了拍视频展示，这绝对不行。
第二种是账算不过来。你在一个场景里，把所有技能用各种方式都解决了，不管是数据驱动，还是轨迹拖拽重放，但换到下一个场景，全部要从头重做，边际成本完全不下降。
这在工业视觉里很常见。不同商家的物料不一样，形状也不一样，需要重新建模、制作模板。每做一个项目，都需要投入固定的人力和研发交付周期。
这样你拿到一个解决方案，换一家工厂就要重新开发一遍。规模最多做到几亿元收入就很了不起，因为公司说白了不挣钱，都是苦力活。
这两种商业模式，都是我们这一代具身智能公司要从技术和商业模式上规避的。我们一定要做一套可泛化的东西。
比如我做一个货架解决方案，所有门店都能部署，每天上新品也照样 handle。货架这个事情看起来可能不够大，但做几万台很轻松，一下就超过已经做了 10 年的商用清洁机器人。
如果把上货、下货、工厂码货、搬货、分拣都放在一起，做到几十万台并不难，这个规模就超过了目前任何一个工业机器人的规模，产值也可能超过头部新能源车厂。
张小珺
但你不能覆盖全部场景，肯定也会有竞争对手。
王鹤
关键还是看你能做到多好。你不可能垄断整个场景，但机器人领域的头部效应非常重。
机械臂有“四大家族”，你看看其中有几个真正能达到万台规模？商用清洁机器人也是，高仙、普渡以后，规模就小很多。
大家没有意识到，机器人系统太复杂。在技术完全成熟以前，你能做的那点事情，基本会被头部玩家吃掉。后来者想像头部玩家一样迭代这么复杂的机器人系统，从资金、人才到工程能力，都做不到。
不要觉得机器人听起来好像没什么。一台车有多少零部件？汽车是通过高度紧密的组织形成产线，并且经过上百年验证才形成的工业。
如果只有 1 万台商用清洁机器人，也有大约 10 亿元的产值。这样的盘子只能容纳很少的头部玩家。
也不要低估一台商用清洁机器人的复杂度。我们公司的工程总监许石松博士之前在高仙工作过。机器人在万达广场等地方到处跑，水箱会不会出问题？会不会走着走着丢掉定位，跑进电梯，摔倒以后水流一地？
有时候店门口放了装修围挡，机器人不理解，还是进去了，被线绊倒，又流一地水。这些都非常现实。
做好这样一件事，高仙在高峰期曾经有将近 2000 人围绕商用清洁机器人工作。这样的规模，才只能拿到 10 亿元左右的产值，只能容纳前两名。
如果我们做工业分拣、工业零售，大家千万不要觉得简单。你是把它当员工用的，机器人坏了，就得有人上门解决。
头部玩家需要砸重金，把硬件软件一体化的所有功能修复好，把它做到产品级。这种市场本来就只能容纳少数玩家。
张小珺
为什么汽车能容纳这么多厂家？
王鹤
首先，今天的汽车市场也没有大家想象的那么能容纳很多家。中国一年 3000 万台的市场，仍然有很多公司不断退出，是激烈淘汰的结果。
第二，汽车是成熟产品。现在很多人说车是手机，好像有想法就能造，但它是在成熟到一定程度以后，大家才可以靠流量、品牌、设计和 PR 去卖车。
具身机器人无论量产还是技术都高度不成熟，头部和中腰部之间的差距很难弥合。所以我说，几十万台的市场被头部玩家全部吃掉，也是有可能的。
张小珺
你们在数据采集上有什么成熟方案吗？
王鹤
6. 合成数据破解数据瓶颈
这也是我觉得我们为什么能走得快的原因。
如果今天所有公司都有 100 万台人形机器人，都有钱让这 100 万台机器人每天采集数据，那么今天具身智能的很多场景都能做。
自动驾驶为什么进展那么快？因为只要卖出几万台车，其中几千、几万台每天在路上开，收回数据后囤积、筛选、清洗，就足够训练模型。
但今年没有机器人厂商能实现万台级量产。即使达到万台，也不可能全部付费让机器人在那里遥操，成本太高。
现在一台机器人，基本制造成本至少是 10 万元。Full-size 人形机器人如果做 1 万台，全部买下来用于数据采集，就意味着要投入 10 亿元制造成本。
制造出来以后，还需要人遥操。每台至少两班倒，甚至每班需要两个人，也就是至少 4 个人去遥操一台机器人。每个月，遥操人员的支出就是几万元，还需要数据标注和质检。
全部算下来，维护 1 万台机器人的成本，每个月就是数亿元到 10 亿元的规模。
张小珺
可以不需要 1 万台这么多吗？
王鹤
如果完全靠真实数据，我觉得 1 万台是一个比较合理的门槛。
张小珺
所以只有美国公司能这么干？
王鹤
不是，全世界没有人能这么干。
张小珺
那现在美国那些公司都不 work 吗？
王鹤
你看它们有没有落地的商业模式就知道了。
它们本质上也知道需要非常多数据，所以现在很多公司能做一个 demo，就拍成视频给你看，却无法邀请你现场看，也无法做公开展示。
自动驾驶的数据不一样。车卖出去以后，司机帮你收集数据，数据是免费的，甚至是负成本，因为卖车还能收钱。
但机器人能不能把一个没有功能的机器人卖给别人？当然不能。短期内，把没有功能的机器人卖给别人，确实可能成为一种商业模式，但肯定不可持续。
我们之所以能够率先跑出来，实现 24 小时药店的小规模商业化应用，并且在智源大会上敢于直播 VLA 做货架任务，敢于在会场展厅不间断做 VLA 货架演示，是因为我们不完全依赖真实数据。
真实数据在训练数据中的比例大约只有 1%，甚至更小。我们自研的合成数据管线承担了主要工作。
张小珺
你们有多少人做合成数据？
王鹤
团队规模不方便讲具体数字。但合成数据不是靠规模解决的，而是靠技术。
我从 2017 年做 NOCS，也就是 Normalized Object Coordinate Space，开始研究合成数据，到今年已经有 8 年时间。全世界都在讲 believe in synthetic data，认为 synthetic data 有用，但在中国很少有人真正做合成数据。
你去听具身智能的论坛，很多人都说仿真不够，sim-to-real gap 解决不了，必须用真实数据。真实数据怎么用？先买我的机器，再去遥操。
这是一个自洽的商业模式：我不相信合成数据，我告诉你合成数据没用；你不要相信合成数据，买我的机器，然后去遥操，摇够了自然就能产生技能。
但无论从学术估算，还是类比自动驾驶，这都需要买非常多机器。全世界还没有谁攒够了这么多机器。
而且大家的机器都在迭代。不要觉得我出货给你以后，它就像一辆车，你可以开 10 年。你去问任何买过非传统机器人的实验室：机器人返修频率是多少？每家机器人公司一年迭代几版？
所以你不能把它当成静态产品。它每个月都在迭代，几个月以后，连动力学结构都可能不一样。你即便攒了 1 万台，也未必是同一套机器人。
张小珺
那你是在呼吁大家不要买机器人吗？
王鹤
不是不要买，而是不能把所有筹码都押在真实机器人采集数据上。
这个方案并不是不成立，但它成立有几个前提：第一，机器人硬件相对稳定；第二，实现大规模量产，制造成本被充分摊薄；第三，采集数据的流水线和成本足够低，比如转移到第三世界，在马来西亚等地采集，把运营规模和效率做起来。
实际上，现在在中国采集数据没有大家想象的那么便宜，而是很贵。
我预判，未来真实机器人会成为数据采集的重要支撑模式，但前提是具身智能实现大规模商业落地。只有当大家愿意投入这么多钱时，真实数据采集才会成为主流。
如果没有一家收入超过 100 亿元的具身智能机器人企业，就不可能每年花几十亿元做数据采集。
张小珺
合成数据有什么代价或者能耗吗？
王鹤
关于合成数据，大家有几个误区。
第一个误区是，认为合成数据的物理和真实世界完全不同，所以 sim-to-real 不可能。准确地说，仿真物理和真实物理不完全相同。物理仿真只能使用数值方法近似真实世界，公式本身也不可能和真实世界最精确的物理规律完全一致。
所以大家说 sim-to-real 不可能。但这件事已经被完全证伪了。今天人形机器人的行走、跳跃、跑步技能，都是通过 sim-to-real 实现的，都是在仿真器里经过大规模强化学习，再迁移到真实世界。
说 sim-to-real 不 work 的人，需要回答：为什么宇树的 sim-to-real 能 work？
现在有人说，宇树的 sim-to-real 之所以 work，是因为它只有本体、腿、脚和地面接触，没有视觉，是基于运动学、动力学状态量做 sim-to-real。现在加入视觉以后，仿真渲染的画面和真实世界不一样，所以视觉不能 sim-to-real。
这个说法仔细想也是错误的。
在小模型阶段，我们就通过物理渲染和物理仿真证明了，像透明碎玻璃片这样的东西，完全可以用合成数据学习如何抓取，并在真实世界实现 sim-to-real。这是我们在 2023 年推出的、全球第一个对材质完全泛化的抓取方法。
小模型时代，视觉 sim-to-real gap 就可以被关上。到大模型 VLA 时代，这件事变得更加确定。
VLA 的基础是 VLM，而 VLM 的训练数据不只有真实数据，也有大量动画和电影数据，里面真假混杂。一个能够看懂真实世界的 VLM，看唐老鸭和米老鼠，难道就看不懂剧情吗？它当然看得懂。
现在我们的操作数据是通过物理渲染生成的。它和真实世界相比，你一眼就能看出不是相机实拍，而是物理渲染的，但其中抓取、放置的过程都是正确的。
你说 VLM 看不懂吗？这个差距总比米老鼠、唐老鸭和真实世界的差距小吧？所以对于基于 VLM 的 VLA 来说，视觉 gap 更不是根本问题。
张小珺
也就是说，纹理不同、光照不同都没有关系，关键是背后的因果关系。
王鹤
对。关键是把操作物体时可能产生的动力学和物理过程搞清楚。纹理、材质对于基于 VLM 的 VLA 来说，并不是不能迁移的东西。
在大模型时代，video gap 更不是 gap，真正需要关注的是 physical gap。
为什么人形机器人走路的问题现在解决得比较好？因为它主要是脚和地面接触，地面可以是钢，也可以是沙子，但物理过程相对简单，就是脚与地面接触并获得支持力。
但操作不一样。穿针引线、叠衣服、抓柔软的东西、抓易碎的东西，会涉及各种复杂物理过程。有些物理过程现在仿真的 gap 不大，有些仍然存在明显 gap。
我们的判断是，在 move、pick、place 这三件事里，可以把 gap 做得足够小，用现有仿真技术就能实现。
所以我们展示了从抓取，到灵巧手操作，再到柔性物体的叠衣服、挂衣服，全部用物理合成仿真产生大量合成数据，并在真实世界 transfer。
当然，有些事情我现在做不了。比如系鞋带，它是多点、多面、柔性的、可压缩的接触过程，目前很难仿真得足够真实，所以 sim-to-real 不了。
但对我们来说，它不属于当前解决方案的必要能力。我们做商超，不需要解决系鞋带。
纸张撕裂、剪纸，我们也有工作在做，但如果效果还不好，我就先不剪。作为一个交付给快递员的机器人，我不需要先解决撕开软糖包装的问题，也不需要解决撕裂之后怎么办。
我觉得很多人反对合成数据，核心原因很简单：他要卖机器。他自己也用合成数据，只不过用得不好。为什么用得不好？因为从 visual gap、physics gap、content gap，到机器人硬件控制和模组产生的 sim-to-real gap，需要非常系统地检查，并把里面会出问题的地方全部修复。
把这些问题都 fix 以后，pipeline 就会变得 simple。这正是我们的优势，也是长期积累出来的。当别人没做对时，他会轻易说：“你看，假的，我也做了，但不 work。”
张小珺
现在你们已经有一些出货量了，数据回流能让模型更 work 吗？数据飞轮形成了吗？
王鹤
当然能形成。
不论使用合成数据，还是辅以少量真实遥操数据，我们可能已经能达到 98% 的成功率。但剩下的 2% 怎么办？就要用真实世界回流的数据，再结合强化学习，去 fix 这些 error。
张小珺
我理解现在你们的产品是第一代产品，实现现有的一些场景。以后你们会怎么走，最终走向 home robot？
王鹤
银河通用这个名字，注定了我们的 mission 是最终实现通用。但实现通用的过程需要沿途下蛋，也需要在硬件和技能上一步一个脚印。
Otherwise，我们就会变成学术研究机构，或者变成一个无法落地、无法规模化、产值非常有限的小公司。
张小珺
7. 机器人必须成为生产力
大模型说的是智能级产品。你们这个行业是什么级产品？
王鹤
机器人有不同的产品。卖科研平台肯定是一种产品。机器人没有什么功能，但作为开发平台卖给你，也是一种产品。
但我认为，现阶段人形机器人健康发展的关键，是生产力级产品。
张小珺
生产力级产品？
王鹤
就是机器人能够干活，有生产力，它就是产品。它结合了智能水平和硬件水平，一定要形成生产力、形成解决方案。
但它不一定是完整解决方案。现在可以把一个房间里的工作分成两部分，机器人能做的由机器人做，机器人不能做的由人兜底。
我们现在的 24 小时药店是想提供完整解决方案，这更难。退一步，也可以是人机配合。
所以我认为，生产力就是解决方案。什么叫生产力？就是单位时间内干的活必须和人相当。如果比人慢太多，或者工作的持续时间不如人，就不是优质生产力。引入它只让效率下降，那就是落后生产力。
今天能够产生优质新质生产力的东西，才是这个行业真正的产品。如果没有生产力，我觉得它就不是具身智能时代真正的产品。
张小珺
我们一开始就说，这个行业这两年特别火。你见过什么乱象？
王鹤
8. 行业必须公开证明自己
现在最大的一个问题，是不知道谁能产生生产力，谁只是在讲故事。
这源自美国。美国对创新有更强的容忍度，所以你不挣钱没关系，没有产品也没关系，只要还能融资、还能卖掉，大家就觉得可以接受。
现在具身智能领域，泡沫最大、故事讲得最大的，其实是美国的一些公司，比如 Figure、PI。
我只能说，对 Figure 的估值有正反两个逻辑。
正面的逻辑是，如果 Figure 这样的公司真的能让人形机器人在产线上干活，那么它未来的长期价值应该是数万亿美元。它现在也许只有 300 亿或 400 亿美元估值，仍然有 100 倍增长空间。
反面的逻辑是，Figure 到底有没有干活能力？如果没有，它现在只出货了 10 台或 20 台，还没有变成常态化运营，干的活也不是靠它声称的方法完成的，那它到底值不值几百亿美元？
国外这种做法产生了一些不好的影响：实际上没有干活能力，却把自己描述成完全拥有干活能力。
国内也是一样。大家看到国外这么讲，就开始夸大自己的硬件和软件能力。
银河通用在很多场合都告诉大家，这件事应该怎么做。第一件事，就是公开展示。
张小珺
比如智源大会？
王鹤
对。几万个观众围着你看，现场干，而且不允许遥操作。
现在有些人胆子特别大，在这种场合也遥操作。他告诉别人自己不是遥操作，但实际上就是遥操作。
在美国，这甚至是常态。他会告诉你自己就是遥操作的，在那里蹲着，拿着吸尘器蹲，只不过人在后面藏着，也不告诉你这是主动遥操作。
如果完全不遥操作，在公众面前展示，这应该是第一关。
第二关是进入真实场景以后，那个场景每天到底干了多少活？有没有长期报告，让投资人和公众了解？
比如我们开的店，一天几百单，都是平台方认证的，已经常态化运营。这些才是真正证明你有没有应用、有不有生产力的证据。
如果只是视频里讲，或者签了战略协议，说已经怎么怎么样，现在越来越没有说服力了。
张小珺
自动驾驶领域有 Waymo 和特斯拉的路线之争。你觉得机器人领域有类似的路线之争吗？你们是特斯拉路线还是 Waymo 路线？
王鹤
这里肯定有路线之争，而且是长期的。
有些公司的基因就是真实数据基因，它没有自建合成数据管线，长期来看就是短板。大家不要觉得这件事不可思议。你问问今天的自动驾驶公司，有几家把合成仿真平台做好了？
国外比如 NVIDIA，就发布了基于自己 NeRF 的车载仿真环境和渲染平台。有一些车厂也很重视仿真，但我不是自动驾驶行业的人，只能说听到的一些中小厂，内部合成仿真管线如同儿戏。研发做了一些 POC 以后，真正落地的产品团队根本不用。
具身智能也一样。要把整套仿真数据管线搭起来，进入高效运营，需要投入不小的成本。
所以有些公司说自己完全不做合成数据，长期以后可能会成为弱项。
张小珺
你觉得具身智能这两年融了这么多钱，未来 5 年、10 年会怎么样？你看到的未来世界是什么样？
王鹤
5 年之内，中国和美国的同行，一定要有万台以上的应用。头部企业至少要在某一年实现 1 万台规模的自主机器人应用。
如果 5 年都做不到，具身智能很可能会像工业视觉一样：一开始讲几百亿元的故事，最后发现只有几亿元营收。
这个行业有时候靠胆子大。如果 5 年做不到 1 万台，事情的时间周期就会大大拉长，大家也可能因为信心和技术周期受到影响，对这个方向失去热情。
所以银河通用现在特别强调生产力。如果 5 年内都不能形成万台级的规模化生产力，这个领域就被证伪了，泡沫全是泡沫。
这件事对中国非常重要。中国的老龄化、少子化意味着，每过 5 年，可用劳动力都会减少。10 年、20 年以后，我们的劳动力可能不到今天的一半，但老龄人口会比今天多很多。
如果不快速推动人形机器人生产力发展，中国的制造业会出现极大的劳动力缺口，服务业也是一样。
日本原来是不接纳非日本国籍人口的非移民国家，但现在因为劳动力缺口太大，基本上什么人都愿意接受。这样的劳动力缺口仍然非常大。
我去日本考察时，日本人告诉我，现在年轻人一毕业，所有人都有工作，福利也特别好。只要要求加班，他直接辞职，马上就能找到下一份工作。什么行业都缺人，而且所有年龄段都缺人。
这就是日本进入深度老龄化后的社会现状。但中国、日本以及周边国家的人口基数，加在一起也不足以补足中国未来的劳动力缺口。
如果中国缺 1 亿劳动力，世界上谁能给我们补 1 亿劳动力？
所以我能看到的银河通用的责任，就是这件事千万不能做成泡沫。一旦被证伪，或者被人们认为不及预期，可能会影响整个行业，进入冰河时代。
对中国后续发展来说，这等于无法提出一条解决路线。未来的老龄化社会里，中国可能会面对比日本更加困难的窘境。
张小珺
所以你们现在特别强调，不要做砸行业招牌的事情。
王鹤
对。不要搞一些砸行业招牌的事情。比如承诺别人：“你采了就能训出来；你建厂，就能够有技能；我卖机器人，你来采，采完你来训，明天它就是你的员工。”
这些模式很可怕，是在砸这个行业的饭碗。
如果有人这样做，我担心行业会出现负面消息，影响真正想做事、有目标感、有责任感的头部企业。
张小珺
通用机器人什么时候能实现？多少年以后？
王鹤
这个问题很简单：不要把它想得太快。
因为“通用”到底是通用到什么程度？比如 home robot，它是在家里以娱乐为主、以陪伴为主，还是能够完成扫地机器人做不了的事情，比如从冰箱里拿饮料、从柜子里拿东西？还是能够跪下来洗马桶、清理下水道？这完全不一样。
我认为 home robot 一开始会是轻干活，重陪伴和娱乐，然后慢慢能够干越来越多的活。
这个商业模式现在已经有一些雏形，未来 3 到 5 年可能会出现小批量的 pilot 产品。
张小珺
最后一个问题。去年不是你跟黄仁勋坐在一起吗？你们聊了什么？
王鹤
9. 黄仁勋关注合成数据
我理解黄仁勋邀请我，是因为 NVIDIA 是全球除了银河通用以外，非常重视合成数据的技术路线的大厂。
他们的逻辑更简单：有 GPU，就应该解决一切问题。如果除了 GPU 还需要别的东西，就没那么快推动。
合成数据需要用 GPU 做渲染和仿真，再用更高级的 GPU 做运算。NVIDIA 很认同这条路线。如果合成数据能够走通，依靠 NVIDIA 就能支撑具身智能的一半。
所以黄仁勋邀请我，也是想听听我们用合成数据做到了什么程度。我打开手机，把我们完全用合成数据完成的一系列工作，以及目前达到的水平给他展示了一遍。
在此之前，NVIDIA 机器人业务的副总裁，以及他们的一些专家，也多次来银河通用参观考察。
张小珺
他们已经亲眼见过了，才把你叫去和黄仁勋一起吃饭？
王鹤
对。
张小珺
你坐在他旁边是特别安排的吗？
王鹤
是他们安排的。这一点也体现了 NVIDIA 对银河通用在全球、尤其是在中国的技术地位的理解。
张小珺
你们有对话吗？
王鹤
有。我们俩就坐在旁边聊天。
除了技术上的事情，黄仁勋是一个非常 nice 的人。他也能吃一点辣的，我原来以为他吃不了辣的。我看他吃水煮肉片，吃得也挺好的。
看表演时，他也非常配合。比如变脸演员表演，我不相信这是他第一次看，但他给了非常热情的反馈。
而且他本人实话实说也是劳模。当天除了我们这一桌以外，他把所有桌都挨个过去敬酒，还拍了照。
我很敬佩黄仁勋。一个企业做到这么大了，作为 CEO，他还能够这么亲和。
张小珺
最后 9 个快问快答。
一个全球范围内你最喜欢的食物？
王鹤
如果说得非常实在，作为一个北京人，北京人的胃觉醒以后，我最喜欢的是涮羊肉和烤鸭。
张小珺
一个全球范围内你最喜欢的地点？
王鹤
如果是度假，我喜欢去欧洲。那里的文化浓度让我有很强的沉浸感。
张小珺
一个少有人知道、但必须了解的知识点？
王鹤
我们对中枢控制神经的理解。
整个人形机器人领域，对于仿生、仿人类的中枢运动控制神经的理解，仍然很初级。很多知识和我们的第一反应是相反的。
比如小脑其实比大脑有更多神经元；动作的生成靠大脑，小脑做的是一系列控制。
在人类的具身操作和全身控制上，人类中枢控制神经还有非常多秘密。无论是使用 VLA，还是用大模型套小模型，目前都没有完全达到人类的水平。
所以我整体认为，具身智能还有未来几十年可以不断探索的空间，不可能在一两年内出现大成熟、大圆满的时刻。大家不要预期过高，也不要预期过快。
我想补充一点。人形机器人虽然不如 LLM 那么通用，但 LLM 也可能不够精确，它说的东西不一定是对的，会产生幻觉。
而且 LLM 可能还不是那么纯粹的生产力。今天包括 OpenAI 在内，它的大模型到底创造了多大的产值、产生了多大的价值，这件事其实还需要观察。
至少国内一些头部的非大厂大模型厂商，一年的收入其实不高。
但人形机器人不一样。你不要因为它不够通用，就认为经济价值不高。它填补的是社会劳动力缺口。它每能干一个人的活，就能产生一个人一年的经济价值。
如果按一个人年薪 20 万元计算，机器人干 1 万个人的活，一年就是 20 亿元的价值。考虑到机器人可能需要多班倒，产生接近 100 亿元的规模经济价值并不困难。
所以大家不要说，人形机器人不够通用，经济价值就不高。它实际上很容易产生非常实在的产值。今年人形机器人已经有几亿元的产值。
张小珺
基于你读过的书，推荐两本必读书。
王鹤
第一本我推荐《时间简史》。这是我初中看的一本书，但到高中、大学仍然反复读。
大自然和物理学背后的规律实在太奇妙了。今天我们也没有穷尽物质世界最本源的规律。
在不断阅读这本书、理解时空背后规律的过程中，我萌生了探寻事物发展规律本质的思维方式。所以我们今天讲很多词，包括商业里说的第一性原理，第一性原理来自物理学中的 ab initio computation，也就是第一性原理计算。
学好物理学，能够理解物理学最本质的思维，可以大幅提升一个人的思维水平和思考能力。
当然，学好物理学光靠《时间简史》是不够的。《时间简史》只是一本很迷人的物理学科普书，甚至没有把很多东西讲得特别清楚，但它能让你意识到自然规律有多么玄妙。
第二本是我小学时最爱看的一本书，《三国演义》。这本书我也翻来覆去读了很多遍。
今天看，《三国演义》的文学水平未必有那么高，但我反复读它，是因为我想理解：在群雄纷争的乱世里，究竟应该如何制定策略。
不同的人，他们的性格、做事风格、带团队的方式和思维方式，和他背后的人、国家、势力最终的发展趋势之间，是什么关系？
看这些聪明的人在乱世中经营自己的势力，做出正确或错误的事情，我们今天应该如何反思，如何应对竞争？
张小珺
你们想当谁？
王鹤
从思维和看事情的角度，我最佩服曹操。从理想主义、为了一个梦想做到底的角度，我最佩服诸葛亮。
张小珺
那你现在更像谁？
王鹤
我们要维持理想主义的光辉，但解决问题的手段要像曹操一样，把两者结合起来。
他们各自都有不完美的地方。曹操做到后来，初心到底是不是为了汉室，其实发生了变化，但他仍然非常克制。他宁可做周文王，也不会在自己活着的时候篡位。
诸葛亮最大的问题，是坚持理想主义到底，但他能够调度的资源和能够改变的东西太有限。如果他能像曹操一样在战略上做更好的布局，更早把资源拢在手里，同时又像诸葛亮一样维持自己的本心，刘备不在了，也绝不觊觎刘禅的位置，那就更理想。
这两点结合起来，更 match 我们今天做人形机器人的梦想。
这件事最终一定是为人类带来福音的。做成以后，它一定会成为国家级别的支柱，是奉献给民族、奉献给世界的事业。
我之所以说曹操和诸葛亮缺一不可，是因为如果生产力最终只是和人竞争工作岗位、抢走大家的工作，这件事不会长久，全世界都会反对。
我们的初心是服务人民。即使这件事做大以后，也要保证社会健康发展。
张小珺
王老师听过我的播客吗？
王鹤
听过一点点。但我的时间实在有限，基本只听过一些比较精彩的小片段，没有从头到尾听过比较长的内容。
张小珺
像你们现在这么忙，科研时间够用吗？
王鹤
我觉得这反而是我们要做的：抓住真正重要的技术，不做小发明、小创造，也不去包装那些明知道不 work、明知道不对的东西。
当你把所有精力集中在真正要突破的一两件事情上，反而会更聚焦。
如果是一个纯学者，想着今年要发几十篇 CVPR、几十篇 ICCV，反而永远觉得时间不够。