121. 对DeepMind谭捷的访谈：机器人、跨本体、世界模型、Gemini Robotics 1.5和Google

我觉得在硅谷，大家都觉得机器人可能是即将发生的一个最重要的变革，所以所有的公司都投入巨资去攒他们的机器人团队，去做机器人大模型。到最近，你可以看 Gemini Robotics 第一代，就是三月份的那个版本，那个时候可能已经是一百二十个人在作者列表上；这次可能是一百六十到一百八十个人。

有一天招人的时候，有一个美国白人 PhD 毕业生在考虑是不是要加入我们。我跟他聊了一下，他又跟我说：“我真的希望你们 team 能多招点华人。”我说：“为什么？这不是很不 diverse 吗？”他说，他跟很多华人合作，觉得做 AI、做机器人的华人非常努力，而且非常 productive。他还学到一个词，叫“牛马”。他说他特别喜欢自己做牛做马，也觉得自己应该做牛做马。他是不是对这个词有什么误解？

今天的嘉宾是 Google DeepMind 机器人团队的高级研究科学家兼技术负责人谭捷。他的研究方向是将基础模型和深度强化学习方法应用于机器人领域。中美在机器人领域一直存在着两种叙事：市场普遍认为中国在硬件上发展得更快，而美国在机器人的大脑设计上更领先。

本期节目中，谭捷将带我们一窥硅谷视角，尤其是 Google DeepMind 视角下的机器人叙事。前不久，他们刚发布了一个新的工作，叫 Gemini Robotics 1.5，将 AI agents 带入物理世界。我们也聊了聊他们的最新发现。

谭老师，先给听众朋友们打个招呼，并且做一个简单的自我介绍。

大家好，非常高兴今天能来到这里。我叫谭捷，现在是 Google DeepMind 的一名研究科学家。我加入这个团队快十年了。

我以前是上海交通大学毕业的，小时候特别喜欢打游戏。读博的时候，我出去读了计算机图形学。后来觉得图形学和机器人有很多相似之处：你可以认为机器人是在真实世界里做图形学，或者图形学是在 simulation 里面做机器人。

为了使自己的工作更有影响力，能够看得见、摸得着，后来我就转向了机器人。开始的时候团队叫 Google Brain，我加入以后就一直在这个团队里面。后来 Google Brain 和 DeepMind 合并，就变成了 Google DeepMind Robotics Team。

这是你的第一份工作吗？

其实不是。我在读博之前，在上海做过一个很短的 startup。

本科、硕士毕业以后就创业了？

对。那个 startup 有点像现在的酷家乐，我不知道酷家乐还在不在，好像很久没有关心这个领域了。我们做的是图形学。

但是那个时候我觉得时机还不是很成熟，后来我就出国读书了。读完书以后，我又去了一家 startup，做相机的。那个 startup 叫 Lytro，是光场相机，不知道大家听说过没有。

听说过。它是在美国，还是在硅谷？

在美国，在硅谷。它可以先拍照后对焦，而且不是通过计算，而是采集一个光场。那是一个非常复杂的物理原理，可以使相机具有一些特别的功能。

我在那里做了大概一年半，后来就加入了谷歌。

1. The Graphics Robotics Pivot

你的研究方向是怎么发生变化的？你博士是做图形学的，对吧？

对。那个时候我也在 Pixar 实习，一直做动画。动画其实有很多种做法。在 Pixar 的时候，Pixar 有很多自己的坚持，比如它从来不用动作捕捉系统，认为所有东西都应该是手调的。

但是如果你做动画研究，其实并不是研究怎么手调动画，而是通过数学和物理的方法，看能不能在一个仿真环境里面，使人的形态或者动物的形态自然地行走。

那个时候我做的是 physics-based character animation。后来做着做着，我觉得这里面有很多 AI 的成分，我越来越多地用 AI 来解决这样的问题。可能在我读博第三、第四年的时候，我觉得这个东西跟机器人太相似了。

然后我又觉得，我不想让自己的工作只是为了娱乐，只是为了游戏和影视。所以我就跟导师说，我想尝试机器人，想用图形学的方法来变革整个机器人的行业。

“变革”这个词听上去非常宏大。

对。我的导师非常开明。他叫 Karen Liu，我在 Georgia Tech 读的博士，后来他去了 Stanford，现在也在 Stanford。他就说，那你做呗。

最后一个 project，我完全用图形学的方法，在一个很小的人形机器人上，让它能够倒立，能够在不同姿势下坐着、站起来之类的，做了一些很简单的控制。

那个结束以后，我想去找一份教职。那是在 2015 年，我想在美国找一份教职。那时候我其实收到了很多很好学校的 interview，比如 Cornell 之类的。但是我当时说的是：“我要用图形学的方法变革 robotics。”

我觉得那个时候大家对这个想法有很多怀疑。因为我刚刚开始进入这个领域，绝大多数背景还是在图形学上，所以我没有拿到想要的教职。于是我就去硅谷工作了，先去了一家 startup，后来去了谷歌。

当时 robotics 处于什么阶段？你想用图形学变革 robotics，为什么图形学是一个非常好的方法？因为之前来我们节目的嘉宾王鹤也说过，robotics 这波人都是从图形学、计算机视觉领域冒出来的。

我举几个例子。我是图形学领域的，大家可能知道一个非常著名的 Berkeley 教授，叫 Sergey Levine。他以前也是做图形学的。我跟他经常是在 SIGGRAPH 做 presentation 的时候前脚后脚，可能我先做，然后他再做。但后来我们不约而同地转向了 robotics，这说明这两个领域其实非常相关。

那个时候我觉得 robotics 还处在一个非常 rule-based 的阶段。大家用传统的控制方法，比如有一个方法叫 MPC，也就是 model predictive control。大家建立物理模型，然后通过一些最优化算法计算运动轨迹。

这其实有很多难点。我经常跟别人说，以前做 robotics，肯定要有一个 PhD，否则连数学都搞不明白。但是图形学里面有很多 AI 算法。

图形学的一个优势是，所有东西都在电脑里、在 simulation 里面，所以你可以获得机器人所需要的所有信息，比如关节力等等。于是你就可以用 AI 的手段来解决各种控制问题。

那时候我觉得，simulation 和真实世界其实是差不多的东西。如果它在 simulation 里面能够 work，那么它在真实世界应该也能够 work。可是那个时候的机器人还是很傻。

当时有一个很大的 robotic challenge，很多人形机器人去做一些比较简单的事情，比如过坡、开车、拧阀门。那个时候机器人经常摔倒，看上去很傻。

但在图形学的 simulation 里面，机器人已经能够翻跟斗、跑步，什么都能做了。所以我觉得两边的差距非常明显。如果我们能把 simulation 里的东西放到真实世界里面，那么机器人会有非常长足的进步。这就是为什么我觉得应该用 graphics 的技术来变革机器人。

你是什么时候发现这个方向是正确的？

这个问题其实挺难回答。现在回头看，肯定是正确的。

2. Simulation Reaches The Real World

我在 Google 的第一篇论文叫《Sim-to-Real: Learning Agile Locomotion For Quadruped Robots》。Sim-to-Real 就是从仿真到真实世界。我用的方法是 deep reinforcement learning，这对当时的图形学来说也是比较新的技术，在机器人上更是几乎没有人用。

第一篇 paper 出来以后获得了很多好评。我觉得这可能是过去十年里面第一次发生 paradigm shift，也就是用强化学习解决机器人走路和步态的问题。

可能十年前，大家觉得最好的机器人是 Boston Dynamics 的机器人。他们的狗叫 Spot，人形机器人叫 Atlas，它们跑酷非常厉害，但是整个学术界都不知道他们是怎么做的。后来大家知道，他们是用 MPC 做到了极致。

但大概五年以后，大家都能跑跑跳跳，能打拳、跳舞。比如今年你看到宇树的机器人能打拳击、能跳舞，最近各种上墙、翻跟斗也都可以。其实就是因为大家采用了同样一项技术，叫强化学习和 Sim-to-Real。

所以我个人觉得，我开始的那篇论文开创了强化学习和 Sim-to-Real 在机器人上的应用。现在回头来看，计算机图形学确实彻底改变了机器人最近 5 到 10 年的发展。

你当时用强化学习，是从大语言模型里面借鉴的方法吗？

并不是。大语言模型的兴起是过去 5 年左右的事情，而强化学习可能是 8 年前的事情，是 2018 年，距离现在七八年了。那时候还没有大语言模型。

那时候是从哪里借鉴的方法？

那个时候有一个特别火的事件叫 AlphaGo。DeepMind 用深度强化学习下围棋。那时候有很多方法，其中一个叫 PPO，我利用的就是这个技术。

我觉得过去十年里，第一个 paradigm shift 肯定是强化学习，第二个 paradigm shift 是大语言模型。

对于机器人领域也是这样吗？

对。

你们叫具身智能，还是叫机器人？

具身智能好像是国内说得比较多，其实都可以。以前我们说 embodied AI 的时候，它不一定代表有硬件本体，在 simulation 里面做机器人也叫 embodied AI。

对我们来说，我们不光要在 simulation 里做 robotics，也要在真实世界里做 robotics，所以我更倾向于叫机器人。

大语言模型出现以后，对机器人领域带来的影响是什么？

3. Language Gives Robots A Brain

在大语言模型出现之前，很多机器人做的还是底层控制，比如怎么好好走路，怎么做路径规划，使你的手在不撞到任何东西的情况下抓到一个瓶子。

但是机器人没有 common sense，也不懂语言。你要让机器人做一件事情，就得编程，它才能做。

有了大语言模型以后，第一，它理解人类语言了。你让它做什么事情，可以直接用 natural language 跟它对话，然后让它做事情。这是一个非常重要的突破：任何人都可以指挥机器人做事了。

第二是 common sense。以前大家觉得机器人很难，不仅是控制问题，因为机器人没有 common sense。比如你说“帮我做一杯咖啡”，这是一个非常简单的指令，但机器人完全不知道是什么意思，也不知道应该有哪些步骤。

但是如果你问 Gemini 或 ChatGPT：“如果我要做一杯咖啡，有哪些步骤？”它会一步一步列出来。你再说“我可能需要更细化的步骤”，它可以给你列一个非常详细的 plan。

所以，当你用大语言模型控制机器人时，机器人就有了 common sense。它能理解要做一件事情需要哪些具体步骤。如果每个步骤都足够简单，它就能一步一步地把它做完。

以前的机器人是没有大脑的。有了大语言模型以后，你可以认为它有了大脑和认知，使它能够做很多复杂的事情。

强化学习相当于什么呢？有点像大脑和小脑。大脑负责思维、推理和做计划，所以大语言模型更像大脑。小脑负责执行，包括走路、控制平衡、控制双手，以及手上的 manipulation，这些是强化学习非常擅长的部分。

所以可能大脑和小脑都需要。

我前几周在杭州主持云栖大会的具身智能分场，有一个观点让我印象很深。他们提出，具身智能基座模型不应该被视作大语言模型的延伸或者分支，而是一个独立的方向。

他们觉得，为机器人训练的是一个独立的机器人的基座模型、机器人大脑。他们非常强烈地强调自己这个学科的独立性。你怎么看这个观点？

我觉得没有对错可言，大家可以有不同的偏见。从我的角度来说，我不得不承认，最近几年机器人智能的发展主要还是依赖于多模态大模型。它不仅仅是语言模型，而是一个多模态模型。

但是多模态模型缺什么呢？它缺少 robot action 的输出。多模态模型可以输入图像，也可以输入语言，输出可能是文本，但它不能输出机器人的控制。

所以我们经常做的事情，就是拿大语言模型作为一个基底模型，再加上一些机器人动作数据，使它能够输出机器人的动作、控制机器人。

从我的角度来说，我做的很多工作，还是在想怎么补全现在的多模态模型，使它可以输出机器人的动作、控制机器人。它到底是不是一个非常独立的学科？So far, not yet。

我觉得未来当你碰到各种瓶颈，需要不一样的数据格式，或者需要一个更加完善的 world model，它可能会变成一个更加独立的学科。但现在绝大多数做 VLA、做机器人大模型的人，还是在大语言模型或者多模态语言模型上做 fine-tuning。

所以 so far，它还是一个延伸。至今为止，我觉得它并没有发生什么质的改变，更多是采集机器人数据，然后扔到大语言模型里面去做不同阶段的训练。

今天你觉得 robotics 发展到哪个阶段了？

4. Generalization Remains The Gap

我觉得它的 progress 非常快。最近一年它的进展让我非常 impressed，也非常 surprised。但是要解决具身智能，或者使机器人真正有应用，我觉得 gap 还是很大。

现在你可以让机器人模型把一件事情做得非常好，这应该是可以的。你看到网上很多 video，包括在一个可能叫 Koro 的地方看到一个可能叫 Dyna 的折衣服 demo，其实它在一个比较窄的领域里做操作，可以做得非常好。

这可能是因为强化学习，虽然我觉得肯定不止强化学习。我相信 Dyna 可能也是 VLA 加上强化学习的方案，但是它依靠了多少 VLA、多少强化学习，可能只有问他们才知道。

如果是一个任务，或者一系列非常接近的任务，现在可以做得挺好。但是如果你要真正的 generalization，也就是泛化能力，希望一个人形机器人可以做好很多事情，现在还差得很远。

比如哪怕是 Gemini Robotics 这样的模型，它非常强调泛化能力，可以用自然语言说“把这个水瓶盖子打开”“把这个包整理好”，但是成功率还不是很高。

如果只是非常简单的 pick and place，把什么抓起来放到什么地方，也许成功率能达到 90% 甚至 100%。但是对于很多需要精细操作的事情，比如把拉链拉上，就非常难。你要抓到正确的位置，然后往特定方向拉，这种任务成功率可能只有 30% 到 40%。

30% 到 40% 的成功率在现实生活中是不可用的。所以我觉得，虽然我们的进展非常快，但 gap 也非常大，还需要好几年的时间，让机器人足够完善，然后进入各行各业帮助我们。

如果定义成一个 GPT 的标尺，大概到什么时候能达到相应的水平？

这个其实很难对应。我是这么想的：现在大家看到了足够的 sign of life，说明我们可能 scale up 现在的 training recipe，而且它会 work。

但是可能还需要 2 到 3 年，才能达到 GPT-3、GPT-4 这样的水平，让你真正觉得：“这东西确实有用。”

然后我觉得可能还需要额外 5 到 10 年，才能真正落地。

一般来说，做 research 是这样的：你有一个想法，从想法到一个 prototype 很快，因为做完 prototype 就可以写论文，所以这个周期可能是 6 个月，最多 1 年。

从写完论文，到你有胆量拿出来做 live demo，而不只是录一段视频，可能需要 1 到 2 年。因为写论文的时候有很多 assumption，可能只在一个非常小的区间内 work。

从开始做 live demo，到真正落地，可能需要 5 到 10 年。你想想自动驾驶，从最开始在 DARPA Robotics Challenge 的时候，能开好 20 多公里，到后来每个厂商都能在固定园区里做一个 demo，再到今天也许算是落地了，因为 Waymo 和 Tesla 都有自己的自动驾驶产品。

中间的确隔了 10 年。从 demo 到真正落地，隔 10 年并不是一件夸张的事情。

现在 L3、L4 也没有真正大规模应用。

我觉得自动驾驶方面，Waymo 有一个 taxi 的 business，在旧金山的有限区域内，它可以真正把 driver 挪掉，所以我觉得已经越来越近了。但这只是另外一个例子：从一个 idea 到真正落地，其实非常遥远。

所以我就在想，自动驾驶的动作输出已经是一个非常有限的领域，都要这么多年。那机器人让它一个领域一个领域地做就好了，为什么要追求足够的泛化？

我们为什么需要一个机器人的通用大脑？像自动驾驶一样，每个领域都做，让它做好每个领域的事情，是不是就可以了？

这是一个很好的问题。我觉得这里面很多争论都比较 philosophical。我的感觉是，两条途径都有可能：你可以先做非常专业化的事情，在一个领域落地；也可以做一个通用的人形机器人。

我觉得人形机器人并没有对错，但这个世界的发展也无关乎对错。两条路都有可能。最后会发生什么呢？可能会有一个大佬，也许是 Elon Musk，也许是 Steve Jobs，一个 visionary 的人灌输一个概念：通用人形机器人是最终解决方案。

当一个大佬发话以后，就会有很多 follower，很多钱进来，很多 talent 进来，最后促使这条路径真正被解决。

所以我觉得，做 specialized 的机器人，一个 domain 一个 domain 地解决，并不是错。只是现在因为硅谷的发展，有一个大佬特别提倡这个方向。

同时，大语言模型也证明了，做 specialized model 可能不是最终答案。以前的语言模型通常都是 specialized model，比如英语到中文的翻译是一个 model，VQA 是另一个 model。后来大家发现，真正有一个 generalist model 的时候，specialist model 完全不能与之竞争。

这也是为什么大家更相信 general 的机器人。

你刚才提到，过去一年机器人的进展非常快，甚至超出预期。它的进展快来自哪些变量？

一个是 VLM 的发展，比如 Gemini、GPT；另一个是很多技术的变革。现在很多 model 叫 thinking model，在 inference time 可以使用很多 token budget，提高最后答案的准确性。

这是从技术角度看比较重要的变化，也使得 robot can think as well。我们最新的 Gemini Robotics 1.5 就有一个重要突破，是利用了 thinking 的能力。

第二个是重视程度。我觉得在硅谷，大家都认为机器人可能是即将发生的最重要的变革，所以所有公司都投入巨资组建机器人团队、做机器人大模型。

如果 CEO 都重视，分配的资源、算力都会增长，也会从另一个角度加速机器人的发展。

第三个是，这使得硅谷现在非常卷。以前大家觉得“996”是中国传统，现在硅谷也是 996，至少做 AI、做机器人的肯定是 996。

为什么会 996？

没有人想输在这场 competition 里面。所有人都希望自己的公司或团队是世界第一。如果你是世界第二，团队里最优秀的人可能会觉得：“我要去那个世界第一的团队，因为在那里能做成事。”

为了防止这种情况发生，你只能加速工作、加倍工作，永远保持在第一梯队或者整个行业的最前列。

大家投入了更多精力和时间做科研，这也是我觉得最近发展特别快的原因。

这是最近一年发生的变化，还是最近两三年？

我觉得可能是最近一年半到两年的时间。ChatGPT 出来以后，大家意识到这个东西可以用在机器人上，然后就开始非常卷。

你刚才说未来有两个关键阶段，一个是先到达 GPT-3 的时刻，然后再去落地。从现在到 GPT-3 中间差哪几步？哪些关键问题解决了，它就到了？

5. Data Becomes The Bottleneck

我觉得最大的一个问题还是数据。对于语言模型来说，数据是 free 的，网上已经有那么多语言数据、Wikipedia，也可以把很多书 digitize，所以数据非常多。

而且语言相对来说是一个 narrow domain compared to robotics。机器人是在非常复杂的 unstructured environment 里面，任何事情都可能发生，所以我觉得它需要极大量、非常 diverse 的数据。但这种数据现在不存在。

现在有很多 startup 叫 data foundry，它们通过遥操作收集数据，通过 simulation 收集数据，然后把这些数据卖给做模型的大厂。

所以我觉得数据是从根本上制约发展的 bottleneck。大语言模型面对的是数据强问题，机器人领域面对的是没有数据的问题。

一个是数据，还有其他的吗？

我现在看到最明显的还是数据。我确信，如果现在的数据量完全不能 saturate model 的能力，那么当数据达到一定程度，我肯定会发现第二个瓶颈，可能是模型 architecture 或者其他问题。

但是现在数据如此少，所以还没有发现第二个瓶颈是什么。

到底需要什么样的数据？怎么定义好数据？真实世界的数据太变幻莫测了。

所以需要很多很多不一样的数据。机器人领域经常会聊数据金字塔。

最底层是非常 scalable、非常大量的数据，可能是互联网上已有的数据。上面一层可能是 video 数据，尤其是 egocentric video，也就是从人的视角看到自己做事情的数据。

这种数据也非常多，YouTube 上有很多，而且很容易采集。你做事情时，无非是额外戴一个眼镜或者 camera，就可以采集这样的数据，所以量非常大。

但是因为人和 robot 的形态很不一样，这种数据也不是特别有用，至少大家还不知道怎么用。

再上面可能是 simulation 数据，它和机器人的形态更接近，也可以有很多 robot action 的标注。但是有一个叫 sim-to-real gap：simulation 里的数据和真实世界的物理毕竟不一样，它只是一个数学的简化。

再往上可能是 robot-specific 数据，通过遥操作或其他方式获得的机器人数据。

大家一般认为有这样一个金字塔，每一个 level 的数据都需要，但需要的量不一样，采集成本也不一样。不过这些数据都很重要。

这是你倾向于认为的观点吗？

我觉得是这样的。底层数据需要非常大的量，但质量可能不是特别高，因为它和机器人有很大 gap。

通常大家说训练机器人模型有预训练和后训练，也就是 pre-training 和 post-training。预训练时可以使用极大量的各种数据，在这个阶段它只需要学会对物理的 intuition 或者理解，并不一定要对自身形态或者具体 task 有认知。

但是到了金字塔顶端，你需要让这个机器人知道它是一个什么样的夹爪、什么样的构型，以及怎么完成某个任务。比如打开瓶盖，就需要非常精细、非常高质量的数据，但数据量可能不需要很大。

所以我觉得整个金字塔都非常重要。

关于数据和架构有很多争论，我们稍后再说。先聊聊你们最近的工作。你们刚发布了 Gemini Robotics 1.5，将 AI agents 带入物理世界。在这个工作中，你觉得最重要的发现是什么？

我觉得有两个比较重要的发现。

6. Gemini Learns To Think

第一个发现，是我们把 thinking 加入了 VLA 模型。以前的 VLA 模型输入图像和语言表达的任务，输出就是马达角度，也就是直接对机器人的控制。

现在我们把 thinking trace，也就是机器人怎么想，也作为输出。比如我要做一个 task：“把衣服按照颜色分类。”机器人得先想：这件是红色的，要扔到红色那一堆；这件是白色的，要扔到白色那一堆。

这个任务其实挺复杂，需要很多小步骤。上一代机器人模型没有办法把事情想得这么细，不能做 multi-step task。现在这一代模型可以先判断这是什么颜色，然后想：“如果我知道它是什么颜色，下一步应该做什么？”

所以它先输出文本，思考这个问题怎么解决；在文本的基础上输出一串 action，做这件事情；然后继续输出文本，思考下一步应该做什么，再输出 action。

这使得一个需要很多步骤的复杂任务可以被分解，原来非常难的任务现在可以做了。

第二个好处是，机器人可以向人表达下一步想做什么，以及为什么想这么做。这样在人机交互时，透明度增加了。从安全性和人机交互的角度来说，人可能会更安心，因为知道机器人是怎么想的。这是一个比较重要的突破。

7. Robots Share Skills Across Bodies

第二个非常重要的突破叫 cross-embodiment transfer。刚才说过，机器人数据非常稀缺。尤其是用机器人 A 采的数据，通常只能学习机器人 A 上的 task 和 skill。

如果机器人 A 升级了，比如 camera 换了新的，或者安装在不同的位置，或者手臂多了一个自由度，以前采的数据可能都没有用了。还有其他机器人，比如人形机器人、机器人 B、机器人 C，因为构型不一样，数据也不能放在一起互用。

这导致每个单一机器人都得单独采数据，数据量就更少了。

在 Gemini Robotics 1.5 中，我们发现，不管使用什么样的机器人，至少我们测试的 3 个机器人——一个是 ALOHA，是非常简单的双臂机器人；一个是可能叫 Franka 的、更工业级、更 powerful 的机器人；还有一个是名称听不清的人形机器人——当我们把所有数据放在一起，并开发了一个叫 Motion Transfer 的新技术以后，可以更好地利用 cross-embodiment 数据。

这样，在机器人 A 上见过的任务，机器人 B 也能够执行。

举个例子，假设你学会了开车，我从来没有学过开车这个任务，但我也学会了开车。它可以跨本体。

这从根本上解决了数据量不够的问题，因为任何机器人采集的任务数据，都可以被其他机器人利用。

先说第一点，把 thinking 加入 VLA。因为它有很多模态转换，比如文本和运动之间不停转换，你觉得在转换过程中会发生混乱吗？怎么解决？

我们没有发现发生混乱。因为输出时一般会非常清楚地说，下面输出的是文本，然后有起始符和终止符；接着说下面输出的是动作，也有起始符和终止符。所以它们不会混在一起。

在大语言模型中加入 thinking，和在机器人里面加入 thinking，你觉得有什么不同？核心难点是什么？

大语言模型通常比较大，机器人模型没有大语言模型那么大。为什么？因为机器人要很快地做 inference，不能等 5 秒钟再做下一个动作。

它的 inference budget 非常小。你还是希望它每 0.5 秒或者每 1 秒就可以做一些动作，所以它的 thinking 长度和大语言模型非常不一样，要短很多。

大语言模型为了解决一个问题，可以想 20 秒，然后给你一个答案，只要答案是对的，大家通常都满意。但是如果交给机器人一个任务，每一步都要想 20 秒，你就崩溃了。所以它每一步可能只想 0.5 秒，它们的 budget 非常不一样。

它能处理的最复杂问题是什么？

我们现在在 VLA 上的 thinking 还相对比较弱，因为它有很多限制。

如果一个 task 只需要几步分解，比如 sort fruit by color 或者 sort clothes by color，它可能第一步是认清楚颜色，第二步是认清楚不同堆里对应的颜色，第三步是把东西放到对应的堆里。这种比较简单的推理是可以的。

但是如果需要额外获取信息，就做不到。比如说“帮我整理一下行李”，它可能需要知道你要去哪里旅行、去多久、当地天气怎么样。它需要额外获取信息，再基于这些信息进行 thinking，这在 VLA 端做不到。

所以在 Gemini Robotics 1.5 里，我们做了一个快慢模型的分工。有一个比较慢的模型，可以进行很长的 thinking，做决策。比如你说“帮我打包行李”，它可以搜索 Google、查看你的 calendar、查询 weather report，先想 20 秒，come up with a plan，然后问你这个 plan 是否合理。

到了 VLA 端执行这个 plan 时，它可以一件一件地把衣服拿起来放进去。

这相当于大脑和小脑？

小脑一般是运动控制，所以它更多的是大脑。但大脑也有分层：很多大脑的事情需要做很多计算和 planning，是比较慢的思考；很多大脑的决策是 instinct，是比较快的思考。

你们是把它拆分成 ER 和 VLA 两个模型？

对。ER 叫 embodied reasoning，更多是慢思考的过程。VLA 要输出 robot action，更多是在执行端，是一个非常快的思考过程。

这是选择了一个双模型结构，对吧？它不是一个端到端的统一模型。你觉得这会是过渡方式，还是终极方式？

我现在觉得应该是过渡方式。因为现在受制于算力和模型大小的限制。

再过几年，当算力不再是很大的问题时，如果有一个 unified model，可能是最佳方案。因为有两个模型，就总要界定它们之间如何交流。现在大模型和小模型之间用语言交流，但语言并不是 high-bandwidth 的交流方式，语言会丢掉很多信息。

所以你希望是一个模型，内部不需要额外的 interface 来交流。这样信息就不会损失。但同时，因为现在算力等原因，这件事非常难实现。

需要特别大的算力吗？因为要做 reasoning，还要做 web search，需要一个非常大的模型。

对。你很难让它 real time 地、每秒做 5 到 10 次决策，但小模型可以每秒做 5 到 10 次决策。

所以当你需要一个 unified model 时，它必须非常大，因为它要做 reasoning。现在的算力还不足以支持这样的大模型。

现在的快思考和慢思考分成两个步骤、两个阶段来完成。除了算力不够，还有其他原因吗？

我觉得现在主要就是算力原因。

这也 make sense。自动驾驶最后也过渡到了端到端，对吧？

但自动驾驶不需要很多 planning 过程，因为它有很多 planning 是通过传统方法完成的。比如我有一张 map，有 A 点和 B 点，怎么找到一条路径，这些都是传统方法，不是真正把 mapping、planning 和执行都做成端到端。

自动驾驶里面的 planning 是一个分开的步骤，用传统方法做，像 Google Maps 或百度地图。执行部分对自动驾驶来说非常快，因为车速很高，决策速率必须非常高。所以自动驾驶的端到端模型不会很大。

你们做实验时，加入 thinking 最容易出错的环节是什么？

可能是 overthink。加入 thinking 时，需要标注它是怎么思考的。采集数据时，你不仅要说“我下一步要做什么”，还要说“我是这么想的”，然后给出动作。

如果标注非常单一，就很容易出现 overfit，也就是过拟合。这样只有做某些事情时，thinking 才 make sense。换成其他没见过的任务，因为它没有见过相应的思考方式，thinking choices 就会非常奇怪，然后做出完全不 make sense 的事情。

你刚才分享的第二点，是跨本体运用数据。这里面有没有更多可以分享的？

我给你举个例子。我第一次看到这个结果时，印象非常深刻，因为我觉得这是真正的质变。

大家说跨本体已经说了很多年，但我觉得这个概念有点 oversell。早期 Google 自己做过一篇叫 RTX 的 paper，和二十几个不同学校、不同 lab 合作，收集不同机器人数据，混在一起训练一个大模型，然后说这二十几个学校的数据放在一起有优势、有 benefit。

但其实那个优势很难量化。包括最近很多做机器人基础模型的公司，都会说有 5 个不同的本体，把数据混在一起让模型更 general，但同样很难量化。

这次我们发现，ALOHA 是一个 tabletop robot，它做的事情都在桌面上。我们采集的数据可能是在桌面上抓一个东西放到别的地方，或者在桌面上开瓶盖、写字。它没有见过 3D 场景，没有见过垂直平面，也没有见过有高低差的橱柜。

如果给它一个书橱，书橱有高低，你说“把上面那一格的书拿下来”，它做不到，因为这完全在训练数据之外。它会做的事情是继续在桌面上磨磨蹭蹭、摸一些东西，哪怕书架是垂直的。

但是我们有另一个可能叫 Franka 的机器人，它采集了很多垂直领域的数据，可以从 workbench 上把东西垂直拿下来。

ALOHA 从来没有见过垂直场景，但当我们把 Franka 能做的事情放到 ALOHA 的场景里时，ALOHA 突然也能做这样的事情。

怎么做到的？

我们有一个方法叫 Motion Transfer。它不只是把数据放在一起，同时也要在模型 architecture 和 training recipe 上做相应改动，才能更好地利用这些数据。

这是一个已经能够泛化到很多领域的方法吗？除了现在实验的这 3 个机器人，它有一定的泛化性吗？

首先，它不代表给一个全新的机器人，不用任何训练就能做那些事情。它的意思是：在我有训练数据的机器人里面，虽然机器人 A 没见过这个 task，但机器人 B 见过，那么机器人 A 也能做这个任务。

所以它有一定的泛化性，但这种泛化性是任务层面的泛化性，并不是机器人本体上的泛化性。

这是不是更接近跨本体的通用智能，是一条可行路径？

我觉得是可行路径，而且还挺本质的。我们团队看到这个结果以后都觉得非常激动人心。

Motion Transfer 怎么做的？

这是 secret sauce。

这个问题在 Q&A 的时候被问了很多遍。

对，但真的很难评论。

很多研究者会提到，具身智能的难点不一定在算法，而在信号，因为它缺乏像语言模型那样清晰、可以验证的反馈。你怎么看这个问题？你们的 robotics 在系统设计上，是如何获取和构造这种信号的？

我其实不是很理解这里面“反馈”是什么意思。如果你有数据，在用传统的 imitation learning 时，已经有足够的信号了。我不理解为什么说它缺信号。

但如果你说的是强化学习，强化学习需要 reward signal，很多任务确实很难写 reward function。比如我要把一盘菜放进冰箱，这件事怎么用数学表达成功与否？reward function 很难表达，我同意。

所以要分不同情况解释。对于 imitation learning，我不觉得信号是问题；但对于强化学习，如何用 reward function specify 任务，确实是一个还没有解决的问题。

如果是 reward function，你们现在是怎么解决的？

我觉得这个问题并没有很好地解决。

为什么强化学习解决了四足机器人的走路问题？是因为它的 reward function 相对 straightforward。只要向前走了、没有摔跤，就可以比较容易地写出数学表达。

但是对 manipulation 来说，有太多不同任务。比如希望抓起一根筷子，很难用数学表达它是不是抓住了筷子。再比如把东西放进抽屉，也很难写一个数学表达，判断东西是不是在抽屉里。

有成千上万个不同任务，都要用 reward signal 来表征，几乎是不可能的。这就是为什么强化学习在 manipulation 里面还没有解决得很好，因为 reward function 非常难以 specify。

对于你们这种跨本体迁移的任务，reward 怎么设计？

我们现在主要还是做 imitation learning，并不是通过强化学习。

Imitation 有榜样、有 label。只要让神经网络的输出和 label 尽可能接近，就没有问题。

关于 secret sauce，还有什么可以再多分享一点的吗？

Motion Transfer，it's very secret。

哪些因素会决定这种迁移的上限？

这是一个很好的问题。虽然我们有很多例子证明迁移成功，但也有很多例子证明，在很多场景中迁移并不成功。

我觉得两个机器人形态差多少，会有很大影响。比如从一个单臂夹爪机器人迁移到双臂人形机器人，肯定是非常难的问题。

我们现在的 3 个机器人都是双臂的。虽然构型不一样，有的 6 个自由度，有的 7 个自由度，有的是更高自由度，但它们都是双臂的。

如果从夹爪迁移到灵巧手，尤其是五指灵巧手，也肯定比夹爪到夹爪更难。所以还有一个叫 embodiment gap 的因素。如果 embodiment gap 非常大，跨构型迁移就会比较难。

第二点，在不同 embodiment 上收集的数据量也非常重要。如果已经收集了大量数据，那么不需要其他 embodiment 的迁移，机器人本身已经能把事情做得很好，其他 embodiment 带来的正向 delta 就很小。

但是有些机器人，比如人形机器人，采集数据非常困难。如果你在 ALOHA 上有非常多的数据，那么这种迁移就会非常有效。

为什么你们这篇论文的标题是“将 AI agents 带入物理世界”？你们这次在 AI agent 上借鉴了哪些东西？

首先，robots 就是一个 physical agent。对 agent 的定义是，它能够做决策，也能够 execute actions。

这篇文章还强调了一点：一个非常重要的 agent feature，是它可以 use tools。

现在我们的 embodied reasoning model 可以写 code，也可以查阅网站，可以使用这些 tools 来做决策。

我们有几个 video，比如“帮我做垃圾收集”或者“帮我做垃圾分拣”。它可以根据地点做决定：如果我在 San Francisco，它可以搜索 Google Maps，找到所在地，然后根据当地法律法规，决定应该如何进行垃圾分拣。

这些都是使用 digital tools 的例子。机器人可以做 web search，knowledge base 就宽广了很多。它不只是依赖大模型已经 capture 的 common sense，还可以通过 web search 和其他 tools 扩展机器人的 functionality 和 capability。

沿着 Gemini Robotics 1.5 往后发展，你觉得下一步的关键突破口是什么？

有很多方向可以发展。我们在最后一章也讲了一些未来方向。

我觉得比较重视的一点还是数据。我已经强调了很多遍，数据、数据、数据。

遥操作是非常难获取的数据。有什么办法可以利用越来越少的遥操作数据，以及越来越多、更加快速获得的数据，来训练这样的大模型，可能是非常重要的一步。

所以我们会花更多精力利用 simulation 数据、human video，也就是 YouTube 上的数据，甚至现在模型生成的数据，比如视频生成模型生成的数据。这些数据可以大量获得，所以我觉得这是一种更经济、更有效的获得机器人数据的方式。

如果我们能在这方面有所突破，我觉得解决机器人问题就指日可待。

你们现阶段真实数据用多少？

我们现在主要还是用真实数据。

所以成本会很高。

成本非常高。

国内在数据问题上有很多争论。王鹤是仿真数据的代表派，好像除了他以外，大家还是更加倾向于依靠真实数据，因为真实数据的泛化性可能更好。

真实数据没有 sim-to-real gap，但泛化性是由数据的 coverage 导致的，并不是因为它是真实数据还是虚拟数据。

如果你从来没有采集过在厨房做饭的数据，就很难让模型学会做饭。所以这是 coverage 问题，而不是数据真实还是虚拟的问题。

过去几年，是不是从大语言模型里面向机器人领域应用了很多研究思想？对比机器人基座模型和大语言基座模型，你觉得研究范式有什么不同？

还是很不一样。就像我说的，它们并不是两个独立的学科，更多是一个利用另一个。

在大语言模型上，有很多问题：多模态怎么训练，预训练应该怎么准备，后训练应该怎么做，RL、RFT 应该怎么用。

但机器人现在对这些大语言模型的应用，更多是增加一些数据，在已有大语言模型的基础上增加新的输出。所以在做法上还是非常不一样。

很少有公司真正从头开始 pre-train 一个机器人大模型。

为什么？

因为 cost 和 data。预训练一个大模型非常贵，可能需要好几万张卡，或者好几个月的时间。同时你也没有那么多机器人数据。

所以大家还是在一个预训练好的大模型上加入机器人数据，进行一些微调。这就使得整个范式非常不一样。

两边确实有相互借鉴的地方，但它们并不是两个完全平行、可以一一对应、相互独立的学科。

所以我刚才说的云栖大会上的讨论，可能并不成立。他们说自己是一个独立的大脑。

至少我现在觉得还没有那么独立。也许未来，当机器人数据足够多、机器人大模型遇到新的瓶颈时，它可能会变成完全独立的学科。

但现在，机器人大模型还是非常依赖已有的大模型。

这对于大公司来说是有利的，因为大公司自己也有基座大模型。

我是这么觉得的。

回到数据的话题。国内有一个非常鲜明的仿真数据驱动派，就是王鹤。他当时给我算了一笔账：一台人形机器人至少是 10 万元制造成本，买 1 万台用于数据采集意味着 10 亿元。每台两班倒，雇人遥操作，4 个人一个月可能就需要小几万元。此外还需要标注和质检，每个月维护 1 万台机器人的成本在数亿元到 10 亿元。

你觉得这个账算得对吗？

你刚才说的数字比较快，我没有仔细算。但 in general，我同意他的判断。

如果需要遥操作，就需要机器人成本、运营成本、质检成本，加起来非常贵。具体数字对不对我没有算，但我觉得这肯定不是一个很 scalable 的方式。

如果最终大家完全通过遥操作数据解决机器人问题，我会非常诧异。我觉得这个可能性非常低。

在这个背景下，仿真数据是一个可行方案吗？

8. Synthetic Data Builds New Worlds

对。但现在“仿真”的定义越来越模糊。

以前仿真是指物理仿真。大家说的仿真可能是 Bullet、MuJoCo、Isaac Gym 这些，它们是在计算机里面解物理方程、计算运动轨迹，这叫仿真。

现在因为 video generation model，比如一个可能是 Veo 3 的模型、Sora 2 的兴起，很多人认为仿真也可以是生成一段视频。如果视频看上去物理正确，它也是一种新的仿真，是生成式 AI 带来的一种新的仿真形式。

我觉得不远的将来，传统物理模拟的仿真会慢慢被生成式模型的仿真取代。

生成式模型的仿真现在发展到什么阶段了？

刚开始。

听起来会经济很多。

它可能并不经济。生成视频其实更贵，需要更多算力成本。

但是它解决了很多问题。比如要生成任意场景，在传统仿真里面需要有人建模，建模以后还需要很多 designer 把所有场景和资产拼在一起。

如果我要 500 个家庭场景，就得一个一个手工搭建，非常困难。但是如果我要 500 个家庭场景的视频，只需要 500 个不同的 prompt。

比如一个 prompt 是“粉色的床加上两个床头柜”，另一个是“很大的白色床”。只要输入的语言不同，就可以瞬间生成两个完全不同的视频或仿真。

以前在传统仿真里，就得手工把每一个场景搭出来。

说到 Sora 2，你觉得它有范式性的变化吗？是革命性的变化吗？

Sora 到 Sora 2 肯定是质的飞跃。但 Sora 2 和一个可能是 Veo 3 的模型，我觉得没有特别本质、让我特别惊艳的区别。

不过有一点值得说：过去两三年里，视频生成模型的发展非常迅速。我自己可能有一个比较错误的判断。

我记得几年前，《流浪地球》的导演来过一次硅谷。他问我们，《流浪地球 3》上映的时候，导演这个工种是不是还存在，很多电影制片的工种是不是还存在，因为可能只要说几句话就能生成一个小 clip，再把它们拼成电影。

那个时候我觉得不可能，真正的视频生成还很远，所以我安慰他说：“不用急，还要很久，我们正在努力做，但时间没有你想象中那么快。”

当时你觉得要多久？

我当时觉得可能到 2030 年，才会开始有一些可以应用的视频生成。现在才是 2025 年，我肯定低估了视频生成的发展速度。

里面关键的变化变量是什么？为什么突然有了质的变化？

有很多数据的原因，也有很多人才的原因。

他们是怎么准备数据的？

这个我就不是很清楚，因为我不是做那个方向的。

但这些发展好像确实能帮助你们解决数据问题，所以 Sora 2 让你们很兴奋？

所有视频生成模型的进展都会让机器人领域感到兴奋，因为这就是一种新的仿真，或者新的 world model。

它里面有世界模型吗？

世界模型的定义是：给定前一帧和机器人的动作，可以预测下一帧。

现在绝大多数视频生成模型，并不是通过输入机器人的动作或者人的动作来改变下一帧的结果。所以现在我还不会称它为世界模型。

但从现有视频生成模型到世界模型，感觉已经不是很遥远了。

从另一个角度看，一个可能叫 Veo 的系统是一个视频生成模型，而一个可能叫 Genie 的系统更像世界模型。因为这个系统是可以玩的，你可以通过按键改变生成的下一帧。比如你驾驶一只龙，可以说我要左转、右转，就会看到完全不同的世界。

当每一帧都有一个输入，可以改变下一帧，这种感觉就是视觉世界模型。如果只是一个已经生成好的、静态的几秒钟视频，那就不是世界模型。

现在谁做得最好？

在硅谷，我觉得 OpenAI 做得不错，Sora 做得也不错，还有很多小公司在做。

真实数据和仿真数据各自有什么优劣势？怎么弥补仿真数据的缺点？

生成极大量的仿真数据，是弥补缺点的一个重要手段。

仿真数据不够真实，但如果不断变化仿真的参数，生成极大量数据，从平均意义上看，它可能足够 cover 真实世界的物理。

所以有一种方法是用 compute 解决精度问题，用算力换精度。你没有那么高的精度，但可以生成极大量数据。学习时因为数据量大，相当于取了一个均值，可能就会比较接近真实世界的物理。

你刚才说可以用视频生成做仿真，现在瓶颈在哪里？

第一个是有很多 hallucination，第二是有很多非物理现象。

很多人测试视频生成模型，会让它生成一段体操。如果整个过程中人还是两条腿，说明模型还不错。但很多时候，这个人在做体操、翻滚的过程中，不知道会生成多少条腿，会出现很多 hallucination 或者非物理现象。

这是题外话。因为王鹤来过我的节目，他非常强调仿真。但是那天我去云栖大会的场子，现场所有人都不相信仿真数据，都是用真实数据。他们的逻辑是什么？

我个人感觉，仿真数据需要一段基础研究。它不是那么简单，不能直接使用。

真实数据已经证明，数据越多，效果就会越好。所以它可能有一个玻璃天花板。虽然真实数据的效果提升很快，因为有数据就能马上看到提升，但真实数据不可能无穷无尽，eventually 会遇到数据墙。

如果是仿真数据，因为有 sim-to-real gap，开始时效果可能不是很好。你增加数据，可能觉得很多都属于 noise，没有明显提升。

但是一旦 research 有突破，它就没有那个玻璃天花板。所以这是一个信仰问题。很多 research 都是信仰问题，绝大多数 research 都是信仰问题。

所以你信仰仿真那一派？

谭杰

我信仰 scalable data 那一派。

Scalable data 包括仿真数据，也包括人带着 camera 采集的数据，不是遥操，而是人自己采集的数据；还包括视频生成模型生成的数据。这些东西都可以靠算力获得无穷无尽的数据。

真实机器人数据需要 operation、cost 和 robot。我觉得它不是一个很 scalable 的数据源。所以不管是什么数据，只要 scalable 就可以。

听起来，仿真数据是一个更可能 scalable 的方案。其实这也可以用来解决大语言模型的数据墙问题。现在大家经常说“吃了吐、吐了吃”：先吃 internet data、internet-scale data，然后开始生成各种新的文本和数据，再吃回去，又生成新的。这也是解决 data 不够的一种方式。

在一个 robotics 团队里面，做仿真的人多吗？

谭杰

这完全取决于 robotics 团队信仰什么。Google DeepMind 有一个 MuJoCo 团队，是非常知名的仿真团队。英伟达也很信仿真。

所以硅谷基本上都是仿真派？

谭杰

也不是。其实硅谷大家都会讲差不多的故事，只是数据 mixture 里面仿真数据的比例不同。

大家不会说自己孤注一掷、只用一种数据源，都会不断探索。数据当然是越多越好，不管是什么数据。

但是数据质量也非常重要。如果数据质量非常差，数据越多，效果可能越差。

怎么评判数据质量？

谭杰

这个领域其实没有标准。大家还是 researcher，可能看着数据觉得太陡、不够 smooth，或者觉得这个数据已经采过了。这里面有很多人为的评判标准，但没有标准化。

这也是 data foundry 这个新兴产业特别困难的一点。它采了很多数据，但我们不能告诉它数据好不好。我们拿过来用，如果效果不好，我们会说是 data 没采好；他们会说是 model 没 train 好。这里就有一个扯皮过程。

原因就是 data quality 没有很好的定义。这的确是一个科研问题，现在还没有很好的定义。

如果具身智能机器人领域只解决一个最重要的问题，就能带来飞跃，你觉得是数据问题吗？

谭杰

我觉得是数据问题。

你怎么看王星星那句话？他觉得大家对于数据的讨论太多，忽略了架构本身的创新。

谭杰

架构本身的创新当然重要。前面 Gemini Robotics 1.5 里提到的 Motion Transfer，就有很大程度是架构和算法的创新。

但是巧妇难为无米之炊。光创新架构，也许会让机器学习更加 efficient，但如果数据量和 coverage 不够，泛化能力肯定不行。

9. The Architecture Debate Widens

国内还有很多关于模型架构的讨论。一派认为端到端是统一模型，另一派认为应该是分层式的。这两种不同的技术路线，最终会殊途同归吗？

谭杰

我刚刚听你说，我感觉会殊途同归。

我可以分享另一个故事。虽然我的第一篇论文是做强化学习，也有很强的 sign of life，说明这东西可能能行，但也遇到很多难点，比如 reward function 怎么调。

那时候 PPO 的效率非常低。如果训练效果不好，我就在想有没有捷径。于是我想，能不能把传统控制理论和强化学习结合起来：底层还是传统控制理论，但有一些参数用强化学习来调。

我们团队做这个方案做了很长一段时间，效果也不错，因为它立竿见影。底层东西已经差不多 work 了，强化学习可以立刻让它 work。

但是整个历史轨迹并没有朝我想象的方向走。后来大家完全做端到端的强化学习，也就是 state in、action out。几年之后，这确实成为主流。

有时候，为了解决现实问题，或者为了短期取得更好效果，你会做一些 shortcut，做一些分层模型。但至少从我过去的经验来看，也许直接投入最终相信的端到端大模型或 unified model，最后可能会胜出。

你们现在投入了吗？

谭杰

我们现在基本上都是端到端的。除了短期做 proof of concept，证明 ER 和 VLA 可以 interact，短期内可以先用双模型，但同时我们也大量投入端到端的 unified model。

VLA 会是一种终极架构吗？或者 VLA 加上 LLM？

谭杰

VLA 是现在我觉得效果最好的模型。但大家也在讨论，语言在描述机器人，尤其是非常复杂的行为时，可能不够。

语言是一种有信息损失的表达方式。比如我在转笔时，每个手指是怎么动的，可以用 visual 表达；但如果用语言表达我下一步应该怎么做，就很困难。

所以很多更好的表达方式可能是 visual。World model 现在在硅谷非常流行，可能是下一个新的范式。

它是替换 VLA 吗？

谭杰

不一定替换 VLA，可能会和 VLA 共存。

VLA 可能会变成新的结构：vision 和 language 输入，生成下一帧 image 或者 vision，再基于这个生成下一步 action。

现在世界模型和它的关系是什么？

谭杰

世界模型其实就是 vision-language in、vision out，可以生成下一帧图像。

所以你认可王兴兴说的，VLA 加 RL 是一个相对傻瓜的架构吗？

谭杰

不傻瓜。我觉得能做出来已经很厉害了。

世界模型可能会更好。至少现在很多研究方向都在朝那个方向走，因为它更符合世界物理规律。

大家可能觉得 VLA 看上去比较傻瓜，是因为现在很多 VLA 的探索已经比较熟练了。

一年以前，VLA 完全不 work 的时候，大家还有各种 exploration：action 怎么表达，是用 action token、action expert、diffusion，还是其他方式。过去一年里，很多东西慢慢 converge 了，所以大家可能觉得套用一个模式就能得到结果。

但我觉得整个 VLA 的发展，还是需要很多 talent 和时间。

我们在讨论一个机器人大脑的时候，国内叫“具身智能”。这个“智”到底怎么定义？

谭杰

它就是聪明，知道该做什么，能够思考、决策和行动。

它有非常确切的定义吗？

谭杰

我觉得“智”是让它更灵活，让它的大脑更聪明。这两点都有，大脑和小脑都有。

刚才说过，大脑需要 common sense，需要解决问题的能力，能够根据现有状况给出很好的规划，这是“智”的体现。

在小脑或者运动控制方面，需要 dexterous，也就是可以用五指解决很多 manipulation 问题，用双足敏捷地跑、跳，完成 mobile 相关任务。

所以我觉得，“智”包含大脑和小脑。

机器人大脑需要增加更多模态吗？除了视觉、语言、动作，还需要触觉、力觉、嗅觉吗？

谭杰

这些到底应该在大脑端还是小脑端，不一定。但我觉得机器人的发展肯定需要增加更多模态。

这里有一个很小的故事。大家一直说 tactile sensing，也就是触觉，非常重要，我也一直相信，因为我们每天都有皮肤，感受着触摸到的世界。

后来 Stanford 有一篇论文叫 ALOHA。那是我第一次看到，人可以完全通过视觉，遥操一个 ALOHA 机器人做非常复杂的事情，包括从皮包里拿出一张信用卡这样非常薄的东西。

我原来以为这种事情只有触觉才能做到，但 ALOHA 狠狠地打了我的脸。我意识到，很多事情只用视觉也可以解决。

于是我又 hold 了这个 belief for a while，觉得可能视觉就够了，或者视觉可以做 95% 的事情，剩下 5% 才需要触觉。

直到最近，灵巧手越来越普及。我开始去一些地方，用遥操的手段控制灵巧手。有一个例子是用灵巧手使用剪刀。

用剪刀是一件非常简单的事情：把手套进两个环里，就可以用剪刀了。但当时没有触觉反馈，我完全通过视觉把机器人的手套进剪刀的两个环里，然后开合我这边的手。

因为没有触觉，我不知道什么时候开、什么时候关。两个环非常大，有时在不恰当的时间开合，手只是在两个环里动，并没有控制剪刀开合。

这让我意识到，如果是灵巧手，触觉就非常重要。

之所以我以前觉得触觉不重要，是因为它受限于当时的硬件。如果只是一个夹爪，可能远远看着夹爪开合，就能做出很好的判断。

但当你有一个灵巧手，有 5 个手指，要做非常复杂的行为和任务时，触觉感觉是必不可少的。

所以当你觉得触觉不重要时，可能只是因为当时的发展阶段还没有到。加入更多模态肯定是趋势，只是今天觉得它不是必须，是因为硬件水平还不够。

视觉可以解决 95% 的问题，是在夹爪时代。现在你的视觉能解决多少问题？

谭杰

现在还在夹爪时代。在所有夹爪能完成的任务里面，我还是觉得视觉可能可以解决 95% 的问题。

所以视觉是最重要的模态，是对于现有硬件最重要的模态。

马斯克说，Optimus 最终将通过观看 YouTube 视频学习执行任务，他觉得纯视觉就可以。你不认可这个观点？

谭杰

我不知道马斯克的原话是不是这样，还是三五个号经过剪辑，把两句含义非常不同的话放在了一起。

机器人看 YouTube 视频学会任务，我觉得非常重要。这印证了我前面的观点：不需要遥操，需要 video 数据，因为它是 scalable 的数据。对此我完全没有异议，非常同意。

我以前在很多自己的 talk 里也会说，希望有一天机器人可以坐在电视机前看 Netflix、看 YouTube，就学会各种技能。我没有任何反对意见。

但是下一句话说，它可以完全通过视觉解决所有问题，我不同意。而且这句话和前一句没有关系，因为通过视觉学习东西，和通过视觉解决问题，是两个不同的问题。

那，你觉得自动驾驶是通过纯视觉解决问题吗？

谭杰

自动驾驶可以通过纯视觉解决问题，至少 Tesla 选择了一条纯视觉的道路。

但你觉得机器人不行？

谭杰

对，因为 manipulation 是非常复杂的问题，需要和现实世界反复互动，而且每次互动的形式都不一样。

不过这也和你怎么定义机器人有关。你让它到底做什么任务？

当我们说一个通用人形机器人，它有五指灵巧手，能做人类能做的所有任务时，触觉就必不可少。

现在硬件还没有收敛。未来出现的硬件，有没有可能不适配今天的大脑？

谭杰

这正说明 cross-embodiment 非常重要，也说明我们做的研究方向非常重要。

我个人还是觉得，未来人形机器人会成为主流形态。它不会是唯一形态，但一定是主流形态。

如果只能 bet on 一种 embodiment，我还是会 bet on 人形。

如果只 bet 一种架构，就是端到端；如果只 bet 一种形态，就是人形。不要去做那些更现实的分支，因为可能会浪费很多时间。

谭杰

这完全取决于你在大公司做事情，还是在 startup 做事情，也可能取决于你在硅谷做，还是在中国做类似的问题。

每个人的目标不一样。以我个人倾向于做的事情来说，我想 solve AGI in the physical world。所以我会非常聚焦于最终的形态是什么样、最终的模型是什么样，所有其他东西可能都是 distraction。

但如果你是创业公司，资本对你的生存和盈利有期待，就很难说“我不盈利，我要做 20 年以后的最终模型”。你可能想的是短期先落地，把数据飞轮转起来，再慢慢解决问题。

这里有一个可能不完全恰当的对比：Waymo 和 Tesla 采取了非常不同的策略，但它们都想解决自动驾驶。

Waymo 看到的是最终要做到 L4，不管在什么地方、有没有人，真正做到无人驾驶，甚至连方向盘都不要。所以它做的很多决策，都是为了达到 L4。

Tesla 则说不急，反正先卖车，可以从 L2、L2.5 一点点往上做，把数据飞轮转起来，eventually 也可能达到 L4。

这两条路没有对错。我也不是鼓励大家一定做端到端、一定做人形，只是大家殊途同归，用不同方式解决同一个问题。

你举的这个例子很有意思，但今天大家会觉得 Tesla 是更正确的道路吗？

谭杰

这个很难评判。Waymo 在旧金山和其他几个地方也有非常成功的运营案例。

我觉得 Waymo 特别伟大的地方，是它真的把驾驶员从车里拿走了。我自己也是 Tesla 用户，觉得 FSD 非常厉害，经常使用。

但这和你有没有勇气把驾驶员拿走，是不一样的。我觉得把驾驶员拿走是一个从 0 到 1 的突破。

我们刚才其实没有说完你个人的研究主线。你在 Google 做了第一篇强化学习 paper 以后，后来的发展是什么样？

谭杰

我做强化学习做了很长一段时间，主要是步态、locomotion，做四足机器人。做到一个阶段以后，我觉得这个领域非常卷。

因为有了强化学习，强化学习并不难用，其实非常好用。这也是一个值得岔开讲的事情：从宏观上来说，当一个技术越来越容易用，它很快就会普及。

比如步态控制、人形机器人走路。最开始用 MPC、model predictive control，需要 PhD 才能真正理解数学、解方程。那时这个技术离普及还很远。

后来有了 reinforcement learning。现在很多高中生都可以从网上下载一个 PPO 包，再从 NVIDIA 那里拿一个 Isaac Gym，放在一起 train、deploy，很多高中生都能做。

这说明它马上会变得非常卷，因为很多人能够进入这个领域做贡献。

强化学习很快解决了 locomotion 的问题。未来也可以看到 prompt engineering，几乎所有人都能做，因为它是自然语言。你可以用各种方式和模型交流，让模型帮你做事情。

所以我觉得大语言模型的出现，可能很快会解决很多问题，不只是 robotics，而是各个行业的问题。

我做 locomotion 做到一个阶段以后，发现强化学习已经普及了。不管在美国还是中国，大家都开始用强化学习解决机器人步态问题。那时候我觉得，应该去解决一个更难、还没有全民都能解决的问题。

那是哪一年？

谭杰

大概是 2012 年。那时候我就开始做机器人大模型、基础模型。

Google 发了好几篇相关论文。SayCan 是用语言模型让机器人拥有 common sense，可以一步一步分解复杂任务。

RT-1 是用 Transformer 这样的 architecture 吸收很多数据，使 performance 越来越好。

RT-2 则是：本来已经有一个 VLM，它已经通过 internet-scale data 训练过，我们再加上一些 action 训练，使它可以借用互联网上的知识做很多事情。

后来到了 Gemini Robotics，有一个非常强大的基座模型、基础模型。Gemini 非常强大。

我们发现，如果基础模型非常强，在加入 action data 时就不需要那么费力，泛化性等方面也会更好。

我突然意识到，强调机器人基座独立性的人可能来自创业公司，所以他自己没有基座大语言模型；而你们是在 Gemini 之上做，感受是不一样的。

谭杰

非常可能。根据你在做的事情不同，认知也会非常不一样。

比如一年以前，如果和很多在学校做机器人的老师、学生交流，大家会觉得 visual generalization 非常重要，也非常难做。当光照、布景、颜色发生变化时，机器人原本能做的事情可能突然做不了了，因为没有收集过相应数据。

但我们训练 Gemini，Gemini 有一个非常强的 vision encoder，已经见过互联网上全世界的数据。所以我们发现，visual generalization come for free，不需要做什么特别的研究，它已经非常好。

所以，当你有一个非常强的基座模型，和没有非常强的基座模型、使用开源模型，或者从头 train 一个模型时，大家的认知会不一样。

你之前创过业，后来加入大公司，在大公司待了 10 年。为什么？接下来的 10 年，你愿意继续在大公司，还是自己创业或者加入创业公司？

谭杰

我觉得很多人都会有创业梦。本科的时候，我也想年轻时闯一闯，看看这个世界是什么样，想知道创业是什么感受。

那会儿正好有一些朋友有一样的志向，于是我们就去创业了。那段经历非常锻炼人，不管是技术、产品、融资，还是其他各个角度都很锻炼人。我非常感激那段创业经历。

10. Google Scales The Robotics Mission

现在我觉得在大公司其实是非常不错的选择。主要原因是，现在很多事情感觉只有大公司能做。大公司有资源、有算力，也聚集了一大批和你一样有使命感、非常聪明的人。

在大模型时代，尤其当你的使命是 solve a giant physical world 时，我觉得其实没有太多其他选择。

你是什么时候意识到这一点的？什么时候有很深刻的感受？

谭杰

可能是最近几年。开始时我觉得在大公司挺好，pays well，nice environment，free food，也有很多自由探索想做的事情。

但这一两年，AI 真正开始卷起来以后，你看到很多学校老师要么去创业，要么在大公司兼职，其实都需要更多资源和算力。

如果一个大公司能提供算力资源，领导足够重视，大家又有相同 goal，我觉得这是非常难得的机会。

这几年 Google AI 或者 robotics 的研究文化有没有变化？

谭杰

变化很大。我怎么说也算元老级员工了，因为我是 9 年前加入的，正好是这个 team 起步的时候。

那时管理非常松散，每个 researcher 进来以后都独当一面。你想做什么就做什么，大家给你足够信任。人比较少，所以资源分配也不是问题。

当时有多少人？

谭杰

我加入时可能有 10 个人。

现在多少人？

谭杰

现在 robotics 大概 150 个人。

那会不会更怀念那个时候？

谭杰

感受不一样。那个时候 you can do whatever you like，感觉非常爽。

但同时你会发现，个人的 impact 非常有限。你就像一个 very well-paid 的 PhD，或者一个 very well-paid assistant professor，有自主权决定研究什么，Google pay you well。

但你很难想象自己能做一件惊天动地的事情，因为每个人都很松散，也很难聚集一群人做一件大事。

后来 Google 也意识到这一点，不想只是拥有一个 very costly 的 academic lab，而是希望更多人聚焦地解决一个大问题。

所以不管是 promotion、performance review、incentive，还是各种 structure，Google 都在创造一个环境，让更多人能够一起解决更大的事情。

这需要团队协作。

谭杰

对。以 Gemini Robotics 为例，不管是第一代、三月份的那个版本，还是这次，第一代可能已经有 120 个人在 author list 上，这次可能有 160 到 180 个人。

它确实需要一个很大的团队齐心协力。有些人解决 infrastructure，比如 data pipeline、training pipeline；有些人做 research；有些人做 evaluation，因为很多 robots 要并行测试；还有人做 data collection、maintenance。

你真的需要一个很大的团队和非常强的算力，才能把这样一件事情做好。

从比较分散的结构到集团军作战的结构，管理方式发生了什么变化？

谭杰

变化非常大。但我一直在这样一个团队里，随着它不断变化，并不是从一个非常松散的团队突然空降到集团军作战的团队。

如果是那样，可能会有 culture shock。但我是在不断变化的过程中，也参与 shaping 这种变化，所以对我来说没有特别不适应，而且我觉得这是一个好的变化。

很多人讨论 AI 组织应该自上而下还是自下而上。你们是什么样的？

谭杰

两者都有。

像 Gemini Robotics，更多是自上而下。你得确定一个方向、一个 timeline。很多人要做实验，资源也不是无限的，不可能有几百万张卡让大家随便用，所以需要很多 coordination，也需要自上而下的决策。

但除了 Gemini Robotics，我们还有很多其他 research，那些更多是自下而上的。研究人员都很强，也紧跟时代潮流，会想到各种新方法、想做实验。

他们会自下而上地和几个人形成一个小团队，快速迭代，fail fast。如果做成了，就会把它集成到 Gemini Robotics 里面，产生更大 impact。

我们今天反复聊到的 Motion Transfer，是自上而下还是自下而上产生的？

谭杰

自下而上。

我们的目标是解决 data bottleneck。细分下来，其中一块是需要 train on multiple embodiment data，这个“要什么”是自上而下的；但“how”经常是自下而上的。

当很多人知道我们需要这个目标以后，就会有各种想法，想知道怎么做。于是会有很多小团队尝试不同方法。

很多方法都是 work 的，有些甚至 compatible，可以像搭积木一样放在一起。Motion Transfer 就是这样一个例子。

其实有三四个不同团队各自有一些想法，这些想法可以全部 integrate 到一个系统里，最后形成 Motion Transfer。

所以 Google 现在相信“大力出奇迹”吗？

谭杰

大力是必须的，但大力不是 sufficient。

它有 necessary condition 和 sufficient condition，也就是充要条件。大力是必要条件，如果不 scale up，我觉得很难有奇迹发生。

但是如果光 scale up，不够聪明，没有足够创新，只堆算力、堆 data，我觉得也不够。

你们现在最卷能卷到什么程度？

谭杰

这个问题我今年回国时也问了很多人。我知道国内很卷，所以想知道国内有多卷。

我发现国内不一定比我们卷。虽然我们 team 也挺卷，但我一周可能工作 70 到 80 个小时，感觉可能比 996 还要辛苦一点。

但在硅谷 AI 圈子里，这已经是常态了。

大家一提到 Google，都会说它研究文化很好，研究底蕴很好。但大公司也会有大公司病，你觉得现在还严重吗？

谭杰

大公司病肯定存在。大公司做决策要一层一层获得 approval，在很多地方非常 conservative，也有各种垄断和 PR risk。

所以大公司总体来说还是比较 conservative。

除了做研究，我还有一项对 team 负责的工作，叫 research iteration speed。我要保证大家想做的东西能够很快做出来。但这意味着要 fight 整个大公司病。

如果 researcher 说想用一批 data，大公司说需要做 due diligence、legal、compliance，过各种流程，可能需要几周时间，那时已经用不上这批 data 了。

或者想试一个新的机器人，以前在谷歌可能需要超过 30 个 business days，从表达意愿到发出 purchase order。这都非常慢。

我不得不和谷歌内部的 legal 团队、operation 团队合作，告诉他们：“这个时代等不起。等 30 天以后，那些非常有使命感的 researcher 可能已经走了，或者别人已经做出来了。”

所以我觉得这个时代真的等不起。

因为 Google DeepMind 自上而下对 robotics 非常重视，他们也开了很多 special case，使我们可以加速采购、实验、数据等各方面的 iteration speed。

大公司病永远存在，但如果你所在的是一个非常重要、非常 competitive 的领域，我觉得还是有一定 leverage，可以让公司为团队做出一些变化。

给你们开绿灯。

那你们怎么考核 research？

谭杰

这是一个很好的问题。每个团队、每个公司都有自己的标准，但我们一直强调，impact 是最重要的。

Impact 有很多方面。以前 Google 还发表很多论文时，论文的数量、质量、citation 是重要指标。

如果论文发布的东西被集成到产品里，产品带来的价值和收益也是重要指标。它会有各种不同维度，综合评价一个人的 performance。

你们会末位淘汰吗？

谭杰

“末位淘汰”是一个非常 vague 的定义。谷歌的 performance review 的确非常 rigorous。

谷歌对最底层的人有一个 bucket，叫 mid improvement。如果 performance 没有达到标准，会有一个 plan，manager 会和你一起 work，使你达到标准，否则可能会被淘汰。

它可能不像 Meta 那样 clear-cut。Meta 有一个明确比例，比例之下可能直接淘汰。Google 可能会更耐心，文化也稍微好一点。

每个人都有自己的 priority，也有生活中的不同状况。哪怕你在一次 performance review 里表现不是很好，you will have a second chance to prove yourself。

你觉得 Meta 对最近硅谷的人才流动带来了什么变化？

谭杰

变化非常大。Meta 做了好几件事。

第一，它把 AI 人才的价格炒得非常高。但 AI 人才是不是真的值这么多钱，我不知道。

一种说法是供求关系导致的。所有大公司都希望 AI first，需要大量 AI 人才，但最优质 AI 人才的供给非常有限，所以价格很高。

第二种说法是，AI 人才确实值这个价。算力非常贵，如果算力被浪费，成本也很高，不如花钱招一些人，好好利用这些算力，创造的价值远大于人的 cost。

第三种说法是，挖人比买类似的公司便宜。所以这个价格还是值得的。

我不知道一个人是不是值 1 亿美元，很难判断。但 Meta 最近的一系列操作，确实扰动了整个硅谷对 AI 人才价格的判断。

对你们是好事。

谭杰

从某种程度上说，对我们是好事，因为整体水涨船高。

但作为 manager，留住人才不是好事吗？

谭杰

作为 manager，我经常得面对这种情况。有人会说：“Meta 给了我一个 offer，多少钱。”我就得想怎么办。

首先要看价格是不是合理。如果价格不合理，或者会影响整个 team 的公平，就很难处理。因为很难说一个人比别人强特别多，当然也有这种情况，但很多时候可能只是一个 single case，他在 Meta 获得了非常高的薪水。

如果会影响团队公平，可能要通过其他方式留住这个人，而不仅仅是薪水。

经常能留住吗？

谭杰

我觉得很多时候能留住，尤其是最优质的人才。那些被挖的人，真正 care 的不一定是钱。

他们真正 care 的可能是，相信机器人行业很快会发生质的、巨大的变革。如果这个变革发生，他们希望坐在 driver seat。

一个有使命感的人，不会容忍自己在一条错误的船上。他一定希望在正确的船上。

所以关键是 Meta 还是 Google，哪边有更多资源、算力、支持和 talent。

你经常能留住人？

谭杰

我经常可以留住人。

有失败的吗？

谭杰

当然也有失败的。

哪个多？

谭杰

当然成功的多。

Meta 为什么花这么多钱挖人？它是着急了吗？

谭杰

我觉得有很多因素。Meta 肯定是着急的，因为整个 AI 行业发展非常快。过去一两年里，Meta 的模型可能不在 first tier 了，他们肯定希望自己的 AI 和大模型团队重新挤进 first tier。

从头培养一个大模型团队非常困难，所以挖人是最直截了当的方法。

我有一个基础问题：1 亿美元一般是什么条件？是几年的 package？

谭杰

我不知道，也很希望我知道。

一般来说硅谷是什么规律？

谭杰

一般说 package，case by case，通常可能是 4 年的 package。但在这个 case 上我真的不知道。

所以现在回国还是一个非主流选择？

谭杰

我觉得是。我也看到一些人回国，不能说完全没有，但的确不是主流选择。

在 robotics 领域，华人有多少？

谭杰

还是挺多的。

你们 team 呢？

谭杰

我加入 Google Brain 的时候，好像是唯一的华人。当然，那是 9 年以前了。

这几年 AI 和 robotics 融合越来越多，AI 界华人很多，CV 界华人也很多。我们 team 可能 50% 到 60% 是华人。

为什么华人在这一波浪潮里这么多？有什么背景原因吗？

谭杰

AI 有很多数学，我觉得华人数学比较好。华人特别吃苦耐劳，又有 talent，又能吃苦，所以特别容易取得成绩。我觉得这可能是主要原因。

以前在 AI 之前，大家会说硅谷大公司里华人做到管理层的很少。你觉得 AI 会改变这个现状吗？

谭杰

我觉得会。

以前也有人抱怨华人在海外不团结。

谭杰

我在美国 15、16 年了，并没有感觉到华人不团结的问题。

以前大家还会说印度人有一些优势。我的确能很清楚地看到，在美国高层里面印度人的比例更高。

印度人的表达能力确实更好。很多印度人英语是母语，尤其是家境比较好、教育条件比较好的印度人，在表达能力上可能强于中国的传统教育。

而且印度人可能更外向，更愿意 speak up，这在西方文化中非常重要。

你觉得华人在这一波里面会改变这个格局？

谭杰

肯定会。我觉得华人更刻苦、更 talented，很多华人也在不断 adapt 西方文化和西方游戏规则。

所以毫无疑问，华人会在硅谷大公司占据越来越重要的位置。

现在有迹象、有苗头了吗？

谭杰

我觉得已经有很多华人高管。最近回到字节的永辉，也是 Google 的华人高管。其实有很多华人高管。

有一次招人，一个美国白人 PhD 毕业生在考虑是不是要加入我们。我跟他聊了一下，他说：“我真的希望你们 team 能多招点华人。”

我问：“为什么？这不是很不 diverse 吗？”

他说，他和很多华人合作，觉得做 AI、做机器人的华人真的非常努力，而且非常 productive。他还学到一个词，叫“牛马”。

他说他特别喜欢自己做牛做马，也觉得自己是牛马。他希望 team 里能有更多华人。

他是不是见到你才这么说的？

谭杰

但我知道不是。因为我看过他以前的论文，他的确有很多华人合作伙伴。

录下来了吗？

谭杰

录了。

回到机器人领域，你觉得未来 5 年、10 年，我们可以看到什么样的世界？

谭杰

11. The Robot Timeline Accelerates

未来两三年，我们应该会看到一个你说的 GPT 时刻。到那个时刻，人们会真实意识到 robots are coming，generalist robots are coming。

那时机器人领域会更热，会有更多钱投入机器人领域。这可能发生在未来两三年。

未来 5 年内，有泛化能力的机器人会更快落地，开始在各种产业里发挥作用。

我觉得在家庭里广泛落地需要更长时间，所以最开始可能还是在传统领域，比如制造、物流、超市等。但它不再是以前传统自动化那种一成不变的动作，而是有一定泛化能力，可以做更多事情。

未来 10 年，机器人开始广泛进入家庭，真正为人们的日常生活做出很多贡献。

如果机器人拥有了智力，它到底还是机器人吗？人工智能是人工，还是智能？

谭杰

这可能不是特别重要。很多东西的智力，更多只是统计规律上的结果。

至少用现在的方法做人工智能、做机器人，它可能还是更接近于机器。

你这次回国有什么感受？

谭杰

中国发展真快。

从哪些角度？

谭杰

生活非常便捷。我可能两三年或者三四年回国一次。每次回来都觉得有巨大变化。

因为长期没有在国内生活，完全没有意识到生活可以这么便捷。不管买早餐还是其他东西，美团一下就好了，出门也非常方便。

这次我先待在上海，后来去了北京。上海发展也很快。我从小在上海长大，以前大家知道的可能就是外滩、陆家嘴这些比较局部的区域，比如黄浦区。

这次第一次去徐汇滨江，感觉有很多新的发展、新的商圈，特别高级。生活里也有很多展览、演出，我觉得肯定比硅谷丰富多彩得多。

跟国内具身智能机器人领域的人交流，你觉得中美有什么不一样？

谭杰

第一点，中国的硬件发展特别快，这一点我在美国看得非常明显。

宇树、智元、星海图等很多硬件公司雨后春笋般出现，为全世界提供便宜又优质的机器人硬件。

从 AI 角度来说，中国发展也非常快。但我同时听说，中国的大环境、文化和硅谷还是不太一样。

在硅谷，大家有一个信念：哪怕你没有做出初期结果，只要大家相信一件事，还是愿意花时间、精力和钱去做。

这个时间可以有多长？10 年吗？

谭杰

可以很长，比如 10 年。

我听说在国内，大家会相对追求短期目标，希望短期内落地、盈利、看到快速发展，否则可能不会受到重视或者得到足够资源。

但在大模型时代，真的需要烧很多钱才能看到结果。很多时候，在 robotics 上需要几万小时的数据，如果只有几百小时，根本无法验证 scaling law。

但有些国内企业家、投资人可能会说：“我先给你一点钱，你采十几个小时数据，给我看结果不错，我再继续投资或者给你算力。”

可开始阶段的钱可能远远不够。所以技术上有时需要一种信仰。

我觉得马斯克是一个很好的例子。他说要做什么时，绝大多数人都不信，但他做成了很多事情。这可能也使硅谷更愿意相信一个看上去非常 ambitious、非常不着边际的信仰，愿意投钱，促成很多难以想象的发展。

但也有一种观点说，硬件的发展还是要在国内。

谭杰

这个我同意。

对于你们要做机器人来说，当然你们现在做的是大脑。如果要做一个机器人本体，怎么办？不考虑地缘政治的话，应该怎么做？

谭杰

我相信中美应该更好地合作。

很多智能的发展可能在美国会更快，但供应链、硬件制造、本体，甚至一些控制，我觉得国内做得相当好。

如果中美能够更好合作，对全人类，尤其是机器人领域，可能是一个非常重要的里程碑。

我突然在想，Google 这条路可能类似于自动驾驶里的 Waymo。国内这些公司有硬件，可以先大量采集数据，是不是更像 Tesla 的路线？

谭杰

可以这么说。

本质区别是，Tesla 的车是有用的，所以它有数据飞轮。现在虽然中国很多企业有了更好的硬件，可以采数据，但硬件还没有达到一个 threshold，使它真正有用，所以数据飞轮转不起来。

因此很难和 Tesla 类比。

Tesla 解决的是一个更简单的问题、非常好的垂直场景。你现在在机器人上看到类似的垂直场景吗？

谭杰

我只能从熟悉的创业公司讲。比如在一个可能叫 Koro 的平台上让人非常惊艳的、可能叫 Dyna 的 demo，我觉得是一个不错的垂直领域。

至少在美国，人力成本很高，不管是收拾衣物、折餐巾，还是其他类似领域，成本都很大。柔性布料的 manipulation 传统上非常难，因为很难写一个 controller 或传统规划算法把它做好。

这确实是 AI 能够增加价值、取代传统算法的地方，同时这个 vertical 也有一定的量和需求。它找到了 AI 增加价值和垂直需求之间的交集。

总体来说，我觉得要找到这个交集还是挺难的。

但这不是你想做的事情，对吗？

谭杰

对。我想 solve AGI in the physical world。

你刚才提到的这个场景，如果那个通用机器人的大脑实现了，它会覆盖这个领域吗？

谭杰

会的，是会的。我觉得当一个 generalist 真正成型的话，specialist 其实很难生存。因为一个机器人可以做你的事情，但还可以做 100 个其他不同的事情。

那极端一点的话，你的机器人能覆盖特斯拉做的这个事情吗？因为它在某种程度上也是机器人。如果你的机器人足够通用的话，那自动驾驶这个垂类机器人是不是就失效了呢？当然，这很极端。

谭杰

当我有一个人形机器人，它能够像人一样，或者拥有超越人的智能，那么的确我不需要车来自动驾驶了。我可以有一个机器人来做自动驾驶。

你相信这个吗？

谭杰

我觉得这个没有必要，但是它是可以被取代的。从效用上来说，不一定需要它。

但你想一想，未来如果你反正买了一个家用机器人，对吧？然后你有两种选择去买车，一个是带自动驾驶功能的，它要更贵；一个是不带自动驾驶功能的，但是你知道家里买的那个人形机器人可以帮你做自动驾驶。也许你就不需要再去买那个有自动驾驶功能的车了。

虽然我觉得这个场景不一定会实现，就像你说的，非常极端，但是当一个 generalist 真正进入这个世界的时候，我觉得很多 specialist 都很难生存。

这个 generalist 多少年能进入世界，你觉得？

谭杰

像我刚刚说的，2 到 3 年应该会有足够的突破，然后 5 到 10 年是它真正落地的一个时间线。

你觉得它能有多 general？它能通用到所有任务吗？

谭杰

我觉得不太可能。我以前在硅谷跟大家交流的时候说，机器人的发展有这么几个阶段。

第 1 个阶段，我叫它 automation。这个其实已经实现了：在车厂里，所有东西都是机器人，但都是编程的，对吧？它遵循固定的规则、固定的 trajectory。

第 2 个阶段，我叫它 teleoperate robot。这个机器人硬件很完善，但它没有大脑。不过你可以通过遥操的方式做很多很多事情。现在基本上你也可以看到，特斯拉在很多场景里面是遥操的，但是你有时候分不出来它是遥操的还是自主的，这就说明它的机器人硬件已经非常完善了。

第 3 个阶段，它是一个 generalist，但不是特别 general。它能做一个 narrow domain 的事情。其实 self-driving 可能就是其中一个场景，对吧？它是智能的、自动的，但是它不是做所有事情。

下一个就是真正的 generalist，它可以开始做家庭里所有的事情，可能跟人一样 capable。这个时候可能就是人形机器人在家庭落地的时候。

最后一个 stage 叫 superhuman capability。因为强化学习，机器人可能拥有一些碳基生物所没有的东西，比如存储、power density 之类的，它可能在很多领域会超越人类的智能和体能。那可能是最后一个 stage。

我们需要担心人类的安全问题吗？

谭杰

需要。虽然还挺远的，我觉得，但是我应该时时刻刻记住，AI safety 和机器人 safety 不是儿戏。当 AI 能够自我迭代，或者机器人能够自我迭代的时候，我觉得人类是面临生存问题的。

我们要提前做一些什么呢？我觉得像 Google DeepMind 在做所有 AI 模型的时候，包括做机器人模型的时候，都有一个叫 Responsibility and Safety Council 的机构。它会审查所有可能对社会的影响，以及它的 safety consequences，然后给你很多 guideline。

同时，我们 team 里其实有很多做 robot safety 和 AI safety 的研究。你得 be aware，知道这个后果可能很严重，所以在每一个发展的周期、每一个发展的 stage，都得做相应的研究。

我觉得在 worst-case scenario 下，如果机器人的能力超越了我们对 AI safety 的理解，就应该停下机器人能力的发展，让 AI safety 或者机器人 safety catch up，然后再齐头并进地做这两方面的研究。

过去这两年的发展，你在训练机器人的过程中，有没有觉得什么事情出乎你的意料？

谭杰

太多了。我觉得 1 年前机器人还挺傻的。我记得 1 年前我们想做一个 Christmas demo，拿一个圣诞袜子抓起来，然后塞一点礼物进去。那时候我觉得机器人连袜子都抓不起来。

但是今年机器人已经可以做很多很多事情了。我们在 CoRL 做了一个 demo，我当时其实并不在，但是同事跟我讲，有一个好像 MSR 的 researcher，拿了一个 box。那个 box 上有很多按钮、很多像耳机线一样的插口，还有很多 slider 或者 knob。当然，这个东西机器人肯定完全没有见过，因为可能是他自己带来的一个设备。

他就给了我们 25 个 task，比如把这个按钮按下去，或者把左边第 2 个开关打开，这些在 training data 里肯定都没有。我听说这个机器人完成了 10 个任务，这从以前来讲是不可思议的，因为泛化性一直是机器人非常难以解决的问题。

虽然这个模型并没有完美地完成全部 25 个 task，但是完成 10 个，我觉得在 6 个月前还是不可想象的，所以发展得非常快。

王星星说：“能干活的机器人现在是一片荒漠。”

谭杰

我基本上同意。能干活的 humanoid 机器人现在是一片荒漠。

听说你日常生活是一个很潇洒的人，你平时会干嘛？

谭杰

我平常会做各种各样的事情。我比较喜欢出去旅游，也比较喜欢种花。我玩赛车，有时候会去练练赛车。后来发现，在真实赛道练赛车太贵了，所以在家里买了一个很好的模拟器练赛车。

我还练钢琴。怎么说呢，人总是需要一些爱好，也需要一些解压的手段，对吧？否则我觉得工作压力还是很大的，工作时长也很长，压力也很大。

我还有两个娃，他们年龄差距特别大。大娃 12 岁，我可以开始教他一些编程、机器人的东西，特别有意思。然后小娃 5 个月，特别可爱。所以工作之余还是有很多非常有意思的事情。

那你还是 work-life balance。你会在训练机器人和带娃的过程中，感觉到两者有一种本质的不同吗？

谭杰

非常相似。娃的学习基本上就是两种学习方式：一个是强化学习，他不断地探索，然后获得一定的 reward，再 reinforce 他做这些事情的能力。第 2 个就是 imitation，他看着爸妈做什么，看着身边的小伙伴们做什么，然后慢慢地学习。这两个是非常相似的。

我经常会做一些类比，就说我们这个机器人，it's like a 2-year-old。因为随着小朋友的发展，他开始慢慢有了视力，有了视力以后，开始慢慢学会抓取，然后慢慢可以坐起来，再开始走路、locomotion。

其实很多东西和 AI 的发展是非常相似的，只是 somehow 我觉得 manipulation happens earlier for kids，但是对于机器人来说，manipulation is way harder than locomotion。

人类学习中的数据是什么呀？

谭杰

就是你视觉看到的东西、触觉摸到的东西，以及你听到的东西。我们天然就在真实世界里不断获取数据，然后我们有一个大脑，它可以存储很多数据，可以 distill 这些信息，强化一些神经元之间的连接。

所以这个整个学习过程和机器学习是非常像的。

所以机器人真的像几岁小孩？

谭杰

如果是 locomotion 的话，我觉得机器人已经比我好了，比我强了。前不久北京不是有一个机器人奥运会嘛，就是机器人运动会。我觉得宇树的那个人形机器人跑得比我快了。

从手部的 manipulation 来说，先不说灵巧手，就说夹爪，我觉得它可能真的像两三岁的小孩。它抓得不是很稳，但是能够大概理解你要它干什么，follow the instruction，然后可能尝试几次就能做对，可能是两岁小孩的水平。

但如果是灵巧手的话，我觉得 nothing works。

从整个人来说呢？就是说，一个完整的人形机器人，它像几岁？

谭杰

这是一个很奇怪的问题。它的走路和行动能力感觉已经超越成年人了，但它抓取和思考的能力可能还是像一个小孩，所以整体我不知道你怎么算。它的发展非常不同步、不均衡。

对，因为我觉得在步态、行走、locomotion 上，强化学习在过去 5 年里面基本上解决了这个问题。但是在手的控制和 manipulation 上，我们还没有找到一个很好的解决方案。

当人和机器人共存的世界出现以后，你觉得人和机器人本质的区别会是什么？你能接受你的小孩以后跟机器人谈恋爱吗？

谭杰

这是一个我没有仔细思考过的问题。我觉得它们的区别还是很明显的，但是这个问题得仔细思考一下，我并没有一个很好的答案。

因为这其实跟机器人是不是真正有意识相关。那意识又是什么呢？

好像也没有答案。对，这是一个哲学问题。

谭杰

对。现在的机器人，或者现在的机器学习，对我来说只是从大数据里面找到一个统计规律，我觉得这和人的意识还是非常不一样的。

但是意识究竟是什么？从什么时候开始，你可以判断说机器人有了意识？

谭杰

这个我没有更好的答案。

我对所有问题想说的是，我觉得绝大多数人，尤其是不是在机器人行业里的人，对机器人的发展是 overestimate 的。因为大家习惯于把最好的结果拿出来拍一个 video，尽管这个 video 并不 representative，它可能只是 10 遍拍摄里最好的那个结果。

但是当观众看到这个 video 的时候，会觉得这只是机器人已经具备的能力，所以大家可能觉得明年我就能买一个人形机器人在家给我服务了。我觉得投资人可能会稍微清醒一点，但是投资人也经常 overestimate 整个行业的发展。

我个人虽然感到非常 excited，觉得这是一个非常好的时机和时代，但是我觉得我们还是要保持冷静，真正理解机器人现在的状况。虽然整个科技的发展在加速，但是离机器人应用的 gap 还是比较大，所以还需要等待一段时间，才能使机器人真正落地。

这还会不会有巨大的泡沫？

谭杰

这可能会有巨大的泡沫。这取决于机器人到底发展有多快，这是第 1 点。也许在未来 2 年中它持续加速，对吧？第 2 个是，大家有没有找到落地的场景。

1 年以前，我觉得这种 AI 机器人在短期内是不可能落地的，但现在大家似乎找到了一些可能可以落地的方向。如果这些速度持续加快，落地持续发生的话，可能它不是一个泡沫。

但是大家可能觉得机器人进入他们的生活，也就是人形机器人进入他们的生活，我觉得那个还挺遥远的。

一个时代可能会有几个最重要的、需要被解决的问题。你觉得机器人领域最重要的几个问题会是什么？

谭杰

这是个很好的问题。其实我真的希望机器人领域有这样的问题。但是机器人是一个非常跨学科、复杂的领域，它是很多很多一系列问题叠加而成的综合性问题，而不是说如果我解决一个问题，机器人就突然间能够 work。

如果一定要说有一个问题，就是如何能够获得高质量的数据。这可能是我们现在第 1 个亟待解决的问题。

是。我自己看机器人这个行业的时候，就感觉跟 AI 行业还是很不一样的。因为我觉得 AI 还是有一个明确的主线，但是机器人好像这里一点、那里一点，很多问题都还没有解决，好像都才刚开始。

我同意。其实这就是说，机器人行业还挺遥远的。大家不要高估现在机器人的能力，也不要低估机器人真正实现所需要的时间。

最后几个快问快答。一个你在全球范围内喜欢的食物？

我有太多喜欢吃的了，我是个吃客，吃货。

你推一个硅谷的餐厅给大家吧，就是你特别喜欢吃的。

硅谷有一家就在我家边上，叫 Pink's Bistro，是一家云南菜馆。我觉得在硅谷云南菜挺少的，所以我特别喜欢。

一个你在全球范围内喜欢的地点？

上海。

基于你读过的所有书，推荐两本必读书。

有一本书叫 Start With Why，我觉得那本书彻底改变了我的 communication skill。

第 2 本叫……我记不起完整、确切的名字了，就是 The 7 Habits of Highly Effective People。

很多人推荐过这本书。你心目中影响机器人进程的几篇论文呢？

很多论文都是我提到过的论文。我觉得，像我说的，我的第 1 篇论文《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》，是一篇非常重要的强化学习论文。

后面的一系列 Robotics Transformer 论文，RT-1、RT-2、RTX，包括 Gemini Robotics，这些都是非常重要的论文。

基于你当下的认知，一个关键的重要 bet 是什么？

是一个对机器人领域重要的 bet 吗？

都可以。

我觉得对机器人领域重要的 bet，就是你得相信 synthetic data 的价值。我觉得光靠 real data 是解决不了机器人问题的。