张小珺
Hello，Steve，先和观众朋友们打个招呼。
谢晨
谢谢小珺的邀请。我叫 Steve，中文名叫谢晨，是光轮智能的创始人兼 CEO。
张小珺
Steve 之前来过我们的播客节目，但今天是我们第一次录视频播客，所以还是请你先做一个自我介绍，讲讲过往的经历。
谢晨
1. 从物理走向仿真
我最早在北大物理系读本科，之后去哥伦比亚大学商学院读了量化金融博士。和很多科技圈，尤其是具身智能领域创业的 leader 不一样，我毕业之后的经历比较复杂。
我曾经在电商公司做过动态定价 AI 算法的负责人。
张小珺
电商是哪家公司？
谢晨
当时叫 Jet.com，是一家希望颠覆亚马逊的新兴创业公司，很快融了很多钱，最后被沃尔玛收购了。之后我还做过产品经理，负责过产品，所以一直在算法和落地之间思考自己的下一步。
直到 2018 年，我很幸运地去了硅谷，加入 Cruise。当时在 L4 自动驾驶领域，最领先的两家公司可能就是 Waymo 和 Cruise。我在 Cruise 负责自动驾驶仿真，这也是我第一次在整个行业里真正验证了仿真和合成数据并不是玩具，它们确实可以有效支持算法演进。
之后我去了英伟达，负责自动驾驶仿真。其实就在 2021 年刚加入英伟达的时候，我发现了一个非常颠覆我认知的事情：英伟达车端芯片 Orin 的最大客户不是 Waymo 和 Cruise，而是“蔚小理”。
这给了我很大的震撼，让我意识到自动驾驶的下一代可能不会在美国、不会在硅谷，而会在中国。所以我必须回国。刚加入英伟达 6 个月，我就携家带口回国，加入了蔚来，负责自动驾驶仿真。
在这里我也特别感谢我的太太，她当时给了我很大的支持。她放弃了在美国的很多工作、朋友和经历，和我一起回国。
回国以后，我从主机厂的角度真正实践了仿真，把它搭建成了一套数据闭环，可以支持自动驾驶算法的合成数据训练、大规模评测和落地。
这个时候我也产生了很多思考：仿真到底只是一个加速器，是锦上添花的作用，还是一个更加基础、更加接近第一性原理的前提条件？
我当时越来越感觉到，对于自动驾驶来说，仿真更多是一个加速器；但对于机器人、具身智能来说，仿真可能会是一个先决条件。
有了这个思考，又赶上了大模型的发展，所以在 2023 年，我和联创杨海波一起成立了光轮智能。我们的出发点就是希望用仿真和合成数据来加速机器人产业。
张小珺
为什么你刚毕业之后的工作经历会比其他人更杂？你当时在寻找什么？
谢晨
我觉得我个人一直在寻找：我究竟能够对哪个行业、哪件事产生最大的贡献？这个贡献可能不是锦上添花，而是我真正可以成为一个前提条件，去改变一个行业。
我本科是学物理的。物理很难，我刚进入北大物理系的时候是年级第 110 名。后来我可能花了 3 年时间，每天晚上 2 点睡觉，寒暑假也没有回过家，一直在学校学习，最后进入了年级前 5。
这个经历给我的感受是，第一，通过努力确实可以做得更好；但第二，天赋还是最关键的。我觉得自己可能缺少物理方面的天赋。
后来去金融，是因为当时从物理、数学走得比较好的同学，很多都去了金融行业。但真正读了博士以后，我发现这个行业开始欠缺创新，而且从我的角度来看，它对社会没有太大的真正贡献。
所以我希望更加投身科技行业。去了科技行业之后，我仍然在寻找自己最有价值的地方。
从产品端来说，我特别希望做一件真正能够有效落地的事，为用户创造价值。但做了一段时间以后，我发现这件事可能缺少技术难度和实质性的挑战，不够颠覆。
所以我确实一直抱着这些想法在不断寻找。最幸运的是，从 2018 年开始，我真正找到了自己认为最有意义的事情，而且它可能成为一个产品，也可能成为一种商业模式，这件事就是仿真。
张小珺
我好像见过你的某个师兄弟，应该也是北大物理系的。他说，你是很少见的在北大物理系读完本科之后，很快就去哥伦比亚商学院的人。你觉得自己的特质和同龄人有什么不一样？
谢晨
我觉得我的一个特质是，我希望做一件事，要么就不做，要做就做到最好。这个“最好”可能是在国际上做到第一名、第二名，或者达到除了我之外没有人能做得更好的程度。
另外，我比较希望寻找区分度。去哥伦比亚大学商学院，一方面是因为我的学习成绩确实比较好，但最主要的原因是我想清楚了自己不适合做物理。
和同龄人相比，我可能会思考得更多一些。我一直在寻找，自己在哪个方面能够真正形成优势，能够和别人不一样。
张小珺
你找到了吗？
谢晨
我认为当时没有找到，但现在找到了。
其实我没有讲的是，本科和博士期间我都创过业。本科时经历尤其复杂。大三进入年级前 5 以后，我就开始放飞了，因为我觉得年级前 5 的成绩已经足够让我申请国外名校，后面的成绩就没有那么关键了。
那时我就在想，我缺失的是什么？可能是社团体验和国际经历。因为我寒窗苦读了 3 年，而同学们可能都有各种各样不同的经历。
所以我申请去哥伦比亚大学交换了一年。那一年给我的感受很深，当时正好是金融危机，我在 2008 年感受到了很多不一样的世界，学到了很有意思的课程，也交了很多朋友。
同时我也看到，像我这样的人很希望拥有本科出国的经历。北大、清华很多同学可能也希望在本科阶段更好地感受世界，找到下一步的方向。
所以我当时组织了一个学习团、交流团，在北大办了几次，带了很多同学出国到美国。
博士期间我也有点闲不住，又创了一个业。当时我养了一只狗，名字叫土豆，是一只特别可爱的巴哥。它 3 个月大的时候被查出有心脏病，这让我非常伤心。
因为对它的爱，也因为和很多狗友交流时发现，大家可能需要一个应用：一方面帮助土豆和其他狗，另一方面帮助狗友这个社区，让大家更好地维系彼此之间的关系，也更好地维系人与狗之间的连接。
我当时下载了 500 多个 App，逐个尝试，自学设计、自学写代码，最后把这个 App 开发了出来。
张小珺
第一次科技创业？
谢晨
第一次科技创业。那是一个狗友应用，在北美的狗友社交应用里排名可能是前三，基本上都是五星评价，还是比较火的。
但问题是，我当时没有思考商业模式，所以做完以后很难商业化。当时有几个硅谷 VC 给我发了 term sheet，希望投资这个项目，但那时我也快博士毕业了，想了想还是算了。
这可能确实不是我一生想追求的方向。同时，因为没有商业模式，我也不希望拿投资人的钱去浪费他们的钱，也浪费自己的时间，所以后来把公司关掉了。
张小珺
这个公司做了多长时间？
谢晨
大概 3 年，一直到博士毕业。
张小珺
你前面的工作经历非常杂，是不是因为你一直在排除很多事情，发现很多事情其实不适合自己？
谢晨
没错。不同的人不一样。我举个例子，我觉得巴菲特和郎朗都很幸运。一方面，他们非常棒、能力很强；另一方面，他们可能在 10 岁的时候就找到了自己擅长什么。
巴菲特可能在 10 岁时就发现自己喜欢股票，也擅长投资；郎朗可能在 10 岁时就发现自己擅长弹钢琴。
而我花了很多时间去发现自己不擅长什么。我必须通过试错，才能知道自己不擅长什么。但我可能没有那么幸运，花了很长时间才真正发现自己擅长什么。
我认为自己擅长的是，基于更加颠覆性的科技打造一个产品，并且用这个产品真正支撑一个产业。
张小珺
为什么你最后选择在仿真领域深耕？而且你在英伟达只工作了 6 个月，就加入了蔚来。你后面的工作转换其实也比较快，在每家公司工作的时间都不长。
谢晨
2. 仿真验证了技术路线
我首先相信仿真的魔力。这是我当时去 Cruise 时发现的。
在我领导 Cruise 的仿真之前，实话实说，仿真就是一个玩具，或者更多是 Cruise 向投资人展示的一个 demo。它用游戏引擎和比较传统的技术美术，打造了一个看起来很真实的世界和车辆，然后用它生成了大量数据。
但算法团队，比如当时的感知团队，并没有办法有效使用这些数据。或者说，使用以后，训练出来的模型效果反而下降了，而不是提升。
当时的 CEO Kyle 也是一个非常卷的人。他把我找过去，希望我解决这个问题，给我的时间可能只有 3 个月，所以压力很大。
第一步我可能和别人不一样。我的背景比较复杂，既有物理背景，也有量化金融和 AI 背景。所以我做的第一件事并不是提升仿真，而是评价仿真。
得到一套评价准则以后，第二步才是真正把生成式 AI 和仿真结合起来提升仿真，同时和算法有效迭代。真正把数据喂给算法以后，我们看到了模型效果的提升。
这是我真正看到的一个非常特殊的时刻，让我相信了这件事。
后来我去英伟达，一方面是黄仁勋他们看到了我在自动驾驶仿真方面做得不错，确实在寻找这样的负责人；另一方面，我也在不断给自己抛反例、挑战自己：凭什么我认为自己是仿真做得最好的？
当时 Waymo 有自己的做法，Cruise 有自己的做法，整个行业还没有完全收敛，很难说谁对谁错。
英伟达的优势在于，它是一个供应商。我已经具备了从 L4 的角度去做仿真的经验，如果再去 Waymo，意义可能不大。但如果去一个供应商，就可以从供应商角度思考应该怎样做仿真。
所以在 2021 年，我去了英伟达。当时英伟达可能有 1 万名员工，但自动驾驶团队已经发展了几年，在自动驾驶上的投入也很高。
张小珺
当时从 Cruise 跳槽到英伟达，是一个主流选择吗？
谢晨
我觉得当时很多人还没有看懂英伟达，实话实说，我自己当时也没有完全看懂。直到进入英伟达以后，我才真正看懂它。
张小珺
现在后悔离职吗？
谢晨
不后悔。但我确实是在英伟达内部时，才真正感受到它是一家极其硬科技的公司。
我记得当时我和太太说，不要小看英伟达。它不是一家游戏显卡公司，也不只是一家 GPU 公司，而是一家加速计算平台公司，是一家全栈公司。这是我在内部真正看到的东西。
在英伟达，我看到了从供应商角度应该如何做仿真。但我后来为什么去蔚来，一方面是想回国，另一方面是希望从客户角度去看这件事。
如果未来最大的仿真需求来自主机厂，因为主机厂都会自研自动驾驶，那么我应该从主机厂角度真正理解应该如何利用仿真。
同时，我也很难回答自己的另一个问题：为什么这件事一定要出来做？是不是在公司内部做就够了？
所以我需要从多个角度真正把这件事理解透，也需要确认在外部创业是否存在这样的机会。
张小珺
你说仿真不是玩具，那仿真是什么？
谢晨
3. 仿真不只是加速器
这是一个很好的问题。实话实说，我最早一直把仿真叫作“时间机器”。
假如没有仿真，自动驾驶可能要花 15 年；有了仿真，没准 5 年就能达到。我认为它首先是一个加速器。
为什么这么说？因为自动驾驶最主要的数据来源，还是来自真实世界，来自车辆开回来的数据。这些数据比较容易采集，本质上是被动采集：司机买了车，开着车把数据带回来。
仿真主要做两件事。第一，补充一些边角场景，也就是俗称的 corner case，可能是道路上比较偶发的事件。第二，用仿真做评测，因为仿真具有更好的重复性，可以反复验证算法的有效性，做回归测试。
但我当时在想，仿真难道只能作为时间机器吗？它有没有可能对 AI 的发展发挥类似英伟达 GPU 的作用？没有英伟达，AI 可能就不会发展，而不是有了英伟达以后发展得更快。
在这个时间点，我开始观察机器人产业。当时在英伟达给我触动很大的一件事，是我有机会和 Jensen，以及英伟达 Omniverse 的几位 leader 深入交流。
我感受到英伟达正在下一盘大棋，它真正侧重的是机器人的仿真，并且把仿真做成了一套平台。它非常相信，通过合成数据和仿真，这是唯一能够真正让机器人未来部署到世界各地的路径。
我越来越认为，这确实是后面的一个大趋势。到了这个阶段，我真正应该出来创业做的，不是自动驾驶仿真或合成数据，而是成为整个机器人产业的数据基础设施，成为整个机器人产业的数据引擎。
张小珺
为什么要在外部做？为什么不是在某家公司内部做？为什么这些机器人公司不自己做这件事？
谢晨
我也花了很长时间去理解这个问题。更多还是要考虑这件事的难度、市场机会，以及和行业里的其他公司进行类比，比如 Scale AI。
当市场机会足够大、事情足够难的时候，我认为在外部做会有更大的优势。
因为外部公司可以招到更优秀的人才。举个例子，在 Cruise，最好的算法人才很难给到仿真团队，他们一定会给感知团队或者预测团队。
在 Waymo，最好的数据人才也不一定会给数据基础设施团队，可能会给算法团队。但在 Scale AI，它可以吸引全世界最优秀的算法人才和数据人才，来打造一套数据飞轮。
同样的道理，只要事情足够难，商业机会足够大，我认为就应该在外部做。除非这件事只是自动驾驶仿真，那我觉得它可能确实不值得完全在外部做。
张小珺
今天这期节目想聊一个相对专业、比较 niche，但也非常本质的话题：数据。
现在无论是大语言模型、具身智能还是 robotics，都非常关注数据问题，但双方所处的阶段可能不一样。大语言模型遇到的是数据撞墙，没有更多数据了，互联网数据已经基本吃完；而对于 robotics 来说，数据仍然是一片荒漠。
在你看来，数据问题有多重要？它是本质问题吗？
谢晨
数据对于 AI 是一个本质问题。
如果从第一性原理思考，我认为数据应该和人的教育行业类比。数据对于模型、数据对于智能，有点类似教育对于人的学习。
数据约等于教育。我认为数据对于智能极其关键，因为数据对于智能，就像人获取知识并不断自我提升。知识对于人的智能，是极其关键的第一性需求。
所以同理，我认为数据对于智能至关重要。
张小珺
你会怎么定义数据？
谢晨
我可能更多会从 AI 数据发展的不同阶段，来帮助大家理解怎么定义 AI 数据。
最早的数据，更多类似于机器视觉阶段的数据。当时李飞飞教授定义了 ImageNet。这个阶段的数据更多是一个数据集，是静态的，包括图片和相应的真值标注。
如果和人的教育类比，它更像一次性的填鸭式教育，比如一次性买一些教材，提供给学生学习。
之后到了 Scale AI 真正把数据生产工业化的阶段。这个时候数据更多是基于大规模工厂式流程和工艺，高时效、大规模、保证质量地生产出来。
这有点类似量贩式教育。再往后就到了大语言模型时代。
大语言模型时代，因为预训练可能已经把整个互联网的数据用得差不多了，所以数据的重点开始转移到后训练和评价。
这时更多是基于越来越多的高阶人才，比如能力很强的工程师、物理学家、数学金牌选手、律师、医生。一方面由他们出题，提供评价标准；另一方面基于这些题目考核大模型的反馈，发现相应问题，再针对问题提供更多信息和经验，帮助模型提升。
这个阶段的数据，更像教育中更加高阶的阶段。所谓“师者，所以传道受业解惑也”，老师根据你的能力和阶段，基于对你的评价发现问题，再针对问题传授经验、提供反馈，帮助你提升。
这就是数据的演变。
当然，从具身智能来说，数据会更加复杂。大语言模型的数据更多存在于数字世界，基于评价给模型更多反馈；而具身智能更多存在于物理世界，无论是真实物理世界还是仿真物理世界，都要基于评价和信号提供更有效的经验传授与反馈。
所以从这个角度来说，数据应该被定义为：能够帮助你学习的信号，以及相应的经验传授。它会从静态数据，慢慢变成一个教育系统。
张小珺
这很有意思。我还记得，最早在自动驾驶领域，数据团队提供的数据集其实没有什么反馈。算法团队提出需求，数据团队交付，算法团队之后再提出更多需求。
现在很多自动驾驶数据标注行业，仍然处于这个阶段。数据厂商或者内部团队并不了解算法的状态，更多是被动接受算法需求并交付数据。
但大语言模型产业不是这样。除了 Scale AI，后面像 Mercor、Surge 这样的公司，更多是找高阶人才为客户的算法提供评价，通过评价向客户提供反馈，再基于反馈提出更多数据需求，帮助客户提升算法。
在这个阶段，数据商其实非常了解客户的算法状态。它更像学生和老师的关系。量贩式教育中，老师对学生没有太多了解，只是填鸭式教学；而更加高阶的大学教授或物理竞赛老师，会对学生进行更有针对性的指导。
我理解，数据正在朝着有针对性的指导这个方向演进。
张小珺
行业里经常听到两句话：一个叫数据标注，一个叫“有多少人工就有多少数据”。能不能形象地解释一下，这两句话背后蕴含的工作量？具体工作包含哪些事情？流程是怎样的？
谢晨
4. 从标注走向经验传授
数据也在演变，可能从最早的数据标注，发展到现在更多的数据采集。
以数据标注来说，早期 Scale AI 提供自动驾驶数据时，可能先拿到客户的各种传感器信息，进行清洗和切片。在此基础上，它有自己的一套工具链，当然当时更多还是以人为主的流程。
人根据工具链和规范流程进行标注，比如画一个框，标记这是自行车、那是行人，还包括更加时序性的标注。经过层层标注之后，进一步发展到先自动化标注，再由人在环进行质检，最终把数据生产出来。
张小珺
这种传统自动驾驶数据标注产业需要多少人力？
谢晨
需要非常大的人力。现在自动驾驶客户端已经有很多自动化算法，但整个产业仍然有很多基地，很多省市都有标注基地。每个基地可能有成千上万人从事标注。
整个市场上，我估计可能有 10 万到几十万人在做人工标注。
张小珺
这么多人？
谢晨
是很多人。当然，实话说，我认为这仍然是上一代数据。它更多是基于一套规范准则，让人按照这套准则提供标注信息。
但下一代数据里，人提供的是经验传授。
举个例子，大语言模型的数据，无论是 Mercor 还是 Surge，都是现在比较新兴的数据商，为大语言模型提供后训练和评测数据。
这包括 RLHF，也就是不断和模型交互、提供反馈；也包括出题和提供答案，让客户的算法一方面评价模型，另一方面用更好的 RL fine-tuning 去提升模型。
这些人都是很有经验、或者说很贵的人，他们的时薪可能在 100 美元以上。
他们提供的更多是原始数据，不是在已有数据上增加一层标注，而是直接对数据提供反馈，或者直接生成新的数据。
张小珺
能举个例子吗？
谢晨
比如问一个问题：“你对 AI 数据的看法是怎样的？”
算法可能先生成自己的看法，比如 GPT 先生成一个答案。如果有一个数据专家，他会根据 GPT 的看法提供相应反馈，同时还会出更多题，扮演老师的角色。
张小珺
他会出更多题？
谢晨
没错，他是老师的角色，会出更多题，也会提供更多答案。
比如编程，一段程序可能有 10 种写法，哪一种好，哪一种坏，哪一种模棱两可，都需要提炼出来，交给算法。
所以这和之前的数据非常不一样。自动驾驶或者传统机器视觉数据，通常需要提供正确的信息，完美的正确信息是最好的。
但现在的大语言模型或者具身数据，没有严格的正确，也没有严格的完美。每个人的回答都可能不一样，但不同人的分布、多样性、其中的逻辑关系，甚至一些错误数据，都可能极其有价值。
我举一个我们服务具身客户的例子。最早的时候，我们的客户，包括一些全球最顶尖的具身智能大脑公司，需求可能是：提供完全正确、完美的、基于仿真的机器人长程任务，比如做一个披萨。
机器人要从冰箱里拿出面饼，在上面放各种调料、水果、蔬菜、肉、奶酪，最后放进烤箱、按下按键，把披萨完美做出来。这是一个有效的数据。
但后来我们和客户一起迭代发现，最有效的数据其实是先失败、再成功的数据。
比如，我要放一片蘑菇，拿出来并切片以后没有抓牢，蘑菇掉到桌子上，我再把它捡起来放回披萨上。这类数据我们可能叫负样本，或者纠正数据，往往更加有效。
模型的泛化能力提升以后，能够从错误中学习认知，这更接近人的学习过程。
张小珺
前段时间我们有一期播客聊过一个观点：有团队认真研究了给 Frontier Labs 做数据标注的公司，最大的体会是，如果模型的数据分布里没有某类任务，模型就无法完成这类任务；只有压缩过这类数据，任务才可能成功。
所以今天的模型还是一个巨大的压缩器。他提出，数据即模型，模型即应用。你认可这个观点吗？所有数据都应该被训练进模型、压缩进模型吗？
谢晨
5. 零样本决定模型上限
这里提到了一个很好的、现阶段的问题：模型的泛化能力还不够。
怎么定义泛化能力？英文叫 zero-shot，中文就是零样本能力。也就是我没有给你看过这个样本，你没有见过，但你能够把它做出来。
比如，假设机器人训练中没有见过做披萨的视频，但它见过切菜、做汉堡。现在让它做披萨，它能不能做出来？这就是零样本能力。
现在从具身角度来说，零样本能力仍然比较欠缺。在这种情况下，你需要什么任务的执行率，就需要补充什么任务的数据。现阶段这确实是合理的。
但我认为“数据即模型”这个观点，从长期看可能不是本质观点。本质上，模型架构仍然需要提升。如果一个模型在架构上不具备零样本泛化能力，我认为它就不是真正通往通用智能的模型。
再举一个例子，人的算法也不一样。普通人的学习算法，可能和马斯克的学习算法不一样。
马斯克可能更多从第一性原理出发，基于广博知识和实践，迅速迁移出新的知识，帮助自己理解事物。他的模型可能比普通人的模型有效得多。
所以我认为，智能一方面肯定需要更多有效、高质量的数据；另一方面，模型本身也需要提升。
张小珺
这里说的是架构和算法问题，本质上还是模型不够聪明。
谢晨
本质上还是泛化性需要由算法架构带来。当然，可能存在一个 scaling law 的时刻：数据量必须堆到足够大，才能看到泛化能力出现。
张小珺
也就是足够聪明了。
谢晨
对，足够聪明了。
我们现在也服务了全世界最大的几个大模型团队。通过和他们合作，我们发现，在具身领域，zero-shot 能力已经逐步开始出现了，所以我还是比较乐观的。
张小珺
这种零样本趋势会在哪些场景出现？
谢晨
我觉得可能不完全是场景，更多是团队。大概 6 个月以前，我们的大模型客户和机器人客户，对数据的需求无论从数量还是具体定义上都比较接近。
但最近 6 个月发生了质的变化。我发现大模型客户现在最关注的是零样本能力。
他们相信的是 scaling law：用足够有效的算法、足够多的高质量数据，可能是本体无关的仿真数据和人类数据，再基于仿真进行大规模评测，来实现一个相对简单的问题。
比如不是轮式底盘机器人，也不是足式机器人，而是机械臂和夹爪，验证它们能否实现足够有效的零样本迁移能力。
张小珺
大模型团队为什么要做硬件相关的事情？
谢晨
他们恰恰是不想做复杂的硬件，所以选择了最简单的机械臂。
如果做人形机器人或者轮式机器人，复杂度会高很多，需要大量维护，每个本体也都有很大的调试工作。
张小珺
大模型团队用机械臂做什么？
谢晨
现在最主要的几个大模型团队都在做具身智能的 VLA。不是只有具身智能或者自动驾驶团队在做 VLA。
这是我认为最关键的一点。比如 DeepMind、英伟达、OpenAI，他们做 VLA 想走向哪里？
我认为他们最高优先级关注的是通用智能，底层逻辑是做具身智能的大脑。
首先一定要有泛化性。这个大脑的能力不一定要特别强，不一定要有一双灵巧手去拧螺丝，但它应该在 10 种或 100 种不同任务上训练以后，面对另外 5 个没有见过的任务，也能够完成。
这就是大模型团队关注的零样本泛化能力。
而机器人客户越来越多地在具体场景落地。他们很关注自己的本体，可能是轮式、足式，也可能有机械手，手上还有传感器。他们更关注能不能把具体任务执行好、落地好。
所以两类客户最早的关注点可能比较接近，但现在已经明显分化。
大模型团队首先关注最容易获得的数据，比如家居、商超和工厂场景，帮助它们提升泛化认知。机器人客户则有具体落地路径，可能去酒店、工厂车间、车辆工厂，甚至去沙漠更换太阳能板，更关注具体业务场景的数据。
张小珺
我有一个认知缺口：大模型团队里做 VLA 的团队，和做 LLM 的团队，应该是两个团队，对吧？他们是什么样的协作关系？
谢晨
不同公司不一样，往往是两个不同团队，但它们是合作极其紧密的团队。
这里可能包括大模型团队、世界模型团队和 VLA 团队，它们是极其共生、协作的关系。
VLA 往往会用到一个基础模型。如果公司已经拥有全世界前五的大模型能力，就完全可以用自己的基座模型去做；如果没有，难度就会大很多。
从我们的角度看，合作公司里数据量最大的，往往同时具备大语言模型团队、世界模型团队和 VLA 团队。
如果没有自己的基座模型，就会用其他模型，比如千问或者其他开源模型。
除此之外，他们对数据的理解也非常到位。不只是纯粹正确的数据，也包括纠错数据——错误以后再改正的数据。这个认知很多是从大语言模型领域发展出来的，因为它更像人。
他们对数据量的预期也完全不同。如果一个团队已经见过非常大的需求，对数据量的预期就会很高；而如果团队过去使用的数据量比较小，也很难一下子打开一个很大的数据量口子。
第三个点是 infrastructure，包括训练基础设施、芯片以及强化学习基础设施。
机器人公司有几千张卡已经很多了，但大模型团队可能有几万张卡，至少是一个数量级的提升。
强化学习基础设施也很难自研。很难专门为具身模型搭建一套大规模并行的强化学习基础设施，而大模型团队往往已经有最好的基础设施，可以直接拿来使用，只需要从大语言模型场景迁移到 VLA 微调。
张小珺
所以，LLM 大语言模型团队是在做我们所谓的通用大脑？
谢晨
没错。
张小珺
VLA 团队是在做机器人大脑，但它大概率不是从头训练，而是基于大语言模型的大脑。
谢晨
没错。
张小珺
那世界模型团队呢？这是新出现的吗？
谢晨
我们也看到一些客户在使用世界模型，或者希望未来把世界模型作为基座模型，去做后面的 VLA。
我认为世界模型拥有更多对物理世界的预测和理解能力。基于它再加上相应的 action head，就可以做出更好的 VLA。
世界模型和 VLA 是很有意思的共生关系。世界模型可以作为基座提供给 VLA，VLA 又作为落地应用，给世界模型相应的反馈。
如果一件事的评价标准越来越接近这两件事，未来它们可能会合二为一。
比如在具身领域，现在最好的评测集可能是 BEHAVIOR。它是李飞飞教授团队做的一套基于仿真的具身评测集，包含比较难的长程任务和很难采集的数据。
我也有幸在 12 月的 NeurIPS 峰会上，参与了今年第一次 BEHAVIOR Challenge 的颁奖。
我发现一个很有意思的情况：参加 BEHAVIOR 榜单的团队里也有世界模型团队。他们基于自己的世界模型，再加上 action head 去参赛，成绩也很好。
另一个有意思的公司是 Inact。它基于 BEHAVIOR 这套评价体系——本质上是一套评价 VLA 的体系——又做了一套评价世界模型的体系。这也是李飞飞团队做的。
所以同一个 benchmark，既可以评价 VLA，也可以评价世界模型。如果评价系统越来越一致，这两件事很可能会越来越相关。
张小珺
世界模型替代的不是 VLA，而是大语言模型吗？
谢晨
我认为世界模型可能更多是云端的大脑，VLA 则是端侧的大脑。长期看，它们可能是共生关系。
大语言模型在数字世界已经具备一定的世界模型能力，但缺乏对物理世界的理解。世界模型拥有对物理世界的理解和预测能力；具身 VLA 则需要在物理世界具备更加精确、有效、高效的行动能力。
所以三者现在还是不一样的，但未来训练基础设施和底层基座会越来越趋同，可能形成一个统一的、非常大的大脑。
张小珺
未来可能世界模型是云端大脑，VLA 是端侧大脑，数字世界还有一个大语言模型大脑。
现在听起来有两股势力：一类是做大脑的公司，一类是做本体的公司。你觉得这两类公司哪个会成为整个版图上更重要的一股势力？
谢晨
6. 具身智能重写产业版图
长期来看，两类公司都重要。但我想先说一下我的观察。
数据闭环或者数据引擎这个概念，是特斯拉发明的。它之所以成立，是因为要落地 FSD 自动驾驶系统，而特斯拉当时可能已经有上百万辆车在路上，可以全天候基于司机和用户开回来的数据，训练云端大脑。
云端大脑不断提升以后，再部署到端侧，形成数据飞轮。
特斯拉数据引擎的底层逻辑，本质上是本体相关的。自动驾驶厂商或 OEM 因为在全世界部署了最多自己的车，所以可以从自己的车上收回最多数据，再基于这些数据训练最好的大脑。
所以这些 OEM 自己就是最大的大脑商。
但我认为，对具身智能来说，这个逻辑会被颠覆。因为世界上并没有上百万台机器人部署在端侧，全天候执行各种任务；如果有人遥操作机器人，成本又太高，也不是可规模化路径。
在这种情况下，整个数据架构一定会符合数据金字塔。最少的数据量，是端侧真实部署机器人采集回来的真机数据；中间部分是基于仿真生成的数据；最下面是互联网数据或者人类第一视角数据。
后两类数据，即仿真数据和人类第一视角数据，不需要基于具体硬件本体就能生产，而且规模化能力远高于真实机器人部署。
所以，最多的具身数据一定不是由本体提供的。
在这个前提下，我认为特斯拉式的数据闭环在具身智能领域不成立。不会存在某个本体既是全世界应用最广泛的本体，又能做出全世界最好的大脑。
再举一个例子，特斯拉也在做机器人 Optimus，但 Optimus 的大脑是由 xAI 提供的，而不是由特斯拉自己提供。逻辑是一样的：一定会由大模型商来做大脑。
大模型商会利用更多本体无关的数据训练大脑；本体商则会利用大模型商提供的大脑，做微调、部署和落地。
除此之外，还会有两类公司介入。
一类是数据商。数据商也经历了不同演变：最早在静态数据集阶段，和客户纯粹是甲方乙方关系；到了 Scale AI、Surge、Mercor 阶段，和客户更像 partnership；再往后，数据商需要提供评测，基于评测提供反馈，基于反馈刺激客户需求，拿到更多数据，再用这些数据训练更好的模型，然后继续评测。
所以数据商和大模型厂商会越来越形成共生关系。大模型商需要数据商提供更有效的评测和数据，数据商也需要基于大模型商提供的模型反馈，验证和迭代自己的数据生产链路。
另一类是场景商，往往被大家忽视。场景公司比如 OEM，具备很多机器人需要落地的场景，包括车间、工厂；医疗集团有很多场景需要部署机器人；农业公司也有大量需求。
这些场景级公司都有大规模部署机器人、实现落地的需求。我们现在服务的客户，已经有很大比例是场景级客户。
所以未来可能是四者协作：
第一，大模型商基于本体无关的数据，不断实现 scaling out 和泛化，提供大脑；第二，本体公司基于大模型提供的大脑，以及更多场景和数据，完成落地；第三，数据商提供数据和评测；第四，场景公司把机器人部署到真实业务中。
场景公司也有很大的自主权，可以选择 A 硬件公司的硬件，也可以选择 B 硬件公司的硬件，甚至自己研发硬件。
我认为很多 OEM 都会开发自己的机器人，因为它们对量产、质量管控、硬件稳定性和成本控制，可能有更好的理解。它们也可以基于大模型大脑的能力，直接把机器人落地到自己的场景。
所以未来可能是这四者的连接。
张小珺
说回刚才提到的观点，你觉得不能说“数据即模型”，那从长远来看，应该是什么即模型？
谢晨
我认为还是要回到第一性原理，看人是如何学习的。
系统性的学习能力，应该是模型的底层能力。本质上，大模型不能说是知识即模型，而应该是不断提升的系统级能力。
每一次系统级能力的提升，可能都会带来新的数据需求。
小孩学习可能看一些画本就够了，但马斯克或巴菲特的学习，可能需要更加针对性的高阶知识和信号。
张小珺
相当于有一个私人教师？
谢晨
对。但我认为这个私人教师不应该以人为中心，而应该以系统为中心。只有这样，才能提供足够规模化的私人教学，提供足够规模化的言传身教。
张小珺
我们一方面聊过很多大语言模型嘉宾，另一方面也聊过很多 robotics 领域嘉宾。你觉得今天这两个领域面对的数据问题有什么不同？各自处于什么阶段？
谢晨
两者还是很不一样。
从大语言模型角度来看，预训练数据已经足够了，本质上是整个互联网的数据。它们面临的更多是后训练和评测问题。
后训练和评测，本质上类似言传身教，需要找越来越高阶的老师提供经验。这些老师往往来自不同领域，比如最好的工程师、数学金牌选手、最好的律师和医生。
而且，越来越多的言传身教会变成出题。普通老师可能通过示范教育学生，越来越好的老师则会问越来越难的问题，激励学生自己寻找答案。
所以大语言模型面对的本质问题，是找越来越好的人，基于他们出越来越难的题，并根据题目和反馈提供更多经验，不断提升模型能力。
对于具身智能来说，现在的问题可能在两端。
第一端是预训练。现在缺乏足够的预训练数据，而这些数据需要包含物理世界，无论是真实物理世界还是仿真物理世界；也需要包含与环境交互的资产，比如电脑、咖啡杯等。
同时，还需要经验传授：人或机器人应该如何操作不同物体，如何和物理世界交互，以及相应的语言定义和评价标准。什么是好的，什么是不好的，都需要转化成学习信号。
这是预训练非常关键的需求。现在整个行业仍然缺乏规模化预训练数据，来帮助具身模型形成一个基座模型的基础能力。
第二是评价能力。这个问题可能很多人没有想到。
为什么自动驾驶或大语言模型提升得那么快？自动驾驶本质上是因为评价是免费的。
自动驾驶的评价通过端侧部署的 shadow mode，也就是影子模式完成。把算法部署到车端，在真实环境中运行，但不真正执行，而是把算法输出的信号和司机操作的信号进行对比。
遇到不同的地方，就把它作为反馈拿回来。因为如果司机是老师，学生和老师出现差异，很可能意味着学生做错了。
这是一个非常便宜、廉价甚至免费的信号。同时它还包含示范和经验：错了以后老师怎么做、人怎么做，让模型基于模仿学习提升自己。
大语言模型也有类似的影子模式。当大语言模型上线以后，它和用户的交互就是一种免费反馈。我们使用 GPT 或其他模型时，也在告诉模型哪里好、哪里不好，给它示范，帮助它提升。
但具身智能目前不具备大规模评价能力。我认为这一定要基于仿真提供。
机器人不具备在真实世界大规模提供影子模式的基础，所以唯一可行的方式，就是基于仿真规模化评价，拿到更多信号，再把信号交给具身大脑，让它不断提升。
所以评价也是具身模型数据的核心缺失。
张小珺
机器人的数据收集问题，比大语言模型结构性地更难？
谢晨
我觉得难很多，可能是几个数量级的难。
张小珺
如果足够多的数据是一百分，你觉得今天大语言模型的数据能到多少分？机器人的数据能到多少分？
谢晨
很难定义这个一百分。人的学习是无止境的，越有能力的人，学习能力可能越强，每天涉猎的数据更多，而不是更少。
但如果从概念上看，我觉得大语言模型的预训练可能已经到顶了，更多是在后训练和评测上继续发展。后训练和评测还有很长的路要走。
我估计大语言模型现在可能到了 60 分，但真正往上提升，在后训练和评测阶段还有很大空间。
对于具身智能，如果假设 100 万个机器人回来的数据是一个起点，这个起点可能也不是 100 分，而是 60 分。
现在甚至没有 1 万台机器人，无论是真实、仿真还是人类数据，能够提供足够的数据。所以从这个角度来说，可能连 0.6 分都不到。
张小珺
这给大家一个直观感受。
但今天大语言模型从 chatbot 走到 agent 阶段以后，agent 也会更加缺乏数据。因为 AI 没有见过真实人类工作，所以也需要找大量人类专家，在真实工作环境中收集数据。
你觉得 agent 今天遇到的数据问题，是不是和 robotics 有些像？
谢晨
这个点特别好。机器人就是物理世界的 agent，而大语言模型的 agent 是数字世界的 agent。
它们遇到的问题很像：首先需要环境，其次需要经验传授，另外还需要评价和评价信号，帮助自己提升。
对于大语言模型 agent，现在有一个很关键的数据产品，叫 RL environment，或者 RL env，也就是服务强化学习的环境。
这个环境本质上是一个虚拟环境，但不是物理仿真环境，而是数字世界的环境。比如虚拟的滴滴网站、京东网站、购物网站、编程网站或编程环境。
它可以基于预先定义的成功指标、任务和考题，让 agent 在环境里不断进行强化学习，持续试错、fine-tune 和提升。
这就是数字世界 agent 现在最需要的数据产品。
具身智能目前还没有真正进入 agent 阶段，仍然处于预训练和评测阶段。最大的两个问题，还是没有足够的预训练数据让模型达到基础能力，也没有足够好的规模化评价，帮助大模型商不断衡量并提升基础能力。
这里我还想说一个细节，为什么 BEHAVIOR Challenge 这么重要。
其他学术级 benchmark，我们的顶尖大模型客户基本都已经打爆了。具身领域很多 benchmark 相对容易被打爆，真正足够难的是 BEHAVIOR。
BEHAVIOR 可能有 100 道题，现在最高成功率是 26%，所以还有很长的路要走。
这更多是学术级 benchmark。对于 industry 来说，需要更加大规模、高质量的 BEHAVIOR，来挑战具身模型的基础能力。
在预训练和评测基础上，后训练也会变得非常关键。当预训练基础能力达到一定标准后，通过强化学习进行后训练会变得很重要。
我们也看到一些客户在基于仿真做后训练和强化学习 fine-tune。这和数字世界大语言模型 agent 很像：数字世界 agent 在虚拟网页端、编程端不断试错和 fine-tune；物理世界 agent 则在仿真环境中，基于定义好的成功指标和大规模场景不断试错、fine-tune。
只是相比预训练和评测，这目前可能还是次优问题。
张小珺
刚才我们对数据行业做了一个横向 mapping。现在想聊纵向：数据产业在人工智能领域是一个分支吗？在整个生态里大概处于什么位置？我们来聊聊数据产业的前世今生。
谢晨
7. 数据产业进入系统时代
数据产业的发展，和每一次模型学习范式的发展有很大关系。
最早的数据产业可能起始于李飞飞的 ImageNet。它既是训练集，也是评测集，服务的主要是机器视觉，提供照片和真值标注。
它是一个静态数据集，给出的都是正确答案，所以数据产业更像填鸭式教育。
后来到了自动驾驶，Scale AI 真正开创了工业级数据产业。最早的静态数据集很难控制时间，而 Scale AI 真正用工厂级、大规模的人力运营，去管控质量、效率和交付时间线，可靠交付自动驾驶标注数据。
这更像量贩式教育。
再往后到了大语言模型数据产业，核心逻辑发生了变化。最早是用户提出需求、数据公司交付，偏工厂式、相对粗放；后来变成评测驱动：帮助客户发现问题，刺激新的需求，再针对性地交付。
Scale AI 也开始把自己定义成 data factory，类似学习台积电的晶圆厂模式。本质上仍然是工厂，但有更多流程、规范、know-how 和 process，这些是它的 secret sauce。
但再往后还会不一样。大语言模型进行 RLHF 和评测时，仍然是以人为中心。Mercor、Surge 也是以越来越优秀的人为中心提供反馈和经验传授。
对于具身智能来说，所需数据量远远大于大语言模型。很难想象把 Scale AI、Mercor、Surge 的规模扩大 1,000 倍。它们可能已经在全球拥有几十万人甚至上百万人，再扩大 1,000 倍，很难规模化，也很难高效。
所以这时一定会从以人为中心转向以系统为中心。系统是一个引擎，基于端侧不同的人、仿真和工程能力，放大人的信号和经验，有效支持具身模型演进。
而且这一定是评测驱动，而不是训练驱动。
所以我认为，数据产业会一步一步这样演变。
张小珺
刚才说标数据、收集数据的人时薪大幅提升，那人数减少了吗？
谢晨
人数其实没有减少。
我最早也思考过，是否有一天算法学习效率大幅提升，或者模型能力越来越高，就不再需要顶尖人才。但到目前为止还没有。
这有点像 DeepSeek 出现时，大家说 test-time scaling 一旦出现，预训练或者整体上对英伟达 GPU 的需求可能会大幅降低。
但后来发现，test-time scaling 出现以后，反而刺激了更多 AI 应用和 AI agent 的需求，反向增加了对英伟达 GPU 的需求。
很可能也是这样。比较直观的一件事是，越有能力的人越爱学习，每天读的书不是减少，而是增加。
当然，它会增加到某个阶段。比如 AI 模型能力强到最后达到诺贝尔奖水平，世界上已经没有几个人可以教它了。
这时它需要做的就是自我提升，和人一样。
人小时候可能更多看画本、接受老师言传身教；长大以后则更多是自我提升。很多人不是和别人比较，而是和自己比较：今天比昨天进步多少。
AI 也会进入这个阶段。它需要一个环境，需要不断更新的成功标准，基于自身经验和 RL，不断提升自己。
这也是仿真和合成数据很关键的阶段，因为它永远需要物理环境，也永远需要评价指标。
张小珺
它需要学校、老师和考试。
谢晨
对。这个阶段之后，可能就是自我学习。
它永远需要环境、背景，以及相应的成功定义。
张小珺
数据产业催生了哪些关键的人和公司？
谢晨
首先，我觉得李飞飞真正定义了 AI 数据这件事，她的贡献非常高。
之后真正实现工业化的，我认为是 Scale AI。它引领了工业化 AI 数据浪潮，而且经历了两次。
第一次是自动驾驶创业阶段。当时整个行业规模化 AI 数据的需求主要来自自动驾驶，Scale AI 把它做成一套流程化产线和工厂，可靠交付自动驾驶标注数据。
第二次是在 2021、2022 年左右进入 GPT-2 和 RLHF，开始较早地服务大模型数据，尤其是后训练和评测数据，也就是评测驱动的数据。
后来从评测驱动数据演变出的公司，比如 Surge、Mercor，我认为也属于同一类。
张小珺
你刚才提到，对 robotics 来说仿真非常重要。仿真到底在行业里扮演什么角色？是加速器、加速工具，还是更底层的东西？
谢晨
8. 仿真成为机器人的必选项
我从业以来一直在思考这个问题。现在我可以很肯定地说，仿真对于机器人是必备条件。没有仿真，机器人产业肯定做不成。
第一，刚才提到了数据闭环。机器人的数据闭环和自动驾驶完全不一样。
机器人没有那么多真正的机器部署在端侧，再基于人的示范拿回大规模数据，所以必须基于仿真，才能采集足够规模化的数据。仿真是必选项。
第二，在数据方面，我认为仿真和人类数据会是本体无关数据的主要来源。
在评测方面，除了仿真，我想不到其他能够规模化评测的来源。
小规模评测可以在实验室或某个场景里，放 10 台、20 台样机，做算法推理评测。但如果要落地家居场景，同时在 1,000 个家庭，甚至更多家庭里评测成千上万个不同任务，并且每天算法都在演进，能够每天重复测量多遍，精确知道每一版算法的变化，这只能通过仿真实现。
我们最早服务的客户，都是非常坚定的仿真 believer，相信合成数据和仿真，用我们的合成数据训练大脑。
当时有一些最顶级的 Frontier Lab，属于真实数据派，绝对不愿意尝试仿真。但过去 3 个月，基本都成为了我们的客户，开始规模化做评测。
张小珺
是你们找他们，还是他们找你们？
谢晨
他们来找我们。
张小珺
都有谁？
谢晨
这不太方便说。但这是一个非常有意思的信号。
最早我们主动给他们发了很多邮件，他们说：“我知道你们是仿真最棒的。如果我要做仿真，一定会找你们，但我现在还没到那个时间点。”
但过去 3 个月，他们都来找我们了。
张小珺
他们共同遇到的问题是什么？
谢晨
他们没有办法规模化评测。这是核心问题。
他们认为算法已经做得足够好，以前通过真机数据或者学术级 benchmark 去评测。但在真正的 industry 场景里，学术 benchmark 意义不大，因为太简单，也不够规模化。
比如一些落地家庭场景的大脑团队，叠衣服、做家务已经做得很好了。他们希望有 1,000 个不同的家居场景，随时评价自己的模型。
关键不只是场景，而是任务和评价标准。这是他们不可能通过真机获得的。
张小珺
听起来，想做大脑的那一批人可能最早拥抱仿真；而一开始从某个场景走出来的公司，比如做叠衣服、做商超机器人的公司，拥抱仿真会比较慢。当它需要泛化时，才需要仿真，是这个意思吗？
谢晨
仿真有两种。
比较传统的是支持强化学习的仿真，比如全身控制、full-body control 或 locomotion，也就是让人形机器人更有效地行走、站稳，完成全身控制任务。
这时机器人公司会很拥抱仿真，它们是最早使用仿真的一批。但这类仿真需求量比较小，可能在一台本地机器上跑强化学习就能实现，不是大规模需求。
对于大规模需求，正如你说的，更多是大模型商和大脑公司。他们需要泛化，需要规模化数据或评测。这至少会被一个点卡住，而这个点一定会用到仿真。
张小珺
所以他们是最早拥抱仿真的那一批人。
谢晨
没错。
张小珺
你刚才说近 3 个月开始出现变化，应该是在垂直场景做机器人的公司，对吗？
谢晨
也不完全是。大模型团队也会分化。
有些团队一开始就是坚定的仿真派，也有一些最早是“真机派”，相信真机数据。但到了某个阶段，它会发现这条路根本走不通，于是一定要用仿真。
过去 3 个月，我们增长最多的，第一是基本上所有大模型团队，以及它们的世界模型团队。一个公司可能不只是一个团队和我们合作，可能 VLA 团队、世界模型团队都在合作。
很多 VLA 团队可能基于世界模型的基座。世界模型团队可能更适合使用我们的数据，VLA 团队使用我们的评测，这是我们看到的一个现象。
张小珺
这三个团队对数据的需求不一样吗？
谢晨
不太一样。
世界模型不一定需要那么强的行动数据，但一定需要更好的物理约束和光度信息，帮助它预测物理世界中下一件事情的发生。它不一定要有第一人称视角，或者机器人视角与物体交互的数据。
VLA 更像行动派，必须有行动数据。数据可能来自它自己的本体，也可能来自其他本体、跨本体，甚至来自人的行动。
但从评价角度来看，它们都需要仿真，因为需要在足够真实的物理环境中，确认预测能力是否准确，或者行动能力能否完成不同任务。
张小珺
中国有很多做机器人大脑的公司，无论大公司还是创业公司。我和他们交流下来，直观感觉仿真派似乎少于真机派，因为他们普遍的理由是：真机数据更容易泛化，仿真数据不好泛化。
为什么中国的机器人团队里仿真派似乎不多？
谢晨
我认为有几个原因。
第一，这类公司本质上还是机器人公司。机器人公司的商业模式，底层还是卖本体。
如果它是仿真派，就很难说服客户购买它的本体。国内很多真机派的商业模式，本质上是卖“素材中心”：客户买它的机器人，用机器人采集数据，再不断提升模型。
所以它需要相信真机数据，才能卖本体。否则，本质上就是屁股决定脑袋，它需要提倡真机派，才能更有效地跑通基于真机素材的商业模式。
当然，真机素材一定是需要的。我不否认真机素材，也认为现在的量还需要增长，可能再增长 10 倍也有必要。
关键是它会增长到什么阶段。按照数据金字塔，最少的数据应该是真机实际操作的机器人本体数据。真机数据最准确、最好用，但成本最贵，也最难规模化。
这甚至不只是成本问题，而是很难快速进入不同场景并规模化。如何快速更换场景，是很难的事情。
很多真机素材中心其实也在用“现实世界的仿真”：拿的是假香蕉、假苹果，不是真香蕉、真苹果；场景变化很小，可能都在桌面区域，或者用类似宜家的方式搭建。
它很难像仿真一样，规模化到更广阔、多变且足够物理真实的场景。
从我们的角度看，真正做预训练级大模型的真机派，我也比较认同谭杰的看法：纯粹做一个具身大模型可能不太合理。
具身大模型一定要基于一个基座模型。在这个基础上，更应该由大模型公司基于基座能力，结合更多数据，先做预训练，再做后训练，形成更好的 VLA。
所以很多机器人公司其实并没有真正做预训练级大模型，它们需要的数据也没有那么多。
张小珺
谭杰有一个观点我印象很深。我和他说，国内真机派认为真机数据有更好的泛化性，他说，仿真数据带来的是 sim-to-real 问题，而不是泛化问题；泛化应该通过生成极大量的仿真数据解决。
你同意这个观点吗？
谢晨
我同意。
张小珺
我们先定义一下仿真。现在仿真的定义也很模糊，过去可能主要指物理仿真，现在也有人把一部分视频生成认为是仿真。你怎么定义仿真？
谢晨
我希望更严格地定义。
我认为仿真需要在一个足够物理准确的环境中，可复现、可修正地生成相应行动，并且观测到行动结果。
物理准确，意味着环境和交互物体要足够接近真实世界。不只是看起来像，也不只是几何上像，摩擦力和其他物理参数都要对齐。
第二是可复现。假如我运行 100 遍仿真，结果不一定 100 次完全相同，但至少要有足够高的概率，比如 95% 或 99% 相同。
第三，在相同环境、相同起始点下，改变行动以后，能够看到相应结果发生变化。
我认为这几个点都是仿真的必要条件。
再看视频模型。视频模型更多是预测下一帧，可以看到世界的变化，但很难复现。如果不能复现，就很难做大规模、可靠的评测。
第二，它没有行动，难以产生足够准确的行动，这样也很难做评测或生成数据。
第三，当改变初始状态条件时，它能否产生其他行动，也很难保证。
所以普遍的视频模型现在还不能称为仿真。
当然，我认为世界模型有机会真正成为仿真的一类。
世界模型底层是生成模型，优势是可以更广泛地生成相对真实的世界预测，虽然物理真实度可能还没有达到仿真水平。
未来接入机器人以后，它也可能预测机器人下一步行动，这在一段时间后是可行的。
但仿真和世界模型不是谁取代谁的关系，而是共生关系。
我们服务的客户里有很大比例是世界模型客户。为了逐步提升预测能力和物理 grounding 能力，他们需要更好的物理数据，需要更加真实的物理，也需要更贴近人类行为的行动。
在这方面，仿真可以帮助世界模型。
另一方面，世界模型可能具备更好的生成能力，可以帮助仿真数据和仿真结果实现更好的泛化，也可以基于世界模型做更好的光度建模。
过去几个月，我们和世界模型客户越来越形成共生关系。他们使用我们的数据，我们使用他们的模型，两者共同把这件事做大。
张小珺
听起来，仿真是世界模型的一种手段。
谢晨
很难说谁是谁的手段。仿真不是世界模型的子集，世界模型也不是仿真的子集。
它们应该共同去完成一件更大的事情：为智能提供更好的学习能力。
张小珺
现在世界模型、VLA 和 LLM 这三个团队，哪个和你们合作最多？
谢晨
世界模型和 VLA 合作更多，因为我们关注的是物理环境中的行动经验，以及相应的评价准则。
数字环境相关的 LLM 数据，我们做得相对少一些。
张小珺
世界模型和 VLA 会相互吞并吗？
谢晨
短期内它们是共生、相互依赖的关系。未来某一天可能合二为一，但很长一段时间里，两者都还是相互依赖的。
张小珺
我们能不能把 robotics 行业对标过去的自动驾驶？以前自动驾驶有 Waymo 和特斯拉之争，延续了很长时间。今天的 robotics 大脑公司似乎都在走 Waymo 的路，但现在看，特斯拉路线好像更主流，当然 Waymo 也做得很好。
你怎么看？机器人领域的 Waymo 和特斯拉分别是谁？为什么你觉得现在的大脑公司更像 Waymo？
谢晨
我先说一下。我观察到的情况是，这件事可能和自动驾驶很不一样，不一定会 follow 特斯拉或者 Waymo。
如果底层数据逻辑是基于本体的数据闭环，而且 90% 以上的数据都来自本体，那么它一定会 follow 特斯拉或 Waymo 的逻辑。
自动驾驶是在相对垂直的场景里做这件事，智能相对有限，是一个端侧模型，任务也比较单一，就是把车开好。
比如遇到一个杯子，自动驾驶系统的反应是避开它。但在机器人领域，它需要根据杯子的材质、大小，决定手的力度，所以复杂度更高。
自动驾驶的物理主要是车和地面的物理，它不希望撞到任何东西。因此它的智能水平相对低一些。
当然，自动驾驶有两种方式。一种不是 VLA，而是 VA，也就是直接输出行动。它可能是因为端侧算力有限，而且任务所需智能相对有限。
有了足够数据以后，可以基于模仿学习，把模型压到更接近司机行为的程度。VA 可能就是自动驾驶的终局。
另一种方式，是做一个更通用的 VLA，再让它完成驾驶，这在未来也一定可行。
所以自动驾驶可能有两条路都能走通：一条是因为智能上限没那么高，VA 就够了；另一条是做一个能够完成更多任务的 VLA。
张小珺
没有语言的 VLA，智能水平肯定会降低。
谢晨
智能水平会大幅降低。
从学习范式角度看，自动驾驶本质上还是以模仿学习为主、少量强化学习为辅，把智能拱出来。它需要的数据，更多是本体相关的、车辆直接开回来的数据。
而具身智能一定会走本体无关数据的路线。本体相关数据，也就是机器人真正部署在端侧产生的数据，量会相对少。
所以最后可能不会存在一个具身领域的特斯拉。即使是特斯拉模式，大脑也可能不是特斯拉做的，而是 xAI 做的。
我的意思是，未来可能会有三种模式：Waymo 模式；现在特斯拉公司内部本体和大脑一体的模式；以及马斯克体系内的模式——一个公司做本体，另一个公司做大脑。
放到其他公司里，可能就是某家公司做大脑，再让本体公司使用这个大脑落地。我觉得这很可能是一条路线。
张小珺
除了马斯克和 Google，你觉得还有谁能支持大脑和机器人都做？
谢晨
如果说大脑和机器人，我觉得美国可能比较少，国内的小米有可能。
但整体来说，这还是很难的事情。小鹏和理想目前的定位还是智能驾驶车企。
底层还是卡的数量问题。本质上，如果要做这件事，需要有世界模型团队和能力，可能已经拥有全世界最好的世界模型，然后同时做 VLA。
我们服务的客户，可能都是几万张卡的规模。
不过国内 OEM 仍然有很大机会。至于创业公司，我觉得很难做大脑，从我的角度看，创业公司去做大脑可能不太合理。
张小珺
你认为智能驾驶的智能水平相对于统一大脑来说不够高。那有没有可能机器人先在某个垂直场景里，收集大量真机数据，把这个场景训练好，就像今天的智能驾驶一样？这会不会是更快的路径？统一大脑会不会太远？
谢晨
一定会存在这条路径。这个路径在我看来更像 Waymo。
它是在一个限定的、非泛化区域，把一件事做好。刚加入 Cruise 时，我们的重心就是在旧金山落地自动驾驶，完成以后再考虑第二个城市。
这种方式很像当年的 Waymo 和 Cruise：花很长时间在第一个场景完全落地，完成以后再考虑泛化和扩大场景适配性。
现在 Waymo 确实做得很好，但特斯拉可能在 scalability，也就是规模化上做得更好。
如果从相对垂直的场景开始，先把一两个特定场景做好，再把这个场景里的其他任务做通，可能要花很长时间。之后再平行迁移到其他场景，可能会伤筋动骨，因为模型架构、数据等方面都可能不同。
当然，这种方式也会有成功案例。比如国内矿山自动驾驶，关注一个垂直领域，把这个领域做厚，形成商业模式和壁垒，这是很成功的案例。
但它可能很难迁移到其他场景。
张小珺
所以你不认可我说的“大脑公司像 Waymo，机器人公司像特斯拉”这个判断？
谢晨
对。我认为大脑公司应该更像 OpenAI。
自动驾驶本质上是智能程度没那么高的事情。具身智能需要同时对标大语言模型和自动驾驶，是两者的结合。
张小珺
这个行业有特斯拉吗？具身领域有特斯拉吗？
谢晨
我觉得 Figure 希望成为具身领域的特斯拉。它有自己的硬件，也在规模化量产，同时做自己的大脑。
但它还很远，因为它面对的场景太模糊，难度很高。
我现在越来越多的观察是，可能会更早看到大模型泛化能力的产生；而很多人低估了在一个垂直场景落地的难度，以及落地以后再迁移到其他垂直领域的难度。
我亲身经历过 Cruise 和 Waymo 当时的自动驾驶发展。在一个垂直场景，比如旧金山落地，已经非常难。一旦做好以后，再到其他城市，每个城市都需要更多数据去采集、训练和大规模评测，才能保证安全落地。
这不是一件泛化性很强的事。
特斯拉一开始就广泛收集数据，所以它的数据采集范围更广，更有可能把这件事做通。
机器人很难广泛采集数据，因此一定要依赖仿真和人类数据，也就是本体无关数据。
如果没有具身数据金字塔底部的仿真和人类数据，我认为具身智能的通用智能就无法出现。
张小珺
说到数据金字塔，我们聊聊金字塔的构成，以及每一类数据在收集上有什么要求。
谢晨
9. 数据金字塔驱动闭环
数据金字塔是李飞飞教授的学生朱义可教授提出的概念。
它本质上是在分析，具身智能的数据和自动驾驶不一样。具身数据最多的肯定不是来自自己的本体，因为没有足够规模化的本体数据，更多要依赖仿真、互联网和人类数据。
金字塔包括三块。
最上面是真实本体采集的数据，也就是现在常见的真实机器人遥操作数据。这类数据最准确、最好用，但问题是很难规模化，机器人和场景都很难规模化。
中间层是仿真产生的数据。它的优势是规模化能力强，但会遇到 sim-to-real 问题。
现在很多客户是大模型团队，在预训练阶段使用大量仿真和真实数据。随着模型通用能力增强，sim-to-real 的 gap 会越来越小。
最下面是互联网数据和人类视频数据。人类视频更多是人类第一视角数据，比如人戴着眼镜采集的数据。
过去几个月，本体无关数据——仿真和人类数据——出现了质的突破。我认为具身数据的 scaling law 已经开始出现。
一个例子是李飞飞团队的 BEHAVIOR Challenge；另一个是英伟达的 GR00T 模型，它使用了大量仿真数据，证明了仿真的有效性。
还有 Generalist，它使用了 27 万小时的 5 指夹爪数据。这本质上也是人类数据：人用双手操作夹爪采集数据。它的形态比较简单，再往后可能会发展到手指形态的数据。
它们已经证明，27 万小时数据在模型上看到了 scaling law。
从客户需求来看，过去几个月是质的飞跃。以前可能需要刺激需求，现在则需要规模化团队，真正交付客户需求。
当然，数据金字塔并不是简单的三层：真实数据、仿真数据和人类数据。每一层还要细分。
以仿真数据为例，最上面可能是人驱动的仿真数据。它从 ROI 角度更接近真实数据，不需要基于机器人本体，同时又可以由人采集高质量数据，但规模化能力相对有限。
下面是算法驱动、模型驱动的自动化采集层。人的介入较少，规模化能力强，但质量可能不如上层。
人类数据层也一样，可能包括被动采集的人类数据，比如人戴着眼镜，没有很好的质量管控，获得大量第一视角数据；也包括主动采集的人类数据，使用更高质量的硬件和流程管理，但规模性较差。
这可能是数据金字塔的构成。
另外，数据金字塔给人的印象是三类数据相互独立：真实数据、仿真数据、互联网和人类数据。但从实践来看，我越来越认为数据可能是一个以仿真为中心的闭环。
如果要把仿真评测做好，评测必须基于仿真规模化，而仿真需要大量足够真实的场景、物理世界、人类轨迹和经验，以及不同任务的评价标准。
这些内容很难在仿真里闭门造车，需要从真实世界获取真实数据。这也是我们开始做人类数据的原因。
张小珺
人类数据，就是人类视频数据？
谢晨
对，以人类第一视角为主。
机器人和大模型都很关注跨本体能力。如果从这个角度看，人是不是也是一种机器人？
这种训练范式就是把人当作机器人，把人的数据拿回来，和其他数据放在一起训练。
张小珺
相当于把人当车了。
谢晨
对，把人当车了，完全是这个意思。
如果这样，未来机器人可能越来越像人。它越像人，本体和人的差距越小。
人类第一视角数据的核心价值就是这一点。
数据回来以后，可以基于 real-to-sim，把真实世界、物理交互、任务和评价标准带回仿真，扩充仿真规模。
这是一环：从真实到仿真。
从仿真到真实，则是仿真完成以后，一定要在真实世界落地。解决 sim-to-real，一方面是在预训练中加入更多仿真，另一方面是让仿真和真实世界更好对齐。
真实遥操作数据、真实遥操作评测和仿真之间的对标，会变得非常重要。不只要在训练端对标，也要在评测端对标，才能让 sim-to-real 不只服务训练，也服务评测。
所以数据金字塔一方面是分层的金字塔，另一方面可能是一个以仿真为中心、以评测驱动为中心的数据闭环。
张小珺
哪些数据被高估了？哪些数据被低估了？
谢晨
首先，真实机器人数据肯定被高估了。
从过去几个月行业的发展看，大多数人已经看到这一点。原来的真机派公司或大模型团队，现在都在大规模采购仿真数据、仿真评测和人类数据。
第二，我觉得仿真仍然被低估。大家已经看到一些仿真数据的能力，但真正看到仿真评测价值的人还没有那么多。
大模型团队完全看到了这一点，因为它们关注大规模评测。没有仿真，就无法做大规模评测。
很多机器人公司可能还处于开始理解这个阶段，因为它们的规模还没有那么大。等规模越来越大，需要处理的任务数量、任务种类和开放场景越来越多，就会越来越感受到这个痛点，仿真是绕不开的。
第三，人类数据也被低估了。人类数据极其关键，可以帮助完善、补充和增强以仿真为中心的数据闭环。
张小珺
智能眼镜听起来非常有用。智能眼镜相当于车，所有人都出去给机器人收集数据。
谢晨
对，我很同意。
人类数据的问题是没有太多壁垒。很多人在做人类数据硬件，但本质上，人类数据需要人戴上消费级硬件采集。
张小珺
一定要是眼睛看吗？比如有硬件公司做录音笔，像 Plaud；也有公司做胸前设备。这是人类第一视角数据吗？
谢晨
从第一性原理来说，越贴近人的视角越好。
如果硬件固定在头顶或放在胸口，视角和人眼的视角都有差距，本质上都会产生问题。
张小珺
为什么一定要是眼睛？
谢晨
因为人就是这么工作的。
人类第一视角数据的需求，最终一定会朝这个方向发展。最后需要的是最佳规模化、消费级、足够舒适的可穿戴设备，来服务人类数据。
张小珺
怎么让人愿意大规模戴上眼镜？如果不是近视，或者像我这样虽然近视，但只想戴隐形眼镜，怎么办？
谢晨
理想状态下，人应该因为喜欢眼镜而戴它，而不是为了数据去戴眼镜。
比如 Meta 的 Ray-Ban 智能眼镜。它改变了思路，最早可能想做很炫的游戏眼镜，但看起来不够好看。
Ray-Ban 的一个聪明之处是，首先它是一副很酷、很好看的眼镜；其次它有 AI 助手，可以和人对话；另外还有摄像头。
这种可穿戴设备长期看最有用，因为它是大家已经拥有、愿意使用的东西，而不是专门买来收集数据的设备。
所以这些公司首先要设计足够有吸引力的眼镜，让大家心甘情愿戴上，再利用它为机器人收集数据。
如果沿着这个角度思考，前提一定是消费级硬件。人类数据公司不应该自己做硬件，因为它们很难做到消费级。
消费级意味着可能达到百万甚至更大的出货量，而且大家喜欢这副眼镜。它应该基于已有消费级硬件，或者等一个消费级硬件公司做出爆款，让大家都戴上。
张小珺
那硬件公司为什么要把数据给训练机器人和大脑的公司？
谢晨
不同硬件都有对应的 SDK、API 和 App，所以可以设计这样的数据采集流程。
张小珺
我们都知道算力很贵。驱动人工智能的三驾马车是算力、算法和数据。算力很贵，数据贵吗？
如果要买仿真数据或者人类第一视角数据，大概是什么金额？
谢晨
数据会越来越贵，这是很有意思的一点。
很多人认为数据应该越来越便宜，但不同阶段的数据，价值完全不一样。
从静态数据集、量贩式数据，到提供反馈的数据，对算法带来的价值不同，所以能够拿到的价格也完全不同。
从预训练、后训练和评测来看，预训练数据应该最便宜，也应该是相对标准化的产品。
不太可能有一家公司独自承担所有预训练数据成本。它应该由多家公司共同承担，比如全世界 5 家大模型公司共同分摊预训练数据成本。
因为预训练数据帮助大家提升的是相对通用的基础能力，大家都愿意分摊。
真正关键的反馈驱动提升，还是在后训练和评测。后训练和评测是更加针对性的数据，更多是评测驱动，提供足够信号和经验传授，所以价值和价格会高很多。
张小珺
大概多少钱？
谢晨
现在从数据角度看，一小时可能从几十元人民币到上千元人民币都有。
张小珺
这是标注数据专家的价格吗？
谢晨
不止。具身数据包括三个要素。
第一是物理场景，无论真实还是仿真，一定要有一个场景。
第二是经验轨迹和经验传授，包括语言标注。
第三是评价指标，比如成功和失败，还可能标得更加精细。
以 BEHAVIOR 数据集为例，做一个披萨可能是一个长程任务，其中有很多小任务。可能先放蘑菇失败，第二次成功，这些都会被标记出来。
这些结构化在一起，才是一份数据。
一小时做披萨的数据，可能从几十元到几千元不等。现在整个行业还比较发散。
我们非常关注高质量数据，因为低质量数据没有意义。高质量数据大概处于几百元到上千元一小时的阶段。
张小珺
什么是高质量数据？
谢晨
有几个标准。
第一，物理场景足够多样化，交互足够真实，符合真实物理场景。
第二，轨迹记录足够专业。比如做披萨，动作足够流畅，可以有失误，但失误以后要有修正。
这类数据会更贵。很多人可能认为完美做披萨的视频最贵，但其实不是。如果中间掉了几粒食材，捡回来以后重新完成，数据反而更贵。
这和人的学习、人的经验很像。失败以后再成功的经验往往最宝贵。
第三，评价指标和标注足够准确。尤其是长程任务，非常难，需要大规模自动化、模型驱动的算法来精细完成。
如果是人类数据，手部和全身 tracking 的真实性、准确性也非常关键。
张小珺
电影数据会是好数据吗？游戏数据会是好数据吗？我们日常看到的哪些视频可能是好数据？
谢晨
游戏数据和电影数据都会有用，但从数据金字塔角度看，任何数据都有用，关键是 ROI，也就是成本收益比。
电影和视频数据可能帮助模型提升，但处理成本可能很高，模型提升的幅度相对较低。可能消耗大量算力处理和压缩这些数据，但智能提升体现得不明显。
从 ROI 角度看，目前预训练阶段价值最高的，可能还是基于仿真的、有人在环但由算法驱动采集的数据，以及人类数据。
张小珺
为什么电影和游戏数据处理难度高？
谢晨
一方面可能需要增加更多标注。另一方面，电影通常不是 3D 信息，本质上是 2D 信息。
游戏可能是 3D，但它可能太 cross-domain，和真实世界差异太大，物理也不真实。
张小珺
是另一个世界观。
谢晨
没错。
但这类数据对世界模型有用。很多世界模型团队使用大量游戏数据，也有团队购买游戏版权，让 agent 在游戏里运行，再把数据拿回来训练世界模型。
它是有用的，但效用性到底多高，没有那么高。
从数据提供角度，应该追求高 ROI、符合客户需求的数据。数据金字塔很大，不需要每一层都服务，应该服务最高价值链的部分。
张小珺
你们内部会给不同数据不同定价吗？
谢晨
会。但整体上没有那么复杂，更多是两类：预训练数据和评测数据。这是现在大家最缺乏的两类数据。
张小珺
大家叫你们 data factory，也就是数据工厂。能不能带我们走进数据工厂内部？你们的工作流程是什么？人员怎么构成？刚才说的数据标注员，这是一个职业吗？
谢晨
10. 数据引擎超越数据工厂
首先，我们更像 data engine，或者说我更希望把它定位成 data engine。
Data factory 是一个旧定义，偏工厂、流水线，缺乏新技术和新系统，也不是反馈驱动、评测反馈驱动的。
我们认为 data engine 是反馈驱动的学习引擎，基于系统和工程能力，利用端侧的人帮助生成数据。
大家看到的可能是我们生产的数据，但我们的内核是全栈的。
首先，为了打造物理足够真实的世界，需要仿真。我们要构建足够真实的物理世界，以及可交互、足够真实的物理资产。
打造刚体资产比较简单，但打造非刚体资产，比如线缆，非常难。我们服务的很多工业场景需要插拔线缆，这需要自研的非刚体物理解算器，以及仿真资产的 co-design 和联调。
物理参数也需要从真实世界获得，所以我们有一个物理测量工厂。它基于自动化机械臂等工具链，和真实世界中不同的物理资产进行交互，采集力学信息，再相对自动化地放回仿真资产和世界中。
这些都是为了生产足够真实、可交互的物理世界。
前面提到，两类仿真数据中，一类是人驱动的仿真数据。它的优势是质量最高，提供最好的示范；问题是规模化能力相对不足。
在这条路径上，我们有高质量遥操作工具链，类似于人在真实世界遥操作机器人，只不过我们是在仿真世界遥操作不同形态的机器人，甚至是我们自己定义的机器人。
它可能和每个真实机器人都不一样，但用标准化形体采集各种机器人本体的数据和示范。
同时，我们也基于这条路径训练出自动化算法，可以在仿真里自动采集，偶尔需要人介入。这是一条更规模化的数据生产管线。
在此基础上是标注，可能包含更多语义级标注，需要使用大模型能力，最后再通过人在环质检，保证数据质量。
这就是我们产生数据的基础。
评测也需要规模化，所以评测本身也是一条数据管线。
它从人驱动的采集链路开始，基于端侧硬件和云上自动化算法拿回数据，然后做 real-to-sim，包括从视频中重建物理、提取任务和评价标准，把它们放入仿真资产、场景、世界和任务定义中，规模化产生评测数据链，服务客户。
张小珺
你刚才一直说评测数据非常重要，你们具体怎么做？
谢晨
评测数据最大的难点，一是需要有挑战，二是需要可规模化。既要难，又要可规模化，这非常难。
很多机器人公司在做 demo，比如叠衣服，通常是在固定场景里做单一任务。但对于大模型泛化能力，可能需要在大规模场景里有大规模任务。
可能至少需要千级别场景，任务也可能达到千甚至万级，并且有相应的成功定义，才能真正评价模型。
第一是打造平行世界及其物理系统，这和仿真、real-to-sim 产线相关。
更难的是其中的任务和评价标准。这些必须来自真实世界。
如果仿真评价和真实世界评价脱离，即使能够规模化，也无法产生实质价值。
另外，大家可能认为我们是以仿真为中心的公司，只做仿真，其实不是。我们也有一套真实评测基础设施。
比如真实机器人和真实评价算法。这些不是为了直接帮客户评价真实场景里的机器人，而是为了和大规模仿真工具链、生产线以及评测难题对标。
比如使用相同算法，在仿真和真实环境中，能否看到相关性对应。这非常关键。只有做好这些，才能真正做好以仿真为中心的规模化仿真评测。
张小珺
你们有多少人？
谢晨
整个团队现在全职员工主要是工程技术方向，可能有 100 多位。
张小珺
我不太认为 AI 会自己为自己完全生成数据，再服务自己。这件事的底层逻辑不通，更像永动机。
谢晨
本质上，我认为有两个核心。
第一，是否拿到了足够准确的世界和足够准确的任务；第二，需要有人在其中提供经验示范。这是模型提升的核心认知。
关键是如何放大这个示范。
如果是以人为中心的数据公司，可能需要千万到上亿规模的人，才能把事情做成，因为需要的数据量太大。
但如果是以仿真为中心、以系统为中心，就会有放大效应：通过技术放大人产生的经验。我认为这时所需的人数可能少 100 倍左右。
张小珺
我记得上次谭杰说，data factory 遇到一个问题：你们采集了很多数据，但把数据提供给大脑公司以后，他们也不能告诉你数据好不好，最后就会扯皮。
数据公司说是模型没训好，模型公司说是数据采得不行。你怎么看？怎么解决？
谢晨
这是客观存在的问题。
Scale AI 和 OpenAI 在 GPT-2 阶段其实也遇到过类似情况。大家共同寻找数据配方，大方向已经比较明确，比如仿真、人类数据和仿真评测，但细节上还会有区别。
最早客户可能要求完美数据，后来更希望要负样本或纠错数据；还可能需要更广的数据分布。
比如拿一个瓶子，希望拿瓶子的方式不一样，而不是每次都从类似的位置、用类似方向去拿。这些都是逐步迭代出来的认知。
最关键的是和业内领先客户协作、共生。
有人可能会问，如果数据公司不做大脑、不做本体，它对数据的认知是否赶不上本体公司或大脑公司。
从实践看，我认为不是这样。真正能够理解大规模预训练级数据的团队极少，可能只有 5 个左右。我们基本都和他们有合作关系。
关键是和最核心的客户形成共生协作关系，两边同步迭代认知。
我们从不同客户那里得到认知，也为客户提供更多认知。
数据金字塔本身也需要被验证。它是一个概念，但到底哪一层数据最有效，配比如何，都需要验证。
我们和其中大概两家公司，一直在不断演进、迭代数据金字塔。要验证数据金字塔，可能需要几万张卡，才能有效验证配比。
我们得到的认知越来越偏向本体无关层。除此之外，不只是预训练阶段，预训练之后的后训练、RL 阶段怎么做、多少使用仿真、多少使用真实数据，以及后面的评测怎么构建，这是一套整体的系统认知。
张小珺
准备数据非常关键。能不能分享一些你们的关键 secrets？
谢晨
我可以说一些比较反直觉的认知，还是回到什么是好数据。
它越来越像人的学习，越来越不像早期自动驾驶和机器视觉。早期自动驾驶、机器视觉中，完美数据、标准答案是最好的。
现在的数据可能越来越没有标准答案。从第一性原理来说，能够帮助人学习的数据，可能才是最好的数据。
比如让模型看到错误，让它从错误中学习。
人小时候看老师讲题，不一定是最好的效果。把每个同学都当成老师，一道题有不同做法，从足够多的分布中得出自己的结论，可能更好。
这可能就是 secret sauce：它和人的学习越来越共通。
我越来越觉得，我们做的可能是一家教育公司。
张小珺
谁的教育公司？
谢晨
我认为终局的数据公司，可能和教育公司非常像。
张小珺
教育 AI 和教育人的不同是什么？
谢晨
目前具身智能还没有那么聪明，所以现在仍然需要很多示范，需要死记硬背或模仿学习。
但越往后，越需要挑战模型。
本质上，具身智能需要和物理世界交互，所以这种教育和书本教育不一样，需要更多物理示范和物理交互。
张小珺
你和国内外各种大脑公司、机器人本体公司和大模型公司都很熟。能不能做一个中美机器人团队如何做数据的 mapping？他们分别是什么信仰派？
谢晨
因为和他们很熟，所以不能说得太细，但可以做一些归类。
一类是大模型派，越来越多是大厂的大模型团队。它们最早的出发点可能不一样，但现在越来越趋同，需要零样本泛化能力。
张小珺
你说的是大语言模型团队，还是哪个团队？
谢晨
大厂的 VLA 团队和世界模型团队。
它们最看重零样本泛化能力，不太看重本体复杂度。它们希望用相对简单、标准化的本体，验证规模化的上层技术能力。
它们相信数据，也相信本体无关数据、仿真、仿真评测和人类数据，因为走的是大语言模型的逻辑。
同时，在基础设施上，它们会更早尝试大规模 RL，重点可能是在仿真。
这就是我们看到的大模型团队的核心趋势。
张小珺
我插一句。正因为大厂资金雄厚、基础设施能力强，同时有大语言模型、VLA 和世界模型团队，它在当下肯定会把资源倾向大语言模型团队，对吧？它不会优先倾斜给机器人团队。
会不会反而出现一种情况：大厂真正能留给机器人团队的资源，没有想象中那么多？
谢晨
你说得很好，但这可能是 3 到 6 个月前，或者今年以前的真实现象。
在今年以前，大厂基本没有真正下场。比如 OpenAI 可能没有 seriously 下场，也没有大规模做这件事。
但从今年开始，大模型领域的趋势相对确定了一些，可能有一定资源可以腾出来，所以大厂开始做机器人和 VLA。
张小珺
从你的视角看，谁变得更激进了？
谢晨
我觉得字节肯定更激进了。阿里、OpenAI、DeepMind 也绝对更激进了，英伟达也更激进了。
这是 5 家角逐机器人大脑的团队。
张小珺
还有其他的吗？
谢晨
还有。某种层面上，我认为 PI 也应该属于这一类。
张小珺
但它是创业公司。
谢晨
对，它是创业公司。但如果定义一下，它可能更像 Frontier Lab，而不是机器人公司。
它也在大规模训练自己的模型，所以也算这一类大模型团队。
再看机器人公司，最早基本都是真实数据派，现在有一些开始 follow 仿真和仿真评测，也有一些开始 follow 人类数据。
比如 Figure，以及使用人类数据的其他团队。它们的商业模式正在分化。
底层看，关键是机器人公司究竟是把素材作为商业模式，还是把做大脑、做智能作为商业模式。不同商业模式会导致数据品类出现分化。
张小珺
做大脑智能好像不能成为商业模式，至少现阶段不能。
谢晨
做大脑智能，是把机器人部署到真实场景，执行场景任务，而不是做一个素材厂。
现在很多机器人公司，底层其实做的是素材厂。
我个人比较看好宇树。宇树更偏本体模式。
如果本体无关数据最终导致大厂大模型成为大脑，我认为宇树的区分度最鲜明。它坚定地把本体做好。
宇树的定位很清晰，不和大脑公司竞争。它很务实，知道自己哪里有优势、哪里不想发展，知道自己的 boundary，也就是边界。
张小珺
那本体公司在生态里会扮演什么角色？
谢晨
我认为它会是核心本体硬件商。
如果大厂大脑团队希望把大脑落地到场景，很可能会优先选择宇树合作，因为宇树已经证明自己足够稳定、能够量产。
张小珺
除了宇树，你还看好哪些？
谢晨
我认为智元机器人商业化走得很好。
它可能从 day one 就想得很清楚：如果要体系化做这件事，就要把上下游打通。
现在具身智能某种程度上还是供给驱动市场。先把量做出来，真正驱动整个行业和供应链提升。
我觉得智元在这件事上想得很清楚，量产等方面做得很好。
张小珺
这个行业现在还很早。如果一定要说终局，你觉得会形成什么形态？机器人大脑会形成霸权、出现一家垄断吗？
谢晨
可能会像现在的大模型行业。
以前大家以为 OpenAI 能够垄断，但后来发现不行。
底层还是数据闭环。如果数据闭环掌握在一个本体上，它拥有规模化最大的本体和最多场景，拿回最多数据，再训练最大的脑，那确实可能形成霸权。
特斯拉就是这样一个例子，在自动驾驶上做得很好。
国内的蔚来、小鹏、理想等，也都做得很好。
但如果是本体无关的数据模式，就必须和数据商共生演化。这样大模型厂商很难单独形成霸权。
所以最后更可能是一个生态系统：有最好的大脑公司、最好的数据公司和最好的机器人本体公司，三者强合作，把机器人真正落地到场景公司。
当然，也可能有场景公司自己就是最好的硬件公司。
张小珺
现在看起来美国的大脑发展更快，中国的本体发展更快。这会带来什么后续影响？中国团队能追回机器人大脑吗？
谢晨
从我的判断，因为我们服务的客户足够多，我认为很有可能追回来。
千问是现在最好的开源大模型之一，所以我认为国内大模型能力很强，决心也足够高，基础设施足够好，人才密度也足够高。
过去国内大厂的重心可能还在大语言模型，必须先把那场仗打下来。现在它们已经开始把资源放到具身智能领域，所以可以看到不少提升。
张小珺
为什么过去 3 到 6 个月它们开始往具身智能转资源？看到了什么迹象？
谢晨
可能不只是过去 3 到 6 个月，而是过去接近 1 年。
一方面，大模型领域的趋势相对明确，所以有精力投入具身智能。
另一方面，核心是行业开始想清楚：到底是本体相关数据，还是本体无关数据。
如果数据一定来自本体，大模型商很难完全介入，最好的方式是和本体商合作。
但如果数据核心是本体无关数据，那就是大模型公司的机会。
张小珺
谁会是 robotics 领域的 OpenAI？
谢晨
首先，OpenAI 可能仍然会是 robotics 领域的 OpenAI。它的 robotics 团队很强，不能小觑。
DeepMind 也可能是大模型领域的 DeepMind。它非常稳，也非常优秀。
英伟达也很有希望，因为它极其重视物理 AI。Jim 的团队、明宇的团队都足够强，资源也给得足够。
国内的话，我认为字节和阿里的千问团队也都非常优秀。
张小珺
你不看好马斯克？
谢晨
我认为 xAI 有机会，但马斯克现在的 focus 是本体硬件。
xAI 目前还是大模型团队，重心要先把大模型做好，那场仗还没有完全打赢。
但他拥有别人没有的本体硬件优势，一定要把这个优势发挥到极致。所以特斯拉现在机器人的重心，还是本体硬件。
这两边目前还没有完全汇合。
张小珺
你觉得机器人大脑现在的路线有分歧吗？收敛了吗？
谢晨
我不认为完全收敛。
机器人大脑的模型架构还没有完全收敛。但在已有架构上，已经出现了一些 scaling law 的端倪，基于本体无关的仿真和人类数据产生能力。
大脑架构是否还能进一步演化，如何更有效利用世界模型，仍然是研究问题，还有一些问题需要解决。
张小珺
现在有很多新词，包括世界模型、空间智能、物理世界 AI。这些是在讲同一件事吗？还是相似但不同的事情？
谢晨
它们不太一样。
物理世界 AI，更多指能够在物理世界行动的模型，主要包括自动驾驶和具身智能。
空间智能更多关注 3D 空间和视觉，是否能够有效地重建，甚至生成 3D 空间，并基于此进行预测。
世界模型则更多是对物理世界具备足够好的理解和预测能力，但可能欠缺行动能力。
张小珺
今天主要聊数据。如果数据问题里只解决一个最关键的问题，就能实现大幅跃升，你觉得是什么？
谢晨
如果是具身智能，我认为最关键的问题是评测，尤其是评测的规模化。
本体无关数据的预训练通路和 scaling law 已经出现了。现在真正卡住的是评测。
如果评测解决不了，大家就很难衡量智能是否提升。
所以一定要把真正规模化的仿真评测打造好，这是所有人都需要的能力。
张小珺
如果是大语言模型，最关键的数据问题是什么？
谢晨
我认为也是评测和后训练。
现在 agent 可能需要更好的评价能力。模型能力提升以后，需要更加优秀的人提供反馈，制定更难的考题，设计更有效的评测指标。
本质上，这是不断卷更高阶的评价指标。
张小珺
你觉得什么时候数据问题会彻底不重要？
谢晨
我最早认为可能 15 年、20 年以后，数据问题会有一天不重要。
但现在我越来越从第一性原理思考人：人什么时候不愿意读书、不愿意学习？
我觉得人越优秀，越希望提升自己。它可能会从向别人学习，转向和自己对标，和昨天的自己、今天早上的自己对标。
它会更加饥渴地获取知识，只是有时书本已经不够了，需要去真实世界实践，遇到挫折，获得反馈，不断激励自己提升。
所以我现在的观点和以前有些变化：智能越强，对知识的饥渴程度越高，对数据的饥渴程度也越高。
张小珺
但它可能不想向外学习，而是自我学习。
谢晨
我非常同意。
到了终局，可能整体上就像马斯克说的：人类可能生活在一个仿真里。
AI 可能在为它设定的仿真环境中，基于自己设定的成功指标，不断训练自己的内功。
张小珺
当 AI 开始向 AI 学习，data factory 会不会消失？
谢晨
我同意这个判断。
Data factory 不是第一性的需求。知识，以及人类对学习的渴求，才是第一性的需求。
Data factory 更偏量贩式、大规模地产生相对标准化知识。我认为这条路径可能很快就不需要了。
张小珺
那你们不就消失了吗？
谢晨
我们不是 data factory。
我们是以系统驱动、以系统为中心、以评测为中心的一套能力：帮助客户模型发现问题，基于有效反馈和经验帮助模型提升。
这套能力包括示范，也包括仿真环境。
到了终局，很可能所有人都不用我的数据，但都会使用仿真环境，在里面用 RL 不断修炼内功。
张小珺
AI 会不需要教育系统吗？如果 AI 足够强大，它还需要教育系统吗？
谢晨
最后可能不是教育系统，而是环境。
人生活在社会中，总需要一个环境学习，无论是数字环境还是物理环境，都要在场景里自我提升。
这个场景和环境，可能就是我们最终提供给客户的东西。
现在大语言模型学习中，有很多类似 Scale AI 的公司提供 RL env，也就是服务强化学习的环境，让模型自己在里面修炼内功。
我认为这可能是最终极的需求。
张小珺
像爱因斯坦这样的人，他的环境是什么？
谢晨
爱因斯坦可能有很多思考是在大脑里构建的。
他首先有对物理的基础认知，再基于基础认知和定理，构建大量思考实验。
某种层面上，我们可以把思考实验理解成仿真。他的广义相对论、狭义相对论，可能很多都是在大脑里进行的思考实验。
本质上，如何构造这样的思考实验，需要物理知识，也需要光速等限制条件，需要足够多环境，帮助他进行大量实验。
张小珺
仿真就是你从开始寻找、以前没有找到、现在终于找到的方向吗？
谢晨
我觉得是。
我认为仿真是真正解决具身数据问题的基石，是具身智能学习所需要的前提条件。
当然，单独的仿真无法完全解决问题，它需要我刚才提到的数据金字塔：以仿真为中心，但不是仿真唯一的一套系统能力。