# E211｜站在内容创作者与机器人的交界处：聊聊3D数字人的进化 硅谷101 · 2025-10-23 · 64 min · https://www.youtube.com/watch?v=410Zukc8Lng ## 逐字稿 泓君 欢迎收听《硅谷101》，我是泓君。 Today we're announcing the Sora app, powered by the all-new Sora 2。 9月的最后一天，Sora 2发布了。它可以把一句话变成一段10秒的短视频。好莱坞完全由AI创作的演员Tilly Norwood，诞生6个多月就获得了6.5万粉丝。她说：“I'm built on everything that came before me。”她发自拍、代言品牌，却从来没有真实存在过。她还说：“My jeans are binary。” 所以我们看到一个趋势：数字人正在成为新的内容生产者。但是，从在屏幕上生成一段2D视频，到生成一个3D数字人，并实现比较稳定、实时的互动，中间其实还有很多技术壁垒。 本期嘉宾柴金祥教授，2000年就进入卡内基梅隆大学研究机器人。但是，因为机器人的应用与落地都非常困难，他们团队反而成为了世界上最早用AI做3D动画的团队。在这18年的时间里，他几乎一直在做同样的研究：从机器人，到好莱坞的AI动画，再到今天我们正在讨论的一个非常前沿的问题——3D数字人的模型，是不是又可以反过来驱动机器人。 这听起来有一点像一种轮回，但也是一种新的开始。这一集我们就来讨论，这一轮人工智能浪潮到底是如何改变3D数字人行业与机器人领域的；而在好莱坞与游戏产业里，到底谁又是这项技术的受益者。 今天跟我在一起的嘉宾，是魔珐科技的创始人与CEO，柴金祥教授。Hello，柴教授，您好。 柴金祥 Hello，大家好。我以前是在美国当教授，2018年的时候回国创立了魔珐科技，到现在已经做了7年多。很高兴今天有机会和大家分享一下关于3D数字人和巨神智能的一些观点。 泓君 正好在采访您前几天，硅谷大家都在关注一件大事，就是Sora 2发布了。它做成了类似社交媒体的形式。我最近一直被Sam Altman刷屏，好像每个人都会拿它去做一段demo。 包括我们前几天刚刚举办《硅谷101》科技大会，我们就生成了一段让Sam Altman帮我们宣传大会的Sora 2视频。看起来，它在屏幕里面的形象是一个比较数字人的形象。这个对你们的业务会有影响吗？ 柴金祥 我自己也快速体验了一下。我觉得Sora 2相比Sora 1进步蛮大的，无论是画质，还是新的视频形态。这里面的一个核心点，还是文生视频的能力。 它主要的形态是以人为中心的。以前Sora 1可能还是以风景和其他视频内容为主，但Sora 2可以让视频里的人做各种各样的事情：跳舞、坐在那里跟你交流、吃东西等等。 我也大概用了一下。第一个感觉是，现在视频生成的时间还是10秒钟，仍然没有跳出文生视频受时间限制的问题。 第二个点也特别重要，大家一直在说物理上的一致性。大家刷屏的时候看到的很多效果其实蛮好，但真正自己去做的时候，瑕疵还是太多了。它的视频里有皮卡丘和唐老鸭进行总统竞选辩论，它可以在原视频上修改。我说，把这个辩论变成《硅谷101》上关于AGI的辩论，主题是“Alignment 2025”，这是我们活动的主题。但你仔细去看的话，后面的“Alignment”这个词就是错的，开始乱码了。 对于视频这样的内容创作者来说，你不仅想生成视频。如果视频背景里的文字错了，或者人物的一致性有问题，你最想做的是：能不能编辑一下，把它变好？其实它现在还没有这个能力。 更重要的是，它现在允许你用prompt生成视频，但你没有能力去精细控制这个人的动作、表情等等。 不过有一个点它做得特别好：它第一次让人看到，如果有一个大模型，其实可以让人做各种各样的动作，至少在视频层面上是这样。 我们是在做3D数字人的研究和产品。我们认为，假如最后我们希望数字人像人一样交流、跳舞、娱乐大家，那么最后的大模型会是什么形态？它的训练数据又会是什么形态？ 你看，Sora 2说，我把所有视频作为输入和训练数据，就可以做到这一点。最近Genie 3出来以后，其实已经是3D生成了，给人一种交互的感觉，但它不是人，而是和场景相关的。 如果最后我们要做一个“人”的大模型，我们会觉得，可能需要把2D和3D的训练技术结合在一起。我们希望生成这个人的时候，不仅没有10秒钟的限制，也没有瑕疵，在物理上是准确的，还能控制它，最好是实时的，而且成本很低。 因为我们自己现在做3D数字人的时候，除了3D训练数据，也已经开始把大量视频数据结合起来，作为训练数据，来做整个3D数字人表达能力的模型。 泓君 你看视频这个数据，如果你的模型做得好，其实还是有一定生命力的。以前我看Sora 1的时候，就觉得好像不太行，因为Sora 1基本都是场景式生成。Sora 2里面，为了让视频有生命力，就必须有一个主体，这个主体要么是人，要么是动物。 柴金祥 是的。 泓君 而且它的生成看起来也比较立体。所以我简单总结一下：Sora 2和你们整个3D数字人的生成，最大的区别是，Sora 2是文生视频，你们相当于是文生3D。这个3D可以在VR领域里展示，比如我戴着VR头盔，可以360度看到这个人。 同时，这个3D未来可不可以用于机器人，我们待会儿也可以讨论。核心就是2D和3D之间的区别。 柴金祥 对，Sora 2还是文生2D视频。如果是3D，把它放在VR或AI环境里，就跟我们现实生活中一样。 3D还有一个好处，就是它能让你控制。就像人一样，你让它怎么动，它就怎么动。但2D是在像素层面，很难对人的动作和表情进行精准控制。 泓君 我看到你们公司的数字人，其实也会用于屏幕展示。有一点我可能很难区分：我知道很多公司的展示屏数字人都是你们来做的。假设我进到一个展厅，看到一个屏幕上的、非常立体的数字人，它有动作、声音和表情；而我看到Sam Altman在一个视频里的数字人，除了时长上的区别，它们在核心技术上有什么不同？ 柴金祥 一个区别是，屏幕上的数字人其实担当的是人与机器之间交流的载体。人与机器交流的时候，是实时互动的。一般来说，我们希望端到端延时小于2秒，或者1.5秒，才可以进行这样的互动。不能像生成一个视频那样，要等10分钟、5分钟，这是不可能的。 再往下说，屏幕里的数字人如果在展厅里面，你希望它介绍和回答问题时，动作不能出错。如果有一点瑕疵，你肯定会觉得不行。 所以这和Sora 2有一个很大的区别：不能有瑕疵，物理上要准确。所谓物理上准确，就是人的表情和动作要保持一致，不能突然出现胳膊衔接不上的情况。 大家以前可能看得比较多，用文生视频时，手指是特别难处理的。经常会多出一个手指，或者这一帧看起来没问题，到第5秒突然多了一个手指、多出一截，或者发生穿插。 但在实际交互中，特别是当它是服务人员或销售人员，跟你讲解产品时，你肯定不希望体验很差。它一定要准确。 最后一个点是，当你把这样的3D数字人部署在终端上时，成本不能太高。今天一个终端屏幕可能也就1万元人民币。如果生成视频并让它交互20分钟，即使可以实时生成，放在那里一年也要花很多钱，那就无法落地。 从Sora 2文生视频的角度来说，它的成本是不能扩展的。 泓君 它的成本有多高？和你们的成本相比有多高？为什么两者之间会有这样的差距？ 柴金祥 我不一定能给出一个具体数字，但可以告诉你一个量级。我们现在的成本，和语音合成的成本相比，比如现在大模型做语音合成，我们的成本可能只有它的几十分之一。 这里面最核心的一个点，还是2D和3D的区别。对人类来说，如果我要描述一个人的动作和表情，其实几百个参数就够了。人的肌肉可能有几百块，只要控制一些肌肉就可以了。 下一步就是用3D渲染，把3D内容变成视频。还要做3D解算，因为除了人的表情和动作，还有头发、衣服，我们需要进行物理解算。 如果用AI来做这两件事，我们最大的核心是：内容生成以后，原本要用游戏引擎和非常昂贵的GPU来完成。但当我们用AI完成渲染和解算之后，成本主要就变成每一帧生成这几百个参数的成本，和大模型生成Token的成本其实是一样的，所以成本会非常低。 如果是文生视频，因为没有结构化信息，全是像素，所以整个推理和生产过程的成本会非常高。 泓君 所以我理解，现在你们之所以能把成本降下来，是因为你们有自己的端模型，可以这样理解吗？ 柴金祥 可以。我们有一个把文本变成3D多模态表达能力的模型。它可以从文本生成语音、表情参数、动作参数，以及肢体和手势参数。 我们把这些参数传到终端，终端可以是Pad，也可以是大屏。我们用AI渲染和AI解算，把它变成视频。因为渲染是用AI做的，所以对终端算力的要求极低。 现在我们甚至可以用国内几百块钱的芯片，比如瑞芯微的RK3566，在端上直接运行。 泓君 如果它要和人进行实时互动、问答，这些能力还是在端模型上吗？还是说除了你们自己的端模型负责表达内容之外，后面也会接入大模型？ 柴金祥 这是个很好的问题。在和你交流的过程中，我的眼睛看到你，我的耳朵听到你，这叫感知。大模型其实有理解和决策能力，而我们做的事情，是把文本直接变成语音，以及身体的姿态、动作、表情和手势。 相当于一个人不仅有语音，也不仅有表情，或者表情比较木讷，而是动作、语言和手势融为一体，这才是人与人之间的交互。 现在用ChatGPT，你可以输入声音和图片，最后输出文字。我们做的是从文字到3D多模态输出。比如我们两个人要交流，也就是人与数字人之间的交流，其实现在需要两个模型。 第一个是像ChatGPT这样的多模态到文本的模型；第二个是从文本到多模态3D的模型，包括语音、动作、表情和手势的输出。 我们只有自己的垂直领域大模型，但也可以使用国内的通义千问、DeepSeek或豆包等模型，和我们的模型连接起来，形成端到端的、人与数字人之间像人一样交流的体验。 泓君 所以，多模态到文本可以用大模型来做。 柴金祥 对，用大模型来做。 泓君 从文本到多模态，就是你们自己的端模型。 柴金祥 对，是我们自己的“文生3D多模态大模型”。这已经是一个产品，可以发布在星云平台上。 泓君 这个产品已经可以发布了吗？ 柴金祥 我们会在10月份发布。现在还处于测试阶段，有几百个B端企业客户在测试，也已经有客户付费了。我们预计大概两周后发布文生3D多模态模型。 因为我们自己做这件事已经花了很长时间。从20多年前我读研究生开始，到今天，我们投入了很多精力。我们希望大家不要重复造轮子，能够把这项能力提供给所有开发者，让他们把我们的能力集成到自己的应用中。 泓君 我觉得很有意思的一点是，我知道你们公司之前主要做3D数字人。所以我的理解是，随着星云平台发布，你们其实是从一家3D数字人公司，变成了一家3D数字人平台公司。我的理解对吗？ 柴金祥 差不多。 泓君 之前在NVIDIA的发布会上，Jensen Huang会非常自豪地说：“你看到的我不是真的我。”然后他会用一个自己的虚拟3D数字人向大家介绍。比如他身后有一个壁炉，他站在前面介绍，渲染得非常真实。他经常用自己的虚拟人来展示他们的渲染能力有多强、显卡有多强大。 他那个数字人的成本大概是多少？ 柴金祥 这个成本其实蛮高的。但你问的问题特别好，因为他今天做的其实还是视频输出。 通常来说，如果要造出像老黄那样的数字人，需要研发团队配合美术团队，由一个团队来完成。按照业界的成本，在美国，如果找国内最顶尖的美术团队，做出一个这样的人，基本上要10万美元左右。 泓君 10万美元一个人？ 柴金祥 对，差不多，做到发布会上的逼真效果。然后再加上视频制作。这个价格只包含把人造出来，如果要做视频，成本可能还要按秒计算。 通常我们会说，3D数字人还属于专业级内容生产，还没有到每个人都能生产3D数字人的程度。 泓君 我记得每次去游戏展会，都会非常明显地感受到，大家是怎么去制作3D数字人的。以前是让演员进行大量动作捕捉，同时用环形摄像机拍摄身体的每一个部位，再建模，一步一步还原出来。这是不是好莱坞或游戏公司经常使用的方式？ 柴金祥 刚才讲到专业级的造人。无论是3A级游戏公司、好莱坞的《阿凡达》，还是老黄这样的数字人，整体来说都分成两部分。 第一部分是把这个人造出来。通常会进行扫描，用很多相机拍摄。演员坐在那里做各种表情，把人的整体几何结构重建出来。所谓几何，就是像雕塑一样，把人的形象雕刻出来。然后再重建人的表面纹理和材质。 生成这个人，包括人的肌肉，用学术化的语言来说，就是建模和绑定。 第二步是让它动起来。你会看到演员穿着动作捕捉服，上面有各种点，旁边有一大圈摄像机，把动作捕捉下来，再去驱动刚才拍摄和建模的人。最后再用渲染引擎或离线渲染引擎输出视频。 从建模、绑定、扫描，到制作动画让这个人动起来，再到输出视频，整个过程都非常昂贵。 泓君 这一套我理解是在大模型之前的时代，好莱坞和游戏公司经常使用的方式。现在有了模型，这套方法在这两个行业里仍然是主流吗？还是说他们也在探索，能不能直接用3D生成一个人？ 柴金祥 这个问题特别好，这就说到这个行业的一个特性。3D内容的AI化，取决于两件事：一个是高质量数据，一个是AI算法能不能处理3D内容、做3D大模型。 今天我们看到，所有影视、动画和游戏公司比较擅长的是做内容，把美术和3D模型做得很好、很逼真。但绝大部分这些公司的AI能力，应该说是比较缺乏的。 因为它们走的是和互联网公司、科技公司完全不同的两条线，两条线之间的交叉非常少。它们当然也希望拥抱AI，但今天在这方面的能力比较欠缺。 AI公司当然算法能力很强，但它们其实没有数据。对于3D内容来说，首先要解决的是，你得有大量高质量的3D内容，才能做大模型。 泓君 所以我可以这样理解：大模型公司缺少好莱坞制作公司的数据，而好莱坞制作公司缺少AI算法？ 柴金祥 基本上是这样。但我也看到有一些公司开始尝试了。你们在这一轮AI浪潮之前，就已经做了很久的数字人，也积累了很多数据。 泓君 你们是2018年成立的。 柴金祥 对。2018年成立的时候，最主要是为B端公司提供3D内容制作服务，比如游戏公司、影视动画公司，或者为企业制作3D虚拟偶像。 那时候我们其实就在尝试把AI和美术结合起来，提升效率和质量。在这个过程中，AI能力也不断提升。我觉得所有人都需要突破的一个点，就是3D内容的高质量数据。没有数据，AI算法再厉害也没法做。 泓君 从2018年到现在，2025年，你们大概积累了多少数据？可以透露吗？ 柴金祥 比如动画数据，前期我们是为企业提供服务，后来就自己做动画数据。现在高质量的3D动画数据大概有1000多个小时。 这个数据量和视频、文本数据相比可能不算大，但如果考虑成本，一条数据的成本大概是多少？比如我们现在需要高质量的人脸动画、手势和表情，这些我们统称为动画数据，在国内一秒钟至少要1000元人民币左右。 另一方面，除了成本，你还得找到有能力把质量做到这么高的团队。所以整体来说，这类数据本身的数量和成本，都很难在短时间内积累起来。 泓君 很有意思。所以数据是你们训练出这样一个模型的核心要素。 柴金祥 我觉得数据是最核心的。没有数据，其他任何研发都没法做。 我们现在拥有的是3D数据。刚才也提到，我们还有视频数据。举个例子，网上看到有人走路、有人和人交流，这些都是纯粹的视频数据，没有3D信息。但3D数据和视频数据，我们现在开始把两者融合起来训练模型。 泓君 你为什么当时会选择3D数字人这个领域？ 柴金祥 我2000年去卡梅读博士，当时在机器人研究所，做的就是这个方向。我的博士论文研究的是，怎么创建一个可交互的3D数字人，怎么用AI做动画。 我们那个团队应该是世界上最早用AI做动画的团队。因为那时候正好是2000年，动作捕捉刚刚出现。有了动画数据，就可以开始做AI。 从那个时间点开始，我就一直做3D动画和3D数字人。2006年毕业后，我去得克萨斯农工大学当教授，也一直在做这个方向。 那时候做动画主要属于图形学。图形学专门服务于影视动画和游戏行业，所以我们发表了很多论文，都是关于3D数字人和3D动画的。 2018年创业，也是做同样的事情。应该说，这件事我已经坚持了20多年。当然，在学校里还是以研究为主。 泓君 我知道您的博士导师是Jessica Hodgins，她主要研究人形机器人和3D数字动画。而且她的博士导师是Marc Raibert，也就是Boston Dynamics的创始人。Boston Dynamics是现在最有名、也是非常早的一家机器人公司。 所以看起来，整个3D生成最开始的应用就是好莱坞领域。 柴金祥 我的导师Jessica Hodgins从卡梅毕业，1989年获得博士学位。她读博士时做的是机器人研究，那时候也叫人形机器人，但只有一条腿。 为什么人形机器人只有一条腿？因为两条腿保持平衡太难了。其实你也看到过，几年前的人形机器人，两条腿走路时还会摔倒。平衡是一个非常重要的问题。 她那时候用物理运动控制和动力学的方法，控制机器人走、跑、跳。是单腿机器人。 她毕业以后，进入了图形学和动画领域。这两个方向大家可能觉得没有联系，但她当时的想法是：我在现实世界中能让机器人动起来，那是不是可以用同样的方法，让虚拟世界中的3D数字人动起来？ 所以她是全世界第一个用物理运动控制方法来做数字人动画的人。她后来在佐治亚理工学院当教授，研究基于物理的仿真与控制来做动画。2000年，她又回到卡梅当教授。 但到了2000年，动画数据慢慢出现了，动作捕捉也开始普及。我是她在卡梅带的最早的博士，我们那时候是最早用AI做动画，因为那时候有数据了。 后来她又想，既然用AI做动画效果不错，那是不是也可以反过来做机器人？ 现在大家知道的很多机器人领域很厉害的人，其实以前都是做动画的。比如Sergey Levine，他是Physical Intelligence的联合创始人，也是伯克利的教授。但你可能不知道，他在斯坦福读博士时做的是动画。 他用物理方法、运动控制和动力学的方法做动画。毕业以后，他想动画可以做，那机器人也可以做。后来当教授时，他就开始做机器人。 泓君 难怪Physical Intelligence的核心思想，是解决机器人的“大脑”问题，也就是软件层的问题。他们希望通过模型层去指挥机器人。这和他最开始不是从硬件研究，而是用机器人去做动画，听起来是一脉相承的。 柴金祥 是的。再给你举一个例子，我还有一个很好的朋友Karen Liu，她现在在斯坦福当教授，同时做Animation和Robotics。她以前在佐治亚理工学院当教授，也是同时做Animation和Robotics。 我们那时候还有其他做Animation的人，后来都转去做Robotics，或者同时做Robotics和Animation。这两个领域非常相通，因为都是3D：一个在虚拟世界，一个在物理世界，都是要驱动一个人或机器人，让它像人一样运动。 那时候很多人做动画，是因为动画相对机器人简单一些。机器人有一个本体，搭建硬件就需要很长时间；动画是在三维世界里，至少不需要搭建硬件。 第二，机器人会受到很多限制，比如重力、房间空间，或者机器人本身硬件的限制，而动画实际上没有这些限制。所以那时候有很多做物理的人开始做动画。 动画研究也分成几派。一派是用物理方法来做，比较有名的就是Jessica Hodgins。还有我博士论文委员会的成员、UBC的Michiel van de Panne，他一直在做控制器和运动控制。 那时候动画研究的中心其实也在卡梅。Karen Liu的导师叫Zoran Popović，她也是从卡梅毕业的。那个时候做物理动画的人非常少，国内基本没有人做，欧洲可能也没有，主要就是美国两三个研究组。 后来动画有一个大的飞跃，是从2000年开始的。最主要的原因是动画数据出现了。动作捕捉把数据采集下来以后，大家慢慢开始尝试用AI做动画。 那时候比较早的方法，现在叫强化学习。我记得最早用强化学习做动画的论文，应该是2004年或2005年。虚拟世界和现实世界其实差不多，唯一的区别是现实世界有硬件限制，但底层方法非常相似。 我们讲“小脑”做的事情，包括动作规划和运动控制，这个流派到现在仍然有人做动画，也有人做机器人。 现在最新的方向叫VLA，也就是视觉、语言、动作模型。这是一个新的方向，更多讲的是“大脑”。但“小脑”这件事，在动画和机器人里其实非常相似。 泓君 我们之前聊很多好莱坞节目的时候，有听众问我，《硅谷101》不是一档技术节目吗？讨论AI时，不是应该多聊技术吗？ 我就说，好莱坞其实是驱动科技发展的重要力量，而且很多AI技术最开始的应用就是电影制作。 你们有没有想过，把你们的3D数字人产品用于更多好莱坞的造人？比如你们已经训练了自己的端模型，可以输出一个数字人的模型。底层技术你们已经有了，就可以让一个不太会动的演员活动起来。 我觉得这可能是对整个好莱坞的一次降维打击。我们刚才提到，好莱坞怎么用AI技术和机器人技术相互促进。现在听起来，那套技术已经有一点开始落地了。虽然目前的生成效果还没有那么好，但整个进展已经很惊艳了。 柴金祥 你刚才讲到一个非常重要的点。当我们讲一项技术时，有几个关键因素。 第一个是质量。好莱坞的质量可能最高，往下是3A级游戏，再往下可能是生活中的一些交互场景。 第二个是成本。第三个是应用场景。 如果要做好莱坞，高清晰度和高质量可能特别重要，因为它可以等100个小时、200个小时，或者花更多的钱，来等待高质量结果。 但在实时交互里，可能等不了那么长时间，需要马上看到结果并进行交互。它的质量不一定要像好莱坞那么高，但可以先做一些好莱坞IP的衍生品。 泓君 衍生品肯定可以。 柴金祥 当然，如果好莱坞要做，也不是不可以，但需要更高质量的3D数据来训练AI大模型。 按照我们自己的发展路径，可能会有先后顺序。对我们来说，可能先从日常生活中的交互、服务和陪伴开始，再到游戏，最后到好莱坞。 因为从难度来说，好莱坞的难度非常高，质量要求也很高。但能够生产这样高质量数据的人，全世界可能都没有几个。 泓君 正好在采访前几天，我看到好莱坞已经造出了一个叫Tilly Norwood的女演员。这个女演员完全由AI生成，但如果你关注她的Instagram，她看起来和真人非常像。她每天会喝咖啡，也会发自拍，有自己的生活。 如果只看她的社交媒体，很难区别她是真实演员，还是数字生成的演员。 像这种技术，通过你们的平台，比如开发者再接入你们的API，可以做到吗？还是需要更多其他方向的辅助？ 柴金祥 她现在的做法，其实还是PGC制作的方法，仍然是2D。她是用文生视频的方式做出来的。 泓君 但如果由你们来做，就属于降维打击。 柴金祥 是的。但这里面有一个点：在元宇宙比较火的时候，美国有一个虚拟偶像叫Lil Miquela，她在Instagram上可能有一两百万粉丝，可能比今天你刚才讲到的Tilly Norwood还多很多。 刚开始大家也不知道她是虚拟偶像。所以我们今天讲的这种方式，更多是在讲社交媒体运营：怎么生产专业内容，打造一个人设。 但有一点特别需要注意。今天用文生视频时，不能保证每次生成的视频100%准确，但它可以等待。比如每天发布一张图片或一段视频，它可以生成100段，从中挑一段就可以。 如果是实时生成，就不行。 反过来看我们现在这套技术，如果她要开一场现场演唱会，当然也可以做。文生视频的好处是基于视频训练，所以真实感会很好，虽然有时在物理上不一定准确。 我们现在采用3D方式，可能不是追求和现实世界一模一样的真实感，而是更强调交互性。 泓君 也就是说，它更强调实时性。如果要实现实时性，训练上最需要侧重的是什么？ 柴金祥 实时性的核心一直是延迟。比如文本输入的延迟就特别重要。如果需要10分钟、1分钟、30秒，甚至1秒钟，我们都无法接受。 现在我们基本做到500毫秒到600毫秒之间。文生视频则没有这个需求，等5分钟、10分钟都可以。 部署也很重要。实时交互时，可能同时有100个、1000个，甚至1万个用户和这个3D AI数字人交互。每个人生成的内容都不一样。 如果成本很高，同时有1000个人，就要把成本乘以1000。这就是高并发场景。 泓君 所以后面还要进行额外的服务器部署。 柴金祥 对。如果成本很高、延时又很长，根本不可能做。 泓君 问一个稍微有一点敏感的问题，你可以选择回答或者不回答。你们现在把API接口开放出去，我相信肯定有一个基础接入成本。你觉得它能赚钱吗？ 柴金祥 肯定能。因为在真正发布平台之前，我们已经有B端客户了。国内做AI公司，商业上的账必须算得过来，除非你是字节、阿里或腾讯。 这里面最核心的一个突破，也是我们过去半年最大的突破，就是交互能力和API。半年前我们其实已经做好了，但当时成本很高。 刚才讲到，服务一个人的成本，当时基本上需要一张显卡，一张显卡要两三万元。所以那时候有很多B端客户来问，能不能让他们使用。结果一问价格，他们就不用了。 泓君 这个成本是怎么降下来的？因为你们是3D内容。3D内容有一个特别重要的特点，所有影视动画公司和游戏公司都离不开渲染引擎和解算引擎。 这个我太懂了。我们做视频时，渲染真的非常耗时间。 柴金祥 如果3D内容要支持实时交互，每一路都需要一张显卡，用来做3D渲染和解算。我们通常使用的最好引擎可能是Unreal Engine，但成本摆在那里。 我们当时一直在想，如果不能把这张用于渲染和解算的显卡去掉，就没法真正谈应用。无论是展厅的大屏、手机、Pad还是电视，都不可能让大家真正使用。 以前我也觉得解决不了。但技术有时候很奇怪，我们忽然想到了一种方法：把渲染和解算用AI做好。 这样就不需要渲染引擎，也不需要渲染引擎所需要的显卡。我们可以在非常便宜的终端上，比如一两百元、两三百元的芯片上完成渲染和解算。 泓君 所以你们用端到端的AI模型，解决了渲染问题。 柴金祥 渲染问题只是其中之一。前面还有一个问题，就是从文本生成3D动画、表情所需要的参数和语音。 我们实际上分成两部分。第一部分，解决文本到语音，以及文本到3D表情、动作和姿态的问题。第二部分，把3D动作、表情和姿态参数输入模型，输出对应的实时视频。 这样一来，我们的成本甚至比语音生成的成本还低。 泓君 如果你们能把渲染成本大幅降低，这一轮生成式AI技术对Unreal这样的游戏引擎公司会是一次冲击吗？ 柴金祥 对NVIDIA来说，可能是左手和右手的关系。那一部分失去的显卡需求，可能会在另一部分补回来。 我认为对游戏公司来说，更多是一个机会，不一定对Unreal是特别好的事情。但对游戏公司来说，每个游戏公司，特别是3A级游戏公司，在运行游戏时一定需要云端显卡，或者手机上要有比较强的算力，否则手机玩一会儿就会发热。 所以对于游戏公司来说，这可能是件好事。渲染和解算引擎将来是不是可以通过AI来解决，不再需要引擎，也不需要高性能显卡，就能玩游戏？ 游戏可能会因此无处不在。将来如果真的有元宇宙，大家进入虚拟世界后，成本也许会非常低。 泓君 现在用AI解决渲染问题，质量和原有游戏公司的渲染质量相比，大概到了什么阶段？ 柴金祥 对于我们这个特定应用场景，基本上一样。因为我们的输入训练数据，就是用最高质量的游戏引擎渲染出来的。我们只是用大量数据去逼近原来游戏引擎的效果。 我们自己做过并列对比：左边是游戏引擎，右边是AI生成，没有人能看出左右之间的区别。 泓君 这非常颠覆。 柴金祥 对。对于我们来说，特别是我们希望把3D数字人放到每一个终端、每一个屏幕上，这是一件最重要的事情。 也许从技术上，我们可以做文生3D多模态大模型，但真正部署时，低成本是最重要的问题。 泓君 对于游戏公司来说，他们也有很多游戏人物，需要大量渲染，也需要很多显卡。 柴金祥 对。他们可以预渲染，但仍然需要显卡和游戏引擎。就像我们生成训练数据一样。 或者大家今天看到做具身智能机器人，需要采集很多数据。但采集、训练完成以后，实时运行时就不需要这些数据了。比如机器人抓东西时，只是基于模型来执行。 所以两者的模式不一样。游戏公司对实时性的要求没有那么高。 我觉得游戏公司的AI渲染将来也一定会走向实时。到最后，实时玩游戏时不一定需要真正的游戏引擎。我认为最后可能会使用大模型，做一个针对某个特定游戏、某个特定应用场景的端侧AI渲染引擎。 这个渲染引擎可能比今天使用游戏引擎、解算和渲染的方法更便宜。 泓君 这样听下来，Unreal和Epic Games如果不赶紧更新，可能会有一点危险。前面训练数据还是要从它们那里获得，但实时运行时不一定需要它们。 柴金祥 你看到Genie 3了吗？它有很多训练数据就是用游戏引擎生产出来的。当它生成视频时，现在已经可以呈现出3D的感觉，并且可以和它交互，这时候其实就不需要新的游戏引擎了。 泓君 如果开发者接入你们这部分能力，现在可以用这套3D数字人平台做什么？它的场景有哪些？ 柴金祥 这是一个非常好的问题。我们在做这个平台的过程中，已经和很多客户合作过，也有很多客户来找我们。 我们看到的一个最重要应用，是现在国内大家慢慢都开始使用大模型。将来有一天，大模型可能会出现在各种终端：手机、平板、PC、线下大屏，或者现在很多放在桌面上的小型全息屏和陪伴设备。 如果大模型出现在终端上，应该怎么和它交互？难道今天还要在文本框里打字，或者对着空气讲话吗？ 泓君 我现在觉得打字的效率太低了，尤其是在一些突发和实时场景下。我越来越依赖模型了，有时候根本来不及打字。 柴金祥 是这样。有一位非常有名的心理学家在1970年提出，人和人之间的沟通交流，可能有50%到60%是视觉信号，语音信号占30%到40%，语言信号可能只占7%。 所以我们最大的应用场景，就是把能够通过语音、动作、表情和姿态与用户交流的3D数字人，放到每一个屏幕上。 从非常大的显示屏、展厅屏幕，到电视机、电脑、手机、车机，最后到迷你全息屏。当你和它交流时，就像和人交流一样。 泓君 有一个有意思的点是，大家现在看到的大模型交互，主要是文本到文本、文本到图片的输出。我觉得这是ChatGPT发布时OpenAI定义的交互方式。 但现在OpenAI也在升级这套交互方式。你觉得未来的交互方式，可能就是数字人与数字人的交互，像人与人之间一样，而不是文本到语音，或者文本到视频这样的交互？ 柴金祥 我觉得未来人与机器、人与屏幕的交互，一定会像人与人之间的交互。 今天ChatGPT已经做了多模态到文本，也做了文本到视频、文本到图片，只差把这两部分串起来。但它还没有做到文本到多模态表达。 如果把多模态到文本和文本到多模态连接起来，就完全像现实生活一样：我看到你的表情，听到你的话，知道自己要说什么，同时有表情、动作和声音。 泓君 那每个人都要渲染一个属于自己的模型吗？ 柴金祥 我觉得将来每个人可能都会有一个分身。至少对企业来说，肯定会有统一的形象。比如我是做客户服务的，所有用户和企业都知道，这个是企业的客户服务人员，或者是企业的品牌官、企业虚拟人的形象。 个人也肯定会有自己的分身。大家可以和这个分身沟通。比如泓君，你可能在某个领域非常专业，是一个专家，将来肯定会有一个属于你自己的分身。你休息的时候，它同样可以和别人沟通，提供你的反馈。 泓君 如果把你们现在的模型放在一起，综合来看它的能力，你觉得最强的一点是什么？ 我们现在看到很多2D视频渲染时，最大的痛点，前几年可能是口型对不上，会产生一种虚假感，或者眼神很空洞。你觉得现在你们的3D数字人在应用到不同行业时，大家最大的痛点是什么？你们是怎么解决的？ 柴金祥 这个问题非常好。我们和客户沟通时，收到的反馈永远集中在几个问题。 第一个问题就是质量。它的语音、动作和表情，唇形是不是自然，是不是像真人一样。 第二个问题是延时。我和它聊天时，说一句话，它是不是要等5秒钟才回应？我肯定没有这个耐心。 第三个问题是成本。如果非常昂贵，客户从投资回报率角度考虑，体验虽然提升了，但成本太高，他也不一定愿意使用。 所以从核心问题来说，这三个问题是我们真正要解决、并且规模化落地的“三座大山”。 还有一个问题，是我们希望让具身智能数字人适配多个终端。无论是大屏、小屏、手机、App，都要支持并发，这里面会涉及不同操作系统和不同芯片的算力。 解决质量和延时，最主要靠大模型提升能力。质量方面，训练数据最重要。如果动画训练数据的质量很差，3D人的质量就不可能做好。 另外就是大模型本身的能力：能不能通过文本生成语音、表情、动作和唇形，让它们匹配起来；能不能从文本里提取情绪，比如笑一笑、打个招呼，自动生成这些关键意图；包括TTS语音生成，是不是也带有情绪。 这些都涉及大模型如何产生高质量输出。 泓君 语音生成也有情绪，你们是自己做这一部分，还是直接调用大模型的能力？ 柴金祥 这部分我们自己做。从文本生成语音，以及所有的表情、动作和姿态，都是我们自己做的。也就是说，从文本到多模态输出，全是我们自己做。 泓君 你们之前的数据积累，我理解其实包括外形、动作和表情，语音数据也有。 柴金祥 一样有。我们自己有一个工作室，可以采集各种动作和表情数据，也有自己的录音室来录制最高质量的语音数据。 有时候我和你交流时，语音、表情和动作是匹配的，所以这些数据要同时录下来，而不是把语音、动作和表情分开录。录制时，语音和唇形必须结合在一起。 泓君 那你们怎么考虑哪些环节自己做，哪些环节接入其他模型？ 现在整个语音应用，包括模型在语音层面的进化，已经做得非常好了，也有很多语音开源模型和接口。 柴金祥 对于从文本生成语音、动作和表情这部分，我们一定会自己做。因为我们特定的应用场景，是很多语音模型没有覆盖的。 举个简单的例子，在销售陪练中，我需要一个特定风格的医生；或者在陪伴场景里，它可能需要是某一种特定人设，比如“小奶狗”。它的声音也是特定的。 如果只是调用别人的通用声音，没有办法匹配这个人设，我们很多场景就做不了。 泓君 所以你们会针对一些特定场景，训练特定的声音。比如有哪些场景？ 柴金祥 我们现在的业务分为B端和C端。B端里面会有不同的需求。 比如客户服务，客户会要求特定的说话声音；我们现在也做教练，比如销售培训教练，或者面试官。这些B端场景都不一样，有的要求专业，有的要求更加严谨。 C端可能会更多样，比如做陪伴，可能是卡通形象的陪伴，声音像小孩一样，萌一点。 因为现在已有的TTS应用场景没有那么多样化，我们做下来有一个感觉：如果使用通用模型，很多时候进入垂直场景是不行的，一定要自己做，不能等它替你完成。 我们就像提供一套套模板。客户如果已经有文本大模型，可以直接调用我们的文生多模态能力；如果客户已经有语音，也不需要使用我们的语音，可以直接调用客户自己的能力。如果什么都没有，我们就全部提供。 泓君 我们刚才聊的很大一部分，都是AI技术如何构建虚拟世界。反过来，你们现在训练的模型也可以操控机器人。你们试过吗？ 柴金祥 我们试过。做3D数字人和3D动画有一个很好的地方，就是它能够驱动机器人。 比如我是一个能和你交流的3D数字人，你问我的时候，我能听懂你，也知道应该用什么样的语音、动作、表情和姿态。对机器人来说，同样可以用这套能力来驱动它。 机器人也可以进行实时语音、动作和手势，只是现在机器人没有脸部，所以表现不出表情，它没有脸部肌肉。 泓君 因为现在的机器人更像蓝领。将来如果机器人要做陪伴，或者做白领工作，比如销售或老师，可能也需要表情。 柴金祥 首先，我知道和你交流时，手势应该怎么动，表情应该怎么动，姿态应该怎么动。下一步就可以用模仿学习，像NVIDIA采用的方法一样，在仿真环境中直接用这些驱动数据，让机器人和你交流。 泓君 太有意思了。你们现在在真实应用中，比如把你们模型的数据接到机器人上，你觉得对机器人哪一部分的提升最大？ 机器人可能没有表情，但它的手势可以动。你们可以同时驱动手和脚吗？还是只能驱动上半身？ 柴金祥 我们可以同时驱动手和脚。 告诉你一个特别有意思的事情：在国内的合作中，因为我们生成的是从脸、手到腿部的完整动作，很多机器人公司的平衡还没有做得那么好。我们把动作给它之后，它可能还要结合强化学习和仿真来完成。 我们已经向他们提供了API。如果他们在这方面做得特别好，就能够把动作驱动起来。上半身有很多动作，具有一定的泛化性。 其实这件事没有那么难。就像爬楼梯一样，我们可以通过自己的能力生成动作，然后在仿真环境里加上强化学习，让机器人复制这个动作，没有问题。 泓君 所以，机器人平衡问题的关键是，你们收集的3D人的数据只是动作和姿态数据，并没有力的反馈。只要加入力这一点，就可能出现平衡和摔倒的问题。 柴金祥 我觉得你很专业。 这里面有两个核心点。要驱动一个机器人，一个叫运动学，也就是Kinematics；另一个叫动力学，也就是Dynamics。 第一步，比如我要抓一个杯子，首先要知道手应该采取什么姿态、什么位置去抓它。第二步，动力学要解决的是，我需要用多大的力，才能按照想要的路径和姿态完成抓取。 所以我们先做Kinematics。很多时候大家叫它运动规划，也就是Motion Planning，做的就是这件事。一般来说，运动学和动力学可以结合起来。 泓君 所以我理解，机器人公司在寻求合作时，这两部分都需要。可能他们从零开始做一家机器人公司，最缺的就是数据，而你们已经有训练好的数据和模型。 柴金祥 从我们平台的角度来说，下一步我们今年应该会发布一个3D动作大模型。比如你告诉它“爬楼梯”，或者直接说“向前走5步，趴在地上，再爬起来，然后跑”，它就可以自动生成3D动作数据。 这些动作数据当然可以用于机器人训练。因为机器人需要捕捉动作，有了动作大模型以后，就不一定非要通过捕捉来获得数据。捕捉本身也只是为了获取动作数据。 泓君 我看Boston Dynamics的机器人，爬楼梯、旋转、搬箱子都已经做得非常成熟了。但我理解，他们是在大模型公司出现之前，就已经在机器人领域研发了很多年，采用了各种方法。 你们现在是用AI模型去驱动爬楼梯这样的动作。我们看到的机器人表现可能是相同的，但技术路径完全不同，还是说其实有相似之处？ 柴金祥 你刚才讲到一个很有意思的点。Boston Dynamics以前确实能让机器人爬楼梯，但有一个问题：它以前爬楼梯时，泛化能力并不强。 比如给它不同的楼梯，楼梯高度不一样，它不一定都能爬得好。 泓君 因为它给你展示demo时，永远展示的是同一个楼梯。 柴金祥 对。所以这里面有一个特别重要的概念，叫泛化性。 我相信今天做人形机器人或做机器人的人都会讲：我的数据生成以后，能不能做数据里没有见过的事情。 以爬楼梯为例，每个楼梯的高度、层数，楼梯本身的摩擦力和摩擦系数，都属于泛化参数。 今天你有没有能力让机器人面对任何楼梯都爬得很稳？能不能控制它爬得快一点或慢一点？这在今天仍然是一个难题。 其实它还是来自数据。假设你拥有所有不同高度、不同速度的楼梯数据，做起来就没有那么难。 如果我们现在做好一个核心能力，在虚拟世界里，包括将来发布的3D动画大模型，能够生成让机器人爬各种楼梯的动画数据，所有情况都见过了，问题就会容易很多。 泓君 太有意思了。所以你们其实也在做机器人动作的泛化性。 柴金祥 机器人动作有泛化性，我们也在做数字人动作的泛化性。这两件事其实是一样的。 泓君 你觉得用AI做机器人，AI和机器人经过了哪些变迁？ 比如最开始大家还没有想到用AI做机器人，后来又开始在AI里加入强化学习做机器人。 柴金祥 最早的时候，AI机器人这个方向非常难，特别是人形机器人，也就是biped，两只脚的人形机器人。它最难的问题是平衡，另一个问题是抓取。 那时候做人形机器人，主要是在日本，有一段时间非常火，比如本田的ASIMO。 那时工程师要调一个机器人走路的动作，根本不知道背后需要多少工程师去调参数。我们把这些参数叫控制器，也就是用多大的力来控制机器人，让它在不同表面上像人一样走路。 这些参数也不稳定，平面稍微改变一点，机器人可能就会摔倒。那时候AI和Machine Learning的东西并不多，主要是做控制器。 所以早期机器人发展主要是控制，目标是让机器人不摔倒，先解决平衡问题。如果机器人能走而不摔倒，那时候已经非常了不起了。 后来大家觉得，只能这样走还不够，能不能有一定的泛化能力？走路时能不能适应不同平面、不同表面，速度也可以不同？ 如果不用AI方法，基本不可能做到。现在的进步，一方面来自数据，另一方面来自强化学习和仿真环境。像NVIDIA把这些技术和能力开放出来以后，大家都可以在仿真环境中做，发现其实没有那么难了。 泓君 你觉得现在的机器人，和你当时学机器人时相比，20年里进化了多少？ 柴金祥 进化还是蛮大的。以前让一个两条腿的机器人跑、走、跳，觉得非常困难。但现在你看看国内很多做人形机器人的公司，运动会上拿个遥控器控制它，至少能走，也能跑。 大部分问题已经解决了。20年前基本不可能，因为平衡太难了。 泓君 但它是通过远程操控解决的。 柴金祥 对。即使通过远程操控，也还是要解决刚才说的动力学控制问题。 我觉得，如果有视觉、语言、动作大模型，就不需要拿遥控器了。但“小脑”控制机器人走路、不摔倒，这件事仍然很难。 泓君 机器人走路不摔倒，现在是大多数机器人公司都能达到的水平，还是只有头部几家公司能做到？ 柴金祥 对于稍微不错的团队，我觉得问题不大，基本都已经解决了。但有一个点是，你的泛化能力到底有多强。 泓君 你说的走路不摔倒，是在它日常训练中的特定场景里不摔倒。如果换到新的场景，可能还是会摔倒。 柴金祥 如果要求在新的应用场景中完全不摔倒，其实非常难。我不知道现在有没有哪家公司能做到泛化能力很强、非常鲁棒地不摔倒。 基于我的认知，可能现在还没有。如果有的话，我也要学习一下。 比如爬楼梯，我今天可以设置任何一种楼梯，它不一定以前见过。我不相信现在世界上有任何一家人形机器人公司能够做到。 所以我们目前解决的，可能只是特定场景下在平面上行走的问题。 另外还有一个问题是grasping，也就是抓取。早期用人形手去抓东西其实不多，机器人行业里很多时候使用的是吸盘，毕竟吸住东西就可以了。 但现在很多人开始做像人手一样的抓取，比如拿筷子夹东西，这也是一个非常难的问题，仍然需要大脑加小脑。 大脑首先要看到这个东西，判断应该怎么抓；最后还要用小脑真正控制筷子去夹它。这个事情今天仍然非常难。 现在看到的很多都只是demo。我认为，在一个特定应用场景下，稍微有一点泛化性已经很难；如果再向外延伸，泛化能力还会更难。 泓君 我们10月5日的活动您也去了。现场有机器人给大家开可乐。头一天彩排时，我把一瓶可乐放上去，说我也要试一下。 他们说必须把可乐转一个方向，让瓶口的拉环对着机器人的手指。如果不把拉环对准，机器人的手还很难把它转过来打开。 柴金祥 你这个还是在一个已经布置好的特定环境里。更不要说进入家庭，在家庭环境里，灯光、空间和各种限制会更多，那就更难。 所以我觉得，现在大家只是看到，大脑，也就是VLA模型，可能有机会解决这个问题，但不一定能100%解决。 到底需要多少数据才能达到一定的泛化能力和鲁棒性，没有人知道。大家只是相信Scaling Laws，相信大模型总有一天能够解决。但这里面的挑战非常大。 泓君 从你的角度看，现在世界上最好的机器人公司是谁？为什么？ 柴金祥 做机器人有不同流派。有的做本体，也就是硬件；有的做小脑；有的做大脑。 我自己觉得，现在还不能说谁有多好，因为“好”有不同的定义。你今天做研究，这条路已经有了一些promising results，还是已经落地了？也许今天看起来很有希望，但最后发现这条路是死路；暂时领先也不一定是最终领先。 国内现在有不同的流派。比如宇树可能做的是机器人本体加小脑，但不做大脑。 泓君 大脑是指什么？ 柴金祥 大脑就是现在做VLA，做叠衣服这类事情。小脑则是让机器人爬楼梯、跳舞、跑步。 这里面有做本体的，有做控制的。控制我们叫小脑，包括运动规划、运动控制和动力学整套系统；还有做大脑的。 我觉得至少现在还没有看到非常明确的曙光。可能我比较悲观，它也许会像其他领域一样，比如VR、AR和AI，都会有起起落落。 这毕竟是机器人第一波浪潮。无人驾驶也经历过起起落落。但从长期来看，前景肯定是光明的；从短期来看，可能仍然有很多挑战。 泓君 你觉得机器人模型要达到GPT-3时刻，需要多久？ 柴金祥 这个问题我没有那么强的经验和认知。今天数据要具备泛化能力，至少还需要很长一段时间。 目前我看到的东西，还没有让我非常清晰地判断是两年还是3年。但我觉得10年可能有希望解决这个问题。 泓君 10年已经是很长的时间了。所以这也是为什么你们公司在做的时候，没有直接选择机器人这个赛道，而是选择了3D和机器人交叉的领域。 在数字世界里，我们做3D数字人，让它在VR空间或屏幕上像人与人一样交流；让它在数字世界里抓取东西、走路、爬楼梯。这本身在数字世界里就已经很有用，也可以有真实世界的商业落地。 反过来，如果这些能力都做出来，对机器人研究来说也很有价值。我们刚才讲到小脑，你要做运动控制和动力学，首先得知道怎么动，然后再决定使用强化学习，或者用什么样的力，让它完成动作。 柴金祥 我觉得从研究角度来说，机器人是一个非常好的方向，因为有太多东西可以尝试。 但从商业化角度来说，挑战蛮多。如果要商业化落地，至少在人形机器人方面，我觉得白领可能会比蓝领更快。 泓君 刚才你提到，在数字世界里也可能涉及力的反馈。比如好莱坞动画里，我们把一个苹果或南瓜扔出去，它变成南瓜酱，炸开了，那就是物理。 还有一个例子，如果你是一个数字人或3D角色，从二层楼跳到一层楼，跳下去时和地面之间的反馈、落地后如何滚动，都一定要满足物理规律。 柴金祥 我们的动画大模型生成动画之后，本身就可以用物理方式在虚拟世界里进行仿真。同样的方式，也可以在虚拟世界里用强化学习生成控制器。 同样的方式也可以应用到现实世界。它们的底层逻辑是相通的。 泓君 但我有一个问题。如果我们收集动画世界里的数据来学习，知道一个人从楼梯上掉下去之后如何弹起、如何滚动，但不知道为什么，也不知道其中有多少力，只是看到了现象。 然后用这些现象和数据训练大模型，让它进行反馈和模拟。我们还是不知道力是多少。 我们说Scaling Laws，所有大模型都是黑盒模型。但如果把场景拉回现实世界，让机器人砸到一个东西，或者拿起一个东西，这个力我不知道在现实数据中是不是仍然要反复调控和计算出来。 所以它是不是必须要有力的数据？ 柴金祥 我觉得人在现实生活中举起一个杯子，也不需要计算具体的力，这是一种经验和习惯，我们有这样的感知就够了。 我的总体意思是，过去机器人研究，包括力学反馈，更多是在用白盒方式做；而现在模型更多是在用黑盒和经验主义的方式做。 这也是为什么我们觉得，沿着现有方法真正泛化到现实世界，去抓取各种东西时，挑战会非常大，因为泛化涉及的因素太多。 泓君 所以我们在学习力的控制函数时，以前是要自己计算，或者一个一个地调配？ 柴金祥 对。现在更多使用强化学习，大家不需要知道为什么，只要有足够多的数据和奖励函数，它就会慢慢学会。 但问题是，抓杯子只是一个很小的例子。这个世界上有多少种情况？ 所以我希望将来有一个基座大模型，拥有足够多的数据以后，大家可以在特定场景里调优这个模型，让它在这个环境里慢慢做好。 但其实很难。你看我们学会抓东西、学会走路和跑步，花了多长时间。 泓君 我自己听下来，对机器人领域这一波最大的进展，是研究方式从白盒模型变成了黑盒模型。 过去我们必须知道每一个细节、每个受力点是多少，靠计算和逐个调配来研究；现在变成端到端的模型输出。我们不知道里面具体怎么运作，但它可以完成任务。 柴金祥 强化学习讲的就是这个。以前更多是显式的，比如我要抓一个东西，大概知道需要多大力，提前算好。 现在不一样了，在这个过程中，它可以根据现实世界的情况，包括第一次抓取时对表面的感受，持续调整。后面一定有奖励函数。 这条路已经被打开了。以前机器人研究让人觉得很难，似乎没有希望，那种方法也一定无法规模化。 但今天大家为什么觉得，虽然我作为一个外行也会觉得很难，不知道是3年还是5年，但从长期来看仍然有希望？因为这套方法在大语言模型和其他方向上，已经展示了它的能力。 如果机器人领域有足够多的数据，就有可能解决这个问题。它的上限是大家能看到，有一天可能真的做到像想象中那样，让机器人在各种复杂场景里完成各种工作。 泓君 但在这个过程中，是不是也会遇到大家想象不到的问题，会经历低谷？我不知道最终结果是不是一定会收敛，是不是能够一直看到效果。 柴金祥 我也不知道。现在更像是大家刚刚找到一条新路时的兴奋期，但最终结果能不能收敛，还要经历中间的起起落落。 泓君 是的，是的。好，谢谢柴教授。 柴金祥 好，谢谢。 泓君 好的，这就是我们今天的节目。很可惜，今天我们在录制的时候是播客，不是视频，所以其实很难去实时地展示、感受一下这个3D数字人的效果。也希望未来我们视频可以出一个呈现的数字人，给大家看看、感受一下。所以如果大家对比如说像3D的AI数字人到底可以用于哪些好玩的领域、去做一些哪些好玩的事情有更多的想法，欢迎给我们写评论，多多交流。我们的博客听众可以在小宇宙、苹果博客、Spotify上来收听、订阅我们。如果大家想看字幕版，也可以在YouTube或者bilibili上来订阅我们。未来我们也会推出我们的newsletter，在硅谷举办一些线下活动。如果大家对我们的线下活动感兴趣，可以在我们的Shownotes里面订阅我们的newsletter。我是泓君，感谢大家的收听。 泓君 谢谢柴教授。 柴金祥 谢谢。