[BidClub_]
硅谷101 · · 64 min

E211|站在内容创作者与机器人的交界处:聊聊3D数字人的进化

泓君柴金祥

YouTube
TL;DR
  • Sora 2证明文生视频已能赋予角色丰富动作,却仍不满足实时数字人的生产约束。它依旧受限于10秒时长,背景文字会乱码,也无法精修人物动作、表情和跨帧一致性;而客服、销售或展厅数字人必须在约1.5—2秒内响应,并做到“不能有瑕疵,物理上是准确的”。两者的核心分野不是画面是否逼真,而是2D像素生成与可控制、可交互的结构化3D。
  • 3D数字人的成本优势来自把一个人的表达压缩为数百个参数,再以AI取代传统渲染与物理解算。魔珐称其实时延迟已做到500—600毫秒,生成成本约为大模型语音合成的“几十分之一”,终端甚至可用几百元的RK3566芯片运行。相比之下,逐像素生成视频缺乏结构化信息,高并发时每增加一个用户就增加一路推理成本。
  • 魔珐真正难复制的资产不是单一算法,而是约1000小时高质量3D动画数据及配套采集能力。柴金祥给出的行业量级是高质量人脸、手势和表情动画“每秒至少1000元人民币”,而且合格制作团队全球稀缺;内容公司有数据却缺AI能力,大模型公司有算法却缺3D数据。“数据是最核心的。没有数据,其他任何研发都没法做。”
  • 星云平台把魔珐从项目制3D制作商推向可规模化的模型与API供应商,商业拐点来自彻底拿掉每路一张GPU。半年前,其实时服务一路仍需一张约2万—3万元的显卡,客户询价后便放弃;改用AI渲染和AI解算后,平台已有数百家B端企业测试、部分付费,并计划在10月、采访后约两周发布。“如果不能把这张用于渲染和解算的显卡去掉,就没法真正谈应用。”
  • AI渲染可能重写游戏引擎的价值链,但目前更像运行时替代,而非训练数据源的消失。魔珐称在自己的数字人场景里,AI输出与最高质量游戏引擎渲染的并排对比“没有一个人能看出来”差别;游戏公司可能因终端算力和云端GPU需求下降而受益,Unreal未必受益,NVIDIA则是“左手跟右手”的关系。传统引擎仍负责生产高质量训练数据,模型只是在实时阶段绕开它。
  • 数字人最广阔的入口不是一次性视频,而是成为各种大模型终端的可视化交互层。柴金祥判断,手机、PC、车机、电视、展厅大屏和迷你全息屏最终都需要语音、动作、表情、姿态一体化的界面,企业会有统一品牌官,个人则“可能会有一个分身”。这也解释了为何垂直语音、人设、唇形和同步动作需要作为一套协同的表达能力处理,而不能只依赖通用语音接口。
  • 数字人技术可以反哺机器人,但机器人投资叙事仍受制于现实世界的泛化与动力学。柴金祥认为,特定场景下的走路等动作已基本解决,可面对任意楼梯仍不跌倒、在家庭中灵活抓取则“可能现在还没有”公司真正做到;行业只是认为VLA、强化学习和Scaling Laws可能最终奏效。他对机器人“GPT-3时刻”的诚实估计是“两年或者三年”尚无法判断,“10年可能有希望”,且商业化上“白领可能会比蓝领更快”。
Digest · the substance, structured for research

1. Sora 2拉高了视频上限,也暴露了实时交互的边界

  • 泓君以9月最后一天发布的Sora 2开场:它把一句话变成10秒短视频,并采用类似社交媒体的形态;相比Sora 1偏场景生成,新版本明显转向以人或动物为主体,让角色跳舞、进食或交流。

  • 柴金祥认可画质与动作丰富度的进步,却保留两个判断:时长仍未跳出10秒限制,刷屏时看到的很多效果虽然漂亮,但自己生成时“瑕疵还是太多了”。

  • 泓君生成“《硅谷101》关于AGI的辩论”时,背景里的Alignment出现乱码;更关键的是,创作者无法只修正文字或某个动作,不能像编辑素材一样精细修改。

  • Sora 2最重要的信号,是大模型已经能让同一人物完成多种行为;但柴金祥判断,若目标是一个能交流、跳舞和娱乐人的数字人,最终训练体系“可能需要把2D和3D的训练技术结合在一起”。

2. 3D的价值不在立体感,而在实时、准确和可控制

  • 泓君把差异概括为Sora 2的“文生2D视频”与魔珐的“文生3D”:后者可进入VR或AI环境,更重要的是带有可直接控制的动作、姿态和表情参数,而不是只操纵像素。

  • 展厅数字人担当的是人与机器之间的交流载体,柴金祥给出的体验门槛是端到端延迟小于约2秒、最好1.5秒;他称目前实时延迟已做到约500—600毫秒,不能像视频生成那样等待5分钟或10分钟。

  • 服务人员或销售数字人也容不得手指增生、胳膊断裂、部件穿插等跨帧错误。“不能有瑕疵,物理上是准确的”,因为一次生成视频可以挑选成片,实时对话却没有重试窗口。

  • 实时还意味着高并发:若1000名用户同时与同一形象交流,每个人收到的内容都不同,推理成本便可能乘以1000。延时和单位成本因此是同一个部署问题。

3. 数百个结构化参数把视频生成降成了Token级成本

  • 柴金祥解释,描述一个人的动作和表情只需数百个参数,大致对应数百块肌肉的控制;头发、衣服等再经过物理解算,最后才渲染为屏幕上的视频,这与从无结构像素直接生成每一帧是两条成本曲线。

  • 魔珐的第一段模型把文本变成语音、面部表情、身体动作、手势和姿态参数;第二段以AI完成3D渲染与解算。参数传到终端后,因而不必持续运行昂贵游戏引擎。

  • 柴金祥称,这套方案已能在几百元的瑞芯微RK3566上运行,成本“可能只有语音合成成本的几十分之一”。他的类比是:每帧只生成数百个参数,经济性更接近大模型生成Token。

  • 屏幕本身可能仅售约1万元;若数字人每次交互20分钟都持续消耗昂贵GPU,全年运营账便无法成立。低成本不是体验优化,而是终端产品能否存在的前提。

4. 两个模型串联,才构成完整的人机交流闭环

  • 柴金祥把人与数字人的交互拆成两半:眼睛和耳朵负责感知,多模态大模型完成理解、决策并输出文本;魔珐的文生3D多模态模型再把文本变成带情绪的语音、表情、动作和手势。

  • 前半段可以采用千问、DeepSeek或豆包等模型,后半段则是魔珐自己的垂域模型。其目标不是让数字人只“说出”回答,而是让语言、唇形、表情、姿态和手势像真人一样同步表达。

  • 星云平台在采访时处于测试阶段,已有数百家B端企业测试,且出现付费客户;团队计划在10月、约两周后发布文生3D多模态模型,并让开发者把能力集成进自己的应用。

  • 泓君据此判断魔珐正从一家3D数字人公司转向平台公司,柴金祥的回应是“差不多”。平台化的意图,是把团队二十多年积累封装起来,让开发者不再重复造轮子。

5. 传统专业级“造人”仍是一条昂贵的工业流水线

  • 传统流程先以多相机扫描真人,重建几何、纹理和材质,再完成肌肉系统的建模与绑定;之后演员穿上动捕服,由相机采集动作,最后通过游戏引擎或离线引擎渲染视频。

  • 柴金祥以Jensen Huang在NVIDIA发布会上的数字分身为例:“你看到的我不是真的我。”做到类似逼真度,需要研发与美术团队共同制作;按其给出的业界量级,造出一个人约10万美元,视频制作还要另外按秒计费。

  • 这套成本结构意味着3D数字人长期停留在好莱坞、3A游戏等专业内容生产中,普通人无法生成同等级资产。生成式模型的机会,是同时压低建模、动画和最终输出成本。

6. 3D行业的稀缺品是高质量数据,而不是再一个算法团队

  • 柴金祥看到的是一道产业断层:影视动画和游戏公司擅长制作高质量3D内容,但大多缺AI能力;大模型公司算法强,却没有足量、可训练的3D资产。两条线之间“交叉非常少”,使双方都难以独立完成3D大模型。

  • 魔珐自2018年起先为游戏、影视动画、企业和虚拟偶像客户提供3D内容制作服务,同时尝试把AI与美术结合,随后转向自建数据。团队累计约1000小时高质量3D动画数据,覆盖人脸、手势、表情和身体动作。

  • 这1000小时不能与低成本文本或公开视频直接类比。柴金祥给出的国内生产成本是高质量人脸动画、手势和表情每秒至少1000元人民币,且还必须找到有能力持续达到标准的团队;“数据是最核心的。没有数据,其他任何研发都没法做”。

  • 魔珐也在吸收公开视频中的走路、交流等行为信息,但视频没有原生3D结构。当前训练路径是把视频数据与稀缺但精确的3D数据融合,而非只依赖其中一种。

7. 数字动画与机器人本就是同一条技术谱系的两端

  • 柴金祥2000年进入Carnegie Mellon机器人研究所读博,论文研究可交互3D数字人与AI动画;他称所在团队是全球最早用AI做动画的团队之一。2006年赴Texas A&M任教、2018年创业后,他始终围绕同一问题工作。

  • 导师Jessica Hodgins早年研究人形机器人时,机器人“只有一条腿”,因为双足平衡太难;她随后把现实世界里的物理运动控制带进图形学,成为最早以物理仿真和控制制作数字人动画的人之一。

  • 2000年前后,运动捕捉开始出现并逐渐普及,研究者才有条件引入AI;柴金祥回忆,较早以强化学习制作动画的论文约在2004或2005年出现。数据让动画从手工控制器走向学习系统。

  • 这条人才路径后来反向流回机器人:Sergey Levine读博时做动画,之后成为Physical Intelligence的联合创始人并研究机器人大脑;Karen Liu则长期同时研究Animation和Robotics。虚拟人与机器人共享运动规划和控制,只是现实世界多了硬件与物理约束。

8. 好莱坞、游戏和实时陪伴需要的是三种不同最优解

  • 柴金祥把产品约束拆为质量、成本和场景:好莱坞可以等待100或200小时并支付更高成本以换取极致保真;实时服务则必须立即回应,可以略降视觉上限,却不能牺牲稳定性。

  • 泓君介绍,Tilly Norwood诞生6个多月已有6.5万粉丝,自拍、喝咖啡、代言都接近真人;但柴金祥认为其生产方式仍是PGC式2D内容。每天发布内容时,可以生成100段再挑一段,以此掩盖错误,却不能直接迁移到实时互动。

  • 他以更早的Lil Miquela作参照:后者在Instagram已有约一两百万粉丝,说明虚拟人成功还依赖社媒运营、人设与专业内容,并非仅靠生成技术。若要现场演唱会或实时互动,魔珐采用的结构化3D更强调交互性。

  • 魔珐选择的推进顺序是日常交互、服务与陪伴,随后进入游戏,最后才挑战好莱坞。IP衍生内容可以提前切入,但电影级主资产需要更高质量数据,能够生产这类数据的人“全世界可能都没有几个”。

9. 拿掉每路一张GPU,平台商业模型才真正成立

  • 星云API在技术上半年前已经基本完成,但当时每服务一路用户就需要一张约2万—3万元的显卡。许多B端客户先表示想试,听到价格后便放弃,迫使团队先解决单位经济性。

  • 成本中心并不只在文生动作,而在3D实时渲染与物理解算;传统方案通常依赖Unreal和高端GPU。柴金祥一度认为这个问题无法解决,后来团队用AI同时替代渲染与解算,才把计算移到一两百或两三百元的端侧芯片。

  • 泓君追问API是否能赚钱,柴金祥的回答是“肯定能”。他的逻辑不是补贴换规模,而是国内AI创业公司若不是字节、阿里或腾讯,就必须让商业账先算得过来。

  • 在魔珐针对数字人的并排测试中,左侧使用游戏引擎、右侧使用AI渲染,“没有一个人能看出来”区别。对把数字人部署到每块屏幕这一目标而言,这比单纯提升模型画质更关键。

10. AI渲染可能削弱游戏引擎的运行时地位

  • 柴金祥认为,游戏公司可能是直接受益者:3A游戏当前依赖云端GPU或高性能终端,手机运行时还会发热;若特定游戏可用端侧AI渲染,游戏和未来虚拟世界的分发成本可能显著下降。

  • 泓君提出Unreal和Epic Games若不更新会有风险。柴金祥的限定是,传统引擎仍要负责生成最高质量训练数据,类似机器人训练先采数据、部署时只运行模型;真正可能被替代的是实时渲染阶段。

  • 对NVIDIA,他称之为“左手跟右手的关系”:实时渲染少卖的卡,可能由另一部分需求补回。对Unreal,“不一定是个特别好的事情”;对游戏开发商则更多是机会。

  • Genie 3提供了一个相近方向:其训练内容可由游戏引擎生产,但生成可交互、带3D感的视频时,“其实就不需要新的游戏引擎了”。柴金祥仍把判断限定在“某个特定游戏、某个特定应用场景”的AI渲染模型,而非宣称通用引擎已被取代。

11. 大模型的下一代界面可能就是一张会表达的脸

  • 柴金祥引用一位非常有名的心理学家在1970年的说法:人与人沟通中,视觉信号可能占50%—60%,语音占30%—40%,语言本身约占7%。他的产品判断是,只靠文本框或“对着空气讲话”丢失了多数交流信息。

  • 未来大模型会进入手机、平板、PC、车机、电视、展厅大屏和桌面全息屏;数字人负责补回语音、唇形、表情、姿态与手势,让人机交互变得像人与人交流。

  • ChatGPT式系统已经覆盖多模态输入到文本,也覆盖文本到图片或视频,但柴金祥认为还缺“文本到多模态表达”。把这两段串起来,机器便能看到用户表情、听懂说话,同时用完整身体语言回应。

  • 企业可能拥有统一的客服或品牌官形象,个人则会形成自己的分身。柴金祥对泓君的设想是:当本人休息时,分身仍可利用其专业领域能力与别人交流并提供反馈。

12. 质量、延时和成本是规模化必须翻越的“三座大山”

  • 柴金祥总结客户反复追问的三项指标:语音、动作、表情和唇形是否自然;回答是否要等5秒;体验改善是否足以覆盖投入。除此之外,还要适配不同屏幕、操作系统、芯片算力和并发能力。

  • 质量首先由同步数据决定。魔珐自建工作室,同时录制最高质量语音、唇形、表情与动作,因为“语音归语音、动作归动作”的数据无法学习真人表达中的协调关系。

  • 模型还需从文本提取情绪与意图:笑、打招呼、严谨解释或亲密陪伴,都应同时改变TTS、脸部和姿态。团队因此自己完成文本到语音和全部3D表达,而不是把通用语音API简单接到动画上。

  • 垂直人设是自研的另一理由:客服、销售陪练、医生、面试官需要专业或严谨的声音,C端陪伴则可能是卡通小孩或“小奶狗”。客户如果已有自己的语音或文本模型,可以直接调用相应能力;若什么都没有,平台则提供整套能力。

13. 数字人的动作模型天然可以成为机器人的训练数据源

  • 魔珐已经尝试用同一套能力驱动机器人:数字人能够生成从脸、手到腿的完整动作,以及语音和姿态,机器人则可采用其中适合自身的动作与手势。当前多数机器人没有脸部肌肉,所以暂时无法复现表情。

  • 柴金祥把执行问题分为Kinematics与Dynamics:运动学先回答抓杯子时手应采用什么姿态、处于什么位置;动力学再决定施加多少力,才能让硬件复制这条路径和姿态。

  • 魔珐提供的动作可进入simulation,再结合模仿学习或强化学习适配具体本体。上身动作已有一定泛化性,爬楼梯等全身动作则更依赖机器人公司的平衡控制与硬件能力。

  • 团队计划今年发布3D动作大模型:用户可说“向前走5步,趴在地上,再爬起来,然后跑”,模型直接生成动作数据。柴金祥认为,这既可减少动作捕捉,也能训练机器人,因为捕捉本质上同样是在获取动作样本。

14. 机器人已经越过控制器时代,却尚未越过泛化鸿沟

  • 早期ASIMO式机器人主要靠大量工程师手调控制器,在固定表面完成走路已属突破;今天,视觉、强化学习和NVIDIA式simulation让稍好的团队普遍能做走路、跑步等动作,但“换一个场景是否还不摔”仍是另一回事。

  • 泓君指出,Boston Dynamics过去展示爬楼梯时常是同一楼梯;柴金祥表示,高度、层数、速度和摩擦系数变化后,系统未必稳定。他不相信当下已有任何人形机器人能面对任意未见楼梯都可靠完成,并保留了“如果有的话,我也要学习一下”的余地。

  • 抓取同样停留在精心布置的demo。泓君在活动现场让机器人开可乐,工作人员要求把拉环预先朝向手指,否则它无法先旋转罐身再开盖;进入灯光、摆放和障碍都变化的家庭,难度只会更高。

  • 柴金祥拒绝评选“世界上最好”的机器人公司:本体、小脑控制和VLA大脑是不同赛道,暂时领先的路径也可能最终走不通。对GPT-3时刻,他无法判断两三年,但认为“10年可能有希望”;商业落地上,数字世界更容易先实现商业价值,现实机器人则可能“白领比蓝领更快”。

  • 泓君将这一轮变化概括为从白盒到黑盒:过去逐项计算受力和控制器,如今以数据、奖励函数和强化学习让系统从经验中调整。柴金祥认同这条路已被打开,却不保证Scaling Laws一定收敛;行业正处在“刚找到一条新的路”的兴奋期,低谷与意外挑战仍可能反复出现。

泓君

欢迎收听《硅谷101》,我是泓君。

Today we're announcing the Sora app, powered by the all-new Sora 2。

9月的最后一天,Sora 2发布了。它可以把一句话变成一段10秒的短视频。好莱坞完全由AI创作的演员Tilly Norwood,诞生6个多月就获得了6.5万粉丝。她说:“I'm built on everything that came before me。”她发自拍、代言品牌,却从来没有真实存在过。她还说:“My jeans are binary。”

所以我们看到一个趋势:数字人正在成为新的内容生产者。但是,从在屏幕上生成一段2D视频,到生成一个3D数字人,并实现比较稳定、实时的互动,中间其实还有很多技术壁垒。

本期嘉宾柴金祥教授,2000年就进入卡内基梅隆大学研究机器人。但是,因为机器人的应用与落地都非常困难,他们团队反而成为了世界上最早用AI做3D动画的团队。在这18年的时间里,他几乎一直在做同样的研究:从机器人,到好莱坞的AI动画,再到今天我们正在讨论的一个非常前沿的问题——3D数字人的模型,是不是又可以反过来驱动机器人。

这听起来有一点像一种轮回,但也是一种新的开始。这一集我们就来讨论,这一轮人工智能浪潮到底是如何改变3D数字人行业与机器人领域的;而在好莱坞与游戏产业里,到底谁又是这项技术的受益者。

今天跟我在一起的嘉宾,是魔珐科技的创始人与CEO,柴金祥教授。Hello,柴教授,您好。

柴金祥

Hello,大家好。我以前是在美国当教授,2018年的时候回国创立了魔珐科技,到现在已经做了7年多。很高兴今天有机会和大家分享一下关于3D数字人和巨神智能的一些观点。

泓君

正好在采访您前几天,硅谷大家都在关注一件大事,就是Sora 2发布了。它做成了类似社交媒体的形式。我最近一直被Sam Altman刷屏,好像每个人都会拿它去做一段demo。

包括我们前几天刚刚举办《硅谷101》科技大会,我们就生成了一段让Sam Altman帮我们宣传大会的Sora 2视频。看起来,它在屏幕里面的形象是一个比较数字人的形象。这个对你们的业务会有影响吗?

柴金祥

我自己也快速体验了一下。我觉得Sora 2相比Sora 1进步蛮大的,无论是画质,还是新的视频形态。这里面的一个核心点,还是文生视频的能力。

它主要的形态是以人为中心的。以前Sora 1可能还是以风景和其他视频内容为主,但Sora 2可以让视频里的人做各种各样的事情:跳舞、坐在那里跟你交流、吃东西等等。

我也大概用了一下。第一个感觉是,现在视频生成的时间还是10秒钟,仍然没有跳出文生视频受时间限制的问题。

第二个点也特别重要,大家一直在说物理上的一致性。大家刷屏的时候看到的很多效果其实蛮好,但真正自己去做的时候,瑕疵还是太多了。它的视频里有皮卡丘和唐老鸭进行总统竞选辩论,它可以在原视频上修改。我说,把这个辩论变成《硅谷101》上关于AGI的辩论,主题是“Alignment 2025”,这是我们活动的主题。但你仔细去看的话,后面的“Alignment”这个词就是错的,开始乱码了。

对于视频这样的内容创作者来说,你不仅想生成视频。如果视频背景里的文字错了,或者人物的一致性有问题,你最想做的是:能不能编辑一下,把它变好?其实它现在还没有这个能力。

更重要的是,它现在允许你用prompt生成视频,但你没有能力去精细控制这个人的动作、表情等等。

不过有一个点它做得特别好:它第一次让人看到,如果有一个大模型,其实可以让人做各种各样的动作,至少在视频层面上是这样。

我们是在做3D数字人的研究和产品。我们认为,假如最后我们希望数字人像人一样交流、跳舞、娱乐大家,那么最后的大模型会是什么形态?它的训练数据又会是什么形态?

你看,Sora 2说,我把所有视频作为输入和训练数据,就可以做到这一点。最近Genie 3出来以后,其实已经是3D生成了,给人一种交互的感觉,但它不是人,而是和场景相关的。

如果最后我们要做一个“人”的大模型,我们会觉得,可能需要把2D和3D的训练技术结合在一起。我们希望生成这个人的时候,不仅没有10秒钟的限制,也没有瑕疵,在物理上是准确的,还能控制它,最好是实时的,而且成本很低。

因为我们自己现在做3D数字人的时候,除了3D训练数据,也已经开始把大量视频数据结合起来,作为训练数据,来做整个3D数字人表达能力的模型。

泓君

你看视频这个数据,如果你的模型做得好,其实还是有一定生命力的。以前我看Sora 1的时候,就觉得好像不太行,因为Sora 1基本都是场景式生成。Sora 2里面,为了让视频有生命力,就必须有一个主体,这个主体要么是人,要么是动物。

柴金祥

是的。

泓君

而且它的生成看起来也比较立体。所以我简单总结一下:Sora 2和你们整个3D数字人的生成,最大的区别是,Sora 2是文生视频,你们相当于是文生3D。这个3D可以在VR领域里展示,比如我戴着VR头盔,可以360度看到这个人。

同时,这个3D未来可不可以用于机器人,我们待会儿也可以讨论。核心就是2D和3D之间的区别。

柴金祥

对,Sora 2还是文生2D视频。如果是3D,把它放在VR或AI环境里,就跟我们现实生活中一样。

3D还有一个好处,就是它能让你控制。就像人一样,你让它怎么动,它就怎么动。但2D是在像素层面,很难对人的动作和表情进行精准控制。

泓君

我看到你们公司的数字人,其实也会用于屏幕展示。有一点我可能很难区分:我知道很多公司的展示屏数字人都是你们来做的。假设我进到一个展厅,看到一个屏幕上的、非常立体的数字人,它有动作、声音和表情;而我看到Sam Altman在一个视频里的数字人,除了时长上的区别,它们在核心技术上有什么不同?

柴金祥

一个区别是,屏幕上的数字人其实担当的是人与机器之间交流的载体。人与机器交流的时候,是实时互动的。一般来说,我们希望端到端延时小于2秒,或者1.5秒,才可以进行这样的互动。不能像生成一个视频那样,要等10分钟、5分钟,这是不可能的。

再往下说,屏幕里的数字人如果在展厅里面,你希望它介绍和回答问题时,动作不能出错。如果有一点瑕疵,你肯定会觉得不行。

所以这和Sora 2有一个很大的区别:不能有瑕疵,物理上要准确。所谓物理上准确,就是人的表情和动作要保持一致,不能突然出现胳膊衔接不上的情况。

大家以前可能看得比较多,用文生视频时,手指是特别难处理的。经常会多出一个手指,或者这一帧看起来没问题,到第5秒突然多了一个手指、多出一截,或者发生穿插。

但在实际交互中,特别是当它是服务人员或销售人员,跟你讲解产品时,你肯定不希望体验很差。它一定要准确。

最后一个点是,当你把这样的3D数字人部署在终端上时,成本不能太高。今天一个终端屏幕可能也就1万元人民币。如果生成视频并让它交互20分钟,即使可以实时生成,放在那里一年也要花很多钱,那就无法落地。

从Sora 2文生视频的角度来说,它的成本是不能扩展的。

泓君

它的成本有多高?和你们的成本相比有多高?为什么两者之间会有这样的差距?

柴金祥

我不一定能给出一个具体数字,但可以告诉你一个量级。我们现在的成本,和语音合成的成本相比,比如现在大模型做语音合成,我们的成本可能只有它的几十分之一。

这里面最核心的一个点,还是2D和3D的区别。对人类来说,如果我要描述一个人的动作和表情,其实几百个参数就够了。人的肌肉可能有几百块,只要控制一些肌肉就可以了。

下一步就是用3D渲染,把3D内容变成视频。还要做3D解算,因为除了人的表情和动作,还有头发、衣服,我们需要进行物理解算。

如果用AI来做这两件事,我们最大的核心是:内容生成以后,原本要用游戏引擎和非常昂贵的GPU来完成。但当我们用AI完成渲染和解算之后,成本主要就变成每一帧生成这几百个参数的成本,和大模型生成Token的成本其实是一样的,所以成本会非常低。

如果是文生视频,因为没有结构化信息,全是像素,所以整个推理和生产过程的成本会非常高。

泓君

所以我理解,现在你们之所以能把成本降下来,是因为你们有自己的端模型,可以这样理解吗?

柴金祥

可以。我们有一个把文本变成3D多模态表达能力的模型。它可以从文本生成语音、表情参数、动作参数,以及肢体和手势参数。

我们把这些参数传到终端,终端可以是Pad,也可以是大屏。我们用AI渲染和AI解算,把它变成视频。因为渲染是用AI做的,所以对终端算力的要求极低。

现在我们甚至可以用国内几百块钱的芯片,比如瑞芯微的RK3566,在端上直接运行。

泓君

如果它要和人进行实时互动、问答,这些能力还是在端模型上吗?还是说除了你们自己的端模型负责表达内容之外,后面也会接入大模型?

柴金祥

这是个很好的问题。在和你交流的过程中,我的眼睛看到你,我的耳朵听到你,这叫感知。大模型其实有理解和决策能力,而我们做的事情,是把文本直接变成语音,以及身体的姿态、动作、表情和手势。

相当于一个人不仅有语音,也不仅有表情,或者表情比较木讷,而是动作、语言和手势融为一体,这才是人与人之间的交互。

现在用ChatGPT,你可以输入声音和图片,最后输出文字。我们做的是从文字到3D多模态输出。比如我们两个人要交流,也就是人与数字人之间的交流,其实现在需要两个模型。

第一个是像ChatGPT这样的多模态到文本的模型;第二个是从文本到多模态3D的模型,包括语音、动作、表情和手势的输出。

我们只有自己的垂直领域大模型,但也可以使用国内的通义千问、DeepSeek或豆包等模型,和我们的模型连接起来,形成端到端的、人与数字人之间像人一样交流的体验。

泓君

所以,多模态到文本可以用大模型来做。

柴金祥

对,用大模型来做。

泓君

从文本到多模态,就是你们自己的端模型。

柴金祥

对,是我们自己的“文生3D多模态大模型”。这已经是一个产品,可以发布在星云平台上。

泓君

这个产品已经可以发布了吗?

柴金祥

我们会在10月份发布。现在还处于测试阶段,有几百个B端企业客户在测试,也已经有客户付费了。我们预计大概两周后发布文生3D多模态模型。

因为我们自己做这件事已经花了很长时间。从20多年前我读研究生开始,到今天,我们投入了很多精力。我们希望大家不要重复造轮子,能够把这项能力提供给所有开发者,让他们把我们的能力集成到自己的应用中。

泓君

我觉得很有意思的一点是,我知道你们公司之前主要做3D数字人。所以我的理解是,随着星云平台发布,你们其实是从一家3D数字人公司,变成了一家3D数字人平台公司。我的理解对吗?

柴金祥

差不多。

泓君

之前在NVIDIA的发布会上,Jensen Huang会非常自豪地说:“你看到的我不是真的我。”然后他会用一个自己的虚拟3D数字人向大家介绍。比如他身后有一个壁炉,他站在前面介绍,渲染得非常真实。他经常用自己的虚拟人来展示他们的渲染能力有多强、显卡有多强大。

他那个数字人的成本大概是多少?

柴金祥

这个成本其实蛮高的。但你问的问题特别好,因为他今天做的其实还是视频输出。

通常来说,如果要造出像老黄那样的数字人,需要研发团队配合美术团队,由一个团队来完成。按照业界的成本,在美国,如果找国内最顶尖的美术团队,做出一个这样的人,基本上要10万美元左右。

泓君

10万美元一个人?

柴金祥

对,差不多,做到发布会上的逼真效果。然后再加上视频制作。这个价格只包含把人造出来,如果要做视频,成本可能还要按秒计算。

通常我们会说,3D数字人还属于专业级内容生产,还没有到每个人都能生产3D数字人的程度。

泓君

我记得每次去游戏展会,都会非常明显地感受到,大家是怎么去制作3D数字人的。以前是让演员进行大量动作捕捉,同时用环形摄像机拍摄身体的每一个部位,再建模,一步一步还原出来。这是不是好莱坞或游戏公司经常使用的方式?

柴金祥

刚才讲到专业级的造人。无论是3A级游戏公司、好莱坞的《阿凡达》,还是老黄这样的数字人,整体来说都分成两部分。

第一部分是把这个人造出来。通常会进行扫描,用很多相机拍摄。演员坐在那里做各种表情,把人的整体几何结构重建出来。所谓几何,就是像雕塑一样,把人的形象雕刻出来。然后再重建人的表面纹理和材质。

生成这个人,包括人的肌肉,用学术化的语言来说,就是建模和绑定。

第二步是让它动起来。你会看到演员穿着动作捕捉服,上面有各种点,旁边有一大圈摄像机,把动作捕捉下来,再去驱动刚才拍摄和建模的人。最后再用渲染引擎或离线渲染引擎输出视频。

从建模、绑定、扫描,到制作动画让这个人动起来,再到输出视频,整个过程都非常昂贵。

泓君

这一套我理解是在大模型之前的时代,好莱坞和游戏公司经常使用的方式。现在有了模型,这套方法在这两个行业里仍然是主流吗?还是说他们也在探索,能不能直接用3D生成一个人?

柴金祥

这个问题特别好,这就说到这个行业的一个特性。3D内容的AI化,取决于两件事:一个是高质量数据,一个是AI算法能不能处理3D内容、做3D大模型。

今天我们看到,所有影视、动画和游戏公司比较擅长的是做内容,把美术和3D模型做得很好、很逼真。但绝大部分这些公司的AI能力,应该说是比较缺乏的。

因为它们走的是和互联网公司、科技公司完全不同的两条线,两条线之间的交叉非常少。它们当然也希望拥抱AI,但今天在这方面的能力比较欠缺。

AI公司当然算法能力很强,但它们其实没有数据。对于3D内容来说,首先要解决的是,你得有大量高质量的3D内容,才能做大模型。

泓君

所以我可以这样理解:大模型公司缺少好莱坞制作公司的数据,而好莱坞制作公司缺少AI算法?

柴金祥

基本上是这样。但我也看到有一些公司开始尝试了。你们在这一轮AI浪潮之前,就已经做了很久的数字人,也积累了很多数据。

泓君

你们是2018年成立的。

柴金祥

对。2018年成立的时候,最主要是为B端公司提供3D内容制作服务,比如游戏公司、影视动画公司,或者为企业制作3D虚拟偶像。

那时候我们其实就在尝试把AI和美术结合起来,提升效率和质量。在这个过程中,AI能力也不断提升。我觉得所有人都需要突破的一个点,就是3D内容的高质量数据。没有数据,AI算法再厉害也没法做。

泓君

从2018年到现在,2025年,你们大概积累了多少数据?可以透露吗?

柴金祥

比如动画数据,前期我们是为企业提供服务,后来就自己做动画数据。现在高质量的3D动画数据大概有1000多个小时。

这个数据量和视频、文本数据相比可能不算大,但如果考虑成本,一条数据的成本大概是多少?比如我们现在需要高质量的人脸动画、手势和表情,这些我们统称为动画数据,在国内一秒钟至少要1000元人民币左右。

另一方面,除了成本,你还得找到有能力把质量做到这么高的团队。所以整体来说,这类数据本身的数量和成本,都很难在短时间内积累起来。

泓君

很有意思。所以数据是你们训练出这样一个模型的核心要素。

柴金祥

我觉得数据是最核心的。没有数据,其他任何研发都没法做。

我们现在拥有的是3D数据。刚才也提到,我们还有视频数据。举个例子,网上看到有人走路、有人和人交流,这些都是纯粹的视频数据,没有3D信息。但3D数据和视频数据,我们现在开始把两者融合起来训练模型。

泓君

你为什么当时会选择3D数字人这个领域?

柴金祥

我2000年去卡梅读博士,当时在机器人研究所,做的就是这个方向。我的博士论文研究的是,怎么创建一个可交互的3D数字人,怎么用AI做动画。

我们那个团队应该是世界上最早用AI做动画的团队。因为那时候正好是2000年,动作捕捉刚刚出现。有了动画数据,就可以开始做AI。

从那个时间点开始,我就一直做3D动画和3D数字人。2006年毕业后,我去得克萨斯农工大学当教授,也一直在做这个方向。

那时候做动画主要属于图形学。图形学专门服务于影视动画和游戏行业,所以我们发表了很多论文,都是关于3D数字人和3D动画的。

2018年创业,也是做同样的事情。应该说,这件事我已经坚持了20多年。当然,在学校里还是以研究为主。

泓君

我知道您的博士导师是Jessica Hodgins,她主要研究人形机器人和3D数字动画。而且她的博士导师是Marc Raibert,也就是Boston Dynamics的创始人。Boston Dynamics是现在最有名、也是非常早的一家机器人公司。

所以看起来,整个3D生成最开始的应用就是好莱坞领域。

柴金祥

我的导师Jessica Hodgins从卡梅毕业,1989年获得博士学位。她读博士时做的是机器人研究,那时候也叫人形机器人,但只有一条腿。

为什么人形机器人只有一条腿?因为两条腿保持平衡太难了。其实你也看到过,几年前的人形机器人,两条腿走路时还会摔倒。平衡是一个非常重要的问题。

她那时候用物理运动控制和动力学的方法,控制机器人走、跑、跳。是单腿机器人。

她毕业以后,进入了图形学和动画领域。这两个方向大家可能觉得没有联系,但她当时的想法是:我在现实世界中能让机器人动起来,那是不是可以用同样的方法,让虚拟世界中的3D数字人动起来?

所以她是全世界第一个用物理运动控制方法来做数字人动画的人。她后来在佐治亚理工学院当教授,研究基于物理的仿真与控制来做动画。2000年,她又回到卡梅当教授。

但到了2000年,动画数据慢慢出现了,动作捕捉也开始普及。我是她在卡梅带的最早的博士,我们那时候是最早用AI做动画,因为那时候有数据了。

后来她又想,既然用AI做动画效果不错,那是不是也可以反过来做机器人?

现在大家知道的很多机器人领域很厉害的人,其实以前都是做动画的。比如Sergey Levine,他是Physical Intelligence的联合创始人,也是伯克利的教授。但你可能不知道,他在斯坦福读博士时做的是动画。

他用物理方法、运动控制和动力学的方法做动画。毕业以后,他想动画可以做,那机器人也可以做。后来当教授时,他就开始做机器人。

泓君

难怪Physical Intelligence的核心思想,是解决机器人的“大脑”问题,也就是软件层的问题。他们希望通过模型层去指挥机器人。这和他最开始不是从硬件研究,而是用机器人去做动画,听起来是一脉相承的。

柴金祥

是的。再给你举一个例子,我还有一个很好的朋友Karen Liu,她现在在斯坦福当教授,同时做Animation和Robotics。她以前在佐治亚理工学院当教授,也是同时做Animation和Robotics。

我们那时候还有其他做Animation的人,后来都转去做Robotics,或者同时做Robotics和Animation。这两个领域非常相通,因为都是3D:一个在虚拟世界,一个在物理世界,都是要驱动一个人或机器人,让它像人一样运动。

那时候很多人做动画,是因为动画相对机器人简单一些。机器人有一个本体,搭建硬件就需要很长时间;动画是在三维世界里,至少不需要搭建硬件。

第二,机器人会受到很多限制,比如重力、房间空间,或者机器人本身硬件的限制,而动画实际上没有这些限制。所以那时候有很多做物理的人开始做动画。

动画研究也分成几派。一派是用物理方法来做,比较有名的就是Jessica Hodgins。还有我博士论文委员会的成员、UBC的Michiel van de Panne,他一直在做控制器和运动控制。

那时候动画研究的中心其实也在卡梅。Karen Liu的导师叫Zoran Popović,她也是从卡梅毕业的。那个时候做物理动画的人非常少,国内基本没有人做,欧洲可能也没有,主要就是美国两三个研究组。

后来动画有一个大的飞跃,是从2000年开始的。最主要的原因是动画数据出现了。动作捕捉把数据采集下来以后,大家慢慢开始尝试用AI做动画。

那时候比较早的方法,现在叫强化学习。我记得最早用强化学习做动画的论文,应该是2004年或2005年。虚拟世界和现实世界其实差不多,唯一的区别是现实世界有硬件限制,但底层方法非常相似。

我们讲“小脑”做的事情,包括动作规划和运动控制,这个流派到现在仍然有人做动画,也有人做机器人。

现在最新的方向叫VLA,也就是视觉、语言、动作模型。这是一个新的方向,更多讲的是“大脑”。但“小脑”这件事,在动画和机器人里其实非常相似。

泓君

我们之前聊很多好莱坞节目的时候,有听众问我,《硅谷101》不是一档技术节目吗?讨论AI时,不是应该多聊技术吗?

我就说,好莱坞其实是驱动科技发展的重要力量,而且很多AI技术最开始的应用就是电影制作。

你们有没有想过,把你们的3D数字人产品用于更多好莱坞的造人?比如你们已经训练了自己的端模型,可以输出一个数字人的模型。底层技术你们已经有了,就可以让一个不太会动的演员活动起来。

我觉得这可能是对整个好莱坞的一次降维打击。我们刚才提到,好莱坞怎么用AI技术和机器人技术相互促进。现在听起来,那套技术已经有一点开始落地了。虽然目前的生成效果还没有那么好,但整个进展已经很惊艳了。

柴金祥

你刚才讲到一个非常重要的点。当我们讲一项技术时,有几个关键因素。

第一个是质量。好莱坞的质量可能最高,往下是3A级游戏,再往下可能是生活中的一些交互场景。

第二个是成本。第三个是应用场景。

如果要做好莱坞,高清晰度和高质量可能特别重要,因为它可以等100个小时、200个小时,或者花更多的钱,来等待高质量结果。

但在实时交互里,可能等不了那么长时间,需要马上看到结果并进行交互。它的质量不一定要像好莱坞那么高,但可以先做一些好莱坞IP的衍生品。

泓君

衍生品肯定可以。

柴金祥

当然,如果好莱坞要做,也不是不可以,但需要更高质量的3D数据来训练AI大模型。

按照我们自己的发展路径,可能会有先后顺序。对我们来说,可能先从日常生活中的交互、服务和陪伴开始,再到游戏,最后到好莱坞。

因为从难度来说,好莱坞的难度非常高,质量要求也很高。但能够生产这样高质量数据的人,全世界可能都没有几个。

泓君

正好在采访前几天,我看到好莱坞已经造出了一个叫Tilly Norwood的女演员。这个女演员完全由AI生成,但如果你关注她的Instagram,她看起来和真人非常像。她每天会喝咖啡,也会发自拍,有自己的生活。

如果只看她的社交媒体,很难区别她是真实演员,还是数字生成的演员。

像这种技术,通过你们的平台,比如开发者再接入你们的API,可以做到吗?还是需要更多其他方向的辅助?

柴金祥

她现在的做法,其实还是PGC制作的方法,仍然是2D。她是用文生视频的方式做出来的。

泓君

但如果由你们来做,就属于降维打击。

柴金祥

是的。但这里面有一个点:在元宇宙比较火的时候,美国有一个虚拟偶像叫Lil Miquela,她在Instagram上可能有一两百万粉丝,可能比今天你刚才讲到的Tilly Norwood还多很多。

刚开始大家也不知道她是虚拟偶像。所以我们今天讲的这种方式,更多是在讲社交媒体运营:怎么生产专业内容,打造一个人设。

但有一点特别需要注意。今天用文生视频时,不能保证每次生成的视频100%准确,但它可以等待。比如每天发布一张图片或一段视频,它可以生成100段,从中挑一段就可以。

如果是实时生成,就不行。

反过来看我们现在这套技术,如果她要开一场现场演唱会,当然也可以做。文生视频的好处是基于视频训练,所以真实感会很好,虽然有时在物理上不一定准确。

我们现在采用3D方式,可能不是追求和现实世界一模一样的真实感,而是更强调交互性。

泓君

也就是说,它更强调实时性。如果要实现实时性,训练上最需要侧重的是什么?

柴金祥

实时性的核心一直是延迟。比如文本输入的延迟就特别重要。如果需要10分钟、1分钟、30秒,甚至1秒钟,我们都无法接受。

现在我们基本做到500毫秒到600毫秒之间。文生视频则没有这个需求,等5分钟、10分钟都可以。

部署也很重要。实时交互时,可能同时有100个、1000个,甚至1万个用户和这个3D AI数字人交互。每个人生成的内容都不一样。

如果成本很高,同时有1000个人,就要把成本乘以1000。这就是高并发场景。

泓君

所以后面还要进行额外的服务器部署。

柴金祥

对。如果成本很高、延时又很长,根本不可能做。

泓君

问一个稍微有一点敏感的问题,你可以选择回答或者不回答。你们现在把API接口开放出去,我相信肯定有一个基础接入成本。你觉得它能赚钱吗?

柴金祥

肯定能。因为在真正发布平台之前,我们已经有B端客户了。国内做AI公司,商业上的账必须算得过来,除非你是字节、阿里或腾讯。

这里面最核心的一个突破,也是我们过去半年最大的突破,就是交互能力和API。半年前我们其实已经做好了,但当时成本很高。

刚才讲到,服务一个人的成本,当时基本上需要一张显卡,一张显卡要两三万元。所以那时候有很多B端客户来问,能不能让他们使用。结果一问价格,他们就不用了。

泓君

这个成本是怎么降下来的?因为你们是3D内容。3D内容有一个特别重要的特点,所有影视动画公司和游戏公司都离不开渲染引擎和解算引擎。

这个我太懂了。我们做视频时,渲染真的非常耗时间。

柴金祥

如果3D内容要支持实时交互,每一路都需要一张显卡,用来做3D渲染和解算。我们通常使用的最好引擎可能是Unreal Engine,但成本摆在那里。

我们当时一直在想,如果不能把这张用于渲染和解算的显卡去掉,就没法真正谈应用。无论是展厅的大屏、手机、Pad还是电视,都不可能让大家真正使用。

以前我也觉得解决不了。但技术有时候很奇怪,我们忽然想到了一种方法:把渲染和解算用AI做好。

这样就不需要渲染引擎,也不需要渲染引擎所需要的显卡。我们可以在非常便宜的终端上,比如一两百元、两三百元的芯片上完成渲染和解算。

泓君

所以你们用端到端的AI模型,解决了渲染问题。

柴金祥

渲染问题只是其中之一。前面还有一个问题,就是从文本生成3D动画、表情所需要的参数和语音。

我们实际上分成两部分。第一部分,解决文本到语音,以及文本到3D表情、动作和姿态的问题。第二部分,把3D动作、表情和姿态参数输入模型,输出对应的实时视频。

这样一来,我们的成本甚至比语音生成的成本还低。

泓君

如果你们能把渲染成本大幅降低,这一轮生成式AI技术对Unreal这样的游戏引擎公司会是一次冲击吗?

柴金祥

对NVIDIA来说,可能是左手和右手的关系。那一部分失去的显卡需求,可能会在另一部分补回来。

我认为对游戏公司来说,更多是一个机会,不一定对Unreal是特别好的事情。但对游戏公司来说,每个游戏公司,特别是3A级游戏公司,在运行游戏时一定需要云端显卡,或者手机上要有比较强的算力,否则手机玩一会儿就会发热。

所以对于游戏公司来说,这可能是件好事。渲染和解算引擎将来是不是可以通过AI来解决,不再需要引擎,也不需要高性能显卡,就能玩游戏?

游戏可能会因此无处不在。将来如果真的有元宇宙,大家进入虚拟世界后,成本也许会非常低。

泓君

现在用AI解决渲染问题,质量和原有游戏公司的渲染质量相比,大概到了什么阶段?

柴金祥

对于我们这个特定应用场景,基本上一样。因为我们的输入训练数据,就是用最高质量的游戏引擎渲染出来的。我们只是用大量数据去逼近原来游戏引擎的效果。

我们自己做过并列对比:左边是游戏引擎,右边是AI生成,没有人能看出左右之间的区别。

泓君

这非常颠覆。

柴金祥

对。对于我们来说,特别是我们希望把3D数字人放到每一个终端、每一个屏幕上,这是一件最重要的事情。

也许从技术上,我们可以做文生3D多模态大模型,但真正部署时,低成本是最重要的问题。

泓君

对于游戏公司来说,他们也有很多游戏人物,需要大量渲染,也需要很多显卡。

柴金祥

对。他们可以预渲染,但仍然需要显卡和游戏引擎。就像我们生成训练数据一样。

或者大家今天看到做具身智能机器人,需要采集很多数据。但采集、训练完成以后,实时运行时就不需要这些数据了。比如机器人抓东西时,只是基于模型来执行。

所以两者的模式不一样。游戏公司对实时性的要求没有那么高。

我觉得游戏公司的AI渲染将来也一定会走向实时。到最后,实时玩游戏时不一定需要真正的游戏引擎。我认为最后可能会使用大模型,做一个针对某个特定游戏、某个特定应用场景的端侧AI渲染引擎。

这个渲染引擎可能比今天使用游戏引擎、解算和渲染的方法更便宜。

泓君

这样听下来,Unreal和Epic Games如果不赶紧更新,可能会有一点危险。前面训练数据还是要从它们那里获得,但实时运行时不一定需要它们。

柴金祥

你看到Genie 3了吗?它有很多训练数据就是用游戏引擎生产出来的。当它生成视频时,现在已经可以呈现出3D的感觉,并且可以和它交互,这时候其实就不需要新的游戏引擎了。

泓君

如果开发者接入你们这部分能力,现在可以用这套3D数字人平台做什么?它的场景有哪些?

柴金祥

这是一个非常好的问题。我们在做这个平台的过程中,已经和很多客户合作过,也有很多客户来找我们。

我们看到的一个最重要应用,是现在国内大家慢慢都开始使用大模型。将来有一天,大模型可能会出现在各种终端:手机、平板、PC、线下大屏,或者现在很多放在桌面上的小型全息屏和陪伴设备。

如果大模型出现在终端上,应该怎么和它交互?难道今天还要在文本框里打字,或者对着空气讲话吗?

泓君

我现在觉得打字的效率太低了,尤其是在一些突发和实时场景下。我越来越依赖模型了,有时候根本来不及打字。

柴金祥

是这样。有一位非常有名的心理学家在1970年提出,人和人之间的沟通交流,可能有50%到60%是视觉信号,语音信号占30%到40%,语言信号可能只占7%。

所以我们最大的应用场景,就是把能够通过语音、动作、表情和姿态与用户交流的3D数字人,放到每一个屏幕上。

从非常大的显示屏、展厅屏幕,到电视机、电脑、手机、车机,最后到迷你全息屏。当你和它交流时,就像和人交流一样。

泓君

有一个有意思的点是,大家现在看到的大模型交互,主要是文本到文本、文本到图片的输出。我觉得这是ChatGPT发布时OpenAI定义的交互方式。

但现在OpenAI也在升级这套交互方式。你觉得未来的交互方式,可能就是数字人与数字人的交互,像人与人之间一样,而不是文本到语音,或者文本到视频这样的交互?

柴金祥

我觉得未来人与机器、人与屏幕的交互,一定会像人与人之间的交互。

今天ChatGPT已经做了多模态到文本,也做了文本到视频、文本到图片,只差把这两部分串起来。但它还没有做到文本到多模态表达。

如果把多模态到文本和文本到多模态连接起来,就完全像现实生活一样:我看到你的表情,听到你的话,知道自己要说什么,同时有表情、动作和声音。

泓君

那每个人都要渲染一个属于自己的模型吗?

柴金祥

我觉得将来每个人可能都会有一个分身。至少对企业来说,肯定会有统一的形象。比如我是做客户服务的,所有用户和企业都知道,这个是企业的客户服务人员,或者是企业的品牌官、企业虚拟人的形象。

个人也肯定会有自己的分身。大家可以和这个分身沟通。比如泓君,你可能在某个领域非常专业,是一个专家,将来肯定会有一个属于你自己的分身。你休息的时候,它同样可以和别人沟通,提供你的反馈。

泓君

如果把你们现在的模型放在一起,综合来看它的能力,你觉得最强的一点是什么?

我们现在看到很多2D视频渲染时,最大的痛点,前几年可能是口型对不上,会产生一种虚假感,或者眼神很空洞。你觉得现在你们的3D数字人在应用到不同行业时,大家最大的痛点是什么?你们是怎么解决的?

柴金祥

这个问题非常好。我们和客户沟通时,收到的反馈永远集中在几个问题。

第一个问题就是质量。它的语音、动作和表情,唇形是不是自然,是不是像真人一样。

第二个问题是延时。我和它聊天时,说一句话,它是不是要等5秒钟才回应?我肯定没有这个耐心。

第三个问题是成本。如果非常昂贵,客户从投资回报率角度考虑,体验虽然提升了,但成本太高,他也不一定愿意使用。

所以从核心问题来说,这三个问题是我们真正要解决、并且规模化落地的“三座大山”。

还有一个问题,是我们希望让具身智能数字人适配多个终端。无论是大屏、小屏、手机、App,都要支持并发,这里面会涉及不同操作系统和不同芯片的算力。

解决质量和延时,最主要靠大模型提升能力。质量方面,训练数据最重要。如果动画训练数据的质量很差,3D人的质量就不可能做好。

另外就是大模型本身的能力:能不能通过文本生成语音、表情、动作和唇形,让它们匹配起来;能不能从文本里提取情绪,比如笑一笑、打个招呼,自动生成这些关键意图;包括TTS语音生成,是不是也带有情绪。

这些都涉及大模型如何产生高质量输出。

泓君

语音生成也有情绪,你们是自己做这一部分,还是直接调用大模型的能力?

柴金祥

这部分我们自己做。从文本生成语音,以及所有的表情、动作和姿态,都是我们自己做的。也就是说,从文本到多模态输出,全是我们自己做。

泓君

你们之前的数据积累,我理解其实包括外形、动作和表情,语音数据也有。

柴金祥

一样有。我们自己有一个工作室,可以采集各种动作和表情数据,也有自己的录音室来录制最高质量的语音数据。

有时候我和你交流时,语音、表情和动作是匹配的,所以这些数据要同时录下来,而不是把语音、动作和表情分开录。录制时,语音和唇形必须结合在一起。

泓君

那你们怎么考虑哪些环节自己做,哪些环节接入其他模型?

现在整个语音应用,包括模型在语音层面的进化,已经做得非常好了,也有很多语音开源模型和接口。

柴金祥

对于从文本生成语音、动作和表情这部分,我们一定会自己做。因为我们特定的应用场景,是很多语音模型没有覆盖的。

举个简单的例子,在销售陪练中,我需要一个特定风格的医生;或者在陪伴场景里,它可能需要是某一种特定人设,比如“小奶狗”。它的声音也是特定的。

如果只是调用别人的通用声音,没有办法匹配这个人设,我们很多场景就做不了。

泓君

所以你们会针对一些特定场景,训练特定的声音。比如有哪些场景?

柴金祥

我们现在的业务分为B端和C端。B端里面会有不同的需求。

比如客户服务,客户会要求特定的说话声音;我们现在也做教练,比如销售培训教练,或者面试官。这些B端场景都不一样,有的要求专业,有的要求更加严谨。

C端可能会更多样,比如做陪伴,可能是卡通形象的陪伴,声音像小孩一样,萌一点。

因为现在已有的TTS应用场景没有那么多样化,我们做下来有一个感觉:如果使用通用模型,很多时候进入垂直场景是不行的,一定要自己做,不能等它替你完成。

我们就像提供一套套模板。客户如果已经有文本大模型,可以直接调用我们的文生多模态能力;如果客户已经有语音,也不需要使用我们的语音,可以直接调用客户自己的能力。如果什么都没有,我们就全部提供。

泓君

我们刚才聊的很大一部分,都是AI技术如何构建虚拟世界。反过来,你们现在训练的模型也可以操控机器人。你们试过吗?

柴金祥

我们试过。做3D数字人和3D动画有一个很好的地方,就是它能够驱动机器人。

比如我是一个能和你交流的3D数字人,你问我的时候,我能听懂你,也知道应该用什么样的语音、动作、表情和姿态。对机器人来说,同样可以用这套能力来驱动它。

机器人也可以进行实时语音、动作和手势,只是现在机器人没有脸部,所以表现不出表情,它没有脸部肌肉。

泓君

因为现在的机器人更像蓝领。将来如果机器人要做陪伴,或者做白领工作,比如销售或老师,可能也需要表情。

柴金祥

首先,我知道和你交流时,手势应该怎么动,表情应该怎么动,姿态应该怎么动。下一步就可以用模仿学习,像NVIDIA采用的方法一样,在仿真环境中直接用这些驱动数据,让机器人和你交流。

泓君

太有意思了。你们现在在真实应用中,比如把你们模型的数据接到机器人上,你觉得对机器人哪一部分的提升最大?

机器人可能没有表情,但它的手势可以动。你们可以同时驱动手和脚吗?还是只能驱动上半身?

柴金祥

我们可以同时驱动手和脚。

告诉你一个特别有意思的事情:在国内的合作中,因为我们生成的是从脸、手到腿部的完整动作,很多机器人公司的平衡还没有做得那么好。我们把动作给它之后,它可能还要结合强化学习和仿真来完成。

我们已经向他们提供了API。如果他们在这方面做得特别好,就能够把动作驱动起来。上半身有很多动作,具有一定的泛化性。

其实这件事没有那么难。就像爬楼梯一样,我们可以通过自己的能力生成动作,然后在仿真环境里加上强化学习,让机器人复制这个动作,没有问题。

泓君

所以,机器人平衡问题的关键是,你们收集的3D人的数据只是动作和姿态数据,并没有力的反馈。只要加入力这一点,就可能出现平衡和摔倒的问题。

柴金祥

我觉得你很专业。

这里面有两个核心点。要驱动一个机器人,一个叫运动学,也就是Kinematics;另一个叫动力学,也就是Dynamics。

第一步,比如我要抓一个杯子,首先要知道手应该采取什么姿态、什么位置去抓它。第二步,动力学要解决的是,我需要用多大的力,才能按照想要的路径和姿态完成抓取。

所以我们先做Kinematics。很多时候大家叫它运动规划,也就是Motion Planning,做的就是这件事。一般来说,运动学和动力学可以结合起来。

泓君

所以我理解,机器人公司在寻求合作时,这两部分都需要。可能他们从零开始做一家机器人公司,最缺的就是数据,而你们已经有训练好的数据和模型。

柴金祥

从我们平台的角度来说,下一步我们今年应该会发布一个3D动作大模型。比如你告诉它“爬楼梯”,或者直接说“向前走5步,趴在地上,再爬起来,然后跑”,它就可以自动生成3D动作数据。

这些动作数据当然可以用于机器人训练。因为机器人需要捕捉动作,有了动作大模型以后,就不一定非要通过捕捉来获得数据。捕捉本身也只是为了获取动作数据。

泓君

我看Boston Dynamics的机器人,爬楼梯、旋转、搬箱子都已经做得非常成熟了。但我理解,他们是在大模型公司出现之前,就已经在机器人领域研发了很多年,采用了各种方法。

你们现在是用AI模型去驱动爬楼梯这样的动作。我们看到的机器人表现可能是相同的,但技术路径完全不同,还是说其实有相似之处?

柴金祥

你刚才讲到一个很有意思的点。Boston Dynamics以前确实能让机器人爬楼梯,但有一个问题:它以前爬楼梯时,泛化能力并不强。

比如给它不同的楼梯,楼梯高度不一样,它不一定都能爬得好。

泓君

因为它给你展示demo时,永远展示的是同一个楼梯。

柴金祥

对。所以这里面有一个特别重要的概念,叫泛化性。

我相信今天做人形机器人或做机器人的人都会讲:我的数据生成以后,能不能做数据里没有见过的事情。

以爬楼梯为例,每个楼梯的高度、层数,楼梯本身的摩擦力和摩擦系数,都属于泛化参数。

今天你有没有能力让机器人面对任何楼梯都爬得很稳?能不能控制它爬得快一点或慢一点?这在今天仍然是一个难题。

其实它还是来自数据。假设你拥有所有不同高度、不同速度的楼梯数据,做起来就没有那么难。

如果我们现在做好一个核心能力,在虚拟世界里,包括将来发布的3D动画大模型,能够生成让机器人爬各种楼梯的动画数据,所有情况都见过了,问题就会容易很多。

泓君

太有意思了。所以你们其实也在做机器人动作的泛化性。

柴金祥

机器人动作有泛化性,我们也在做数字人动作的泛化性。这两件事其实是一样的。

泓君

你觉得用AI做机器人,AI和机器人经过了哪些变迁?

比如最开始大家还没有想到用AI做机器人,后来又开始在AI里加入强化学习做机器人。

柴金祥

最早的时候,AI机器人这个方向非常难,特别是人形机器人,也就是biped,两只脚的人形机器人。它最难的问题是平衡,另一个问题是抓取。

那时候做人形机器人,主要是在日本,有一段时间非常火,比如本田的ASIMO。

那时工程师要调一个机器人走路的动作,根本不知道背后需要多少工程师去调参数。我们把这些参数叫控制器,也就是用多大的力来控制机器人,让它在不同表面上像人一样走路。

这些参数也不稳定,平面稍微改变一点,机器人可能就会摔倒。那时候AI和Machine Learning的东西并不多,主要是做控制器。

所以早期机器人发展主要是控制,目标是让机器人不摔倒,先解决平衡问题。如果机器人能走而不摔倒,那时候已经非常了不起了。

后来大家觉得,只能这样走还不够,能不能有一定的泛化能力?走路时能不能适应不同平面、不同表面,速度也可以不同?

如果不用AI方法,基本不可能做到。现在的进步,一方面来自数据,另一方面来自强化学习和仿真环境。像NVIDIA把这些技术和能力开放出来以后,大家都可以在仿真环境中做,发现其实没有那么难了。

泓君

你觉得现在的机器人,和你当时学机器人时相比,20年里进化了多少?

柴金祥

进化还是蛮大的。以前让一个两条腿的机器人跑、走、跳,觉得非常困难。但现在你看看国内很多做人形机器人的公司,运动会上拿个遥控器控制它,至少能走,也能跑。

大部分问题已经解决了。20年前基本不可能,因为平衡太难了。

泓君

但它是通过远程操控解决的。

柴金祥

对。即使通过远程操控,也还是要解决刚才说的动力学控制问题。

我觉得,如果有视觉、语言、动作大模型,就不需要拿遥控器了。但“小脑”控制机器人走路、不摔倒,这件事仍然很难。

泓君

机器人走路不摔倒,现在是大多数机器人公司都能达到的水平,还是只有头部几家公司能做到?

柴金祥

对于稍微不错的团队,我觉得问题不大,基本都已经解决了。但有一个点是,你的泛化能力到底有多强。

泓君

你说的走路不摔倒,是在它日常训练中的特定场景里不摔倒。如果换到新的场景,可能还是会摔倒。

柴金祥

如果要求在新的应用场景中完全不摔倒,其实非常难。我不知道现在有没有哪家公司能做到泛化能力很强、非常鲁棒地不摔倒。

基于我的认知,可能现在还没有。如果有的话,我也要学习一下。

比如爬楼梯,我今天可以设置任何一种楼梯,它不一定以前见过。我不相信现在世界上有任何一家人形机器人公司能够做到。

所以我们目前解决的,可能只是特定场景下在平面上行走的问题。

另外还有一个问题是grasping,也就是抓取。早期用人形手去抓东西其实不多,机器人行业里很多时候使用的是吸盘,毕竟吸住东西就可以了。

但现在很多人开始做像人手一样的抓取,比如拿筷子夹东西,这也是一个非常难的问题,仍然需要大脑加小脑。

大脑首先要看到这个东西,判断应该怎么抓;最后还要用小脑真正控制筷子去夹它。这个事情今天仍然非常难。

现在看到的很多都只是demo。我认为,在一个特定应用场景下,稍微有一点泛化性已经很难;如果再向外延伸,泛化能力还会更难。

泓君

我们10月5日的活动您也去了。现场有机器人给大家开可乐。头一天彩排时,我把一瓶可乐放上去,说我也要试一下。

他们说必须把可乐转一个方向,让瓶口的拉环对着机器人的手指。如果不把拉环对准,机器人的手还很难把它转过来打开。

柴金祥

你这个还是在一个已经布置好的特定环境里。更不要说进入家庭,在家庭环境里,灯光、空间和各种限制会更多,那就更难。

所以我觉得,现在大家只是看到,大脑,也就是VLA模型,可能有机会解决这个问题,但不一定能100%解决。

到底需要多少数据才能达到一定的泛化能力和鲁棒性,没有人知道。大家只是相信Scaling Laws,相信大模型总有一天能够解决。但这里面的挑战非常大。

泓君

从你的角度看,现在世界上最好的机器人公司是谁?为什么?

柴金祥

做机器人有不同流派。有的做本体,也就是硬件;有的做小脑;有的做大脑。

我自己觉得,现在还不能说谁有多好,因为“好”有不同的定义。你今天做研究,这条路已经有了一些promising results,还是已经落地了?也许今天看起来很有希望,但最后发现这条路是死路;暂时领先也不一定是最终领先。

国内现在有不同的流派。比如宇树可能做的是机器人本体加小脑,但不做大脑。

泓君

大脑是指什么?

柴金祥

大脑就是现在做VLA,做叠衣服这类事情。小脑则是让机器人爬楼梯、跳舞、跑步。

这里面有做本体的,有做控制的。控制我们叫小脑,包括运动规划、运动控制和动力学整套系统;还有做大脑的。

我觉得至少现在还没有看到非常明确的曙光。可能我比较悲观,它也许会像其他领域一样,比如VR、AR和AI,都会有起起落落。

这毕竟是机器人第一波浪潮。无人驾驶也经历过起起落落。但从长期来看,前景肯定是光明的;从短期来看,可能仍然有很多挑战。

泓君

你觉得机器人模型要达到GPT-3时刻,需要多久?

柴金祥

这个问题我没有那么强的经验和认知。今天数据要具备泛化能力,至少还需要很长一段时间。

目前我看到的东西,还没有让我非常清晰地判断是两年还是3年。但我觉得10年可能有希望解决这个问题。

泓君

10年已经是很长的时间了。所以这也是为什么你们公司在做的时候,没有直接选择机器人这个赛道,而是选择了3D和机器人交叉的领域。

在数字世界里,我们做3D数字人,让它在VR空间或屏幕上像人与人一样交流;让它在数字世界里抓取东西、走路、爬楼梯。这本身在数字世界里就已经很有用,也可以有真实世界的商业落地。

反过来,如果这些能力都做出来,对机器人研究来说也很有价值。我们刚才讲到小脑,你要做运动控制和动力学,首先得知道怎么动,然后再决定使用强化学习,或者用什么样的力,让它完成动作。

柴金祥

我觉得从研究角度来说,机器人是一个非常好的方向,因为有太多东西可以尝试。

但从商业化角度来说,挑战蛮多。如果要商业化落地,至少在人形机器人方面,我觉得白领可能会比蓝领更快。

泓君

刚才你提到,在数字世界里也可能涉及力的反馈。比如好莱坞动画里,我们把一个苹果或南瓜扔出去,它变成南瓜酱,炸开了,那就是物理。

还有一个例子,如果你是一个数字人或3D角色,从二层楼跳到一层楼,跳下去时和地面之间的反馈、落地后如何滚动,都一定要满足物理规律。

柴金祥

我们的动画大模型生成动画之后,本身就可以用物理方式在虚拟世界里进行仿真。同样的方式,也可以在虚拟世界里用强化学习生成控制器。

同样的方式也可以应用到现实世界。它们的底层逻辑是相通的。

泓君

但我有一个问题。如果我们收集动画世界里的数据来学习,知道一个人从楼梯上掉下去之后如何弹起、如何滚动,但不知道为什么,也不知道其中有多少力,只是看到了现象。

然后用这些现象和数据训练大模型,让它进行反馈和模拟。我们还是不知道力是多少。

我们说Scaling Laws,所有大模型都是黑盒模型。但如果把场景拉回现实世界,让机器人砸到一个东西,或者拿起一个东西,这个力我不知道在现实数据中是不是仍然要反复调控和计算出来。

所以它是不是必须要有力的数据?

柴金祥

我觉得人在现实生活中举起一个杯子,也不需要计算具体的力,这是一种经验和习惯,我们有这样的感知就够了。

我的总体意思是,过去机器人研究,包括力学反馈,更多是在用白盒方式做;而现在模型更多是在用黑盒和经验主义的方式做。

这也是为什么我们觉得,沿着现有方法真正泛化到现实世界,去抓取各种东西时,挑战会非常大,因为泛化涉及的因素太多。

泓君

所以我们在学习力的控制函数时,以前是要自己计算,或者一个一个地调配?

柴金祥

对。现在更多使用强化学习,大家不需要知道为什么,只要有足够多的数据和奖励函数,它就会慢慢学会。

但问题是,抓杯子只是一个很小的例子。这个世界上有多少种情况?

所以我希望将来有一个基座大模型,拥有足够多的数据以后,大家可以在特定场景里调优这个模型,让它在这个环境里慢慢做好。

但其实很难。你看我们学会抓东西、学会走路和跑步,花了多长时间。

泓君

我自己听下来,对机器人领域这一波最大的进展,是研究方式从白盒模型变成了黑盒模型。

过去我们必须知道每一个细节、每个受力点是多少,靠计算和逐个调配来研究;现在变成端到端的模型输出。我们不知道里面具体怎么运作,但它可以完成任务。

柴金祥

强化学习讲的就是这个。以前更多是显式的,比如我要抓一个东西,大概知道需要多大力,提前算好。

现在不一样了,在这个过程中,它可以根据现实世界的情况,包括第一次抓取时对表面的感受,持续调整。后面一定有奖励函数。

这条路已经被打开了。以前机器人研究让人觉得很难,似乎没有希望,那种方法也一定无法规模化。

但今天大家为什么觉得,虽然我作为一个外行也会觉得很难,不知道是3年还是5年,但从长期来看仍然有希望?因为这套方法在大语言模型和其他方向上,已经展示了它的能力。

如果机器人领域有足够多的数据,就有可能解决这个问题。它的上限是大家能看到,有一天可能真的做到像想象中那样,让机器人在各种复杂场景里完成各种工作。

泓君

但在这个过程中,是不是也会遇到大家想象不到的问题,会经历低谷?我不知道最终结果是不是一定会收敛,是不是能够一直看到效果。

柴金祥

我也不知道。现在更像是大家刚刚找到一条新路时的兴奋期,但最终结果能不能收敛,还要经历中间的起起落落。

泓君

是的,是的。好,谢谢柴教授。

柴金祥

好,谢谢。

泓君

好的,这就是我们今天的节目。很可惜,今天我们在录制的时候是播客,不是视频,所以其实很难去实时地展示、感受一下这个3D数字人的效果。也希望未来我们视频可以出一个呈现的数字人,给大家看看、感受一下。所以如果大家对比如说像3D的AI数字人到底可以用于哪些好玩的领域、去做一些哪些好玩的事情有更多的想法,欢迎给我们写评论,多多交流。我们的博客听众可以在小宇宙、苹果博客、Spotify上来收听、订阅我们。如果大家想看字幕版,也可以在YouTube或者bilibili上来订阅我们。未来我们也会推出我们的newsletter,在硅谷举办一些线下活动。如果大家对我们的线下活动感兴趣,可以在我们的Shownotes里面订阅我们的newsletter。我是泓君,感谢大家的收听。

泓君

谢谢柴教授。

柴金祥

谢谢。

E211|站在内容创作者与机器人的交界处:聊聊3D数字人的进化 | BidClub