卫诗婕
哈喽,大家好,欢迎来到商业漫谈,我是诗婕。上周我收到一个邀约,主持了一场围绕具身大脑的技术分享直播。主办方是北京人形机器人创新中心,他们也是今年机器人马拉松大赛冠军天工机器人的主创团队。在当下具身智能为机器人造脑的热潮中,北京人形团队也交出了自己的研究成果,最新开源了具身大脑 Pelican VL。围绕这个最大尺寸的开源具身多模态脑模型,我们逐步还原了为机器人造脑背后的全过程,并进行了包括 VLM、VLA 等一系列具身知识的科普,还解析了不同技术路线的差异。围绕具身智能的学习,我已开辟了一个单独专题 Robots Coming。过往第四十五期节目中,我曾陪伴过人形机器人进工厂,非常适合和本期内容一起收听。这期节目的视频版也将在不久后登录 B 站、视频号、小红书等平台,大家可以对照 PPT 更直观地理解,也可以关注我的公众号“卫诗婕商业漫谈”。让我们一起学习具身领域的知识,共同迎接一种融合文明的到来。
哈喽,进入直播间的朋友们,晚上好。我想,走进这个直播间的朋友可能包含机器人学界、业界的朋友,也有很多对机器人感兴趣的普通受众。和大家一样,我也对当下正在发生的这股“为机器人造脑”的热潮有很多好奇心,所以今天这场直播会带大家走进一个技术研发团队,还原具身智能“造脑”背后的全过程。
我是主持人诗婕。今天我们非常荣幸地邀请到了北京人形机器人创新中心的研发团队。这场直播会涉及具身智能脑模型的科普和技术路线差异的解读,也欢迎大家跟随我们一起进行深入探讨,也欢迎大家把自己感兴趣的问题留言在评论区。
先请我左手边的这位唯一的男性,跟直播间的朋友们打个招呼。
鞠笑竹
大家好,我是鞠笑竹,来自北京人形机器人创新中心,主要负责具身大模型的技术研发。
Joy
大家好,我叫 Joy,现在在北京人形机器人创新中心主要做具身大模型强化学习相关的研究。他是我的老板。
Selina
大家好,我叫 Selina,是北京人形的多模态算法工程师,主要负责 SFT 阶段的微调和数据处理工作。
Yoyo
哈喽,我是 Yoyo,现在研二在读,是一名实习生,主要负责强化学习部分的数据处理、代码开发等工作。
卫诗婕
很多朋友可能对北京人形机器人创新中心这个名字不是特别熟悉,但是如果我讲到这家公司研发的人形机器人产品,大家就非常熟悉了,就是天工机器人,也是今年人形机器人马拉松大赛的冠军获得者。
一会儿在结尾的时候,我们还会有一个彩蛋,邀请天工机器人过来和大家互动。
1. The Robot Brain Boom
开场我们可以先做一些知识科普。Joy,其实你是从自动驾驶行业转到机器人行业的。之前沟通的时候你提到,自动驾驶和人形机器人这两个行业有很多共通之处。
Joy
对,因为我大概是在 2023 年底、2024 年初开始接触大模型的。自动驾驶当时也开始出现一些和大模型相关的技术方案,需要大模型实时地在车上检测、感知环境。比如前面突然出现一只小狗,大模型需要给出一个指令,告诉车要停下来。这是我从自动驾驶接触大模型的开始。
后来我慢慢开始了解具身智能。2023 年的时候,感觉具身智能这个概念刚刚出现。自动驾驶和人形机器人其实很像,因为做人形机器人,首先要做的第一件事就是感知环境,判断现在要做什么。另外,传感器也非常相似。自动驾驶用到的主要是摄像头和激光雷达,具身智能最常见的设备也是摄像头和激光雷达。
卫诗婕
因为我自己本身也是科技节目的主理人,在过去的播客和访谈当中,也曾经陪伴过一些人形机器人走进工厂。
这一波 AI 大模型浪潮来了之后,其实给机器人从运动控制到大脑都带来了非常大的飞跃。现在我们能够看到机器人能跑能跳,运动控制相比 2023 年之前也有了非常大的进步。
但我知道我们今天的主题是围绕机器人的“大脑”,所以这里先做一个简单的科普。过去中国机器人行业更多是在运动控制方面有较多建树,在这波 AI 浪潮来临之前,机器人造脑这个层面的突破其实并不多。但 2023 年这股大模型浪潮来了之后,改变了很多事情。
我知道鞠笑竹也是先后经历了优必选和美的创新中心,然后才来到北京人形。你观察到的这股为机器人造脑的热潮是如何发生的?为什么会发生?
鞠笑竹
实际上确实像您说的,我在优必选那段经历主要做的是大型仿人机器人的运动控制。那个时代,运动控制的问题其实还没有解决,机器人连走都走不了,更不要说让它到各种场景中去工作了。所以那个阶段主要攻克的是行走问题,包括全身运动控制的问题。
2019 年的时候有一个契机,就是美国 DARPA 挑战赛。同样是在一个具体场景里,强化学习的方法战胜了传统的机理建模方法,获得了比赛第一名。从那个时间开始,大家真正关注到强化学习在四足机器人上的应用。
随着算法逐渐迭代,包括 sim-to-real 问题逐步解决,机器人的一致性越来越好之后,强化学习也逐步能够迁移到人形机器人上。现在机器人翻跟斗、跳舞,其实已经是一件稀松平常的事情。
现在我们可能要进一步考虑的是,机器人能有什么真正的作用,能不能符合人类的日常需求。大家最大的呼声就是:什么时候机器人能帮我做家务?什么时候机器人能够在工作当中帮到我?
包括现在网上有很多用遥控器操作机器人的视频。大家其实还是想看到机器人主动、自主地完成一些事情,这实际上也得益于强化学习的效果。
到了我第二段经历的时候,我想要让机器人真正变得有用。那个契机就是 RT 系列的模仿学习方法逐步出现。经过一些尝试,我们发现,模仿学习最后可能会让机器人变成一个没有感情的任务执行机器。
比如我有一个场景,不管我怎么捣乱、怎么破坏,它都会一往无前地把任务完成。它不会反过来想:这个人为什么要捣乱?我还应不应该把任务做完?
这个时候我们就意识到,当我们可以解决操作问题之后,真正的智能展现还是需要依靠大脑的思维能力、规划能力,包括对场景的理解。这也是我们几位伙伴一直努力的方向,就是具身大脑的大模型,让机器人能够真正像人脑一样自主思考。
2. Generalization Changes Everything
卫诗婕
之前我和其他行业的人交流时,他们经常提到一个词,叫“泛化性”。
过去的机器人是 rule-based 的,你给它写好代码,给它一个确定性的任务,它能把这个任务完成得很好。但是有一天,只要你把这个任务稍微变动一下,它就不会了。
泛化性指的是,它今天学会了任务 A,也许明天就能慢慢学会任务 B;它掌握的能力可以在数据的基础之上不断积累,形成一个飞轮效应。我不知道我的理解对不对。
Joy
是的,这也是当前有一部分人关注 VLA,或者关注 VLM 和 VLA 结合的原因。大家希望机器人在各种场景中,都能够泛化地完成各种事情。
比如我现在把一个机器人放在家里,它可以做饭、扫地,还可以帮我拿快递。
3. VLM Meets VLA
卫诗婕
接下来要问一个特别重要的技术科普问题,也是我自己非常感兴趣的。
刚才 Joy 提到,今年具身智能赛道最常被提到的一个词就是 VLA,几乎每家公司都说自己在做 VLA。但是我之前和行业专家交流时,首先问到的是:VLM 和 VLA 是不是同时存在的?对方说是的,同时也指出,现在市场上很多公司声称自己在做 VLA,但实际上 VLA 的能力还不是很如人意,不能做很多事情。可能 VLM 反而更具备实践性。
能不能先给我们科普一下这两条造脑路线,在技术路线上到底有什么差异?
Joy
我们通常把 VLM 和 VLA 比喻成大脑和小脑。VLM 是我们的大脑,负责感知环境,感知一切生物和非生物的变化,理解这些东西,然后给机器人或者机械臂发出指令。
比如说杯子倒了,我要把它扶起来。机器人收到这个指令之后,下游的小脑可能是一个 VLA,也可能是其他模型,再通过这些模型去完成工作。
所以 VLM 是非常重要的一部分。它负责感知世界上发生的一切,理解这些东西,然后给 VLA 模型一个可执行的指令。这就是 VLM 和 VLA 在当前技术架构上的分工。
另外,VLM 和 VLA 在模型结构上的关系也很明显。从名字上看,VLM 和 VLA 前面有一个共通之处,就是 vision-language。
Selina
对,都是从视觉到语言的理解。
Joy
VLA 最重要的功能之一,也是理解环境、感知环境,然后执行 action。
假如我给它一个“做早餐”的任务,让 VLA 去做,它可能完成不了这样一个复杂的指令。为什么现在的 VLA 完成不了复杂指令?因为通用的 VL 模型都是基础模型,它没有见过很多具身数据,也没有见过机器人做早餐、完成工作的场景。
它不知道怎样把这些语义和视觉信息变成机器人可执行的 feature,再传给 action。这也是我们想做 VLM 的原因:首先通过 VLM 把视觉语义变成机器人可理解的东西,然后顺理成章地在模型前面接一个 action head,做出更加泛化的 VLA。
卫诗婕
所以你们的技术路线,是先做好一个 VLM,然后再加 action?
Joy
对,VLA 其中一种理解,就是 VLM 加 action。
卫诗婕
让它先看到、认知、理解,然后做一个规划,再把这个规划变成动作,是吗?
Joy
对。它可能不是一个非常具体的动作,而是一种 action 可以理解的 feature,是 high-level 级别的,只有机器人和模型能懂的一种指令。
鞠笑竹
实际上现在 VLA 的架构很多,也经过了非常多的演进。从之前现象级的 RT 诞生开始,它是一个端到端的架构,当然也依赖刚才提到的 VL 这一部分。
现在又演进到了快慢系统分层的架构,包括我们在具身大脑上做的 function call 等一系列方案。其实不管 VLA 怎么变化,它始终的核心都是 VL 这一部分,这一点是不变的。
通用模型的能力和具身模型的能力之间存在一定差距。当我们把这个差距拉齐,让通用能力得到增强之后,后续不管 action 这一部分如何演进,我们始终都能达到更好的效果。前提是,我们要有一个更好的基座。
Joy
通用模型和具身模型之间的差距,可以先简单介绍一下。
非常直观地讲,我们希望 VLM 具备的能力是对话、理解,能够看懂视频和图片。这样的模型通常叫通用模型,它可以和人类进行简单对话,也可以做一些简单的场景理解。
但如果这个通用模型要变成机器人的大脑,它其实需要被赋予更多责任。它不但要能够和人交互、理解图片,还需要感知时序。正如李飞飞老师所说,具身智能下一步最重要的问题之一是空间智能。
所谓空间智能,就是具身大脑需要理解时序、理解空间。理解这些之后,它才能在真实环境中走、跳、拿东西,或者给你倒一杯水。
这些指令还需要由大脑翻译成机器人能够执行的东西,这就要求模型具备 function call 的能力。
4. Pelican Enters The World
卫诗婕
简单来说,通用模型也是一个脑,它是更通用的脑。但要把这个脑变成机器人的脑,让机器人能够直接调用,对吗?
其实这就是我们这次技术研讨会围绕的主角——你们研发的 Pelican,对吧?
Joy
对。这个具身脑模型的存在,就是为了让机器人更好地使用和调用已有的通用 AI 能力。
鞠笑竹
实际上,刚才也提到了,为什么说具身智能是人工智能的下一个阶段。
如果机器人没有和真实的物理世界发生接触,那么苹果对它来说就是一堆数字,它永远也不会真正成为一个苹果。水对它来说也是一堆数字,也就是所谓的 high-level feature。
我们真正去做具身大脑,就是希望它能够借由机器人的身体,和物理世界发生接触,慢慢甚至产生感情。
卫诗婕
到时候你有个电子男朋友,永远 18 岁。
鞠笑竹
有道理。
卫诗婕
那我们可以先播放一段演示视频吗?
刚才我们讲到了大脑和小脑的概念。如果把大脑的一些标志性能力拆解出来,我理解它包含但不限于空间感知、空间理解、决策推理和判断,然后再规划完成任务的路径。有没有一个视频能够体现这样一个过程?
Selina
有的。这个视频主要展示的是我们模型在进行长程任务推理与规划时的表现。
现在人们对具身智能有很高的期待,希望机器人可以做家务、做饭,完成一些很复杂的任务。大家可以看到左下角有一个屏幕,这是我们把具身大脑模型部署在 agent 系统上之后,它生成的场景规划和任务决策。
卫诗婕
它是一串代码,对吧?
Selina
它会告诉大模型这些工具分别有什么作用,比如捡一只鞋子之类的。大模型规划出来之后,会调用这些工具,执行相应的操作。
前面提到的空间理解,并不是所见即所得,不是只看到当前的东西,然后基于当前画面进行规划,而是需要思考之前看到了什么、每个东西在哪里。只有这样,它才能进行全局规划。
另外,它还要知道自己具备什么技能,这也需要大模型去理解。机器人有两条手臂,还需要判断当前应该用左臂还是右臂完成任务。
比如现在一条手臂上有衣服,它只能用另一条手臂开门。大模型就需要做出比较好的指令规划,告诉机器人用左臂开门、右臂拿衣服。
它还要自己判断任务是否成功。比如洗衣机门一次没有关上,它可能还需要重试。这些都依靠大模型对场景和空间的理解能力来完成。
5. Why Vision Models Fail In Space
卫诗婕
我理解,VLM 其实不是今年才诞生的,应该已经存在很久,也经过了很多迭代。
在你们之前给我的介绍里,Pelican 是一个 VLM 的大脑模型,扮演的是视觉语言大脑的角色,对吧?这个视觉语言大脑,其实就是从 vision 到 language 的过程。
过去的 VLM 为什么做得不够好?它存在哪些问题?
鞠笑竹
实际上,我们理解的 VLM 更多是语言偏好的。它是基于语言模型发展出来的一种多模态模型。有时候我们蒙住它的双眼,它依然会幻觉出很多东西,这些内容实际上都是从它内部的语言信息中产生的。
另外,它是不是真的理解视觉,也值得讨论。李飞飞老师之前提到过很多空间相关的问题。包括去年我们做一些看似很简单的事情时,也发现 VLM 对空间的理解并不好。
Joy,你可以回忆一下我们之前做的那个实验。
Joy
我们当时设计了一个任务,拿几块积木随意摆出一个形状,让机器人根据这个形状搭出一模一样的结构。
首先,机器人或者大模型需要理解这个形状。我们测试了当时一些比较好的通用多模态模型,包括 ChatGPT 等,发现即使是简单的 3 块、4 块积木叠出来的形状,2、3 岁的小孩都可以参照着摆出完全一样的东西,但大模型做不到。
这和刚才提到的空间理解问题是一样的。李飞飞老师也做过类似的事情,让大模型理解空间关系、理解迷宫,但大模型普遍表现得不好。这是当时让我非常痛苦的一点。
卫诗婕
你痛苦的是,调用了世界顶尖的多模态模型,试图复现一个三层乐高这样很简单的积木结构,却发现它做不到。
Joy
对,感觉这是一件不符合常理的事情。我们对大模型空间想象能力的期待,已经被其他任务扩展得足够大了。它可以写诗、做数学题、做物理题,几乎什么都能做,结果让它搭一层积木,它却不能搭。
卫诗婕
所以你们之前做实验时,是让模型在虚拟空间里复现积木,还是把模型接到机器人上,让机器人去搭?
Joy
是接到机器人上。我们发现机器人连一层积木都搭不好,甚至是在胡说,完全 get 不到。
比如告诉它“这是最大的一块积木”,它还是无法理解。让它“把最大的一块积木挑出来”,它也没有办法挑出最大的那一块。
卫诗婕
一个通用的多模态模型,应该明确知道哪一块是最大的。但接到机器人身上之后,它这个大脑就没有办法运作了,是这样吗?
Joy
对。除了颜色和形状的混淆之外,它对物体之间的距离关系、相互依赖也理解得比较弱,无法完成搭建和还原。
第二,它不知道自己有什么能力可以操作这个物体,也不懂得如何规划合理的搭建顺序。这就是为什么我们要从大脑层面去做它的 affordance,做它的 CoT 思维链,让它能够进行更好的规划和推理。
卫诗婕
所以刚才说的乐高例子,其实呼应了李飞飞老师提出的观点:当前大模型的空间感知能力,甚至还不及一个 3 岁小孩。你们在实验过程中也深深感受到这一点,对不对?
Joy
对。我们和李飞飞老师几乎是同时关注到这个问题的。做乐高实验时,正好也看到了她发布的空间感知相关研究和第一个数据集,所以我们几乎同时开始关注这些问题。
Selina
经由李飞飞老师这样的科学家推广,我们也意识到,VLM 不仅要能够看视频、讲清楚视频里发生了什么,还需要具备更多能力,感知空间关系。
国内一些比较好的开源模型现在也在慢慢跟进这件事。
卫诗婕
过去所说的 language-based 大模型,基本都是基于互联网二维世界里的数据训练出来的,不管是文字、多模态数据还是视频,本质上都是二维数据的模型,所以它自然只有二维世界的感知和理解能力。
但要让机器人在现实世界里动起来、解决问题,现实世界的数据是三维、立体且多面的。这也是为什么它可能看一个视频,看一万遍“如何把桌上的这杯水拿起来”,却依然不会在真实世界里操作,因为那个视频是二维的。
这是从通用多模态模型到具身脑模型的一个很大差距。那你们怎么解决这个问题?从哪里着手?
6. DPPO Trains The Weaknesses
Joy
终于到了介绍我们如何让 Pelican 变得更强的环节。
我们提出了一个算法,叫 DPPO,全称是 Deliberate Practice Policy Optimization。这个算法起源于人类的认知心理学。
举个简单的例子,假如你是一个准备高考的学生,要复习一门科目并取得好成绩。你可能先经过几年的学习,建立一定的基础。有了基础之后开始做题,拿到一份考卷,把 100 道题做一遍,发现有 50 道不会。
你就把这 50 道题拿出来不停复习。复习之后发现还有 30 道做不出来,这时可能请老师或者找更有经验的人请教。学会这 30 道题之后,就可以进一步做更难的题,或者做更深入的其他试卷,一步一步考入理想的学校。
人类大概就是这样学习的。我们认为,训练具身大模型也需要类似的学习过程。
我们刚才提到,具身大模型一开始是一个通用大模型,可能连机器人怎么区分左右手,或者杂乱的桌子上哪里可以放水杯,这些概念都没有。
所以我们在训练过程中,也借鉴了先总结弱点,再有针对性地学习,最后深入学习更难问题的思路。
具体来说,大模型训练范式里有两个阶段:一个叫 RL,也就是强化学习;另一个阶段叫 SFT,也就是有监督微调。
一开始的强化学习,就像做难题、做错题的过程。模型会不停做题,一道题可能做 10 遍,偶尔做对 1 遍。这时就让模型自己复盘:为什么这一遍做对了?这样它可能就把这道题学会了。
它不停学习,最后总结出 20 道或者更多完全不会的题。这时候就请 SFT 老师,也就是名师,一对一地讲解这些题,告诉它题目应该怎么做,把知识灌输到模型里。
这样一来,之前不会做的题可能已经学会了 80% 或 90%,接下来就可以继续学习更难的问题。通过这样的过程,我们可以慢慢让一个通用模型学习到具身场景。
这种学习也像人一样。人不会因为学会了开车,就忘记怎么骑自行车。模型也不会因为学会了左右关系,就忘记之前看视频的能力。
卫诗婕
我担心直播间里有一些对机器人领域非常感兴趣、但还是技术小白的朋友,我来帮大家复习一下刚才 Joy 说的 DPPO。
我看了一下,DPPO 的全称是 Deliberate Practice Policy Optimization。你们给我的资料里写着,这个训练循环大概可以拆成:先让模型看视频,视频指导它不停自主练习。也就是说,机器人到现实世界中去练习某个任务时,有时候会成功,有时候会失败。
就像刚才备考学生的例子,它一定会先自己把所有题做一遍,知道哪些题会做、哪些题不会做。那些不会做的题可能再试一次,但还是不行。
我理解,模型自己探索、自己练习的过程就是 RL,也就是强化学习发挥作用的部分,让模型自己探索。当它发现自己的弱点之后,就需要进行微调,也就是监督微调。
Joy
对,它是一个把模型专家化的过程。
7. Quality Beats Data Volume
卫诗婕
这里我想提一个很有意思的概念。之前我听说,行业里现在有一个趋势,不管是训练通用大模型,还是训练具身脑模型,大家都很喜欢堆数据。
当然这背后有理论依据。我之前做功课时听到一个来自硅谷的重要判断:他们把行业里几家公司的大型样本数据库汇集到一起,在海量数据库中发现了新的智能,于是得出一个结论——数据集越多样化、任务越多样化,就越能带来更高的智能。
我很好奇,我们走的是这种硬堆数据、scale 数据的方式吗?还是追求另外一种质量优先的方式?
鞠笑竹
我们觉得 scaling law 肯定是对的,它一定存在。但对我们来说,尽可能多地收集数据,未必是训练一个非常强的模型的最佳实践。这个原因可以请我的老板来说一下。
Joy
本来应该听他们说。
鞠笑竹
老板说一下。
Joy
实际上是这样的。我们为什么要用视频数据?视频包含很多信息,包括前面说到的时序信息,以及空间信息。
一张图片可能不足以确定物品之间完整的空间关系。但人有两只眼睛,左眼、右眼从不同角度观察,两个视角结合起来,就能形成物品之间相对位置的关系。
通过视频视角的移动,我们也能够在一定程度上学习物品之间的空间关系。通过观看二维视频,可以获得一些对空间和物理的理解与认知,只是不能达到 100% 的理解。
卫诗婕
那反过来,像 Open X 这样的数据,它的信息是不是更加丰富?比如机器人操作、物理交互,以及机器人本体的感知、运动等信息,都包含在数据集里面。
现在这些模型的训练方式,能不能高效地把这些营养吸收进去?还是说并不是这样?
鞠笑竹
可能现在更多像一头大象。它每天要吃几十公斤的食物,体重才能增长一点点,智商也只能增长一点点。
如果我有非常充足的资金、很多卡、很多数据,当然没有问题。但这不是我们这样的创业公司能够具备的条件。
所以我们为什么要设计 DPPO 这样的算法?其实就是要精雕细琢自己的每一个配方,让数据利用效率和训练利用效率达到最大化。这样即使我们的人员很少,依然能够训练出一个性能不错、可以和当前市面上大模型一较高下的模型。
卫诗婕
你刚才举了一个非常好的例子。一头大象每天要吃几十公斤食物,但大象的智能虽然已经是哺乳动物中比较高的,却还是没法和人类相比。
人每天其实只需要消耗相对少的食物,但大脑的运转速率和智能远超大象和其他动物。所以我们在有限数据库里,也可以努力把脑模型的智能做到业界领先,可以这么理解吗?
鞠笑竹
对。
卫诗婕
这是创业公司的通用选择吗?
鞠笑竹
对。我觉得这既是创业公司的选择,也应该是未来所有大模型厂商的选择。
现在算力投入越来越高。2023 年我们看到红杉发布的报告,讲的是 AI 的 2,000 亿美元问题,讨论整个训练过程对算力和能源的消耗。付出这么巨大的成本之后,我们得到的东西在当时可能还相对有限,ROI 很低。
到了 2024 年,过了一年,文章标题已经变成了 6,000 亿美元的问题。如果不能解决大模型训练效率和数据利用的问题,这种持续投入对每个厂商、对每个国家来说,都会是非常沉重的问题。
卫诗婕
对我们来说压力也很大。我们每天面对那么多卡的账单,非常惊人,晚上都不敢睡觉。
我那天听到一句话:自动驾驶花了这么多年,去采集物理世界的路况、位置信息,到现在还没有完全完成这项工作。物理世界比路况庞杂很多倍,而我们现在才站在一个非常早的起点。
如果要让机器人吃透物理世界,其实还需要攻破很多颗粒度比较细的难点,让它最大程度地学习和训练,是这样吗?
你们刚才还提到一个很有趣的点:通过 DPPO 这种训练方式,使得模型今天学了任务 B,也不会把任务 A 忘记。
如果用好学生来比喻,前面学会的东西都是自己探索学会的,不会因为明天做了一道更难的题,就不会做那道简单的题了。是不是在行业里堆数据的方式下,更容易出现模型“失智”的情况?比如现在可以获得奥赛金牌,明天问它一个非常基础的问题,它突然就失灵了。
Joy
对。在模型容量比较小的情况下,格外容易出现类似的事情。
卫诗婕
什么叫模型容量?
Joy
容量就是参数量。
实际上我们发布了 7B 和 72B 两款模型。可以把模型想象成一个存储空间。7B 模型的参数量比较小,能够存储的知识有限。突然堆入大量数据之后,很有可能把它从原本学到的分布中拉走,导致原来的东西都忘掉。
这也是我们要解决的问题,也是为什么我们发布了 72B。它应该是目前具身领域参数量最大的开源具身脑模型。
卫诗婕
什么情况下用 7B 更合适?什么情况下用 72B 更合适?
鞠笑竹
这里可能有两种考虑。
第一,如果希望模型具有非常强的理解能力和通用能力,比如在商业场景或者家庭场景里,人的需求无穷无尽,这时希望它有比较好的泛化效果,就可以使用 72B 的云上大脑。
如果是一些受限的工业场景,流程相对固定,其实没有必要使用 72B 这么强的理解能力,7B 就足够了。
另外,具身智能还是大家普遍想要研究的一个重要方向。很多学生或者科研院所没有办法真正训练或者运行 72B,那么 7B 也是一个非常不错的骨架。
我们刚才一开始也聊到,VL 是 VLA 最重要的部分。后续我们可能计划开源更小的 3B 模型,为 VLA 的基础研究提供更强的基座,让大家在下游任务中获得更好的性能。
卫诗婕
明白。
8. Pelican Proves Its Edge
这次 Pelican,我之前看你们给我的资料,里面有很多非常 sharp 的词,说它在很多模型性能上的表现都非常好。来介绍一下 Pelican 模型,它有什么特点?
Selina
接下来我给大家展示一下模型的一些核心表现和关键成果。
首先,这张图展现的是我们的模型与 100B 以下开源模型之间的性能差异。白色部分是我们的基座模型,也就是 Qwen2.5-VL-72B 的表现;红色部分是 Pelican 的表现。
可以很直观地看到,在 DPPO 框架的带领下,我们的模型在众多 benchmark 上都获得了比较显著的性能提升。
从评测维度来说,我们选取的 benchmark 全面覆盖了具身智能领域的一些典型传统任务。比如 Where2Place 这个 benchmark,展现的是 free space 任务。
卫诗婕
什么是 free space?
Selina
举个例子,我需要机器人过来,把一壶茶放在桌子上。它需要知道哪里可以放,不能直接放在杯子或者花盆上,也不能放在已经有物品的位置。
这就是一个 Where2Place benchmark。
另外还有可以检测物品位置的 RoboSpatial,以及让机器人从第一视角理解通用场景的长视频任务。平常无论是图片还是视频,可能都比较短,但我们需要模型对一长段视频具备理解能力。
在这些 benchmark 上,我们都实现了比当前开源和闭源模型更好的表现。
卫诗婕
也就是说,图上有很多节点,每个节点代表某个维度的 benchmark。红色代表这次 Pelican 的表现,它在每一个节点上获得的分数基本都是最高的。
Selina
对。除了刚才提到的具身领域传统能力之外,我们还选取了一些业界重点关注的能力,比如英伟达发布的、用于衡量物理常识推理和具身决策能力的 Cosmos benchmark。
它可以判断机器人的动作是否已经完成,以及为了完成目标,下一步应该做什么。
卫诗婕
那真的很难。你觉得呢?
Selina
我认为挺难的,因为接下来还有其他模型失败的展示案例。
我们给模型一段视频,同时问它:现在的目标是把锅里的寿司拿出来,那么在这段视频之后,机器人下一步应该做什么?
右边是我们同时在 Pelican、基座模型和 GPT-5 上进行的测试。只有我们的模型判断出任务已经完全完成了,因为视频里机械手已经把寿司夹出来了。
卫诗婕
也就是说,任务已经完全完成,接下来不应该做任何操作。只有第一个框里的模型写的是“stop”。
Selina
对。
卫诗婕
这其实是公众或者不做这方面的人感受不到的地方:为什么一个这么简单的任务,现在的大模型反而做得没有那么好?
这是一个典型任务:让模型看一段视频,看完之后判断它是否理解了视频。事实上,其他模型都没有理解这个任务。
但对机器人来说,这一定是必须具备的能力。只有判断任务是否完成,才能知道下一步要做什么。总不能寿司已经被甩出去了,它还去做其他事情;或者它认为任务没完成,又把寿司夹起来拿到别的地方,结果把任务做错了。
鞠笑竹
对。
卫诗婕
在这场直播前两天,李飞飞老师刚刚发布了一篇万字长文,讨论当前空间模型的能力问题。其中提出,世界模型有 3 个非常关键的能力:多模态理解、交互和生成。
我之前看过她的世界模型演示,其中有生成能力,和我们现在使用的多模态通用模型很像。输入一段文字,比如“请帮我生成一个温馨的客厅,客厅里有 3 个美女和 1 个帅哥坐在沙发上”,它就能够生成一个栩栩如生的空间,而且连贯、一致。
这是我理解的 3 个能力中的生成能力。那前面两个,多模态理解和交互能力,是不是也是 VLM 的关键?
Selina
对。
刚才展示的模型在长程任务规划中的表现,就是一个例子。Pelican 可以接收自然语言指令,同时感知环境,记住场景里的物品。
比如它刚才感知到鞋子随意摆在鞋架旁边,衣服散落在沙发上,这些内容它都可以记住。之后,它再根据人的指令,自主分解任务,生成子目标。
卫诗婕
它把字写出来的,就是模型思考、推理的过程,对吗?
Selina
对,这是模型的思考内容。刚才红衣服女生下达了指令,它也会生成相应的动作指令。
这里还用到了模型中一个非常重要的函数调用模块。大家可以在右下角的 terminal 里看到,我们调用了很多动作工具和环境感知工具。
卫诗婕
因为左下角那个……
Selina
对。函数调用对机器人来说非常重要,因为函数把指令、大模型的理解和真正可执行的部分串联起来。
我们需要把大模型理解到的内容转化成具体可执行的指令,交给下游的操作和移动模块,机器人才能执行对应的动作。
卫诗婕
刚才视频里,女主人给它下的指令是:“我要去上班了,请帮我把鞋子放到鞋架上,把垃圾放进垃圾桶,把衣服放进洗衣机里。”
这是一个长程任务,因为涉及很多子任务,也需要复杂的轨迹规划,对不对?
Selina
对。而且我们的模型不只适配这一个场景。刚才跳过的另外两个泛化场景,也同时在商超和实验室进行了测试。
我们希望这个大脑模型可以适配多个场景,不管是从实验室到商超,还是从实验室到家庭。我们的目标是让智能不再停留在屏幕上,而是进入真实世界,这也是具身智能落地的过程。
卫诗婕
说到这两个场景,就唤起了我今年参加世界机器人大会的一个记忆。当时我去看各家机器人的展台,也看到了你们的展台。
我发现大家最高频展示的两个场景,一个是商超,另一个是搬运货架。这些是不是大众现在期待最高,也认为机器人最有可能落地的场景?
鞠笑竹
对。商业服务相对来说,落地的可能性还是很高的。
Selina
除了刚才说的具身推理 Cosmos 之外,我们还在一些物理常识推理评测集上进行了评测,也和其他模型进行了对比。
卫诗婕
像这种题目,可能是我们高中或者初中经常遇到的。救命,我不会做,我也不会做。
Selina
没关系。我们的模型会计算一个完整循环中所提取的热量以及对应的输入。
卫诗婕
我不知道模型算得对不对,但这确实是一道比较难的物理题。
Selina
对。不过我们的模型相较于其他模型,表现会更好。
卫诗婕
物理理解和推理能力,是多模态脑模型里非常重要的一项能力吗?
Joy
非常重要。物理就是理解物理世界的规律。如果没有物理知识,就意味着它很难理解物理世界的规律。
假如现在有一个机器人不知道杯子倒了水就会洒,它永远做不出相关判断。
当然,刚才的物理题只是为了展示模型能力而选择的题目。真实自然环境中也包含很多物理现象,模型必须理解这些现象。
比如前面突然跑出一只小鸭子,机器人必须停止运动,或者躲开它。它要根据对小鸭子速度的理解,判断需要多久停止,再做出合理的判断和规划。
自动驾驶也一样,需要理解加速度等物理知识。它必须计算:如果这辆车以某个速度向我驶来,几秒之后可能发生碰撞,我需要在多少秒之内做出反应。
真实生活中可能无处不在物理,而且更加复杂。机器人可能需要懂电,也要懂热。比如衣服晒完之后什么时候应该收起来,灯泡坏了要怎么修,它需要理解的东西非常多。
卫诗婕
这是物理能力的测试,还有其他的吗?
Selina
还有。我们希望机器人能够正确识别场景中物品的具体位置。
机器人不像人可以直接伸手去拿,它需要先进行轨迹预测,再确定动作的落点。这个视频主要展示的是:我们给模型一个场景描述,任务是把面包拿到盘子上。
它首先要正确识别面包和盘子的位置,模型对移动轨迹进行预测,然后成功执行任务。
卫诗婕
我之前和机器人行业交流时,作为一个小白,一开始很难理解:人看到一串挂在空中的钥匙,手可以精准地拿到它,知道手应该停留在什么位置,然后抓住它。
但对机器人来说,精准判断物体位置、规划轨迹动作,其实非常难。
Joy
对。它首先需要确定面包和盘子的位置,然后规划手应该怎么移动,才能准确地把面包抓起来,并放到盘子中央。
甚至如果拿的是一个倒着放的杯子,夹取角度也会发生变化。这些都需要大模型判断:到底应该这样夹、那样夹,还是用另一种角度夹,哪种方式抓取得更好。
卫诗婕
这让我想到,之前陪人形机器人进工厂时,他们分享过一个很好的案例。
他们一开始想让机器人替代最复杂的工种:有 10 种零件,需要分别挂到不同的挂扣上。传统人类工人要识别这些零件,再把它们挂到对应位置。
一开始科学家和工程师觉得机器人应该很容易做到,但最后发现非常难。之前我不理解为什么这么难,现在知道了:对机器人来说,规划轨迹、精确识别空间位置,本身就很困难。对吗?
Joy
对。
卫诗婕
理论上,你们的脑模型可以精确判断,然后精确放置吗?
鞠笑竹
肯定可以。但世界是无比广阔的,我们只能说,在现有数据的基础上尽可能做好。
有些问题确实是模型原本就比较难解决的,就像考试一样,我们还没有考到那里。这个过程也是慢慢升级的过程。
所以我们把这个模型介绍给大家,希望大家更多地使用它,也给我们更多反馈。
卫诗婕
我想再追问一个技术难点。我之前了解到,让机器人抓一个硬的物品相对容易,但抓一个软的东西相对困难。我不太理解这是为什么。
9. Affordance Enables Dexterity
Selina
这里首先需要引入一个非常核心的具身智能概念,叫作可供性,也就是 affordance。可以先调到那一页 PPT。
可供性最早是在 1977 年由一位心理学家提出的。它指的是,人类可以通过物体的外形和功能,判断它可能被执行的动作。
比如看到一个空的垃圾袋,我们用两根手指就可以把它提起来;但如果看到的是一个装满水果、鼓鼓囊囊的垃圾袋,就需要用不同的动作抓住不同的支撑点,把它托举起来。
再比如门把手有很多类型。如果是长条形把手,你会先压下去,再推开;如果是圆形把手,你会知道要先拧,再推开。这些都是可供性的例子。
大家拿茶壶倒水时,会知道捏住壶柄去倒水。但机器人不是人类,它一开始可能会捏着壶嘴去倒水,这样就是错误的。
所以,学习可供性对于具身智能来说非常重要,这也是我们大模型的一个很强的能力。
刚才说的感知,到现在说的抓取和放置,之后还会介绍柔性操作和长程规划,本质上都源于对可供性、空间关系和时序的理解。我认为,这是智能体从认知世界到物理世界的重要闭环。
下面我给大家介绍 3 个下游任务。
第一个下游任务叫多视角逐步生成可供性。首先可以看到,每张图上都有 3 个视角,是 3 个摄像机从不同角度拍摄同一个场景。
我们把多视角输入交给 Pelican 理解,它可以一步步推断哪些物体可以交互,哪些位置适合抓取,哪些地方更适合放置。
同时,在不同视角下,同一个物体要保持一致性。比如这根香蕉,在不同摄像机的拍摄角度下看起来完全不同,但我们需要让机器人理解这是同一根香蕉,并完成正确抓取。
之后,我们通过一个从 2D 到 3D 的三角化过程,把理解转化成具体的动作坐标。
下面两个视频主要展示了模型自主规划、从抓取到放置的过程。可以看到,模型首先生成轨迹并拆解子任务,接着生成非常精确的 bounding box,也就是框预测。
卫诗婕
机器人通过这个框以及 grasp point,缩小目标范围,对吗?
Selina
对,这也是它理解可供性的一个重要部分。
Joy
这里其实分成两个部分。
第一,VLM 本身具有开放词汇的理解能力。所谓开放词汇,就是它看到的东西基本都能理解,还可以加上形容词。比如我说“我要那个小小的苹果”,或者“我要那个可爱的苹果”,大模型能不能理解这个东西?
这就是开放词汇的理解能力,也是泛化性和开放词汇理解。
卫诗婕
但我理解,刚才说的 affordance 是指,当我面临一个任务时,需要计算出一个最优解去完成这个任务。
Joy
对。当它认识这个词汇之后,再加上 affordance 能力,它就知道怎么操作这个物品。
再加上前面提到的 Where2Place,也就是判断最合理的位置,就可以完整地传输一个 pick-and-place 任务。
卫诗婕
我理解,affordance 对于真正的技术落地场景来说很重要。
刚才我们讲了,affordance 其实是面对一个任务做出最优解的能力,也是一种计算。面对大小不同的任务,规划时投入的资源也不一样。
当机器人落地到生活、消费和工业场景时,如果只是简单任务,就不需要消耗很大的算力;但如果要做复杂任务,可能就需要调用更大的算力。
所以你们引入 Pelican 这个大脑,来帮助它进行力控估计,对吗?
Joy
对。这张图是 Pelican 大脑的解释图。
可以看到,和人脑一样,Pelican 有视觉部分,同时也可以做小脑规划和短时记忆闭环。
传统机器人能够看见物品,却不理解物品的性质,也不知道应该施加多少力。Pelican 会像人一样,先观察物体的形状和材质,大脑根据经验预估力量。
同时,力觉算法会根据手指的触觉反馈修正力量,并把信息存入 memory 模块。这样下次遇到相同物品时,只要 Pelican 看到它,发现之前抓取过,就可以用相同的力量,让抓取变得更准确、更快、更高效,也更经济。
鞠笑竹
实际上,这也是前面提到的物理知识,包括对开放词汇和任意物品的理解。模型要理解这个物品有多大,估计需要施加多大的力,才能把它捏起来而不捏碎、不捏扁。
然后再交给触觉传感器去执行和修正,最终实现灵巧地拿取各种物品。
卫诗婕
明白。所以力控是不是具身智能领域里一个比较难的技术点?
现在 VLA 能力控吗?
Joy
可能 VLA 的方式需要采集更多力接触相关的数据。
但如果有两种外形一样的物品,材质不同,模型就有可能判断错误。所以我们这边还有一个实时反馈机制。
模型可能先判断:这是某种硬度。但一抓发现不是,就会及时修正,然后重新存回大脑,进行更新。
卫诗婕
如果用 VLM 和 VLA 两种方式训练力控能力,会有什么区别?
Joy
VLA 的话,就像刚才鞠笑竹说的,可能是见过某一种物体之后,不停采集这种物体的数据,把物体和相关的力的信息学到模型里。
但如果物体换了颜色、换了形状,VLA 可能立刻就忘记,不能再做相关理解,也不能用相同的力,或者在原有基础上调整力量。
因为现在的 VLA 可能更多是过拟合到原来的操作轨迹上,没有充分利用大模型提供的可控性,以及它对整个世界的理解。
如果它真正充分利用 VLM 的知识,应该能够达到泛化效果。问题可能在于训练 action 的部分,更多拟合了原来收集的抓取、放置等操作轨迹。
10. The Data Work Behind Intelligence
卫诗婕
我之前和你们聊到,VLA 和 VLM 两种采集数据的方式也是不同的,对吗?
现在看到的 VLA,大家好像都在用一套遥操作设备。人通过握住一个操作接口去遥操作机械臂,让它直接和物体交互。
鞠笑竹
对。它对力其实没有感知。我们刚才也亲自上手试过,可能不管抓什么东西,都会一下子捏到底,抓起来之后就算完成了。
而基于 VLM 的模型,天然对材质、摩擦力有更充分的理解,因此可以完成更有知识、更有温度的抓取,至少不会那么粗暴。
卫诗婕
我觉得刚才还没有讲得最准确。
我之前和你们沟通时的理解是,VLA 现在采用的遥操作数据采集方式,仍然是由人来完成任务。人通过遥操作系统不断完成任务,在这个过程中收集端到端数据,再训练模型,这就是 VLA 的训练方式。
但 VLM 这边,其实是刚才说的 DPPO:把脑模型接到机器人身上之后,让机器人自己不停操作任务。
一个是机器人自己不断重复,一个是人不断重复,两个主体不一样。这是采集数据的区别。
Joy
VLM 可以努力发展成 24 小时的“牛马”。只要机械臂不需要休息,我们就可以不停采集数据。
这些数据其实对训练 VLA 也有用。而且因为它具有比较强的泛化性,不像 VLA 那样,抓过一个东西之后,换另一个东西,又需要采集同样数量的数据,再重新训练一遍模型。
我们想做的就是刚才提到的可控性,希望模型充分理解一类物品的抓取方式。这是未来我们会和内部 VLA 团队一起做的事情。
卫诗婕
你还是没有直接回答我的问题:既然你们已经有一个团队在做 VLM 模型,为什么还有另外一个团队做 VLA 模型?
Joy
这正好是两个团队分工不同。
VLA 团队更加注重 action,我们更加注重前面的理解部分。后面更重要的事情,是把我们的知识充分输送给他们,让他们的模型具有更强的泛化性、更高的成功率和更好的效果。
而且 VLA 相对更小,更适合部署在端侧,让机器人实时完成任务。其实这两个模型是互补的。
卫诗婕
这次 Pelican 用到的数据集有多大?
Joy
大概 180 万条数据。
卫诗婕
这个体量在行业里大概算什么水平?
Joy
算中等偏低。
不过,我们和之前的具身模型有两个区别。最重要的一点是,我们使用了更多视频数据。所以听起来 180 万可能比较少,但实际上视频数据非常多。我们在长视频理解能力上的表现,也比其他具身模型更好。
卫诗婕
除了视频之外,数据集里还包括其他数据吗?
Selina
包括刚才提到的图片。我们需要理解物体的位置,也需要做 bounding box 检测,这些数据都包含在训练数据集里。
还有问答、选择题等数据。
当我们说一个具身智能数据集时,里面包含的数据维度非常丰富,因为它需要具备的能力本身也是丰富的。
卫诗婕
我听说数据集清洗非常费人,是这样吗?
Yoyo
是的,而且非常容易犯错,需要花很长时间逐条查看、仔细处理。
刚拿到数据时,数据会比较杂、比较乱,都是我们自己分析、处理出来的。首先要由人判断哪些数据对模型有用,需要认真查看,再通过一套逻辑预估这些数据对模型是不是有正向作用。
这个过程既包括人眼判断,也包括借助模型筛选数据。需要非常细心。
百万量级的数据,说多不多,说少不少,但真正全部过一遍,也需要很大的力气。
卫诗婕
这让我想到最近行业里一个挺火的话题。MiniMax 公布新模型训练工作时提到,其中很多工作都是实习生完成的,行业里就调侃说,在现在的大模型训练浪潮里,实习生是第一生产力。
Yoyo
对,正好我们这边的北大实习生也是第一生产力。
卫诗婕
Yoyo 是实习生,对吗?还没有毕业?
Yoyo
对,我研二在读。
卫诗婕
可以给大家分享一下你学的是什么专业吗?
Yoyo
我本科是浙江大学信息与计算科学专业,学数学。后来想考计算机,就考到了北京大学软件与微电子学院。
我觉得学计算机还是要接触更多外部资源,所以研一就在这边实习,接触到整个项目,觉得非常幸运。
卫诗婕
这次把这么年轻的女性工程师团队带到直播间,是怎么考虑的?
鞠笑竹
其实她们的能力比我强。
卫诗婕
昨天和 Yoyo 聊的时候,我得知她很小就开始参加比赛,对吗?
Yoyo
对,我小时候学竞赛,一直学到现在。
卫诗婕
所以她是我们最强的代码手。
鞠笑竹
对,除了我。不要跟我比,我负责制定战略。
卫诗婕
明白了。
这次为什么把这么多年轻面孔带到直播间,和大家交流?因为她们确实承担了非常重要的工作。
鞠笑竹
其实有很多契机。
第一个是我们之前做视觉模型直播时,大家都夸小伙子们很帅。那次相当于是展示了我们整个大脑体系的一半,所以这次我们想展示大脑的另一半。
这个过程中我也想到,女性科技工作者在最前沿、最新的方向上,同样发挥着非常重要的作用。她们为前沿方向的持续攻关付出了很多。
所以我们想借着这次开源的机会,让她们一起和大家分享,也欢迎更多伙伴加入具身智能行业,让它真正有一天能够落地,成为大家喜欢的技术方向。
卫诗婕
我接到你们邀请、来主持这场直播时还挺兴奋,因为当时同事跟我说,这是一个“全女局”,有 3 位优秀的女性工程师和我一起。
Joy
这位是我临时拉来的。昨天沟通直播内容时,我觉得鞠笑竹讲得很好,对行业的理解也很深。而且我觉得也不能是全女局,还是要把男性拉进来。
最终我们是要打破性别偏见,一起为科技作出贡献。
卫诗婕
我之前看过一份研究报告,说 STEM,也就是 Science、Technology、Engineering 和 Math 这 4 个领域,女性在职业中期的流失概率会非常高。
可能因为女性的生育、家庭角色和责任,让我们在科学世界里看到的女性似乎比男性少很多。但我觉得现在是一个新时代,也需要看到女性在硬科技领域中的贡献。她们是非常重要的力量。
所以我觉得,今天这场直播如果能让大家看到女性面孔,对我来说是一件特别振奋的事情。
那你觉得这个行业对你来说有意思吗?可以给大家分享一下,在写代码、做大模型研究时,你真实体会到的快乐是什么样的?
Yoyo
我觉得还是取决于个人性格。不能说女性就没有办法沉下心来做这些事情。
就我个人的性格而言,我从小到大都比较喜欢独处,喜欢一直钻研一个问题,然后把它解决。代码这份工作非常符合我的性格:抛给你一个问题,你一个人一直钻研,最终把它解决,我觉得很有成就感。
我也很幸运,从小到大的环境里,女生学竞赛的也不少,父母也比较支持,所以一直没有感觉到特别大的阻力。
卫诗婕
也没有遇到太多偏见。包括 Joy 和鞠笑竹,他们也不会觉得一定要招一个男实习生,对不对?这是一个非常和谐的团队。
最后我们再聊一个小问题。
11. The Open Source Bet
今天我们说 Pelican 是一个参数规模最大的开源模型,意味着刚才提到的 7B 和 72B 两个模型都开源给整个行业了。
今年开源也是一个很重要的趋势。你们在开源时是怎么想的?
Joy
我觉得开源是一种分享成果的方式,也会让更多人认识到我们这个团队和公司。
我们目前还处在比较初创的阶段,也希望把研究成果分享给大家,让更多人加入这项研究,大家一起进步。
卫诗婕
那你不害怕模型被 challenge 吗?
Joy
没关系,大家尽管提建议。我们特别需要很多人试用这个模型,和大家一起进步。
鞠笑竹
另外,从行业角度讲,我们也希望在具身智能领域复刻互联网、计算机和人工智能等领域的开源生态,让整个技术更加繁荣,找到自己的应用场景,实现真正的技术落地。
这也是我们开源的重要原因。
卫诗婕
在具身智能领域,现在技术还没有收敛,对不对?
Joy
对。包括我们之前提到的为什么先做 VLM,因为 VLA 本身可能还没有收敛。
但我们至少可以提供一个相对不错的基座,支持大家持续研究,而不是拿来一个通用模型之后,还要重新训练它各个维度的能力。
卫诗婕
我之前了解这个领域时,有一点比较确认:VLA 的训练技术路线现在非常不一致。
如果把 VLA 理解成 VLM 加 action,那么 action 接口就有各种各样的尝试,这是一条更加发散的技术路线。
我很好奇,在 VLM 领域,技术路线相对收敛吗?还是说其实也仍然发散?
鞠笑竹
我觉得目前处于一个比较稳定的阶段,但后续我们也会做更多尝试,包括接入更多模态。
之前可能主要有视觉、音频和文本,后续还会接触触觉,以及其他模态,包括深度信息。这些其实不是通用模型能够完成的事情。
卫诗婕
我是否可以这样理解:真实物理世界非常复杂,也非常广阔。
今天我们说机器人可能是一个比汽车更大的市场,但现在技术路线还没有收敛,机器人的能力也处在非常早期、非常不成熟的阶段。
所以当我们把成果开源出来,就可以有更多人加入进来,一起探索技术,一起填满这个市场。
Joy
对。我们非常接受大家的建议。这样我们才能更快迭代出 V1、V2、V3。到 V3 的时候,说不定就是我们的 DeepSeek 时刻。
卫诗婕
好的,也很期待你们的 DeepSeek 时刻。
最后跟观众告个别。欢迎最重要的天工机器人。
这是我第一次近距离接触天工机器人。要不你跟它打个招呼?
卫诗婕
哈喽,天工,你好呀。
天工机器人
我叫天工,是北京人形机器人创新中心大模型开发团队研发的天狐多模态大模型。请问有什么需要我帮助的吗?
卫诗婕
好的,我们的中文名叫天狐。
鞠笑竹
天狐,就是鹈鹕的“狐”,因为我们的 Pelican 这个名字背后有一个网络梗图,可以给大家放一下。
我们的基座模型实际上是千问,而千问的卡通形象是卡皮巴拉。卡皮巴拉当时也很受女生喜欢。有人发现,动物园里的鹈鹕总是被它的“员工”吃,也就是被它的同事吃。
我们就觉得,Pelican 可以吃掉任何东西,吃掉卡皮巴拉也可以,吃掉小金鱼也可以,吃掉豆包娘也可以,所以设计了一个比较卡通的形象。
卫诗婕
所以叫 Pelican。
鞠笑竹
它是“狐”的意思,英文不能说 eat,要说汲取,汲取对方的智慧精华,站在巨人的肩膀上。
卫诗婕
要跟天工继续互动一下吗?
天工机器人
你好,请到我正前方来,开始与我进行语音交互。
天工机器人
视频展示了一只鹈鹕和几只水豚在户外互动。
鹈鹕站在画面中央,长喙靠近一只水豚的头部,似乎在啄或触碰水豚。水豚们围绕在一个红色的喂食盘周围,其中一只水豚被鹈鹕的喙轻轻触碰,显得有些困惑或好奇。背景中还有其他几只水豚在活动,整个场景非常有趣、生动。
搞笑的地方在于,鹈鹕用长喙轻轻触碰水豚的头部。这种不寻常的互动让人忍俊不禁。鹈鹕的动作看起来像是在亲吻或给水豚挠痒,而水豚则显得有些不知所措,这种反差萌的情景非常有趣。
机器人的动作精准,舞姿流畅,令人印象深刻。
卫诗婕
拜拜,拜拜。谢谢我们的机器人朋友。
今天非常感谢这么多观众陪伴我们走完这段很长的直播,也很荣幸能够和大家交流这么深入的技术问题。非常期待你们的 DeepSeek 时刻,也期待整个行业的 DeepSeek 时刻。
Joy
好,谢谢。
卫诗婕
谢谢大家。
好了,这期节目就到这里,感谢你的收听。欢迎在评论区留下你的听后感,这期节目也已经在苹果 Podcasts、网易云音乐、微博、QQ 音乐、豆瓣等平台同步上传。哦对了,欢迎关注我的公众号、B 站账号和小红书,都与播客同名,我会在这些地方不时更新文字思考、视频访谈、采访随笔等等,我们下期再见。