E217｜聊聊灵巧手的硬件与算法，开可乐发扑克有多难？｜机器人特辑
真正的里程碑不是拍出开可乐，而是让机器人面对任意朝向的罐子，自主完成感知、手内旋转、双手对准与精细力控。齐浩之判断目前“没有这样的公司”，单项攻关从技术上或许几个月、投入大量资源能做出，但可复用到开门、拧螺丝等任务的算法框架才算GPT时刻；他的谨慎预测是3—5年，陶一伟则认为达到这一水平的硬件产品今年内就可能出现。
机器人Demo需要按场景固定程度、是否遥操作和连续成功率打折，而不能只看一次成功。固定环境下自主把盘子放进洗碗机，现有算法做到80%—90%成功率并拍出视频并不难；但家庭使用可能要求接近100%，因为“有10个盘子，如果直接碎了一个”，用户就不会接受。倒酒只是压下把手，开可乐却是双手对同一物体进行力对抗，两者不在一个数量级。
灵巧手硬件尚未形成唯一构型，但路线正在向直驱和单向绳驱集中。直驱自由度高、控制和仿真更直接，却有接近或超过1公斤、减速比高、寿命和抗冲击能力可能成为问题等代价；单向绳驱对腱绳蠕变不那么敏感，也较容易实现力控，却靠弹簧伸直，会牺牲抓握力，也缺少主动向外推的能力。齐浩之预计仍需“几轮迭代”，才能出现类似宇树机器人那样逐渐收敛的构型。
数据而非模型口号，仍是灵巧操作规模化的核心约束。齐浩之据与Physical Intelligence研究员的交流称，π0.5“好像”有1万多个小时的数据，可能已是整个机器人行业最大的真实数据集；行业的“金字塔”是遥操作数据少而最有效，视频数据海量但目前尚无定论如何最好利用，仿真、机器采集和专用设备位于中间。企业若追求当前绝对效果仍优先遥操作，人类视频可能在未来几个月、一年或更久后凭规模反超，但“应该不是此时此刻”。
触觉是机器人从“看着抓”走向快速、稳定力控的重要反馈。手会遮住接触点，视觉很难判断是否抓稳；开可乐又要求一只手既握紧又不能捏爆，另一只手以正确角度施力且不能拉断拉环。表面触觉、视触觉相机和驱动器电流共同对应人类的皮肤感觉与肌肉感知，“有触觉，它能给你更多的信息”。
特斯拉Optimus的案例显示，灵巧手竞争不仅是自由度竞赛，也是可装配性与产能竞赛。陶一伟2023年7月加入特斯拉时，内部第三代手是6个主动自由度、11个关节的欠驱动绳驱方案，加入编码器与触觉后“一只手从早装到晚也装不出来”；重构为内部称3.1代的版本后，离职时产线已能做到每周一百多台，而不是早期每天一两台。
现阶段高价灵巧手更像研发平台和客户筛选器，商业路径仍在分叉。Sharpa约5万美元一只、10万美元一对，Shadow Hand约15万美元；齐浩之认为厂商当前未必靠硬件盈利，而是在筛选大厂和受政府资助高校、验证构型。泓君进一步将其概括为吸引开发者、建立生态。TetherIA选择另一条路：接受自由度和触觉没有那么“高级”，优先做稳定、可靠、低价、可快速部署的产品，以应用反馈建立生态。
1. 演示已经能“做成”，却还不能证明机器人“会做”
齐浩之先划出能力边界：在有人遥操作、手指无需精细协作时，许多展示并不难。Optimus倒酒的手指几乎没有交互，只是把手放到出酒把手上往下压；真正使用剪刀、螺丝刀时，多个手指必须精确配合，控制难度会骤增。
一旦任务从一家一户扩展到千家万户不同的工具、摆放和环境，难度还会“呈指数级的上升”。因此当前缺口不只是精细运动，也包括把同一技能迁移到陌生物体和场景的泛化能力。
陶一伟从硬件端补上另一层约束：现有手还未完全做到在真实环境中连续、长时间稳定运行，并在反复接触自然物体后不损坏。增加自由度和触觉能打开高精度任务，却同步抬高系统复杂度，使可靠性更难保证。
2. 随机摆放的可乐罐，是双手灵巧性的综合考题
陶一伟把开罐拆成完整链条：机器人先感知罐体和拉环朝向，以任意姿态抓起，再在单手中调整角度；另一只手从空中精确卡入拉环，以合适方向和力度拉开。握罐的手还要对抗拉力，却不能因力量过大把易拉罐捏爆。
齐浩之强调，“这个例子它可以变得很难，也可以把这个例子变得简单”。限制罐子的朝向或加入遥操作，都能显著降低拍视频的难度；一家公司从技术上花几个月、投入大量资源应可完成这一单项任务。
面对泓君追问“随意摆上去”能否自主打开，齐浩之的回答很明确：“现在是没有这样的公司的。”这不是技术上永远做不到，而是公司更愿意改进算法，使未来适配新任务的时间缩短，而非为单一视频长期特调。
洗碗机任务则主要是抓取碗碟、拉开门、放入架子，更多属于简单抓取和拉杆操作。陶一伟的对照很关键：它没有开罐中双手同时作用于同一物体、彼此对抗又必须限制力量的闭环控制，因此“不在一个数量级”。
3. 家庭场景的门槛不是80%成功，而是近乎不出错
对Figure AI一类洗碗机视频，齐浩之没有猜测幕后是否遥操，而是给出更有用的判断：固定场景中，现有算法自主做到80%—90%成功率并拍出视频，难度可能并不高。
泓君的质疑由此从“视频真假”转向可用性：一次成功不能代表产品能力。齐浩之指出，连续处理10个盘子时，90%的单次成功率可能出现碎掉一个的情况，“这样看大家就不想用这个机器人了”。
所以消费级家庭机器人的关键指标是跨环境泛化和接近100%的连续成功率，而不只是动作列表。投资者看到“会倒酒、会收碗”时，更应追问每个任务的场景变化范围、连续执行次数及失败后果。
4. 灵巧手不是独立部件，它把整台机器人的难点串在一起
齐浩之的系统观是：一只灵巧手至少要搭配双臂，才构成可工作的最小机器人系统；若要在环境中泛化，还需要移动底盘。遇到复杂路面和上下运动，人们又会追问是否必须采用全人形，因此“真正能让灵巧手有价值”绝非单个硬件模块即可解决。
软件复杂度也随接触点激增。夹爪只需规划两个接触点，多指手却可能同时出现10个接触点；每个关节都与物体或环境交互，有些接触力互相帮助，有些互相对抗，计算和控制难度显著上升。
研究既可把灵巧手与机械臂组合，专攻桌面抓取的精细性和泛化；也可把手装在人形机器人上，研究边移动边操作，例如人形机器人开门或走路时完成操作任务。
最近一两年，中美硬件供给已有长足进步，但不同公司的形状、驱动和自由度仍不一致，算法团队必须逐手适配。齐浩之预计还需多轮迭代，行业才会出现像宇树机器人那样“逐渐收敛的构型”。
5. 连杆手成熟易懂，但低自由度方案很难拉开与夹爪的差距
传统低自由度连杆手常见6个自由度：四根手指各一个，大拇指有弯曲和侧摆两个。各指尖沿固定的一维轨迹合拢，大拇指也只对准食指或中指；陶一伟认为它虽有人手外形，使用特点与夹爪并没有特别明显的区别。
高自由度连杆并非不存在。陶一伟举韩国论文ILDA为例：每根手指根部设置三个主动直线驱动器，再通过复杂连杆实现三个自由度，能力更先进；代价是体积较大、零部件刚性连接、抓握不够柔顺，碰撞时也更容易损坏。
连杆结构在仿真中还会带来额外负担。齐浩之的修正值得保留：研究者偏爱直驱，不是因为它天然更像人手，而是复杂连杆不容易被物理引擎精确仿真。
6. 直驱把控制和仿真做简单，却把重量、价格与耐久推向前台
微型电机近年的尺寸和功率密度进步，使每个关节布置独立驱动器成为可能。直驱手因此可获得很高自由度，关节与电机一一对应，控制关系清楚；对强化学习而言，多关节只是多个直驱电机串联，仿真难度不会像复杂连杆那样上升。
代价同样具体：微型系统往往需要较高减速比，传动透明性较差，精密齿轮的寿命和抗冲击能力可能成为问题；高强度金属结构又使整只手普遍接近1公斤或超过1公斤，这对机器人末端是显著负载。
Sharpa之所以让嘉宾觉得“惊艳”，一是人手尺寸下实现了直驱和高集成度，二是完成度与工业设计较高。其双臂系统展示过拿相机拍照和发扑克牌；后者要求在间隙极小的牌堆中精确控制接触点和力，否则会一次抽出多张或打散整叠牌。
泓君最初把“人手相似度”理解为仿真要求，齐浩之进一步澄清：尺寸接近人手主要因为现实工具本就按人手设计。机械手过大，就无法抓取小物体；理想平台应同时满足易仿真和适配人类物品尺度。
7. 绳驱更接近肌腱，也把蠕变、走线和主动伸展变成工程账单
双向绳驱的代表是26自由度、约15万美元的Shadow Hand，以及苏黎世联邦理工推出的开源ORCA Hand。每个关节由两根绳控制正反方向，但材料使用后会蠕变、松动，降低精度；ORCA Hand用棘轮方便张紧，仍需不时调整。
高自由度绳驱的另一难点是空间利用率。机械设计必须为不断变化的绳路留出范围，很难像齿轮和电机那样紧密排布。Evan Tao随后列举Shadow Hand、ORCA Hand、特斯拉以及源升智能的方案，称它们把驱动器整合在手掌内，代价是掌部体积较大。
特斯拉采用单向拉绳，以弹簧完成伸直。它对绳材蠕变不那么敏感，也更容易用算法补偿，却没有主动伸展力；弹簧越强，抓握时需要先对抗的力量越大。陶一伟概括，当前“更多还是在解决抓握问题”，张开动作还没有用得那么多。
主动向外推并非无用。泓君以闭眼在书包里找东西为例，说明有时需要先拨开其他物体再抓取目标。TetherIA采用单向绳驱与直驱混合方案，但具体结构仍属保密；陶一伟观察到行业当前主要向直驱和单向绳驱收敛。
8. 训练路线会影响硬件选择：遥操作重数据，Sim-to-Real重可建模性
齐浩之把主流机器人学习分为两条路：第一条由人遥操作采集数据，再训练神经网络，ALOHA和Physical Intelligence是典型；第二条在物理模拟器中用强化学习训练，再迁移到现实，四足、双足机器人的走路、跳舞大多采用这一路线。
对需要高自由度和强化学习的灵巧操作，团队会优先评估一只手是否容易仿真。齐浩之用过连杆和直驱，未实际使用绳驱；其经验是直驱的关节结构更容易在模拟器中表达，因此更适合当前Sim-to-Real研究。
这也对应了现代机器人与20年前ASIMO式成果的差异。过去让一台机器人跑步可能需要高精尖团队迭代数月乃至数年；现在一套算法达到跑步后，稍作调整就可能迁移到跳舞。真正的进步不只是动作本身，而是获得动作所需的时间可能大幅缩短。
9. 高价灵巧手首先是在筛客户和路线，不是在证明量产利润
泓君最初看到Sharpa约10万美元，齐浩之纠正为约5万美元一只、两只约10万美元；Shadow Hand则约15万美元。购买者可能是大公司研发部门和获得大型政府资助的高校，而非普通应用客户。
齐浩之认为，这些厂商此刻未必依靠卖硬件盈利；价格具有筛选作用，只把产品交给需求强烈、能提供反馈的客户。齐浩之举例称，2017—2018年的OpenAI是Shadow Hand主要客户之一，曾用其做灵巧手转魔方；他还提到当时“没有足够的财力支持这样的工作”，但原话没有明确这一表述的指代对象。
高端路线的眼前目标，是发现当前构型仍需优化之处并经历更多轮迭代。泓君进一步概括为希望吸引开发者、搭建生态，但这是主持人的理解，并非齐浩之在此处明确陈述。
TetherIA选择相反切口：产品的自由度、性能和触觉可以暂时没那么高级，但必须稳定、可靠、价格低，让应用客户迅速部署。陶一伟强调，便宜“不代表没有技术含量，也不代表没有商业价值”；规模化反馈本身就是继续改硬件的输入。
10. Optimus第三代手的跃迁，首先发生在装配线而非Demo里
陶一伟于2023年7月加入特斯拉时，Optimus机械硬件团队约十几人，手项目主要由他与另一人负责。内部第三代方案采用蜗轮蜗杆绳驱，拥有6个主动自由度、11个关节，是一只欠驱动手。
当时的主要升级是加入关节编码器和触觉，以捕捉空间位姿和接触信息。看似只是电路功能增加，却挤入沿用第一代构型的内部空间，导致装配者必须同时压弹簧、穿零件和处理走线；“一个手，我们从早装到晚也装不出来”。
马斯克看到第三代后并不满意：外形仍像实验室样机，产能也只有每天一两台。他关注的不只是炫酷外观，而是整个设计能否落地生产；陶一伟随后与工业设计团队从内到外重构，形成内部称为3.1代的手。
3.1代后来成为节目所称“直到现在”仍用于装机和大规模量产的版本。陶一伟离职时，技术工人和产线每周已能装一百多台；这段变化说明，编码器、触觉和自由度只有与工序设计、可维护性及产能结合，才会成为产品能力。
11. 仿生提供结构启发，但量产仍要把肌腱变成标准工艺
特斯拉按“第一性原理”研究仿生，团队阅读手部解剖和肌腱发力论文，还借同事的手外科医生母亲之便现场观察真实人手结构。陶一伟的感受很直接：“人体非常精妙”，同时也会觉得“人真的非常脆弱”。
从上一代到陶一伟所称“马上要发的这一代”，特斯拉最大的变化之一，是把驱动器从手掌移到小臂，借鉴人类部分屈指肌肉的位置。但他也补充，人手并非所有肌肉都在小臂：小臂更多承担大抓握力，掌内肌肉更多控制精细操作，这也是TetherIA方案与特斯拉存在差异之处。
齐浩之追问绳驱与直驱在大规模生产中的产能差别。陶一伟认为直驱更接近成熟机械系统，可通过拧螺丝、焊接等传统工艺保证精度和效率；腱绳两端如何快速、稳定地连接驱动器与末端执行件，行业仍在探索。
不过陶一伟把边界说得很清楚：绳索固定、张紧与快速装配“最终还是一个工程的问题，它并不是一个基础的科学问题”。随着产业链和工艺推进，他相信这些问题可以被克服。
12. 人类视频提供规模想象，但当前最强能力仍来自遥操作
Meta内部并非只有一条机器人路线：今年年初新成立的项目希望从硬件、数据到算法打造家用人形机器人；FAIR下的机器人组则偏基础研究，寻找能带来最强灵巧性的算法。齐浩之在后者重点研究从人类视频学习灵巧操作。
遥操作要求一名操作员适配一台机器人，机器人数量和产能限制了数据规模，很难扩展到语言数据的量级。烹饪、清洁等现成视频则包含大量手部动作，长期目标是让机器人“看”这些动作后学会技能。
齐浩之没有夸大现状：若只追求当前最好效果，直接采机器人遥操作数据仍然最佳；从视频学习还在研究阶段。它可能凭样本规模在长期取代遥操作，但目前尚未积累出足够数量，也尚未找到最有效的利用方法。
1X NEO把这种矛盾带进家庭：机器人背后仍有人类操作员，由此获得真实任务数据，却引出隐私和伦理问题。齐浩之把它类比为特斯拉通过用户开车采数据，只是家庭机器人不能由用户直接驾驶，只能由公司的操作员介入。
13. 数据金字塔决定能力上限，世界模型只能补信号而不能替代现实
灵巧手数据比普通机械臂更难采。简单抓取再放下可以一直做到操作者疲劳；但遥控机器人用剪刀剪窗花或完成折纸，“即使是收集一条都非常难”，因此算法必须设法减少对稀缺高难示范的依赖。
齐浩之虽“不百分之百确定”，但认为Physical Intelligence很可能拥有最多的有效遥操作数据；他与研究员交流得知，π0.5“好像”有1万多个小时的数据。其他公司采集的原始时长可能更多，真正的问题却是“什么样的数据是有用的”。
行业用“金字塔”描述数据：遥操作位于尖端，量少而效果强；视频位于底座，海量却不一定最能提升机器人效果；机器人自主采集、仿真及Sunday、Generalist式专用设备处在中间。泓君概括为遥操作偏精确、视频偏泛化，齐浩之认可这一理解。
对Genie 3一类世界模型，齐浩之拒绝两个极端：说基础模型完全无用“有失偏颇”，但认为训练一个巨大视频生成模型就能解决机器人也“不现实”。视频生成尚未完全解决物理真实性；若仅凭数据就能学透世界规律，语言模型也应能消除幻觉，而事实并非如此。
14. 灵巧手的GPT时刻取决于迁移速度，而不是第一次打开可乐
齐浩之没有给机器人团队排总榜，因为研究和产品仍“各有所长、百花齐放”。研究前线包括亚马逊前沿AI与机器人研究院、英伟达GEAR及高校；产品侧则有特斯拉、Physical Intelligence、1X，以及改变数据采集想象的Sunday和Generalist，此外也有国内公司。
Berkeley的优势是人才和方向密度：Pieter Abbeel创办Covariant，Sergey Levine参与Google Brain、Google Robotics的PaLM-E、RT-1、RT-2，后又联合创办Physical Intelligence；学校在视觉、机器人以及Sky Lab产出的vLLM、SGLang等方向都有积累。
齐浩之形容Berkeley做AI的人“都坐在同一层，就像有一个小型的创业公司”，跨组找视觉或系统合作者只需走几步。合作通常由学生自下而上发起，导师很少阻拦；教授一般可把20%的时间用于校外活动，也可通过on leave或学术休假创业。
最后的分歧主要在时间而非方向。齐浩之认为，可复用算法若能在很短时间内依次学会开可乐、开门、拧螺丝，才是真正的GPT时刻；他说“预测总感觉会被打脸”，但仍给出3—5年。陶一伟则判断硬件产品今年内就可能达到这样的能力水平；“硬件是基石、上限更多由软件和模型释放”是泓君的总结。
Full transcript
哈喽，大家好，欢迎收听《硅谷101》，我是泓君。有个好消息要告诉大家：我们的播客获得了 2025 年苹果播客的年度编辑精选。这已经是我们第二次入选苹果的年度精选播客了。对于独立播客来说，苹果一直是一个很重要的分发渠道，它每年的播客评选其实也是业内很有重量级的一个奖。所以今年很开心，也很荣幸能获奖。当然，也希望我们能够继续努力，做出大家更多喜欢听的好内容、好节目。
言归正传，回到我们今天的主题——机器人特辑。上一集我们让中美的投资人从投资的角度，分享过他们对机器人的一些观点。其实我们的节目很早就一直在关注机器人这个领域，从谷歌的 PaLM-E、RT-1、RT-2 大模型出来的时候，我们就一直在关注机器人的大脑，把它称作模型层。前几个月我们也聊过 Physical Intelligence 的 π0、π0.5 开源，也请英伟达的朋友聊过仿真。
但还有一个非常关键的环节值得大家关注，就是灵巧手。因为业内有一句话，真正决定机器人上限的，不是它走得有多快，而是它的手能做到多细。
今天为了把这个主题讲透，我们请了两位不同背景的嘉宾：一位专攻灵巧手的模型与算法，另一位是硬件方向的顶尖人才。今天跟我在一起的嘉宾是 UC Berkeley 机器人方向的博士齐浩之。浩之，你好。
你好，泓君。
浩之马上要去芝加哥大学担任助理教授。我知道你之前是在 Meta 的机器人组做研究科学家，之后也会去亚马逊的组做研究科学家，整个经历还是非常丰富的。
我在这两个地方主要就是做一些机器人和灵巧手相关的研究。
而且伯克利也是一个机器人人才辈出的地方，待会儿我们可以详细地聊一聊。
还有一位是 TetherIA 的创始人兼 CEO 陶一伟，他的英文名字是 Evan Tao。Evan，你好。
Evan Tao
泓君好，大家好。
Evan 之前是在特斯拉的 Optimus 做高级机器人机械工程师。
Evan Tao
是的。
这段经历也非常有趣，我一会儿很期待你跟大家分享。大家对特斯拉的机器人，尤其是灵巧手发展到什么阶段了，我觉得还是非常关注的。
那我们先从一个问题开始。说到机器人的灵巧手，这个灵巧手到底发展到什么程度了，可能是听众最迷惑的一个部分。因为我们看了很多机器人 Demo 的展示，明明看到机器人现在可以拿吸尘器、倒垃圾、烧水，甚至把盘子放进洗碗机里。我记得特斯拉有一年的发布会，擎天柱现场还可以给大家倒酒，看起来这只手已经很智能了。
所以能不能请两位先概括一下，现在机器人的手能做哪些场景，到了什么样的发展程度？浩之先来。
如果总结来说，我会认为，在有人指挥，也就是遥操作的情况下，如果手指不需要做很精细的动作，它是一个比较简单的问题。
比如我们今天看到擎天柱倒酒，大家如果注意视频里面手的运动，就会发现它的手指之间没有交互，也没有互相协作。它只是把手放到出酒的把手上，然后往下压，这在控制上会比较简单。
与此相对，如果我们想让机器人使用家庭里的各种工具，比如螺丝刀、剪刀这样的东西，在这个过程中，手指需要进行更加精细、灵巧的操作，难度就会变得很高。
而且我们还需要它适应的可能不只是一家一户，而是千家万户不同的工具，这个难度就会呈指数级上升。
所以现在机器人可能有两个问题：一个是你刚刚提到的精细运动，另一个是我理解的泛化能力，也就是把它放在不同的场景中。在这两方面还需要加强。
是的，没错。
Evan Tao
我这里也稍微补充一点。刚才齐老师可能是从系统端的角度来讲这个问题，我想更多地从硬件方面切入。
第一，是把现有的硬件方案做得更可靠，让机器人能够在真实环境中不停地、长时间稳定运行，并且在和自然物体交互的过程中，长时间使用也不会发生损坏。实际上，这件事目前还没有完全做到。
另外，为了从系统和 AI 的角度控制机器人完成更多高精度任务，硬件还需要继续迭代，比如增加自由度、增加触觉传感，从这些角度继续升级现有的硬件产品。
在这个过程中，随着系统复杂性的增加，可靠性也会面临更大的挑战。所以从硬件端来说，还有很多工作要做。
刚刚提到增加复杂度、增加自由度，待会儿我们可以详细讨论，包括特斯拉几代的方案和触觉。浩之应该是这方面顶级的专家了。
在此之前，也可以给听众一个更加形象的例子。Evan，其实今年我们办年会的时候，你们有来到现场，用机器人表演开可乐。我们之前彩排的时候，开可乐这件事能不能成功，其实是不稳定的。
当时我也想试一下，让机器人打开可乐，但我没有任何经验，只是随意放了一个角度。可乐罐的开口方向没有对准机器人的手指，这个时候可能需要机器人先旋转一下，才能把可乐打开。
旋转一下这个动作，对机器人来说很难吗？
Evan Tao
您提到的是一个非常好的问题。首先，开可乐看似可能只要有一双手，再加上一个指甲就可以实现，但真正把它放到一个双臂机器人系统上，整个过程还是非常有挑战的。
我们当时也只是浅浅地 Demo 了一下，但未来还有非常多的工作要做：怎么样让整个过程完全自动地实现起来，并且以非常高的成功率完成，还是一条很长的路。
刚才您提到怎么把可乐罐对准，精度只是其中一个方面。实际上，更重要的是首先感知到可乐罐当前的状态。人可以用任意姿态把可乐罐抓起来，然后在手里调整它的角度，达到最合适的状态，让另一只手过来，以最合适的状态把它拉开。
机器人还需要在机器手硬件设计、控制等方面具备相应的能力。
现在世界上有没有其他公司，在自由度上做得更多，可以很好地旋转可乐罐，然后再把它打开？
Evan Tao
我觉得一些比较头部的公司，如果去调整、优化硬件，并且在这方面投入更多精力，做出这样的 Demo 是可以的。但目前如果要求它完全自主地完成，我还没有看到哪家公司能够做到。
这个可能更多要听听齐老师的观点。齐老师，我记得你之前还有一篇论文，是讲用视觉和触觉做手内旋转的，应该是这方面的顶级专家了。
我的看法是，现在大家有不同的宣传策略，或者说发展、研究的侧重点。
对于像陶总这样的硬件厂商，他们的目标可能是证明硬件非常好用，无论是从机械结构上，还是用它来做控制系统的能力上。在这种情况下，展示一些很炫酷的视频是非常好的。
与此相对，还有一些做灵巧手算法、但不做灵巧手硬件的团队，他们可能比较少展示这方面的能力，而更多展示它的泛化能力。
就开可乐这个例子来说，这个任务可以变得很难，也可以变得很简单。像陶总刚才提到的，他们的目标可能是最终自主地开可乐。所谓自主地开可乐，就是无论可乐罐朝向如何、在桌面上怎么摆放，都能完成，这种情况下是最难的。
但我们也可以通过限制可乐罐的朝向，以及采用一些遥操作的方式，让拍出视频的难度变小一点。
正如陶总所说，如果我们只优化这个视频，一些头部硬件厂商或者算法研究院是可以做出来的。但从长远角度来看，我们更应该关注的是什么样的灵巧手构型，能够适用于最多种类的任务，以及什么样的构型对算法的接口最好。
根据你的研究，你觉得现在有没有公司能做到：我随意把可乐罐放在那里，不设定任何环境和场景，只要可乐罐的瓶身和开口不一定正对着机器人的手，它就能把可乐打开？
我觉得现在没有这样的公司。
如果一家公司今天想完成这个任务，从技术上来说，应该可以花几个月做到，但它可能需要投入非常多的资源和时间。出于公司本身路线的考量，他们可能不会针对单个任务去做这种优化，而是做一些算法上的改进，缩短以后完成这类任务所需要的时间。
也就是说，他们不会针对单个任务优化，而是希望当前的优化方向能够适应尽可能多的任务，还是更加看重泛化性。
了解。如果这样的话，我印象中之前 Figure AI 放出过一些视频，大概是机器人把盘子放进洗碗机里。这个视频可能是拍了很多次失败之后挑出来的成功案例，还是像你说的那样，其实是通过遥操作完成的，只是一个展示类的视频，并不代表机器人拥有这样的能力？
我觉得这里面没有一个确定的信息源。但现有算法确实可以做到，在一个固定场景下比较容易地拍出这种视频。
比如它整个任务的成功率可能有 80% 到 90%，在这种情况下，拍一个视频也是自主完成的，难度也没有特别高。
但它距离让人形机器人走入千家万户，可能还差的是：如何在每一个场景下，都以 100% 的成功率完成这些任务。
比如把盘子放进洗碗机，很可能 90% 也是不够的。因为有 10 个盘子，如果直接摔碎一个，大家就不想用这个机器人了。所以需要改进的，可能就是成功率，以及老生常谈的泛化性问题。
所以我理解，现在灵巧手的问题上，大家关注的也还是泛化性。
Evan Tao
我这里也补充一下。实际上，每一个任务还要细分来看它整体的难度。
刚才泓君您提到，把碗碟放进洗碗机和从洗碗机里往外拿，任务拆解下来，主要是机器人拿起碗碟、打开洗碗机的门，然后把碗碟放进洗碗机的架子。这几个任务，就像齐老师说的，是简单的抓取物体，以及拉动一些拉杆，相对来说比较简单。
这个难度实际上和刚才谈到的开可乐还不是一个数量级。
开可乐仔细分析起来，实际上是要用左手或者右手把可乐罐从桌面上拿起来，调整好罐口方向，再用另外一只手从空中对准拉环，以合适的角度卡入拉环，并且以合适的角度和力度把可乐打开。
在这个过程中，因为是双手同时操作一个物体，另一只手要对抗拉开可乐罐的力。对抗的过程中，还要保证手指不会产生过大的力，把易拉罐捏爆。
从整个机器人控制系统来说，这比收纳碗碟要难很多。
简单来说，碗碟不需要双手配合，可能也会有力、形状和抓取的问题，但配合度少了很多，不需要对抗拉力。
Evan Tao
没错。
这样就理解了。
如果综合来看，整个灵巧手的瓶颈在哪里？这是整个机器人行业的问题吗？比如我们还是说模型的问题、泛化性的问题，还是说灵巧手除了这些之外，还有很多这个行业独有的难题？
灵巧手不能只看作硬件上的一个模块。它要产生价值，至少要配上一个双臂系统。双臂系统会形成一个最小的、可以用来工作的机器人。
但当我们想要真正让它泛化地在环境里执行任务，就需要一个移动底盘、一个移动平台。有了移动平台，大家又会说，轮式的是否可以应对更复杂的路面情况；包括机器人的上下运动，大家甚至还会说，是不是一个全人形的形态更合适。
所以，真正让灵巧手产生价值，肯定不是一个简单的硬件模块可以解决的事情。它的难点是整个机器人到处都是难点。
经常有人问我，做灵巧手最难的地方是什么。我认为目前来看，无论硬件还是软件，都还有很大的提升空间。
从软件来说，我的理解是，一些在机械臂或者轮式机器人上比较成熟的算法，尤其是机器学习算法，直接应用在灵巧手或者人形机器人这种更复杂的系统上时，会出现一些之前没有预料到的问题。
比如现在的灵巧手可能有四五个手指，每个手指有各种各样的关节，每个关节都可能和环境、和物体发生交互。怎么保证这些交互产生的影响对我们有利，是一个问题。
假设我们今天想抓一个物体，如果用夹爪去抓，只需要考虑两个接触点该怎么触碰物体。但如果现在有 10 个接触点，这 10 个接触点应该分别怎么接触物体？有的接触点之间可能是互相对抗的作用。在这种情况下，计算复杂度会显著增加。
第二，从硬件层面来说，我开始研究灵巧手大概是在 2021 年、2022 年。那个时候，市面上只有非常少的灵巧手可以买到，并且真正可以使用。
最近一两年，我们的灵巧手硬件，尤其是国内厂商以及美国一些做硬件的公司，都有了长足进步。所以我觉得这方面的瓶颈在逐渐减少。
但我的预测是，还需要几轮迭代，才能做到一个真正逐渐收敛的构型，比如大家现在能看到的宇树机器人那样。
现在市面上能买到的灵巧手，大家的形状和硬件都各不相同。你需要根据硬件去调整自己的软件。大家通常以类似人手的灵巧手为主，但每家公司都有不同的技术路线。
像陶总的公司应该是绳驱方案，也有一些公司把电机放在灵巧手的手指上。
说到技术路径，据我了解，现在业界比较流行的有几种：一种是连杆驱动，一种是绳驱，绳驱还分单向绳驱和双向绳驱，还有一种是电机直驱。
Evan 或者浩之，要不要跟大家简单介绍一下这些技术路线各自的优劣势？现在业界的主流方向在向哪个方向发展？有没有收敛的趋势？
Evan Tao
我先从硬件本身的角度谈一下，之后麻烦齐老师再从使用者的角度补充，看看哪一种更符合实际需求。
首先看 3 个主要方式：一个是连杆，另一个是绳驱，最后是直驱。
连杆最早应该就是大家比较传统意义上的假肢手所采用的结构驱动方式。它通过底部的驱动器，无论是直线推杆、电缸，还是蜗轮蜗杆，产生旋转运动，最后实现手指弯曲。
这属于传统意义上的低自由度灵巧手，一般是 6 个自由度。它更多表现为手的形状，但手指的运动轨迹相对还是低自由度的，指尖跟随一个固定路线，是一维轨迹。
大拇指的设计也是侧摆之后，直接正对食指或者中指，通过一个固定轨迹合拢。所以从使用角度来说，它和夹爪相比，特点并没有那么明显，这是低自由度连杆手的一个特点。
低自由度一般会达到多少个自由度？
Evan Tao
一般是 6 个自由度。
6 个自由度，差不多就是 5 个手指合拢，还有一个自由度在哪里？
Evan Tao
是大拇指的侧向摆动。大拇指有 2 个自由度，其他手指各有 1 个自由度。
连杆手实际上还有另外一条路线，就是高自由度路线。之前韩国有一篇论文叫 ILDA，这篇论文里的手，基本思路也是通过相对复杂的连杆方式，在每个手指根部设计 3 个主动直线驱动器，再通过比较复杂的连杆系统，实现每个手指 3 个自由度。
这样的手确实比较先进，但可能存在的问题是体积还是比较大，并且所有零部件都是刚性连接，使用中缺少柔性。
这个柔性不仅关系到抓握物体时是否足够顺滑，也关系到碰撞时是否更容易损坏。
这是连杆驱动的优劣势。
第二个是直驱。直驱灵巧手其实是这一两年才逐渐出现的方案。现在电机驱动器也有了很多发展，可以把电机驱动器做得足够小，使直驱方案变得可行。
原来小型、微型电机没有像现在这样发展，尤其是最近市场上出现了这方面的需求，电机做得越来越小，功率密度越来越大，使得电机集成化、小型化变得可行，能够在人手尺寸下做出比较好的效果。
直驱的优点比较明显：自由度可以做得非常高，可以在每个关节排布一个驱动器。从控制角度来说，因为关节和电机直接对应，相对比较容易控制。
它的缺点可能更多是贵。我觉得最终成本应该也能降下来，但现在的问题在于，把电机做小之后，减速比还是相对较高。较大的减速比会使整个传动的透明性比较差。
也就是说，里面的齿轮和零部件都比较精密，在实际应用中，寿命和抗冲击能力可能会成为问题。
另外，因为把电机和所有零件都做得非常小型化，整个结构就需要使用高强度金属，这使得整个手的重量没办法做得很轻。
所以普遍来说，直驱灵巧手都接近 1 公斤或者超过 1 公斤。对机器人末端来说，这还是很大的负载。
1 公斤的手，那好重。设计平衡也是一个问题。
的确。这些是它的问题，还包括可靠性、易维护性，这些都要看后续的发展。
所以它现在算是业界在灵活度上做得比较高的一种灵巧手，也可以理解为，它能完成更多精细运动和复杂动作。
之前有人推荐我去聊一聊 Sharpa 这家公司，觉得它做得挺好。他们好像用的就是电机直驱的方式。
Evan Tao
没错，他们做得非常惊艳。
怎么个惊艳法？
Evan Tao
它的产品完成度非常高，集成得很好，整个工业设计也非常不错。它的每个关节都有独立电机，所以整体确实非常灵活。
它能做到哪些其他灵巧手做不到的工作，或者说只有他们能做的工作？
Evan Tao
从他们展示的视频来说，可能做了一些用相机拍照的动作，还有一个双臂灵巧手系统给大家发牌，这两个都比较惊艳。
双臂灵巧手给大家发牌？
对，发扑克牌。
这个很难。
Evan Tao
会比较难。因为想象一叠扑克牌，两张牌之间的间隔很小。我们自己用手发牌时，需要控制一个比较精确的力，才能把一张牌从牌堆上拿出来，再发给大家。
如果接触牌的点不准，或者力太大，很容易一下发出很多张牌，或者把牌堆打散。所以他们做的这个视频还是相当惊艳的。
如果要一张牌一张牌地发，对手部精细度的要求还是比较高。
对。
这是直驱方案。还有一种应该是 Evan 比较熟悉的，就是拉绳、绳驱的方案。
Evan Tao
对。绳驱方案现在市面上的几家主流公司，主要也分两种：一种是双向拉绳，一种是单向拉绳。
双向拉绳最早可能是大家听说过的“灵巧手的皇冠明珠”——Shadow Hand。它是一款 15 万美元的天价产品，有超高的 26 个自由度。
它的方案是在每个关节使用两根绳，同时连接到旋转电机的两个方向上。旋转电机顺时针转就是弯曲，逆时针转就是伸直。
还有一款比较类似、目前开源的手，叫 ORCA Hand，是苏黎世联邦理工学院做出来的，也是一款非常不错的双向拉绳开源灵巧手方案。
这种灵巧手比较大的难度，一个是双向拉绳，另一个是张紧问题。因为一个旋转轴要控制末端的另一个旋转轴，需要长时间保持两侧绳子的长度不变。
如果一根绳子在使用过程中因为材料产生蠕变，就会出现松动。松动会使系统精度降低，并且变得比较难控制。
ORCA Hand 的解决方式比较聪明，它在驱动器上使用了一系列棘轮机构，可以比较轻松地张紧绳子。但问题在于，即使有这个设计，使用过程中还是需要时不时调整。
还有一点，高自由度灵巧手中，绳子本身虽然不占太多体积，但绳驱方案的走线在机械设计中对空间的利用率实际上很低。
它不像设计齿轮或者其他方案时，可以把电机紧密地排布在一起。绳驱需要考虑绳子的走线，以及整个关节运动过程中绳子范围的变化，这是一个非常动态的过程。
所以高自由度灵巧手，尤其是绳驱方案，很少能够把所有东西都放在手掌内，驱动器一般都要向手腕以下延伸。
像 Shadow Hand、ORCA Hand 以及特斯拉，实际上我们国内还有一家源升智能，它们做的绳驱方案是把驱动器全部整合在手掌内。但这样也确实会让手掌体积稍微大一些。
所以特斯拉是双向拉绳，对吧？
Evan Tao
特斯拉是单向拉绳方案。
单向拉绳。
Evan Tao
对。单向拉绳的好处是，对腱绳材料蠕变没有那么敏感，可以通过算法相对容易地克服这个问题。
但它的缺点是，伸直运动没有主动的力，相当于靠弹簧实现伸直。
弹簧伸直的过程中，一方面这个力相对较小；另一方面，如果想尽量优化抓握力，在抓握过程中实际上是在和弹簧力对抗。伸展力越强，就会浪费掉一部分抓握力。
但有时人在进行精细操作时，手也会反向地推这样的力，这确实有一定作用。只是现阶段大家还没有特别考虑这一点，应用场景相对较少，更多还是在解决抓握问题。
也就是大家还没有想到张开的事情。
Evan Tao
对，张开的确还没有用得那么多。
了解。你们用的是哪种方案？
Evan Tao
我们其实是单向拉绳和直驱方案的混合方案。
这个目前还是属于比较保密的状态。
Evan Tao
对。
反向推，你可以想象一下，如果你闭着眼睛在书包里掏东西，可能需要先把其他东西拨开，然后抓住想要抓的物体。这确实需要一个推的动作。
但更多的还是需要整只手的触觉，所以这确实是一个非常难的问题，现在大家还没有太多考虑。
那业界现在主要在向哪几个方向收敛？
Evan Tao
从我看来，硬件上业界现在主要朝着直驱和单向拉绳的方向收敛，包括特斯拉和我们都是这样的方案。
直驱方案也非常惊艳。连杆方案如果要做到高自由度，做的公司相对少一些。
Figure AI 用的是什么方案？还有 Physical Intelligence？
Evan Tao
我简单看过他们的专利，可能是一个 6 自由度的手，或许是连杆或者其他方案。
浩之有什么补充？包括你作为使用者的体验。
我自己用过连杆和直驱电机这两种手，确实没有用过绳驱动的手。
现在做“机器人+AI”，大概有两种比较主流的方式。第一种是先用遥操作采集数据，再训练神经网络去完成某些任务，比较经典的代表可能是 ALOHA，以及 Physical Intelligence 的这条路径。
另一条主流路径是在物理模拟器中用强化学习训练网络，直接把网络从仿真器迁移到真实世界。比较成功的案例，基本上大家看到的四足机器人、双足机器人跳舞和走路，都是这条技术路线。
灵巧手的任何一种方案，在现在这个时间点都有缺陷。但其中从仿真器训练网络，再迁移到真实世界，也是非常流行的方式。
所以我们选择灵巧手时，会衡量它有多容易被仿真。之前比较连杆手和直驱手时，我们会觉得直驱手比连杆手容易仿真很多。
因此，在做一些需要高自由度、需要通过强化学习才能学到的灵巧操作时，我们会选择直驱手。
之前直驱手最大的缺陷，就像刚才 Evan 说的，是当时电机非常大。也是最近几年，电机才变得越来越小。
比如 Sharpa 让我们觉得惊艳，另一个原因是，在 Sharpa 之前，和人手差不多大小的机器人手通常要么是连杆驱动，要么是绳驱动，并不适合我们想做的技术路线。
当时我们觉得它既有人类手的大小，又是电机驱动，很适合做这方面的研究。
如果用仿真的方式研究灵巧手，首先需要这个手长得和人手一样，甚至自由度和关节数量也越接近人手越好？
这里需要补充一下。仿真更多是因为仿真器的物理引擎对这种机械结构的支持程度不同。
如果是连杆，机械结构比较复杂，仿真器就不容易精确地仿真这种结构。电机的仿真则非常简单，直驱手无非就是很多直驱电机串联起来，所以仿真难度不会增加。
因此，更多是从仿真角度来说，这两种机械结构存在区别，和机械手是否像人手的关系相对小一些。
我刚才之所以提到它要和人手差不多大小，更多是因为我们希望机器人完成一些只有人才能完成的任务，这就涉及和现实世界中各种物体交互。
这些物体的形状和大小都是按照人手设计的。假如机械手太大，就很难抓住比较小的东西。
所以从这个角度考虑，我们会偏向于选择既容易仿真、又和人手差不多大小的机械手。
很有意思。刚才大家提到 Sharpa 的手，我看它的价格好像是 10 万美元一只。Evan 刚刚也提到 Shadow Hand，一只手是 15 万美元。
谁在买这些这么贵的灵巧手？都是科研机构和大公司的研发部门吗？齐老师应该是买得起的。
Sharpa 应该是 5 万美元一只，10 万美元一对。
它会按一对来卖吗？还是现在其实没有两个手的配合？
我的理解是可以按一对卖。
首先，这些厂商至少在此时此刻不会靠卖硬件盈利，因为他们还远远没有到量产阶段。
对他们来说，现在最重要的可能是先确定当前构型还有哪些地方值得优化，接下来再往正确的方向迭代。这样的迭代可能还要进行很多轮。
它们的价格在很多时候，个人理解可能也有一定筛选作用：他们只想把产品卖给那些真正对硬件有强烈需求的人，可能是大厂，或者是获得了大型政府资助的高校。
举个例子，当时 Shadow Hand 的一个主要客户就是 2017 年、2018 年的 OpenAI。他们当时做灵巧手转魔方，但没有足够的财力支持这样的工作。
我理解，他们现在也不是靠卖硬件赚钱，还是希望先把这条路跑通。他们也希望吸引开发者，让生态搭起来，让更多人使用并改进这个方案。
Evan 可以从硬件从业者，或者创业者的角度来讨论一下。
Evan Tao
我们公司的商业模式可能和它略有不同。就像刚才齐老师说的，他们走的是高端学术路线，主要是筛选精品客户。
现在泓君您看到很多 Demo，在应用场景中似乎已经可以落地。但我们的思路是做一款稳定、可靠、价格更低，能够让真正做应用端的客户快速部署的产品。
我们的自由度、整体性能，包括触觉，可能没有那么高级，但我们会做一款稳定、低价、有竞争力的产品，让大家在落地过程中逐渐建立生态，也帮助我们获得更多客户反馈。
这是我们从创业公司的角度采取的策略。这并不代表价格比较便宜的灵巧手没有技术含量，也不代表它没有商业价值。我反而觉得，价格低更容易商业化落地。
Evan Tao
对，其实我觉得很多垂直领域的机器人也不是通用机器人，但它们同样很好落地，应用场景也很多。
没错。像 Figure 的手，它展示的场景已经非常多。更多是基于现有硬件，还是需要靠算法能力的提升，去打开它的潜力？
Evan，其实你进特斯拉的时候应该是在两年多以前，2023 年 7 月份，对吧？正好赶上特斯拉 Optimus 手的研发。要不要跟大家简单介绍一下，它整个手是怎么演进的？
Evan Tao
没问题。最早我加入的时候，做手的团队和整个 Optimus 机械硬件团队，大概是十几个人。做手的主要是我和另外一个人，负责这个项目。
外界现在可能还不太清楚，当时那一代手是什么样的方案。它是蜗轮蜗杆、绳驱方案，有 6 个主动自由度、11 个关节，是一只欠驱动的手。
当时在内部，我们已经迭代到了第三代。我加入时最主要的一个升级，是增加灵巧手的关节编码器，也就是捕捉灵巧手在空间中的位姿；另一个是增加触觉。
虽然这两个工作看起来只是电路上的升级，但从整个系统设计角度来说，由于加入了这些新功能，沿用第一代构型的灵巧手在装配过程中变得非常困难。
我进去的第一个星期，任务就是带领生产团队，亲手组装刚设计好的第三代灵巧手。内部当时就叫第三代灵巧手。这个过程非常痛苦，一个手可能从早装到晚也装不出来。
从没有做过机械的人来说，可能很难理解。
Evan Tao
简单来说，你可以想象一下，里面有一些弹簧，还有电子电路。你可能需要一边压着弹簧，一边穿过另外一个部件，还要保证线应该怎么走。
每一道工序可能都要花一两个小时慢慢完成。这实际上说明硬件构型设计还不完善。
这是你们自己设计的吗？
Evan Tao
没错，都是自己设计的，是特斯拉自己做的，没有采用其他公司的硬件方案，全部是自己设计、自己研发。
然后你正好赶上了要自己组装这件事。
Evan Tao
没错。经历了这个过程，再加上我们经常向马斯克汇报，马斯克当时看到第三代手并不是特别满意。
无论是外形设计还是其他方面，它更多还像一个实验室样机。他想要的是一只接近人手、很炫酷的手。
他是对外形不满意，还是对里面的技术方案不满意？
Evan Tao
他看到的一个是外形，一个是产能。外形他觉得不是很满意，另外，当时产能可能一天只能组装一两台，产能太差。
所以他当时可能是在质疑整个设计环节：从外形到方案，是不是容易落地。
也就是说，从外形到方案，他都觉得不够适合量产。
Evan Tao
是的。所以我进去后的第一个任务，就是带领整个项目把手重新设计一遍，并和工业设计团队紧密合作，把它的结构从内到外重新架构调整。
很多设计细节也是我们独创的。这是我们做出来的一款内部称为 3.1 代的手。对外则是目前大家看到的、用于装机和大规模量产的一款手，一直到现在还在使用。
这是你当时在的那一代。现在装一只手需要多久？
Evan Tao
改进以后具体需要多长时间，我已经不清楚了，但应该非常快。
你离开的时候呢？
Evan Tao
我离开的时候，记得一个星期要装一百多台。不过那时是技术工人在现场装，已经有自己的产线了。
我理解，你刚进去的时候产线还没有建立。
Evan Tao
对。从工程师角度来说，我们肯定要先自己做一遍，先走一遍流程，之后才能交给工人去做。
在你整个特斯拉经历中，马斯克在灵巧手这个问题上提出过哪些想法？比如要怎么改、朝哪个方向演进？我们刚才提到特斯拉用的是单向拉绳方案，他是同意这种方案的吗？
Evan Tao
马斯克非常坚信第一性原理，所以他的很多指导也是从这个角度出发的。
特斯拉做仿生，拉绳确实是单向拉绳方案。就仿生而言，我知道特斯拉内部做过人体分析，去看人体是怎么感知力的，以及人的手是怎么工作的。
也就是说，你们研究过人的手是怎么工作的。
Evan Tao
没错。首先我们看了很多生物解剖方面的学术论文，学习人的肌腱如何运动、如何发力。
还有一个小故事：我们团队中有一位伙伴的妈妈是手部外科医生，我们正好有机会去现场观察真正的人手结构。当时这个经历还是很有趣的。
你觉得收获到了什么？对你做工程有什么启发？
就是觉得人体非常精妙。当然心理上也有一些小小的阴影。当你仔细看到内部结构之后，会觉得人真的非常脆弱。
人体系统竟然是这么脆弱，但人还是能够活得很好。
你刚刚提到看过很多生物学论文，包括研究人体如何工作的论文。你觉得从人是怎么工作的，到研究灵巧手，再到灵巧手工程，你从人的身体和工作方式里获得的最大启发是什么？
或者说，特斯拉从人体的工作方式里得到了什么启发？这些启发帮助它做了哪些方向的设计？
Evan Tao
特斯拉从上一代手到未来马上要发布的这一代手，最大的变化就是把驱动器从手掌内移到了小臂，这也是借鉴了一部分人的设计。
人的手指弯曲所依靠的肌肉，主要存在于小臂上，而不是手掌内。
其实手掌内也有一些。
Evan Tao
对，手掌内也有。所以这也是我们自己的方案和特斯拉存在差异的地方。
特斯拉的小臂控制，更多是提供较大的抓握力。你可以这样理解，因为小臂上的肌肉比较大；手掌内分布的肌肉，更多是控制手部的灵巧、精细化操作。
我有一个比较好奇的问题。刚才 Evan 也提到，装配一个绳驱灵巧手可能要花很长时间，而且需要非常专业的人。
相比之下，直驱电机的灵巧手装配难度如何？假设未来有一条大规模生产线，分别生产直驱和绳驱灵巧手，两者的产能会不会有比较大的区别？
Evan Tao
简单来说，我认为是这样的：直驱灵巧手更像传统意义上的机械结构，包括传统机器人系统。它通过比较成熟的机械工艺，可以比较容易地装配。
简单来说，就是可以通过拧螺丝或者焊接的方式组装，这些都是已经比较成熟的工艺，既能保证精度，也能保证效率。
从绳驱角度来说，腱绳方案在传统意义上的整合还没有那么多，所以这方面需要整个行业继续推进。
比如腱绳如何固定两端，如何连接驱动器和末端执行元件，既要保证生产速度，又要保证精度，这些事情大家还在探索。
但这最终还是工程问题，并不是基础科学问题。随着整个行业推进，我认为最终能够克服。
简单来说，直驱现在的生产线相比绳驱更加完善一些。
Evan Tao
没错。
刚才我们聊了很多灵巧手硬件相关的问题，接下来可以聊一聊算法层面，也就是浩之主要研究的方向。
我注意到，在去亚马逊之前，你也在 Meta 的机器人组。大家可能知道，特斯拉、Figure AI、Physical Intelligence，甚至 DeepMind 都有机器人项目。Meta 的机器人项目主要在研究什么？
Meta 内部可能有多个机器人项目。其中有一个项目是做人形机器人的，也是今年年初刚刚成立的，所以大家可能还不太知道。
如果用一句话总结，他们可能是想做一个家用机器人产品，有点像 Optimus，也有点像 Figure：从硬件开始做，自己采集数据、做算法。
另一个机器人团队是在 FAIR 这个组织下面，FAIR 就是 Meta 的基础研究院。在这个机器人组里，我们主要的目标还是做研究，会着重研究各种各样的算法，看哪种算法可以让机器人具有最强的灵巧性。
我毕业之后加入这个组，主要研究方向也是灵巧手。在过去几个月里，我主要研究如何从人类视频中学习灵巧操作技能。
现在大家比较了解的一种方式，是通过遥操作采集数据。遥操作就是操作员戴上动作捕捉手套或者动作捕捉服，把人的动作映射到机器人手上。
但这种方式有一些缺陷。第一个缺陷是每个操作员都要适配一台机器人。如果想把机器手操作数据推广到像语言数据那么大的规模，其实非常困难，因为没有那么多机器人，产能也不够。
所以另一条路是，我们能不能根据现有数据，比如视频数据来学习？很多视频会记录人如何做饭、如何做家务，其中包含手部动作。
我们想研究的是，能不能让机器人观看这些手部动作，然后自己学会这些技能。
现在表现怎么样？
现在我会把它归类为研究阶段。
如果目标是达到最好的效果，直接用遥操作采集机器人本身的数据肯定是最好的。但目前我们还没有把从人类视频中学习的数据样本量推广到足够大的规模。
我相信从长远来看，这条路径很有可能会取代遥操作。
从长远看，直接使用视频里的数据，因为数据量更大、样本量更高，对不对？
对。
我觉得挺有意思。而且我注意到，之前 1X 还发布了一个机器人 NEO。NEO 可以进入家庭，帮人做一些基础家务。
但比较可怕的是，大家可能要以出卖隐私的方式让这个机器人工作，因为每个机器人后面都有一个人在进行遥操作，控制机器人。
我理解，这也是他们自己收集数据的一种方式。
没错。我的理解是，现在还没有一家公司能够把机器人卖到用户家里，并完成用户想让它做的任务。
所以 1X 相当于采用了一种有点像特斯拉自动驾驶的策略：先把车卖给用户，用户开车的同时就采集到了数据。
只不过对于人形机器人来说，用户自己并不能操作这个人形机器人，所以他们安排自己的操作员去操作机器人。
当然，这涉及隐私和道德层面的问题，也需要更多讨论。
你刚才提到，你是 2021 年、2022 年开始做机器人相关研究的。那个时候 GPT-3 已经出来了，但能不能用端到端的方式训练机器人和灵巧手，在当时还不是市场上的主流方向。
可以说，这两年大家才慢慢开始往这个方向走。至少特斯拉的自动驾驶验证了端到端模式，性能会有很大提升，整个业界才开始往这个方向发展。
那你最开始进入这个行业时，也就是 2021 年、2022 年，大家研究机器人的主要方向是什么？
我认为那个时候，大家研究机器人主要是想让机器人在某一个任务上，在有限泛化性要求下完成这个任务。
说实话，一个原因是当时硬件也不多，能做灵巧手科研的课题组也不多。灵巧手这个问题本身，大家也不是特别想做。
其实是特斯拉宣布做人形机器人之后，整个人形机器人行业和灵巧手行业迎来了一波爆发，大家才逐渐开始做这方面的研究。
由于当时大家没有太多兴趣，灵巧手能完成的任务也比较有限，所以大家可能还是专注于先把某一个任务做得比较好。
最近几年，越来越多的人开始尝试用类似 GPT 的研究方式，做端到端模型。在一些比较简单的机器人本体上，已经有了一些初步验证结果。
比如 Physical Intelligence 使用大规模数据和遥操作，展示了机器人很强的能力。
但是对于灵巧手来说，有一个更难的地方，就是灵巧手采集数据比其他机器人更难。
你是说手部数据？
对。即使有操作员不停采集数据，距离达到 GPT 那个等级，或者 Physical Intelligence 那个等级的数据规模，也不是一个简单的任务。
现在市场上收集遥操作数据最多的公司是谁？是 Physical Intelligence 吗？
我不敢百分之百确定，但我觉得可能是。
我上次和他们的研究员聊过，他们的 π0.5 好像有 1 万多个小时的数据。1 万多个小时，已经算是整个机器人行业最大的真实数据集了。
当然这是高质量数据。
对。肯定有很多公司在收集数据的过程中产生的数据远超 1 万个小时，但还有一个问题在于，什么样的数据对训练机器人是有用的。
你们做模型和算法时，我知道大家训练机器人是一个整体，希望机器人具备自主操作能力，包括行走、抓取，以及各种姿势和动作。
你们是作为一个整体研究，还是也会针对手单独做模型？
都有。
比如我们会有一些研究专门研究灵巧手加机械臂，完成桌面上的抓取操作。这类研究可能会更加关注操作的精细性和泛化性。
还有一些研究是灵巧手在人形机器人上，这时可能会更关注人形机器人边移动边操作的案例，比如人形机器人开门，或者在走路的同时完成一些操作任务。
在你的印象里，业界最好的机器人研究团队是哪一家？
我觉得现在还是各有所长、百花齐放的阶段，还没有收敛到可以给出一个排名。
我喜欢这个回答，因为我其实挺想知道，你所说的“各有所长”，每个团队的长项分别在哪里。
比如专注于做研究、发表论文的团队，和专注于做产品的团队，可能要分开讨论。
如果说做研究、发布论文的团队，可能有我现在所在的亚马逊前沿 AI 与机器人研究院，以及英伟达的 GEAR 研究院，这些都是还在研究前线的实验室。
高校也是非常重要的力量，比如我所在的 UC Berkeley，绝对是业界一股重要力量，也培养了很多机器人公司的创始人。
刚才说的是一些研究前线的公司和高校。高校里现在做机器人和 AI 的团队也处于领先水平。
另外一些更注重产品，或者更注重创业的团队，比如特斯拉、Physical Intelligence、1X，以及最近改变大家对数据采集印象的 Sunday 和 Generalist，这些应该都是这一波机器人浪潮中的头部公司。
这些主要是美国公司。还有一些国内公司。
所以在你们看来，大家专注的细分方向都非常不一样。
是的。
那我们聊一下你的研究。我知道你在研究用视觉和触觉做手内旋转，或者用两只多指手学习一些复杂操作。
整体来说，你的工作其实是在证明触觉带来的提升。能不能简单跟大家解释一下，为什么机器人需要触觉？加入触觉以后，机器人多了哪些能力？
我觉得机器人有触觉，有几个方面的好处。
我之前做过一个比较有趣的实验。在美国可以买到一些麻醉凝胶，牙医做小手术时会把麻醉凝胶放到牙龈上。我当时把一些麻醉凝胶放到手上，这完全无害，只是在一段时间内让你感觉不到一些东西。
然后我试图在这种情况下做一些操作。很多时候操作仍然可以完成，但会感觉做得很慢，因为我需要用眼睛仔细观察手到底有没有接触到想拿的东西，比如铅笔或者板擦。
所以首先，触觉能提供更多信息。当手指和物体交互时，它能给出更精确的信息。
比如想象一个人形机器人进行操作，它的手可能已经拿到了一个东西，但视觉很难看到手到底有没有拿到，因为手会挡住接触点。
所以天然来说，在这种情况下触觉会更有用。
触觉就是加传感器，对不对？
对。
另外一个非常有用的地方是控制力的大小。回到最初开可乐的例子，一只手需要用足够大的力控制住可乐罐，但又不能把它捏爆。
另一只手需要去拉可乐罐的拉环，拉环也需要有合适的角度，施力角度必须非常精确，不然很可能把拉环拉断了，可乐罐却还没有打开。
在这种情况下，感知操作时使用的力非常重要。感知力最好的方式，就是通过触觉传感器。
所以触觉传感器不仅能感知“摸到了物体”，还能感知力。
对。
感知力是怎么做到的？
现在有各种技术方案，我简单说两三种。
比如可以把压杆传感器放到指尖上。当外界施加一定压力时，电路会产生不同的电流，再根据电流大小判断压力有多大。
另外一种方案叫视触觉传感器。比如我们现在有一个手指，在手指内部加一台相机，相机向外看。它会有一些材料，在手指接触物体时产生形变，相机会捕捉这些形变。
捕捉到形变之后，就可以反向推断外界的力来自哪个方向、大小是多少。把这些信息输入视觉处理器或者神经网络，就可以得到想要的触觉信号。
我稍微补充一点关于触觉的内容。刚才齐老师主要说的是覆盖在手指或者手部表面的触觉传感器。
实际上，从我们和客户交流的过程中，客户比较在意的另一部分灵巧手力反馈信息，来自驱动器的电流大小，也就是驱动器到底用了多大的力去拉动手指。这也是另一部分非常重要的力反馈信息。
这和人类的感知系统也比较类似。人类抓握或者操作物体时，皮肤表面有一层触觉信号，另外还有一层来自肌肉收缩的感知能力。
我觉得挺有意思。我聊了这么多之后有一个感受：我们之所以把机器设计得这么复杂，是因为我们对人体和自身其实一无所知。
没错。
刚才我们讲到了触觉和几种力反馈方案。浩之，你还有补充吗？关于解决触觉和力反馈的问题，你讲完了吗？
我觉得刚才 Evan 补充得非常好。绳驱这条技术路线的一个很大优势，就是比较容易实现力控，因为可以通过控制拉绳力的大小来实现这一点。
像你这样的研究科学家，一天大概能收集多少遥操作的力数据？
这很取决于我想要什么样的任务。
假如只是用手抓取一个东西，再放到另外一个地方，其实可以收集很多。它可能只取决于我累不累，只要我不累，就可以一直以很高的成功率收集这样的数据。
但如果是更难的任务，比如遥操作机器人用剪刀剪窗花或者折纸，这种任务即使收集一条数据都非常难。
我觉得这也是我们做算法时想解决的任务：对于这种很难采集数据的任务，能不能通过其他算法上的突破来解决。
现在大家主流的方案是跟着视频学。
对。大家现在有不同的探索路径，视频是很多人在研究的一条路径，还有使用模拟器的路径。
另外一种有点像最近出现的 Sunday 和 Generalist：使用一些特定设备采集数据，再把数据转化成机器人可以使用的数据。
这些其实都是从不同数据收集方式的角度，考虑如何训练模型。
我不知道根据你对整个业界的观察和反馈，哪一种方式效果更好。
遥操作的数据量小，但质量非常高；视频数据可能很多，但缺乏力的信息。它的优点是数据量大。
哪一种效果更好，现在业内有共识吗？
如果是一家公司，还是会更多使用遥操作，因为它们需要追求绝对效果。
视频数据有很多人在研究，但我觉得目前仍然处于研究阶段。包括特斯拉最近也发布了使用人类视频学习一些操作的视频，但从绝对能力来说，还是不如遥操作。
之所以在这种情况下还要研究视频，是因为大家相信，可能在未来几个月、一年或者更久之后，当视频数据积累到一定程度，它的能力可以超过遥操作。
但应该不是此时此刻。
可能两种方式追求的东西不太一样：精确性还是需要遥操作数据，泛化性可能视频也很重要。我不知道这个总结对不对，我只是凭印象。
可以这么理解。不同数据有不同特征。
有的数据能让你比较快地获得能力提升，但比较难采集；有的数据很容易采集，但大家还没有定论，究竟应该如何最好地利用它。
我们在业界研究时，会把它理解成一个金字塔模型。遥操作在金字塔尖，数据量比较少，但很有用；视频数据可能在金字塔底座，数据非常多，但不一定最能提升机器人的效果。
中间部分呢？就是用机器……
对，中间部分有各种各样的数据，比如机器采集的数据、仿真数据。
我记得之前在一个活动上，和很多 DeepMind、OpenAI 的科学家讨论过，问大家什么方式是他们喜欢的。那天正好是 Genie 3 这个世界模型刚发布，我发现大家分成了两派，观点截然相反。
一派觉得 Genie 3 对整个机器人行业帮助不大，不是很重要；另一派则觉得这件事很重要，可以帮助训练机器人。
从做研究的角度来看，我肯定觉得这种新的基础模型会有帮助，只是我们需要找到最好的利用方式。
说它完全没用，肯定有失偏颇。但如果说我们只需要训练一个很大的视频生成模型，就能解决机器人问题，其实也不现实。
很简单的道理是，现在的视频生成还没有完全解决物理真实性的问题。虽然我们每年都看到它在物理层面上不断进步，但我之前比较喜欢举一个例子：
假设我们能够靠学习视频模型，解决对物理世界接下来会发生什么的预测，那也就意味着我们可以训练语言模型，让它没有幻觉，因为它相当于学到了一些真实数据中的物理规则，而不是简单地过拟合数据。
但语言模型到现在仍然没有解决幻觉问题。所以我觉得，距离视频模型真正学到物理世界的规律，仍然任重道远。
因此，我们不能完全依赖视频模型训练机器人，但它可以提供很好的初始化，或者提供其他方面的信号，这些都会有帮助。
好的。
我们再聊一聊你博士所在的高校 UC Berkeley。我注意到，它的机器人方向非常强。比如皮特·阿比尔是伯克利的教授，他自己也创办了一家很有名的机器人公司 Covariant，主要做抓取问题。
还有一位伯克利出来的，就是我们刚才反复提到的 Physical Intelligence 联合创始人 Sergey Levine。他在强化学习方向也是非常顶级的。
我看他之前除了创办 Physical Intelligence，Google 之前几个大模型，比如 PaLM-E、RT-1、RT-2 的研发，他好像也参与了，对吧？
Sergey 之前一直在当时叫 Google Brain、后来叫 Google Robotics 的团队里做研究科学家，所以参与了这些大模型的研发。
基本上，业界最重要的一些机器人基础模型，几乎都有他的影子。
对。
你觉得像伯克利这样的学校，在机器人领域还有哪些方向比较强？
我觉得伯克利的 AI 整体都比较强。比如它从最早做符号 AI 开始，就有一定地位；计算机视觉也有很多不错的成果；包括现在做机器学习系统，像 vLLM 和 SGLang，都是伯克利 Sky Lab 的成果。
所以我觉得整个 AI 领域，伯克利在各个方面都有一些拿得出手的成果。
我还注意到，这几位非常强的教授也都在创业。
我之前一直听说斯坦福产学研一体，研发人员或者学生创业比较多。伯克利在政策上支持学生和教授创业吗？
我觉得伯克利和斯坦福，首先对于学生来说当然都很支持。因为伯克利和斯坦福都有对应的商学院，可能会有一些讲创业的课程，计算机系也有一些课程会讲 AI 创业。
对于教授创业，我觉得美国的学校大差不差。比如教授可以学术休假，或者有一个叫 on leave 的安排。我不太知道该怎么翻译。处于这个状态时，学校一般不会过问你的相关活动。
平常学校一般要求教授只能用 20% 的时间从事非学校活动。
了解。所以整体上政策还是比较相近的。
对。有一些学校可能特别支持，但因为这些内容可能不太会写出来，所以我也不知道它们具体是什么策略。
你觉得伯克利的研究氛围怎么样？
首先，伯克利在 AI 方面有一个很好的地方：做 AI 研究的人都坐在同一层，就像一个小型创业公司。
所以你很可能今天做机器人，想找一个很懂计算机视觉的人，他就坐在离你走几步路的地方。大家讨论起来非常简单、方便，也促进了不同组之间的交流合作。
很多学生想合作一个共同项目，另一个好处是，伯克利实验室之间的合作非常自顶向下。
如果两个学生想合作，他们的导师基本不会阻拦。我没有听说过谁会阻拦。通常是两个学生先开始合作，再慢慢由他们的合作带动不同导师之间的合作，从而实现不同方向的融合，把各个方向比较好的想法和经验结合起来。
我刚才提到的几位机器人领域的大神，我是在你的 Google Scholar 页面里看到，他们好像都和你共同署名过论文。
是的。这其实也是刚才提到的两点带来的一些好处。
还挺有意思的。
你们觉得实现手部的灵巧动作，比如开可乐，回到我们最开始的问题，到底有多难？它到了一个 GPT-3 时刻吗？
说不定。我觉得如果机器人能够真正做到开可乐，这是一个很好的 benchmark，也就是一个很好的标志。
我认为它可能代表达到了 GPT 时刻，因为它确实是对灵巧性综合能力的考量。
我想稍微说远一点。比如我们看 20 年前，其实已经有一些能跑步的机器人，比如本田的 ASIMO，它已经能在舞台上很好地跑步、上下楼梯。
当时就有很多质疑：为什么过了 20 多年，人形机器人也只能达到 20 多年前的水平？
这中间其实涉及一个问题：达到这样的水平到底有多容易？
现有算法可以很容易地让机器人跑步，达到跑步水平后，再稍微改一些东西，也可以比较容易地让它跳舞。
这和 20 年前让一个机器人跑步不一样。20 年前可能需要很多高精尖团队一起迭代几个月甚至几年。
所以我觉得，如果未来有一个算法框架本身已经确定，可以用很短的时间让机器人学会开可乐，也可以让它完成开门、拧螺丝等各种各样的任务，那我觉得确实就是 GPT 时刻了。
我们离这样的时刻有多远？
这种预测总感觉会被打脸。我觉得可能还有 3 到 5 年。
这比我想象中快太多了。
从硬件和产品角度来说，我觉得今年之内就会有产品能够满足这样的能力。
你的意思是在任何场景下开一罐可乐，机器人都可以先旋转它，随便放置，然后自主操作，不是遥控？
可以这么说。我认为硬件很快就能够达到这个水平。
硬件相当于给整个机器人行业提供一个基石，但整个系统能力的上限和天花板，更多还是要靠软件以及背后的模型能力提升来释放。
据我观察，最近这两年灵巧手实现了井喷式飞跃，感觉有一个非常光明的未来。你觉得这是因为整个研究方法变了吗？
我觉得有几个方面。
第一，从市场上来说，人形机器人火起来之后，大家更容易获得硬件，也有更多能够做复杂硬件的厂商，于是他们开始做灵巧手和人形机器人。
第二，很多比较简单的本体，比如轮式机器人或者平行夹爪，在科研问题上已经开始大同小异，没有新的爆点。
所以大家开始探索如何在更复杂的系统上迭代算法，也就是灵巧手和人形机器人。
我觉得这两点共同促进了整个研究行业的发展。
好的，今天聊得非常精彩，谢谢两位。
Evan Tao
谢谢泓君。
谢谢齐老师。谢谢。
好了，那这就是我们今天的节目。如果大家关注机器人行业的进展，我们也会在有重大事件节点的时候继续来关注这样的一个话题，欢迎大家持续地关注我们。播客的听众可以通过苹果播客、Spotify 还有小宇宙来关注到我们。如果大家习惯通过视频的渠道来听播客，可以通过 B 站和 YouTube 搜索硅谷 101 播客来关注到我们，也可以在微信公众号上搜索硅谷 101，来看我们节目的文字版。我是泓君，感谢大家的收听。