[BidClub_]
十字路口Crossing · · 70 min

于是转身向具身走去|对话王家伟:24 岁的具身智能首席科学家

Koji王家伟

RoboticsAI & SoftwareTechnicalCompany Building
Podcast
TL;DR
  • GPT-6 Astra 让王家伟看到“通用的智能真的有可能外溢到各行各业”,但他判断基模不太可能完全吃掉具身的小脑。 Astra 画金门大桥靠试错四遍与上下文记忆完成,但一次推理耗时长(演示视频是十六或三十二倍速),动态环境里咖啡杯打翻“很难 recover”;真正的 action foundation model 需要“肌肉反应”。他的明确表态:下面“不太可能把上面吃掉”,但“确实有可能上面把 System 1 给吃掉”,时间节点难判。
  • 深普智能(Simple AI)以终端公司定位做全栈,壁垒押在自研 UMI 数采设备上。 抛弃基站、只用相机做到毫米级定位、微秒级时间同步,95%以上采集轨迹可以执行;开源 2000 小时(内部已到几万小时量级),Hugging Face+ModelScope 累计下载 50 多万,多家海内外公司来信求购。“我们不是为了做全栈而做全栈。”
  • 预计年底发布的具身基础模型目前已展现 zero-shot 与组合泛化,但团队拒绝轻言 scaling law。 几千个任务预训练后不需后训练直接做新组合任务(“把零食放到蓝色盘子上”);对照 Gemini Robotics 1.5 的 one-shot,以及 GR-1 做 G1 时所称需要一小时任务级真机后训练数据;“我们会避免讲 scaling law,可能会讲存在一定的 power law 现象”——严肃验证数据、模型、算力配比非常耗资源。
  • GPT-6 Astra 已被团队用于一批数据标注与清洗:效果“比人还要好”,能二十四小时工作,成本与人差不多。 团队先用 Astra 标一小批数据,再用这些数据训练自己的标注模型持续迭代;投入重心已从采集转向精细清洗。
  • 具身行业的尽调红旗:评估缺少公允基准、“噱头大于真实”。 LIBERO 类仿真 benchmark 被刷爆、真机 benchmark 曾出现“既当裁判又当运动员”的问题并不了了之;上半年被吹捧的 reasoning model 概念“真正落地的没有几家”;专门训练 pair 数据做出的 in-context learning demo,在他看来“不是很本质”。他 respect 的是 GR00T N1 的 20 万小时数据与综合评估、另一个模型的 50 万小时数据和 9000 种夹爪构型泛化,以及 π0.7 的 in-context learning;国内最可能做出类 Astra 能力的是 Seed 多模态与千问。
  • 数据策略的第一性原理:ego 数据三十元一小时看似便宜,但标注和训练的后续投入“非常非常贵”,先把 UMI 弄明白。 自采数据“可能”九成以上可用、成本可控;触觉传感器尚未收敛,团队没有放弃、一直在尝试,但没有大规模铺开。
  • 深普对“具身智能”的差异化定义是三个能力:OOD 适应、steerability、context 理解。 他认为行业更 focus 在当前 observation,低估了从一秒内夹杯滑落到长期家务记忆的 context 因果链;这决定了数据与模型两侧的特殊设计,也与 π0.7 和 Levine 的 steerability 路线相互印证。
  • 24 岁转身具身的逻辑与三年之约:“风浪越大鱼越贵”。 放弃 Seed 的薪资与算力去创业,因为 new grad 在已收敛领域“很难自己定义事情”,而最大风险是时间踏错方向;他给“三年内家庭机器人帮忙洗碗”80% 的概率。
Digest · the substance, structured for research

1. GPT-6 Astra 画金门大桥:震撼来自试错与上下文,不只是精度

  • 录制前两天 GPT-6 Astra 发布、社媒刷屏直接驱动机械臂。王家伟的第一反应是:“很难想象一个通用语言模型在具身 task 上成功率非常高。”用 LM 做 robotics 并不新——几年前甚至更早就有 VLA policy 的路线,最近几个月李飞飞老师团队和 Jim Fan 团队也提出了 CAP 工作——但过去要依赖较小的模型做感知和识别,GPT-6 则把这些能力融合到了自身:三维空间理解、场景理解、任务规划、试错与经验总结。
  • 他最看重的案例是把笔绑在机械爪上画金门大桥。成品很震撼,但“它画了一遍、两遍、三遍、四遍”:模型实时读取视频流,画坏就换一张白纸,而上下文一直存在,逐遍调整用笔与末端执行器的控制。结论是,能力很大一部分来自“对任务的试错和理解、对经验的总结”。

2. 基模会降维打击具身公司吗:大脑吃不掉小脑

  • 王家伟的框架是:具身系统跟人一样,除了上层负责理解的大脑,还需要控制肌肉的小脑。GPT-6 一次推理耗时很久,演示视频可能是十六倍速或三十二倍速播放;静态环境能 work,动态的真实环境则困难——咖啡杯第一次没拿稳打翻后“很难 recover”,因为模型没有实时控制能力快速纠偏。
  • 结论是分工而非替代:真正的 action foundation model 需要“肌肉反应”,而不是纯靠大脑推理;两者“肯定有 overlap,但也存在区分”。大脑需要较大的模型处理复杂场景与任务理解,下面必须配上较好的 action policy。
  • 大脑侧他认为已经比较收敛到 GPT 这种类型:很难从头做一个完全不同的范式,再把这么强的推理和 agentic 能力融合进去;路线是把第一人称、第三人称视频转换成可训练的任务类型,补充这部分能力。他也相信 GPT 或其他基础模型厂商在做这件事。

3. 少年班:一场现场吸收力测试,百人取三四十

  • 选拔机制如他亲历:当时年龄不超过十五周岁,可以参加高考;分数线在中科大当地录取分数线附近,最多可适当浮动二十分。进面试后当天连上一节数学课、一节物理课,“上完课立马发试卷考试”,考察注意力,以及知识摄取、转化和输出的速度;最后由院长一对一开放式面谈。约一百人进面试,录取三四十个。
  • 同学的共性不玄:“自驱力比较强、思维敏捷、接收新知识的能力强”。他的收获是没上高三、没被题海“荼毒”(Koji 引交大 S.M. 班俞勇老师“第一年帮大家洗刷高三毒害”作对照);大一先上数学、物理、化学和计算机等通识课,再选专业;本科即做 AI for Science,用计算机模拟研究分子马达的相变;还当了较长时间班长,沟通和学生工作经验较多。

4. 聪明的重定义与转身具身:“风浪越大鱼越贵”

  • 他对聪明的排序变了:思维敏捷的人很多,不是最重要;“最重要的一点是会提好问题”。第二是知道自己的不足,并且愿意直面它。自曝的短板是硬件——焊板子、搭电路从没提起过兴趣,做 robotics 后“不得不面对”,经常向硬件团队请教。
  • Koji 追问为何不发挥优势而去直面缺失,他的答案是:作为 new grad,在语言模型这种已收敛领域“更多是在重复已经制定好的计划”,而具身“整个行业都还没有收敛”,能做自己定义的事。“我比较相信风浪越大鱼越贵……风险和机会一定是并存的。”
  • 导师的话他记着:“年轻人就应该去闯一闯,失败了无所谓,可以从头再来。”最大风险他认为是时间:如果方向走错,探索几年后发现一直在错误的路上,对个人打击会比较大。

5. 深普定义的三种“具身智能”:适应、steerability、context

  • 内部一直在讨论“具身的智能到底体现在哪”——机械臂把水杯提起来并不一定算智能。他们定义三个能力:一是适应能力,包括 zero-shot 与 few-shot 适应完全 OOD 的场景;二是 steerability,也就是可操控性,除了语言还包括图像和视频的操控,“给它一段视频,它能很快 follow 住”;三是较好的上下文理解能力。
  • 关键判断是,过往具身工作更多 focus 在根据当前 observation 把事情做出来,对 context 理解不足;但很多事情需要 context,才能涌现出对整个世界 dynamics 的理解。三个能力反推预训练路线,也是他们不完全 follow 既有路线的依据。

6. DeepSeek 与 Seed:两种研究组织的对照实验

  • PhD 前半段跟博导霍强在 MSRA 做文档智能——OCR、版面分析、表单理解,算法落地微软云 API,“不是一个纯研究型的 PhD researcher”。2024 年因 DeepSeek-VL2 需要文档能力被 HR 联系去实习,也参与了 DeepSeek-V3 的部分预训练数据工作。
  • DeepSeek(V2 之后、R1 之前)的印象是研究者心态、不急于落地、更多探索智能的边界;最深的一点是“工作强度确实不大,但仍然能做出很好的工作”,说明工作强度不是产出好成果的必备条件。人少、分块大,连底层代码都能接触。离开原因是 VL2 之后资源可能更应倾斜到语言模型、推进 R1,多模态组资源变少;他也不想继续主要复用文档经验。
  • Seed 是另一极:庞大而像“精密运行的仪器”,每人管好自己的职责范围,数据和训练 infra 都有人准备好——这是双刃剑。他想推“自进化”(模型以 API 形式部署、收集用户反馈并自我迭代),但大厂需要跨部门协商、先做充分 POC,能拿到的资源不多;这加深了他对“new grad 在收敛领域很难自己定义事情”的判断。

7. Simple AI 的方法论与全栈定位

  • 公司 slogan 是“Keep the world simple”,背后对应奥卡姆剃刀:过度设计很多事情“不 work”,NLP、CV 都曾过度设计模型结构,后来一个“非常 simple 的 GPT”解决了很多问题。他讲的例子是:一位研究员在 o1 发布后自建了一套“非常综合的 infra”,DeepSeek R1 发布后删了两个礼拜代码,最后删掉 90%。
  • 全栈定位是:“我们是一家终端公司,不是纯数据公司,也不是纯模型公司。”链路从数据、模型到部署、真机,价值最终产生在产品里;“我们不是为了做全栈而做全栈,而是有这样的目标,不得不做全链路”。
  • 壁垒逻辑是:如果模型侧突然出现特别好的模型,全栈公司可以快速 follow、迭代进自己的产品,更快获得真实场景和用户反馈。

8. 自研 UMI 手套:抛弃基站、毫米定位、微秒同步

  • 原本没想自己做数采设备,测遍供应商后发现“精度或时间同步根本达不到我们的要求”。自研设备基于宋舒然团队的 UMI 通用操作接口,两点关键:不摆基站、只靠相机并通过 SLAM 做到毫米级轨迹定位;相机时间戳做到微秒级同步。别家需要处理时间戳不同步问题,而他们的数据“从源头上就已经足够准确”。
  • 六路相机不是 over-design:两腕部各有上下两个相机,是精巧操作时防遮挡的需要;头部双目相机用于定位,也可迁移到 egocentric 数据采集。
  • 验证链条是先在别人的基础模型上 fine-tune,再做真机 evaluation;之后做轨迹 replay,在仿真里回放采集轨迹,看能否在本体上运作出来,“百分之九十五以上的轨迹都可以执行”,才进一步扩展设备和采集场地。数据集称为 HiFi-5M,开源 2000 小时,内部已到几万小时量级;Hugging Face+ModelScope 累计下载五十多万。

9. 投入重心从“采”转“标”:GPT-6 Astra 标数据比人好

  • 早期采集投入更高——除了采集场地,也去家庭、酒店、民宿等外部场景,扩大数据分布多样性;最近标注投入更大,因为原始数据需要精细清洗才能发挥最佳效果。粗糙原始数据直接训练也能 work,说明数据精度较高,但中间仍有 mismatch,目标是标准化、自动化的标注流程,减少大量人工。
  • 最近团队用 GPT-6 Astra 做标注和清洗,“做得比人还要好,而且可以 24 小时工作,成本上和人其实差不多”。不过 GPT-6 效率仍偏低,曾直接充值 Codex 额度,因此存在限制;团队先让 Astra 标一小批数据,再用这些数据训练自己的标注模型持续迭代。
  • 开源后收到海内外多家公司希望购买数据的邮件;社区反馈包括定位用的 marker 二维码太大、手套在真机上发热严重,以及相机供应商等相关问题。

10. 预计年底发布的模型已能 zero-shot——但他拒绝轻言 scaling law

  • 可透露的部分是:预计年底发布的模型目前已经能 zero-shot 做不少事情。几千个任务放进去训练后,不需要后训练就可以完成一些 task,而且不是与训练集完全一模一样的任务。组合泛化的例子是:训练集中有把遥控器放进遥控器盒子、把零食放进垃圾桶等任务,模型能够把零食放到蓝色盘子上;即使数据占比只有 1% 甚至 0.5% 的任务,也可能完成。
  • 对照系是 Gemini Robotics 1.5:给模型看三秒视频,那仍是 one-shot,而深普的做法“不需要给它视频”。对于 GR-1,王家伟记得他们之前做 G1 时提到过,需要一小时的任务级真机后训练数据,才能达到较高成功率。王家伟把能力主要归因于数据质量。
  • scaling 纪律值得记录:“scaling law 毕竟是个 law……定义清楚多少数据配多大模型、配多少计算,这是很严肃的问题。”数据多样性、计算量、数据量扩展后确实看到性能提升,但他们会避免说已经验证了 scaling law,可能只说存在一定的 power law 现象;严肃验证数据、模型规模和计算之间的关系仍很耗资源。
  • 世界模型方面,“得看怎么定义”:他们不沿着概念本身推进,而是从适应、steerability、context 等能力反推最合适的模型和数据;world-action model 与 VLA 的部分都只借鉴最适合自身定义的内容,“我们不是一个 follow 型的工作”。

11. Context 三层因果:从一秒内的滑落到长期记忆

  • 短时 context 蕴含丰富因果,尤其是在接触丰富的任务中:夹水杯没夹紧、杯子下滑、再夹紧提起——一秒内的观察—动作—结果链让模型“很自然就能学到,原来我是这样做错的,下一次应该怎么做对”。
  • 中层是 memory:桌上有几个一模一样的咖啡杯,试错完第一个,做第二、第三个时已经知道杯子宽度以及刚才输出的夹爪宽度,可以自然迁移,不需要重复试错;更长期是家务记忆——东西放进哪个抽屉,没有 context 理解和记忆,机器人每次都得重新学,人必须重新告诉它在哪里。
  • 工程代价是 context 天然带来大量 token,推理延迟会下降效率;机器人对执行延迟敏感,因此数据侧要考虑什么数据能激发 context 利用,模型侧要考虑如何高效建模 context,“我们在这块做了一些很 special 的设计”。

12. 触觉:装了、验证了,但战略性不铺开

  • 开源数据不带触觉有几层原因:从视频预测触觉的精度还不够高,对预训练可能稍微有用,对后训练则完全不可用;二指夹爪不像灵巧手那样遮挡多,加上腕部上下相机设计,很多情况下通过视觉就能判断是否夹紧。
  • 更大的问题是触觉传感器尚未收敛:不同传感器的分辨率、感知位点不同;如果先投一百套设备采集,几个月后换成更好的传感器,之前的数据如何利用也成问题。因此他们没有放弃触觉,一直在尝试,但还没有大规模铺开。

13. Agentic OS:具身注定是 agent system,harness 是被低估的活

  • 他去年十月就与 CEO、CTO 深入交流并形成判断:“具身肯定是一个 agent system”——要与人、与环境交互,不是单点模型。深普构建的 harness 覆盖语音识别、任务分解、任务拆分、工具调用及更底层的设计,分为 System 1 和 System 2 两层;在 WRC 上可以通过语音让机器人拿衣服,或把衣服送到洗衣机。
  • System 2 目前使用字节 Seed 的模型(“毕竟我也参与过那部分工作”)。自训大脑模型正在尝试,但创业公司的算力珍贵,资源可能优先放在 action 预训练上;大脑模型从 GPT-5.6 到 GPT-6 仍在快速发展,因此也希望利用已有基础模型反哺系统稳定性。
  • 对“System 2 终归是 Frontier Lab 延长线”的回答是:基模能力之外还有 harness——需要细致的上下文管理,避免实时视觉反馈让延迟和上下文爆炸;还要设计大小脑交互层。小脑做成高度 steerable,是为了让大脑更自然地调度下层模型,“不只是 model 能力这一点”。

14. 终局判断:下面吃不掉上面,上面可能吃掉 System 1

  • 直球表态是:“我觉得不太可能是下面把上面吃掉,但确实有可能是上面把 System 1 吃掉——这件事发生的时间节点,我现在很难判断。”创业策略的底线是:即使看到了终局,也不能放弃中间阶段必须做的事情;先把 action 能力做扎实,再通过 harness 结合上层规划,落地更多场景并获得真实反馈。
  • Astra 给行业的最大启示是:“通用的智能真的有可能外溢到各行各业。”System 1 与 System 2 的边界可能越来越模糊。对于认为 GPT-6 太慢、做不到实时反馈的国内一些同行,他持保留态度:从大语言模型角度看,它有机会做到真正可用,但仍需要 action 能力以某种方式反哺进去,时间多长暂时难判断。
  • 国内最可能做出类 Astra 能力的两家是 Seed 多模态(“在国内一直比较领先”)以及千问;他此前与千问的一些朋友聊过具身,认为他们正在做类似的事情。

15. 评估乱象:没有公允 benchmark,“既当裁判又当运动员”

  • 现状是:LIBERO 类仿真 benchmark 被刷爆,“不需要预训练、纯靠后训练也能拿很高分”,参考价值有限;RoboTwin 等新 benchmark 同时包含仿真和真机,但仿真与现实存在 gap,定义的能力也未必是所有团队关心的能力;真机 benchmark 则要求把模型交给对方测试,公司很难接受。此前有具身公司做过真机 benchmark,出现“既当裁判又当运动员”的问题,其他人不服,后来不了了之;他认为可能还是要看产品和用户是否买账。
  • 年底发布模型时,他们会从关心的能力出发,覆盖简单、中等、困难任务,以及场景泛化和物体泛化,并呈现成功率;few-shot 会明确用了多少数据,zero-shot 就一定是 zero-shot。与其他模型直接对比几乎不可能,因为数据不明且没有在同一本体上训练;因此他们更多坚持把自己的模型做好,最重要的是保持真实。模型是否开源还需商讨,若开源,希望是后训练效果很好的模型。

16. Respect 名单:GR00T N1 的数据量级与自然涌现的 ICL

  • 最让他 respect 的是 GR00T N1:把数据量提升到二十万小时,并做了综合评估。另一个模型把数据量做到五十万小时,并让 9000 种夹爪构型进行泛化;π0.7 则做了 in-context learning 实验。他认为这些工作证明了模型的泛化能力,或至少说明预训练能力很强,“很少有公司真正做到这样的量级”。
  • 他认为最早由 GR00T 团队展示的 in-context learning 可能是自然涌现的:模型原生支持三十秒 context,参考视频很短也能 follow;甚至可以通过第三人称视角参考——人拿着相机把一个杯子叠到另一个杯子上,机械臂就能直接跟随完成,这不是完全一一配对的数据。
  • π0.7 的启示是 steerability。Levine 教授的研究涉及 steerability,也做过类似 Embodied CoT、把 reasoning 融进具身模型的工作;steerability 因此被深普列为优先要做的能力之一,可以与上面的大脑配合完成更多任务。

17. 高估与浮躁:pair 数据训出来的 ICL“不是很本质”

  • 他认为可能被高估的是其他一些 in-context learning 工作。最早 GR00T 团队发布 ICL 时,一方面说模型原生支持三十秒 context,另一方面说 ICL 是自然涌现的、没有单独训练,只要放入视频就能 follow。相比之下,最近一些工作,包括美国某个团队的结果,明确说专门训练了 pair 数据。
  • 他的判断是,ICL 对应两个底层能力:深刻理解 context,以及 steerability。如果这两个能力本身不强,只是强行训练出 ICL 再做几个 demo,“我觉得并不本质”,pair 数据只是暂时的妥协。
  • 语言模型研究更开放、结果相对可复现;具身领域则可能“噱头大于真实”。今年上半年被吹捧的 reasoning model,真正落地的没有几家,效果比 VLA 好多少也没有明确结论;对做 research 的人来说,噪音很多。
  • 他的过滤器是看 claim 与 demo 是否吻合,再用第一性原理校验。领域不收敛反而给了他们自由:如果人云亦云,直接购买数据公司的 UMI、ego 数据即可,但他们自己做完后发现可能可以弯道超车。

18. Ego 数据的性价比账:先把 UMI 弄明白

  • 他们没有放弃 egocentric 数据,但顺序明确:还没有完全弄明白 UMI 数据,就先把这件事搞清楚,再花更多精力看 ego 怎么用。ego 数据表面便宜,“三十块钱一个小时也能买到还不错的数据”,但后续标注和训练投入“非常非常贵”,代价与效果的斜率值得验证。DROID 他们做了 1 万小时 Ego 数据,其他一些公司也称做了 1 万小时,但深普没有贸然跟进,因为一旦引入就会产生新的变量。
  • 自采 UMI 的账相反:成本可控、质量高,采回来的数据“可能 90% 以上都能用”,不会出现采回十万小时只能用一万小时的情况;数据量还没有大到不可控,因此可以验证不同模型参数、不同数据量配比下的表现,也更适合做严肃的 scaling 实验。

19. 七十人公司、最难的十字路口与三年洗碗之约

  • 公司现在有七十多位同事,规定工时 9:30–6:30、不强制加班;AI 工具额度“基本无限制”,主要使用 Codex。公司强调扁平化和充分的 context 交换,不像大厂那样把 context 只集中在少数人手里。
  • 反客为主的一问是家伟问 Koji 做播客与做投资的异同。Koji 的回答是,两者都是“两个小时向一个人提问、尽可能了解他”;区别在于播客时会很 nice,投资时则可能要让对方不舒服,才能得到更真实的答案,比如围绕“人应该做自己擅长的事情”反复追问。
  • 他最艰难的十字路口正是这次转身:放弃优渥薪资和 Seed 的算力,到创业公司后基础设施、模型设计、团队搭建都要从零到一,“还是蛮纠结的”。少年班同学中有不少人去了美国读基础学科,也有人转向 AI、AI 量化、AI 加医疗或制药,还有一位做理论研究的同学去了 OpenAI。
  • 三年之约来自博导的真实需求:饭后先把盘子里的东西倒掉,再放进洗碗机,整个过程可能要花二十分钟。“如果三年之后我们做的机器人已经能在家庭里完成帮忙洗碗的事情,我觉得就已经非常让我 exciting 了。”他给出的概率是 80%。
Full transcript
Koji

嗨,我是柯姐。本周十字路口的嘉宾是王嘉伟,来自深普智能的首席科学家。你好嘉伟,欢迎来到十字路口。

王家伟

大家好。

Koji

我们还是先快问快答。请问家伟,你的年龄?

王家伟

我今年24周岁,下个月就要过25岁的生日了。

Koji

你的求学经历呢?

王家伟

我小学和初中是在小县城读的,高中去了合肥一中。高二的时候参加高考,加入了中科大少年班。2020年的时候,我获得了中科大和微软亚洲研究院联合培养 PhD 的机会,一直到现在。2026年,我刚刚 PhD 毕业。

Koji

你的 MBTI 和星座?

王家伟

MBTI 是 ENTJ,但是我的 E 可能只有50%的 E。星座是天秤座。

Koji

一句话介绍一下深普智能。

王家伟

深普智能是一家面向家庭的通用具身智能公司。我们的 slogan 是“Keep the world simple”,就是让世界变得简单,这也是我们取英文名 Simple AI 的原因。

Koji

上一场我们录的播客,是和徐梦迪聊的。他是清华叉院的一位助理教授,之前在李飞飞老师的组里做博士后。我问他,飞飞最喜欢问哪些问题?他说,飞飞特别喜欢问一个问题,是爱因斯坦曾经说过的一句话:要让事情保持简单,但是又不要让这个事情过于简单。

王家伟

我觉得这句话挺有道理。AI 领域其实有一个很著名的定律,就是奥卡姆剃刀原理。如果做了过度设计,其实很多事是不 work 的。你要在保持简单的情况下做好各种实验验证,才能证明这件事情真正有效。

之前很多学术研究,比如 NLP,包括以前的 CV,都过度设计模型结构。后来突然大家发现,非常 simple 的一个 GPT,就把所有事情都解决了。

昨天我见到一个研究员。他们在 OpenAI o1 出来之后,也开始做类似的训练。他负责 infra,所以设计了一套自己觉得非常综合的 infra。结果过了四五个月,DeepSeek R1 发布了。发布之后,他们团队就开始删代码,删了两个礼拜,最后删掉了90%,发现根本不需要那么复杂的设计。

Koji

是的。你当下在深普智能之前的工作经历,可以介绍一下吗?

1. 从文档智能走向 Agent

王家伟

可以。因为我也是刚刚 PhD 毕业,主要经历其实就是博士期间做的一些事情。

我在 MSRA 待的时间最长。一开始是跟着我的博士生导师霍强老师做文档智能的研究。2024年的时候,我去了 DeepSeek 实习,因为当时觉得,多模态大语言模型已经可以做到很多之前小模型做不到的事情了,所以就去了那边,在 DeepSeek 的多模态组做一些事情,也参与了 DeepSeek-V3 的一些预训练数据工作。

后来我觉得,语言模型已经从 Chat 往 Agent 的方向转变了。Chat 其实很难产生很大的商业价值,但是 Agent 是真正能够提升工作效率的一种能力。所以我在2025年的时候,选择去 Seed 的一个 Agent 组实习。当时那个组是 Seed 内部很早开始做 Agent 的团队。

Koji

你现在在深普智能是首席科学家。你小时候有过长大以后要做科学家的梦想吗?

王家伟

这个还真有想过。我小时候过生日的时候,确实许过这个愿望。

Koji

愿望实现了。那时候你想象中的科学家,和今天自己在做的科学家工作,有哪些相同和不同?

王家伟

当时我还很小,可能想的是在实验室里做生物实验、化学实验,或者在数学这样的基础领域提出什么猜想之类的事情。那时候其实对计算机科学家没有太大的概念,这是一个很大的不同。

相似的地方可能在于,我确实有机会一直探索大家都不知道是什么的事情。

Koji

你现在花时间最多的探索和研究工作是什么?

王家伟

我现在花时间最多的事情,是思考具身基础模型的预训练到底应该怎么做。这个事情的各种路线都还没有收敛,我们在走自己的一条路。

Koji

说到这个,我们录播客的前两天,GPT-6 Astra 发布了。发布之后,社交媒体上各种刷屏,大家用 Astra 直接驱动机械臂去做各种各样的任务。你看到那些视频的时候,有什么感受?

2. Astra 抬高具身上限

王家伟

这个其实蛮有意思的。一开始我确实很难想象,一个通用语言模型竟然能在具身任务上做到这样的程度。即使不是很难的任务,比如抓积木,它的成功率也非常高。看完之后,我确实觉得这个模型的能力已经超乎大家的想象了。

之前用 LM 做 robotics 这件事情,其实概念已经不新了。几年前,甚至更早的时候,大家就已经开始做 VLA policy 这套思路。最近几个月,李飞飞老师团队和 Jim Fan 团队也提出了一个叫 CAP 的工作。

VLA policy 很早就有了,但是当时还需要依赖一些比较小的模型去做感知和识别。现在 GPT-6 相当于已经把这些小模型承担的能力融合到了自己里面,使得它能够充分利用三维空间理解能力、场景理解能力、任务规划能力,以及试错和总结经验的能力,去做这种复杂的事情。

我当时还看到一个视频,把一支笔绑在机器爪上,让模型去画一座金门大桥。如果直接看成品,会觉得非常震撼:模型竟然能把机械臂控制得这么精准。

但它中间其实经历了好几个过程。它画了一遍、两遍、三遍、四遍,到第四遍才变成我们最终看到的样子。第一遍可以明显看出,模型在尝试怎么使用这支笔;第二遍逐渐有了轮廓;第三遍、第四遍的时候,图像逐渐变得清晰,最后确实画得非常好。

所以,对于现在的具身模型来说,我觉得它能完成一件事情,很大一部分能力来源于对任务的试错和理解、对经验的总结,以及把一些小模型的定位能力和空间理解能力融合进来。

Koji

所以它画四遍,每一遍画完之后,都会通过摄像头把画面传回去,对吧?它自己再去总结?

王家伟

对。每次画的时候,它都会实时读取视频流。画完一张之后,就把没有画好的那张丢掉,换一张新的白纸,但是上下文一直存在它的“脑海”里。

所以它一直知道自己之前经历了什么,怎么画的,为什么画得不好,然后逐渐调整使用这支笔、控制末端执行器的能力。

Koji

现在也有一些说法,认为 OpenAI、Anthropic 这样的基础模型公司,最后才有可能做出具身大脑。这样一来,今天做具身模型的公司,好像可能会被降维打击。你怎么看?

王家伟

这是个挺好的问题。最近我也和很多同行聊过这件事情。

我觉得具身系统就跟人一样,除了上层负责理解的大脑模型之外,还需要控制肌肉的这一部分,也就是小脑。

GPT-6 确实能够直接操纵机器末端去做一些事情,但是仔细看的话,它的执行速度非常慢。它一次推理需要很长时间,视频里可能都是以16倍速或者32倍速播放的。

在静态环境里,让它做这件事情是能 work 的。但是在动态环境、真实环境里,其实很难做到。比如说我尝试拿桌上的咖啡杯,里面有水或者咖啡。如果第一次没有拿好,很容易把它打翻,打翻之后其实很难 recover。

由于这个模型没有实时控制能力,一旦发生倾斜,就很难快速调整回来。但是对于我们真正想做的 action foundation model 来说,它需要具备这样的肌肉反应,而不是纯靠大脑推理来完成一切。

所以我觉得这中间肯定有 overlap,但也存在区分。大脑部分一定非常重要,而且一定要用一个很大的模型去完成复杂的场景理解和任务理解,但下面也一定要配上比较好的 action policy,使它能够快速调整、快速反应。

Koji

你觉得大脑之后会继续在 Transformer、语言模型这条路上发展,加入更多具身数据,还是会出现另外一套不一样的模型架构?

王家伟

我觉得大脑这一侧已经比较收敛到 GPT 这种类型了。首先,它有很强的推理能力。我们很难从头做一个完全不一样的范式,同时把现在这么强的推理能力和 agentic 能力融合进去。

我们反而会沿着这条路线继续往前推。比如把第一人称视角的视频、第三人称视角的视频,转换成模型可训练的任务类型,补充和增强这部分能力。我也相信 GPT 或者其他基础模型厂商应该都在做这件事情。

所以这部分沿着现在的路线往前走,应该没有太大问题。

Koji

我们待会儿会展开讲一讲深普智能的模型。今天的播客分成3个部分:第一部分聊家伟的成长经历,从少年班到科学家的故事;第二部分聊你在深普智能的工作;第三部分聊最近半年具身领域的各种突破,除了前面提到的 Astra,也包括 Gemini Robotics 1.5、π0.7 等等。

3. 少年班的选拔逻辑

我们先说一下少年班。大家说到少年班,都会想到“天才少年”。少年班同一届大概有多少人?

王家伟

我们那一届是30多个人。

Koji

你觉得大家有什么共同点?是智商都很高,还是有其他共同点?

王家伟

我觉得大家的共同点是自驱力比较强,思维比较敏捷,接收新知识的能力比较强。这是比较大的共性。

Koji

给我们讲一讲少年班是怎么考试、怎么选拔的?

王家伟

少年班一般是高二、高一,甚至初三的同学参加。年龄要求是当时不超过15周岁,然后可以参加高考。

参加高考之后,分数线大概要达到当地中科大的录取分数线,大概可以浮动20分。也就是说,可以适当降低20分的要求,看看要不要让你进入面试。

达到学校要求、进入面试之后,还要经历一个比较特别的考验:当天同时上一节数学课和一节物理课,上完课之后立刻发试卷考试,考察你吸收知识的能力。

他们教的是大学课程,但又没有完全脱离你原本的知识基础。主要是考验你的注意力是否足够集中,以及知识摄取、转化和输出的速度是不是足够快。

之后会有院长亲自和你一对一交流。他会问,如果你进来之后没有跟上教学,或者对这件事情没有那么大兴趣了,想转换专业,可能有哪些调整方式。会问一些很 open 的问题。

Koji

等于是一场面试。

王家伟

对,等于面试。

Koji

从进入面试到最后选出这三四十个同学,中间的选拔比例是多少?

王家伟

基本上是大概100个人进来,最后选30到40个人。

Koji

少年班的经历给你留下了什么?

王家伟

我觉得这个经历挺 special 的。首先,它让我摆脱了高三。我没有上高三,也没有太经历过刷题和题海战术的熏陶。

我想到交大 S.M. 班俞勇老师有一次分享,说他在 S.M. 班第一年做的事情,就是帮大家洗刷高三带来的“毒害”,大二才开始进入真正的培养,大概是这个意思。

Koji

所以你没有被高三荼毒。

王家伟

是。进来之后,我们大一就会上一些非常基础的通识课,比如数学基础、物理基础,甚至一部分化学基础,让你都了解一下,包括计算机。上完之后,你可以了解自己的兴趣点在哪里,再去选择专业。

我当时觉得这个地方挺好的。而且我对计算机特别感兴趣,所以大一下学期就选择了计算机专业。

科大另外一点对我影响比较深的是,它有很多科研资源。我本科的时候就已经跟着一些老师做 AI for Science 了。那时候 AI for Science 还很早,我们做的是生物里分子马达的一些工作,用计算机模拟的方式研究分子马达里的相变过程。这是一个很交叉的学科,也做了一些科研,有一些产出。

另外一点可能也有影响,就是我在少年班当了比较长时间的班长,所以学生工作做得比较多。这也导致我比较会和别人沟通,人缘也还不错,属于比较 ENTJ 的状态。

Koji

进入少年班之后,同学们应该都非常聪明。你现在会怎么理解“聪明”这个词?

王家伟

最早我对聪明的理解比较粗浅,可能只有思维敏捷、学习能力强这两点。但这么多年过去,回头再看,我觉得聪明包含的点其实很多。

思维敏捷的人很多,它可能不是最重要的一点。我觉得最重要的一点,是会提好问题。这是我对聪明比较重要的一个定义。

第二点,我认为聪明的人知道自己的不足是什么,并且愿意直面它。我觉得这一点也很重要。

Koji

你觉得自己的不足是什么?

王家伟

说实话,我对硬件的理解没有那么深。我从小就对软件感兴趣,因为我父亲是计算机老师,所以我一直很喜欢这件事情。但是对于焊板子、搭电路这些事情,我一直没有太提得起兴趣。

但现在来深普做 robotics,我不得不面对这些事情。我也知道自己的不足,所以会经常向硬件团队的人请教,尽量寻求他们的帮助,因为我知道自己在这一块的经验不足。

Koji

很多人会做和你完全不一样的选择。有些人会觉得,应该发挥自己的优势。尤其是你之前在 DeepSeek 和 Seed 都做多模态,做的是大模型里相对偏软件的实习和工作。现在转到具身,反而是在直面自己过去经验的缺失。你做这个选择的原因是什么?为什么要做具身?

4. 转向具身智能的理由

王家伟

这是个好问题。我选择做具身,尤其是作为一个 new grad,从大模型转向具身,其实是因为我比较想做一个能够自己定义事情的角色。

在大语言模型领域,包括我在 Seed 的实习,大家的工作方式已经比较稳定了。作为一个 new grad 进去之后,更多是在重复已经制定好的计划,很难去尝试突破一个自己特别感兴趣的方向。

但具身整个行业都还没有收敛。在里面有非常多做研究的机会。对于那些自己没有很强认知的事情,我特别想把它搞清楚,想知道这个事情应该怎么做。

Koji

对很多人来说,什么都没有收敛,好像也是一种风险。但你感觉这是一个机会。

王家伟

我比较相信一句话:风浪越大鱼越贵。在这里面,你有机会做出很多有突破性的东西。

而且我觉得导师对我的影响也比较深。当时我和他聊过,可能不去大厂了,想去创业。他觉得年轻人就应该去闯一闯,失败了无所谓,可以从头再来。只要获取到足够多的经验,完全可以开启下一段事业。

所以我对风险的承受程度比较高。我觉得风险和机会一定是并存的。

Koji

你觉得最大的风险是什么?

王家伟

我觉得是时间。如果方向真的走错了,探索几年之后发现完全走在一条错误的路上,这对个人的打击会比较大。其他的我觉得还好。

Koji

你觉得今天大家在做的具身探索里,哪条路或者哪些路的风险有可能涌现出来?

王家伟

这确实是一个现在还没有特别好答案的问题。我的思路是,首先要找到具身智能的“智能”到底体现在哪里。这也是我们内部一直在讨论的问题。

很难说一个机械臂把水杯提起来,就是智能。我们到底如何定义智能?现在我们很关注模型的3个能力。

第一个是适应能力。适应能力包括刚才说的 zero-shot 能力,以及 few-shot 适应完全 OOD 场景的能力。

第二个是非常好的 steerability,也就是可操控性。除了语言上的操控性之外,可能还有图像和视频上的操控性。给它一段视频,它能够很快 follow 住你的视频,这是第二个很重要的能力。

第三个是很好的上下文理解能力。我看过很多具身工作,感觉大家对上下文,特别是原生上下文的理解还不够。大家更多 focus 在:我希望根据当前 observation 把事情做出来。

但很多事情需要理解 context,才能涌现出对整个世界 dynamics 的理解。这是我们定义的3个最重要的能力,我们也是沿着这个方向去做基础模型。

Koji

我们待会儿会再介绍基础模型。在此之前,还是回到你的经历。你读 PhD 的这几年,恰好也是具身 AI 飞速发展的几年。你会把这几年分成几个阶段吗?有没有比较明显的阶段感?

王家伟

我觉得可以分成两个大的阶段。

一个阶段是在文档智能上,特别是我的博士课题,也是在这一块做了一些比较重要的工作。另一块是在大语言模型时代,对社区做的一些贡献。

前一部分特别要感谢我的博导霍强老师。他提供了一个平台,让我有机会做真正能够落地的研究。

我们当时在微软做了很多文档理解相关的事情,包括 OCR、版面分析、表单理解。这些算法基本都应用到了微软云上的 API,以及相关的基础设施上。

所以我们不是一个纯研究型的 PhD researcher,而是在做 research 的同时,思考这些 research 能不能产生实际的落地价值,能不能赋能更多下游的商业应用场景。

后半段主要是因为想在大语言模型时代成为弄潮儿之一,所以选择出去实习,也去了 DeepSeek。那时已经在做多模态大语言模型、Agent、RL 和上下文管理等工作。

大概可以分成这两个阶段。

Koji

你去 DeepSeek 的时候,已经发布了 V2,但距离 R1 发布还有一段时间。那段时间 DeepSeek 内部是什么样的文化?

王家伟

整体上,和我去之前得到的印象比较接近。去了之后,大家还是以研究者的心态推进语言模型这件事情。不管是多模态语言模型还是语言模型,大家都不会太急着考虑落地,而是更多地探索智能的边界。

让我印象特别深刻的一点是,DeepSeek 的工作强度确实不大,但仍然能做出很好的工作。这说明对于 research 来说,工作强度不是产出好成果的必备条件。

另外一个感受是,大家有比较清晰的项目规划方式。因为人比较少,所以会分给你一大块工作让你去 handle,你也可以接触底层代码,比如 infra 的代码。这是后来我在 Seed 很难做到的一件事情。

Koji

你当时是怎么去 DeepSeek 的?

王家伟

一方面,DeepSeek 有很多 MSRA 的师兄,我也获得了一些信息。另一方面,是 HR 联系到了我。

当时我在做文档智能,而 DeepSeek-VL2 的一个重要应用方向就是文档。他们觉得需要一个做文档的人,去支撑 DeepSeek-VL2 的文档能力。当时我觉得这件事情和自己的经历很 match,所以就过去了。

Koji

DeepSeek 听起来很好,但为什么后来去了 Seed?

王家伟

主要原因是,DeepSeek 当时对多模态的投入已经比较少了。DeepSeek-VL2 做完之后,从更上层的领导来看,资源可能更应该倾斜到语言模型上,比如推进 R1。

所以多模态组能获得的资源比较少。而且我做的很多事情,都是把之前文档智能的经验迁移到大语言模型上。我觉得即使继续做下去,也更多是在复用之前的经验,所以想做一些更不一样的事情。

当时我已经看到了 Agent 的潜力,所以聊到了 Seed 有一个很早开始做 Agent 的组,就加入进去实习了。

Koji

在 Seed 和 DeepSeek 实习的感受,因为两边文化不同,有什么不一样吗?

王家伟

感受上会有一些不同。就像刚才说的,在 DeepSeek,我们能接触到的代码,或者能做的事情,scope 会稍微大一点。

Seed 可以理解成一个比较庞大的组织,里面人很多,大家像一台精密运行的仪器,每个人都有自己非常重要的工作点,所以很难 touch 到职责范围之外的事情。

在 Seed 做事情,一方面是 focus 在自己关心的点上;另一方面,很多事情别人已经帮你准备好了。这也是一把双刃剑:准备好之后,你不需要再管,但这些东西可能本来就是很重要的一部分,比如数据 infra、训练 infra,对 researcher 来说都很重要,只是两边的方式不同。

Koji

刚才提到,你觉得具身领域更没有收敛,所以意味着风浪越大、机会越大。有没有一个具体事件,让你产生了这样的想法,离开大语言模型和多模态模型,进入具身领域?

王家伟

这可能和我的实习经历有关。我在 Seed 实习的时候,特别想推动自进化这件事情。现在大家都觉得自进化很火,但当时是2025年11月、12月,我就想做一个自进化工作。

当时的想法是,把模型通过 API 的形式部署出去,通过服务收集用户反馈,再自我迭代模型。

但在大公司里做这件事情,需要和很多部门合作。比如 API 怎么对外暴露,就要找相应部门协商;而且前期可能要做好非常充分的 POC,别人才能愿意让你去做。

另外,每个部门都有自己的工作,这件事情比较探索性,所以能拿到的资源其实不多。当时我就觉得,在语言模型已经比较收敛的领域里,作为一个 new grad、新毕业生,很难自己定义一件事情去做。可能更多是跟着大部队把事情往前推。

正好当时有加入具身创业公司的机会,所以我做了更深入的了解。后来觉得,具身一方面是公司愿意给我比较大的自由度去做事,另一方面这个领域确实还有很多可做、可研究的事情。

Koji

我们聊一下深普智能。深普智能应该是从数据、模型到本体,还做了 Agentic OS,感觉全链路都在做。背后的考虑是什么?为什么要做全链路?

5. 深普智能的全栈路径

王家伟

我们对公司的定位,其实是一家终端公司。我们不是纯数据公司,也不是纯模型公司,而是想对外提供一个真正的产品。

具身计算整个链路非常长,中间包括从数据到模型、部署,再到真机的各个环节。最终真正产生价值的,还是最后那一环:把这些东西放进一个产品里,对外提供价值。

从这个角度考虑,我们才把公司做成全栈公司。我们不是为了做全栈而做全栈,而是因为有这样的目标,所以不得不做全链路的事情。

这样的全栈能力会是一个比较大的壁垒。之后如果模型这一侧突然出现一个特别好的模型,我们可以快速 follow,快速迭代,并且放进自己的产品里,更快拿到真实场景和用户反馈,把整个事情做成。

Koji

我看你们已经发布了一些工作。月底的时候发布了自己的数据集,这个数据集也是支撑预训练的基石,叫 HiFi-5M。前几天看,它在 Hugging Face 和 ModelScope 上累计下载量已经超过50万了。

王家伟

对,这是一个影响力还算比较大的数据集。

Koji

这个数据集做了多长时间?

王家伟

这次开源了2000个小时,实际内部已经达到几万小时的量级。

我们做这件事情大概用了半年时间。最早我们没有想过真的自己做这么精细的采集设备。当时想的是,如果有特别好的采集设备供应商或者合作伙伴,就可以直接拿来用。

但后来测了很多设备,发现它们的精度或者时间同步根本达不到我们的要求。

Koji

所以你们自己做的是什么样的设备?

王家伟

我们自己做的是一种超高精度的 UMI 手套。UMI 是宋舒然老师他们团队做的一种通用操作接口。操作员可以戴着这个手套,带着夹爪去完成一些事情,再把操作轨迹记录下来,作为模型训练语料。

在这个过程中,我们做了两件比较关键的事情。

一方面,我们抛弃了基站定位。之前很多工作要在桌子上摆几个基站来定位,使轨迹恢复精确到毫米级。但我们用了一些比较 special 的方法,不依赖基站,只用相机就能做到毫米级定位。

另一方面,我们把时间同步做得特别好。相机时间戳可以做到微秒级同步。

最近也看到很多工作在做 UMI,但他们会遇到时间戳不同步的问题,需要用一些 special 的方法解决。我们的数据从源头上就已经足够准确了,所以可以控制变量,在模型侧做更多事情。

Koji

摄像头在哪里?

王家伟

整套设备有6路相机。头部是双目相机,两个腕部各有上下两个相机,一共6个。上下相机主要是为了防止遮挡。

Koji

为什么要采这么多视角?理论上也可以采更多视角,你们是怎么决定中间这个 balance 的?

王家伟

首先,腕部相机是必须的。对于夹爪的精巧操作来说,必须保证视野无遮挡。只有头部相机的话,很容易被遮挡,导致模型无法在视觉层面做预测,所以腕部相机必须有。

头部相机的主要原因是定位。刚才说到为什么可以抛弃基站,就是因为有了头部相机之后,可以通过 SLAM 等方式把定位精度做得很高。头部相机也可以迁移到 egocentric 数据采集上。

所以我们做了这样的设计,也没有 over-design。

Koji

你们怎么验证采集的数据真的有训练价值?比如一开始应该会做一小批数据,验证之后再放大到2000小时、更多小时。

王家伟

最早把 UMI 做通,其实不是一件容易的事情。特别是在国内,之前没有几家真正把 UMI 做通。我们当时也踩了很多坑。

第一批 UMI 数据采回来之后,我们会在一些小规模实验上验证。当时主要是在别人的基础模型上做 fine-tuning,完成之后直接做 evaluation,也就是在真机上实验,看这些数据能不能达到一定成功率,或者能不能完成训练集里的目标任务。

在一些相对容易的任务上,我们很快就验证了这件事情。验证之后,我们相信只要数据采集是正确的,大概率就能扩展到更复杂的任务。

另外,我们也对设备进行了很多测试和迭代。比如做轨迹 replay,也就是在仿真里回放采集到的轨迹,看能不能在本体上运作出来。我们发现95%以上的轨迹都可以执行,这也坚定了我们大规模采集的信心。

基于精度、时间同步和 replay 比例这些考虑,我们对采集设备做了扩展,也自己租赁了一些采集场地。

Koji

你们现在采数据和标数据,在投入上大概是几倍的量级?

王家伟

之前采数据的投入比例更高,因为首先要把数据量做上来。除了在采集场地里采,我们还会做外部采集,在家庭、酒店、民宿等场景完成各种采集,让数据分布更加多样。

最近一段时间,我们在标注上的投入更大。因为发现采回来的数据需要非常精细地清洗,才能发挥最好的效果。

我们也试过直接用比较粗糙的原始数据训练,效果也还 work,这说明数据精度确实很高。但中间还是会有一些 mismatch。

所以最近我们更多 focus 在数据清洗上,希望把它变成一个真正标准化、自动化的标注流程,而不是大量引入人工。

Koji

Astra 让自动标注变得可能。

王家伟

这是一个很好的 point。我们最近用 GPT-6 Astra 试着帮忙做标注和清洗,已经做了一批,发现效果比人还要好,而且可以24小时工作,成本上和人其实差不多。

当然,GPT-6 的效率还是有点低。当时我们直接充值 Codex 的额度来做这件事,所以还是有一定限制。

我们现在也在训练自己的标注模型。相当于先让 GPT-6 帮我们标数据,再用这些数据训练自己的模型。其实不需要训练特别多,一小批数据持续迭代,基本上就能做到还不错的效果。

Koji

刚才提到,HiFi-UMI 数据库开源了2000个小时。你们出于什么考虑开源?

王家伟

因为我们之前做 research,所以对开源这件事情还是比较自豪的,希望自己做的工作能被更多人看到,被 community 使用,推动整个 community 往前发展。

这也是为什么我们开源2000个小时。对基础研究来说,研究学校里的 lab 也可以使用,2000个小时已经不少了。

另一方面,我们也希望从社区收到反馈,看看数据里可能存在什么问题,然后持续迭代数据采集设备。

Koji

开源之后收到反馈了吗?

王家伟

收到挺多公司的邮件,很多公司希望购买我们的数据,包括海外公司和国内公司。

另外也收到了一些具体反馈。第一个问题是 marker。我们手上有一个专门用于定位设计的二维码,有人觉得这个 marker 太大,会对视觉产生影响,问能不能做小一点。

另一个问题是手套在真机上发热比较严重。因为我们当时也放了一些真机实验结果,大家能感觉到有发热问题。

此外,还有一些相机供应商以及其他相关方面的问题,但总体上收到了不少不错的反馈。

Koji

刚才聊了数据,现在回到模型。目前模型预计年底发布,可以提前透露一下有哪些信息吗?

6. Zero Shot 能力开始涌现

王家伟

可以透露一些。我们现在的模型已经能 zero-shot 做很多事情了。

最初其实没有抱特别大的希望,因为之前很少有公司说自己的模型能够 zero-shot。更多还是需要后训练,然后在仿真或真机 benchmark 上测试和打分。

但我们之所以做 zero-shot 验证,是因为如果不做预训练评估,就很难直接判断模型的能力在哪里,也不知道有哪些需要改进的地方。

所以我们做了比较细致的评估。现在来看,模型已经能完成不少任务。不需要后训练,直接把几千个任务放进去训练,训练完之后就可以做一些 task。

这些 task 也不是和训练集完全一模一样,而是通过一定的泛化能力泛化出来的。

Koji

最近 Gemini Robotics 1.5 发布时提到,给模型看一个3秒的视频,模型就可以学习。你指的是类似的能力吗?

王家伟

我们不需要给它视频。它那个还是 one-shot,我们能做到一定的 zero-shot 能力。

这主要还是因为我们的数据质量确实很高。

对于 GR-1 来说,我记得他们之前做 G1 的时候说过,需要一个小时的任务级真机后训练数据,就能达到很高的成功率。但我还没有看到他们说,直接用 UMI 数据训练之后,就自然具备一定的 zero-shot 能力。

Koji

非常期待这个模型发布。你们也在做世界模型吗?

王家伟

这要看怎么定义世界模型。我们没有特别沿着这个概念去做,而是沿着刚才说的几个重要能力反推:什么模型最适合,学习效率最高;针对这些能力,需要什么样的数据。

所以不管是 world-action model 还是 VLA,我们都会 borrow 其中最精华、最适合我们能力定义的部分,去设计自己的模型。

我们不是一个 follow 型的工作,而是在设计一个最适合我们定义的“智能”的模型。当然,我们肯定也会利用之前已经预训练好的知识,不会完全从头做这件事情。

Koji

一开始你提到模型有3个基础能力,其中最后一个是 context 能力。为什么特别强调这一点?

7. Context 决定具身智能

王家伟

因为我之前做语言模型,尤其是 Agent,从语言模型的角度来说,context 是里面最重要的点。只有有了充分的 context,它才能更好地做决策。

但来到具身领域之后,我读了很多文章,发现大家对 context 的关注度没有那么充分。大家可能会假设,模型通过当前 observation 就能做很多事情,没有考虑 context 里蕴含的因果信息。

我们对 context 的定义,可能会分成几种类型。

一种是短时 context。它其实蕴含非常丰富的因果,特别是在接触丰富的任务上。

比如我拿一个水杯,第一次拿的时候,夹爪可能没有夹紧,导致杯子松了。杯子松了之后,下一次我把夹爪抓紧,就把它提起来了。

这里面就包含了一个完整过程:从观察到图像,到做了一个夹得比较松的动作;杯子松了之后,图像显示它向下滑;然后我把它夹紧,杯子又稳定了。

这个过程可能只发生在一秒钟之内,但 context 对模型的作用非常重要。模型可以自然学到:原来我是这样做错的,下一次应该怎么做对。

另一部分和 memory 更相关。比如桌上有几个一模一样的咖啡杯。我拿第一个的时候,可能经历了刚才说的过程。等到拿第二个、第三个的时候,它已经知道咖啡杯的宽度、刚才输出的夹爪宽度,就可以自然迁移,不需要重复试错。

再长一点的 context,可能和长期记忆有关。比如我做家务时,把一个东西放进某个抽屉里。之后人类伙伴让机器人把这个东西找出来拿给我。如果没有 context 理解和记忆能力,它就找不到,每次都得重新学习,必须让人重新告诉它东西在哪里。

所以从更长期的记忆来看,context 也是最重要的能力之一。

Koji

针对这一点,你们是从模型架构、数据,还是其他角度做了特别的工作?

王家伟

数据和模型都要做。

从数据层面来说,要考虑什么数据能够激发模型利用 context。从模型角度来说,要考虑怎么高效建模 context。

context 自然会带来一个问题:token 特别多。token 多了之后,推理效率一定会下降。机器人是对执行延迟很敏感的系统,所以推理延迟和训练效率怎么解决,都需要考虑。

我们在这块做了一些很 special 的设计。

Koji

刚才提到 HiFi-5M 数据集,它应该也是用来训练模型的。这里面好像没有触觉。

王家伟

是的。触觉这件事情,我们最近也在非常多地思考。

人不需要看,就能完成很多事情,是因为依靠了充分的触觉。现在大家采集的很多数据也不带触觉,只有视觉信息。

目前有一个研究方向,是能不能从视频里直接预测触觉。相当于直接预测触觉信号。但这种方式的精度还不够高,对于模型预训练可能稍微有点用处,对于后训练可能就完全不可用了。

我们其实也装了触觉传感器,但是新开源的这一批数据没有触觉。为什么没有?因为对于二指夹爪来说,很多情况下通过视觉就能判断有没有夹紧。

二指夹爪不像灵巧手,有很多遮挡。二指夹爪的遮挡比较少,再加上我们上下相机的设计,遮挡就更少了。

另外,现在的触觉传感器还没有完全收敛。一个很大的问题是,不同触觉传感器的分辨率不一样,感知位点也不一样。今天投了100套设备,使用某种触觉传感器,采回来之后发现效果没有那么好;过几个月又出现一个更好的传感器,替换进去之后,之前的数据怎么利用,也是个问题。

所以我们没有放弃触觉,也一直在尝试,但还没有大规模铺开。

Koji

最近我应该也会录一期播客,和一位做量子点的科学家聊。他的博导也拿了诺贝尔化学奖,就是因为量子点技术。他们做的事情,是发射量子点来感受触觉,大概是这样。大家之后可以听一听。

王家伟

可以。

Koji

刚才提到模型已经出现了一些 zero-shot 能力。你觉得这是 scaling law 的信号吗?

王家伟

Scaling law 是一个很严肃的事情。我们现在看到的是 scaling 的一些趋势。比如把数据多样性扩展起来,把计算量扩展,把数据量扩展,我们确实能看到性能明显提升。

Scaling 在任何领域应该都存在,只是要看一开始做得对不对,取决于数据是否做对了、模型设计是否做对了。

但 scaling law 毕竟是 law。它之所以是 law,是因为里面有非常科学的依据,探索的是数据量、模型规模和计算之间是否存在某种比例关系,使训练能够预测。

这才是科学意义上的 scaling law。所以现在具身领域很多公司发 blog,说自己验证了某种 scaling law,我们会避免这样讲。我们可能会说存在一定的 power law、幂律现象,但不会轻易说找到了 scaling law。

因为 scaling law 需要充分的实验验证,要定义清楚多少数据配多大的模型、配多少计算,这是很严肃的问题。我们现在还在持续做实验验证,这也很耗计算资源。

不过我们已经看到了 scaling 的趋势,我觉得还是很 promising 的。

Koji

可以具体讲一讲这个趋势是什么吗?

王家伟

我们训练出一个模型,原本可能期望它能够在训练集内完成一些任务。比如训练了1000到2000个任务,训练完之后,可能认为数据量比较大的头部 task 能够 zero-shot 完成。

后来发现,数据量没那么大的任务也能完成,比如只占1%甚至0.5%的任务,也可以做。

另外,即使没有完全见过这个 task,只要稍微组合一下,也可以泛化。比如数据集里可能没有“把遥控器放到盘子里”,但有“把遥控器放到遥控器盒子里”;也可能没有“把零食放到某个架子上”,但有“把零食放到垃圾桶里”。

结果它确实可以组合泛化。让它把零食放到蓝色盘子上,它就能直接放过去,不需要任何后训练。

当时我觉得,只要数据多样性起来,模型能力会出现很多超出我们想象的结果。

Koji

深普最近发布了 Agentic OS,可以讲一讲这是什么吗?

8. Agentic OS 连接大脑与小脑

王家伟

我在去年的10月份,就和我们的 CEO、CTO 做过深入交流。当时我在做 Agent,觉得具身肯定是一个 Agent system,而不是单点模型。

毕竟它是一个很大的系统,需要和人交互,也需要和环境交互,所以一定是 Agent。

我们当时做的事情,是把 Agent system 的 harness 做好。具身所需要的 harness,和低级别 Agent 所需要的 harness 不一样。

所以我们构建了一套和人交互的系统,包括语音识别、任务分解、任务拆分、工具调用,以及下面更底层的一些设计。

这个 system 大概可以分成两层,也就是 System 1 和 System 2。我们围绕上层大脑模型做了更多 harness 设计,使它能够比较好地完成定义的任务。

比如在 WRC 上,可以通过语音对话和它交流,让它帮你拿衣服,或者把衣服送到洗衣机里去清洗。整体上就是这样一个 system。

Koji

System 2 指的是理解意图和做规划,System 1 应该是快速执行,或者精细化执行。

王家伟

对。

Koji

System 2 背后用的是什么模型?

王家伟

前段时间用的还是字节 Seed 的模型,毕竟我也参与过那部分工作。

Koji

之后会换成自己的模型吗?

王家伟

我们正在尝试。因为这件事情很耗资源。我们认为大脑需要一个参数量足够大的模型,但对创业公司来说,算力很珍贵。

我们可能会优先把资源放在 action 的预训练上。现在大脑模型一直在快速发展,还没有看到终点。从 GPT-5.6 到 GPT-6,可能就会有很大的跨越,已经有很多公司在做这件事。

我们一方面希望定义出一些大家还没有充分看到的、具身领域的大脑能力;另一方面也希望尽可能利用别人已经做好的东西,反哺我们整个系统的稳定性。

Koji

System 2 最后还是 Frontier Lab 的延长线吗?比如 Gemini 也发布了自己的 ER,你们也用 Sage,Astra 其实也有这样的能力。你觉得最后这件事情还是由大语言模型基础模型来完成吗?

王家伟

我觉得对于语言模型来说,除了基础模型的能力,还有一个很关键的就是刚才一直在讲的 harness。你得给它配适合具身场景的 harness,才能最大程度发挥作用。

Koji

你们做了哪些 harness?

王家伟

比如我们做了非常好的上下文管理。大脑需要实时接收视觉反馈,接收太多之后,延迟就会有问题,上下文也可能爆炸,所以需要非常细致的上下文管理。

还要考虑大脑怎么和小脑做好交互。这一层也需要做很好的设计。

我们为什么强调把小脑做成 steerable、可控性非常强的模型?就是为了让大脑能够更自然地调度下面的模型。

这一侧需要很多协同设计,不只是模型能力本身。

Koji

我们再来聊具身模型的评估。我感觉现在没有一个特别好的 benchmark,是这样吗?还是已经开始出现了?

9. 具身模型的公平评估

王家伟

之前的 benchmark 确实做得不太好。大家更 focus 在仿真上,比如被刷爆的 LIBERO。这种 benchmark 不需要预训练,纯靠后训练也能拿到很高分,所以参考价值没有那么大。

最近也看到一些新的,比如 RoboTwin,它既有仿真,也有真机实验。

但这类 benchmark 也有问题。仿真毕竟和真实世界存在 gap,而且它定义的能力,可能不是某个团队真正关心的能力。

真机 benchmark 也很难保证完全复现。你可能要把模型交给 benchmark 方面,让他们帮你测试,这对公司来说很难。

我们认为具身评估和大语言模型评估有很大差别。它评估的是整个链路的稳定性和成功率,所以最好的方式应该是自己把评估做得足够扎实。

Koji

如果没有公允的评估,大家发布的模型互相不知道到底水深水浅,可以各说各话。你们年底发布模型时,准备怎么证明模型能力?

王家伟

这是我们一直在思考的问题。首先,要看最真实的东西。到时候我们会把最真实的结果展示给外部。

我们会搭建非常扎实的评估 benchmark,从我们关心的几个能力出发,覆盖简单、中等、困难任务,以及各种场景变化,包括场景泛化和物体泛化,再呈现成功率。

我们也做了 few-shot 实验,会明确说明用了多少数据。如果是 zero-shot 实验,就一定是 zero-shot。这个标准必须足够公平。

另外,具身模型很难和其他模型直接对比。这是一个关键问题。别人训练出来的模型,你不知道用了什么数据,而且它也没有在你的本体上训练过,直接拿过来大概率不可用,所以评估很难做。

从这个角度来说,我们更多还是坚持初心,把自己的模型做好就够了。

模型是否开源还需要商讨。但如果能开源,我们希望开源一个后训练效果非常好的模型。最重要的是保持真实。

Koji

前面提到 Agentic OS,里面 System 1 和 System 2 是两个独立的东西。你觉得未来它们会收敛到一个端到端模型,还是会长期分层?

王家伟

这是最近大家讨论比较多的问题。GPT-6 出来之后,大家可能会觉得,一个通用模型已经可以解决这件事情了。

但说实话,我觉得不太可能是下面把上面吃掉。不过确实有可能是上面把 System 1 吃掉。只是这件事会在什么时间节点发生,我现在很难判断。

我觉得这应该还是一个有周期的过程。即使我们看到了终局,也不能放弃中间阶段必须做的事情。

当然,我们可以直接瞄准最终目标,做成一个统一的模型,甚至做成一个实体的具身模型。但我们还是希望先把 action 能力做得足够扎实。

比如上面的模型拥有很好的规划能力,我们的模型拥有很好的 scalable 能力,那么就可以自然地构建一个 harness 把它们结合起来,先落地很多场景,产生真实场景中的反馈。

对于创业公司来说,我觉得这是一个很好的策略,也是一个很重要的选择。

Koji

深普智能现在大概有多大规模的团队?

王家伟

现在差不多有70多位同事。

Koji

你在 DeepSeek 实习的时候发现,大家下班比较早,好的研究成果和工作时间不是线性相关。那你们现在加班多吗?

王家伟

我们没有硬性的加班要求,大家都是自驱的。今天有事情想早点走,无所谓;想休息,也可以早点下班。

规定工作时间是9点半到6点半,就是很正常的工作时间。愿意自驱的同事,或者觉得最近的事情比较重要,可能会稍微晚一点下班。如果今天有事,也可以早点走。

我自己也是这样,不会每天都工作到深夜。

我觉得保持思维的灵活性比较重要。特别是在 Agent 加持下,每个人更多需要做的是管理好自己的 Agent,筹备好对项目的清晰认知,然后推动 Agent 去做事。

我们公司对 AI 工具的额度基本是无限制的。

Koji

你们现在主要用什么 Agent 工具?

王家伟

主要用 Codex。

Koji

内部是怎样开会的?比如你和 CEO、CTO 之间,或者整个大团队开会,有什么特别的文化吗?

王家伟

我觉得我们现在做得比较好的一件事,是会进行事先规划。

从 CEO 的角度,他会召集技术团队的主要负责人去聊。比如我们一直在讨论,具身智能的智能到底是什么,怎么定义;为了这件事情,数据要怎么准备;达到什么算力之后可以做什么。

自上而下会形成一套比较清晰的沟通体系。整个团队会进行比较充分的 context 交换。

Context 其实很重要。对于大厂来说,context 可能只集中在几个人手里;但对于创业公司,我们尽量把组织变成扁平化、信息共享的形态。

Koji

我们最后一部分来聊各种前沿突破,以及它们带来的一些启示。Astra 前面已经聊了很多,如果用几句简单的话说,你觉得它带给你最大的启示,或者带给行业最大的启示是什么?

10. 具身行业的突破与噪音

王家伟

我觉得它带给行业最大的启示是,通用智能真的有可能外溢到各行各业、各个领域里。

System 1 和 System 2 之间的边界可能会越来越模糊,这是一个值得大家思考的问题。

前几天我也听到一些国内同行对 S1 的看法,可能会比较乐观,觉得 GPT-6 的速度太慢,做不到实时反馈。我们刚才也提到了一些缺陷。

但从大语言模型的角度看,它有机会做到真正可用。只是我觉得,它可能仍然需要 action 能力反哺进去。不知道最终会通过什么方式融合,但我认为这项能力需要被融入进去。至于需要多长时间,现在还很难判断。

Koji

你觉得国内最有可能做出类似 Astra 能力的语言模型团队是谁?

王家伟

我比较看好两个。

一个是 Seed 的多模态,因为 Seed 的多模态能力一直在国内比较领先。另一个我可能会比较看好千问,因为之前和千问的一些朋友聊过具身,他们正在做类似的事情。

Koji

最近放眼全球,有哪些比较重要的发布,让你觉得很有启发?

王家伟

最让我 respect 的肯定是 GR00T N1。他们把数据量提升到20万小时,看模型效果怎么样,而且做了非常综合的评估。

还有一个模型把数据量做到50万小时,并做了夹爪实验,让9000种夹爪构型进行泛化。

另外,π0.7 做了 in-context learning 的实验。我觉得这些工作都能证明模型的泛化能力,或者证明预训练能力确实很强。

这一点我很 respect。很少有公司真正做到这样的量级。

Koji

那 π0.7 呢?

王家伟

π0.7 对我们来说也有启示。它里面很重要的一点就是 steerable,也就是我们刚才一直讲的 steerability。

Levine 教授之前的研究也涉及 steerability,他还做过类似 Embodied CoT 的工作,把 reasoning 融合到具身模型里。这其实也是 steerability 的一种体现。

所以 steerability 也是我们列为头部、优先要做的能力之一。它可以很好地和上面的大脑配合,完成很多难以想象的事情。

Koji

最近有没有什么发布刷屏了,但你觉得其实被大家高估了?

王家伟

可能是其他一些公司做的 in-context learning。

最早是 GR00T 团队发布了 in-context learning。当时有两个点:第一,他们说模型原生支持30秒的 context,这和我们前面聊到的 context 是一致的;第二,他们说 in-context learning 是自然涌现出来的,没有单独训练过,只要把视频放进去,模型就能 follow 住。

让我震撼的是,他们参考的视频其实很短,这也是为什么我相信那种能力是自然涌现出来的。

他们还有一点,就是可以通过第三人称视角做参考。比如我拿着相机,人站在这里,把一个杯子叠到另一个杯子上,机械臂就能直接 follow 住,完成这个动作。这不是完全一一配对的数据。

但最近其他一些 in-context learning 工作,包括美国某个团队发布的结果,都明确说专门训练了 pair 数据。

所以对于这种 pair 数据的引入,我觉得只是一种暂时的妥协。自然涌现出来的 context 能力,在我理解里对应两个能力:一个是深刻理解 context 的能力,另一个是 steerability,也就是可控性。

如果这两个能力本身不强,只是强行训练,把 in-context learning 训练出来,再做几个 demo,我觉得并不本质。

Koji

具身领域还有一个问题:大家发布模型之后,其他人很难试,因为要复现工作,既没有他的本体,也没有他的数據。

王家伟

这确实是一个很有意思的问题。

Koji

你觉得会出现一个中立的第三方,帮助大家做这样的 benchmark 吗?

王家伟

之前有过一些尝试,但后来也不了了之。

因为之前有些具身公司做过类似的事情,做了一个真机 benchmark,但它既当裁判又当运动员,肯定不行,其他人也不会服。

所以这件事情确实很难。这也是具身领域很大的一个问题:评估的公平性特别难保证。我觉得可能还是看产品说话,看用户买不买账。

Koji

你在具身领域工作快一年了,之前在模型领域工作的时间可能更久。你觉得这两个领域有什么相同和不同?

王家伟

比较大的不同是,对于语言模型来说,大家整体上还是以比较 open 的方式做 research。结果相对来说可复现,因为有 API 直接提供给你。

所以对于 AI 来说,语言模型更透明。另外还有很多开源项目,比如 DeepSeek 就是很典型的例子,他们愿意把技术突破开源,让大家了解。

从这一点上来说,语言模型的技术壁垒可能没有那么高。对于 researcher 或学生来说,比较容易 follow 最前沿的技术突破。可能没有那么多数据,但至少可以了解比较细的技术细节。

但具身领域就像刚才聊到的,大家甚至可能是噱头大于真实。

我过来之后一个很直观的感受是,特别是今年上半年,大家都在吹捧 reasoning model。但真正把 reasoning model 做到落地的没有几家,而且它的效果比 VLA 到底好多少,也没有明确结论。

从这点上来说,大家可能出于一些商业考虑,需要对外发布一些东西,所以做了很多工作。对于做 research 的人来说,会觉得有点浮躁,噪音太多。

Koji

那你怎么在这些噪音里寻找信号?

王家伟

对我来说,我更关注他们讲的那个点,以及呈现出来的 demo 结果是不是相符。另外,也看这个点从第一性原理上来说,和我们自己的判断是不是一致。

我们做这件事的时候,正因为这个领域还没有收敛,所以完全可以从自己的第一性原理出发,去做自己认为正确的事情。这一点相对比较好。

不像语言模型,已经有很多奠基性工作,必须沿着那些工作往前走,才能走得比别人快。

但具身还好。比如数据这件事情,如果我们人云亦云,直接去买数据公司的 UMI 数据、Ego 数据就好了,也没有必要自己做。但我们做完之后发现,这样做可能反而可以弯道超车。

Koji

刚才提到第一性原理。你们的第一性原理是什么?

王家伟

我们的第一性原理,就是从最早的问题出发:到底什么是具身智能的“智能”。我们都是从智能这个角度出发。

Koji

你刚才给出了一个答案。你有没有看到过别人的答案,让你印象深刻、但和你们不同,最后没有采用?

王家伟

也谈不上放弃。可能是在对 Ego 的态度上,我们没有放弃 egocentric 数据,但还没有把 UMI 数据完全弄明白,所以一定要先把这件事情搞清楚,再花更多精力看 Ego 数据应该怎么用。

Ego 肯定是多样性更强的数据分布。要学习泛化,一定要在分布足够广的数据上训练。这不只是数据量大,数据量只是多样性的一个体现,更重要的是 diversity。

DROID 他们做了1万小时的 Ego 数据,还有一些其他公司也说自己做了1万小时 Ego 数据,但我们没有贸然做这件事情。

我们考虑两个点。首先还是从第一性原理出发,数据的性价比到底怎么样?看起来 Ego 数据成本很低,现在可能30元一小时就能买到还不错的数据,但后续投入,不管是标注还是训练,都非常贵。

另外,它最终达到的效果怎么样?付出的代价和获得的效果是否成正比,斜率怎么样,性价比到底如何,这都是值得验证的问题。

就 UMI 来说,因为是我们自己原始采集的,不是买来的,所以成本相对可控。采回来的数据质量又很高,对清洗的要求没有那么重,不会出现采回来10万小时只能用1万小时的情况,可能90%以上都能用。

另外,训练数据量没有那么大,所以我们可以充分验证里面的各种关系,包括刚才说的 scaling law。可以验证不同模型参数、不同数据量配比下,模型表现究竟是什么样。

所以在资源还没有扩展到那么多的时候,我们没有贸然把 Ego 引入进来。因为一旦引入,就会产生新的变量,对整个推进过程有很大影响。

Koji

说到这里我突然想到,一开始我问你怎么理解聪明,你说聪明有两个重要的点,其中一个是会提好问题。

我每次录播客的时候,都特别担心自己问题问得不够好。一个很有料的嘉宾来了之后,如果我的 prompt 不够好,他的智能可能就没有涌现出来。

所以听我们这期播客的朋友,如果觉得前面对话中有什么地方可以提出更好的问题,也可以在评论区留言。嘉伟之后也可以继续回复。

王家伟

你可以问我一个问题。

Koji

你有没有什么想问我的问题?

11. 播客与投资的相似之处

王家伟

我有一个很好奇、挺有意思的问题,可能和具身行业没什么关系:做播客和做投资之间有什么异同?

我也想过做播客。它可以和各行各业的人交流,所以我很好奇,你当时是怎么考虑,同时做投资和做播客的?

Koji

你完全可以做,至少可以先从音频做起。其实 iPhone 录音效果就很好,比如和朋友喝咖啡、吃饭时放在那里录,音质基本都可以用。我鼓励你做。

我觉得做播客和做投资很像:你有两个小时的时间,向一个人提问,尽可能了解他。

相同点是,我特别喜欢问一个问题:你人生中有没有一个十字路口,做过最艰难的抉择?这是我肯定都会问的问题。

做播客时,我喜欢听故事;投资时,则希望通过一个人面对困难时的决定,判断他有没有创始人的 personality。

但两者也有很多不同。做播客时,我会非常 nice,特别担心、或者不愿意问让对方感到不适的问题。我希望对方一直处在比较好的情绪里表达。

但做投资时,有些问题必须问。你可能要让对方不舒服,才能得到更真实的答案。

比如刚才你说要直面自己的不足,所以选择做具身。如果是在投资场景,我肯定会一直追问:这里显然有一个很大的思潮或者价值观,就是人应该做自己擅长的事情,创业更应该做自己擅长的事情。你怎么看这个观点?

我可能会反复问,把对方逼到某种状态里。这个状态可能对投资判断更有价值。

下一个问题是,看上去你一路都非常顺利,很像“别人家的孩子”的典型代表。你有没有经历过非常艰难的时候?或者不一定是艰难,只是在某个十字路口做过重要选择?

王家伟

我觉得最 tough 的一个十字路口,就是选择做语言模型还是做具身。

这个决定确实很艰难。一方面,我要放弃比较优渥的薪资条件和资源。比如在 Seed 可以使用很多算力卡,但出来之后,创业公司很难有这样的资源。

另一方面,在创业公司里,很多事情都要从零到一去做。基础设施、整个模型设计、团队搭建,都需要自己亲自花很多时间考虑。这和之前非常不一样。

所以当时要决定,是继续待在做语言模型的舒适区,还是挑战一个除了研究之外,还要考虑许多额外问题的机会,确实很纠结。

Koji

少年班的同学们现在都在做什么?

王家伟

挺多人去美国读书了,因为有些人学数学、物理等基础学科。

不过我也听说,之前做数学、物理的人后来转行做 AI 了。要不然就是做 AI 交叉,要不然就去做 AI 量化,或者做 AI 加医疗、AI 加制药之类的工作,都挺多的。

我甚至有一个同学去了 OpenAI,因为他做比较偏理论的研究。OpenAI 不是招了很多科学家吗?

Koji

有没有人做非主流、非共识的选择?不做 AI、不做具身、不做金融,去做别的?

王家伟

这个我基本没有太了解到。在 AI 这样的大趋势下,大家还是会拥抱它,好像吸走了所有优秀人才。

Koji

我们最后一个问题。如果过了3年,你回头看今天,什么事情发生了,会让你特别觉得当时进入具身行业是正确的?

之所以问3年,是因为我最近经常想到一句话:我们经常高估两年内的变化,但低估10年后的变化。

我觉得3年是一个有趣的时间点。到那时候,不管是高估还是低估,很多事情应该都已经被验证了一点点。

王家伟

我之前和我的博导聊天时,他说自己有一个很强的需求:大家每次吃完饭之后不要洗碗。他们家有洗碗机,但还是需要先把盘子里的东西倒掉,再放进洗碗机,整个过程可能要花20分钟。

所以我觉得,如果3年之后,我们的机器人已经能够在一些家庭里完成类似的事情,比如帮忙洗碗,那就已经非常 exciting 了。

Koji

你觉得实现这个目标的概率有多高?是80%,还是60%?

王家伟

我觉得3年内实现的概率是80%。

Koji

谢谢嘉伟。非常期待3年之后,在我们家帮我们洗碗的机器人来自深普智能。

王家伟

谢谢。

Koji

谢谢。拜拜。

王家伟

拜拜。