E256|Agent、机器人与制药,谁先被GPT-6 Astra改写?
许华哲认为Astra是机器人领域真正的“GPT时刻”:过去从Opus 4.5、4.6到Fable的升级,在机器人测试上“原来不能做,现在仍然不能做”;而Astra带来定性变化,RoboDojo等认可度较高的机器人仿真benchmark上成绩居首,许也认为不少benchmark因此失效。 但它慢(Demo常需加速到16或24倍)、缺乏直觉物理,双臂叠衣服几乎做不了,所以长期仍需要“一个比Astra小得多、但有相似能力的机器人专用模型”。他预测:“2028年初会是通用机器人开始真正实用的时间节点”;从现在起可能18个月后,人们就能在家用语言指挥机器人做90%的家务。
朱哲清拆解消费级Agent的成本和访问困境:Meta Muse每用户每周1亿免费Token,若全部按Input、按其成本估算,约100美元;云端虚拟机也有成本,而云端IP正被亚马逊等商家屏蔽——这让他想起Manus先做Browser Use、受阻后转向白领工作流的经历。 他认为软硬件结合可能是破局方向:云端虚拟机难以证明Agent代表哪个用户;若硬件属于用户,商家可能更愿意开放访问。否则,“一个用户变成20个Agent”,消费能力差不多,却不停比价、刷流量,商家可能得不偿失。
Astra每百万Token输入10美元、输出50美元,约为GPT-6-4的四到五倍,给消费级Agent带来很大成本压力。 Bill认为竞争者可能用开源模型打底、做Routing;他的愿景是让至少60%到70%的Token在本地或私有算力上产生,减少对Frontier Model的依赖。若行业能烧一两年,小模型成熟后或能逐渐形成平衡;传统企业另一端则“还纠结于怎么脱离Microsoft Copilot的泥潭”。
王晟的核心论点:AI制药的瓶颈不是智能,而是验证——“我们真正关心的问题都没办法用Benchmark衡量,也没有答案”。 Astra在Terminal-Bench Science只拿六十多分,但王晟认为它做得比自己好;AI在Coding等Dry Lab任务上进步很大,但实验方案设计完成度可能只有约30%。老鼠实验需数周、猴子实验通常需数月,现实反馈周期远慢于模型迭代;这也是AlphaFold时期不少AI药物发现公司未能成功的关键瓶颈。
湿实验数据可能成为AI时代的高价值资产,也可能催生新生意:一条“分子在老鼠身上到底能不能杀掉癌细胞”的数据,可能价值几万到几十万美元,在大模型预训练语料里看不到。 Anthropic与Adaptyv Bio合作,以MCP形式把预测接入湿实验验证;王晟还提到Anthropic正在布局湿实验团队。药物公司做完猴子实验后可把项目授权给大药厂,授权费通常在1,000万美元以上。
泓君转述前沿研究员的判断:AI for Science可能是前沿实验室关注和竞争的高消耗领域。 OpenAI解纳维—斯托克斯方程的Agent据称发出约270万条信息、消耗约1,300亿个Output Token;第三方按零售价估算约2,200万美元。泓君观察到,普通人对Astra升级的感知已不大,但前沿科学家对能力提升的感知很强。
机器人数据生意的水很深:许华哲转述的传闻是,OpenAI只买不带标注的数据,认为外部标注可能不准确,会在内部重新标注。 他把数据公司分成卖“生肉”(靠规模采集)与卖“熟肉”两类;熟数据公司若懂前沿模型的标注方式,单价可能翻10倍甚至更高。关键是把交互中的因果关系和失败原因标注清楚。
1. 开场盘点:Astra发布一个月,三条战线同时起火
- 泓君的进展梳理:Astra发布五天后,Meta上线个人Agent Meta Muse,给每个用户一台云端电脑,两周冲上美国App Store榜首;对手Instinct估值一个月内从25亿美元涨到100亿美元;B端xAI的Grok Bot开放企业部署。
- 模型层的意外爆款:TypeSafe的Jeff“不写字、不推理,只给选项并打概率”,母公司称它是System 1模型;发布24天融资8.7亿美元、估值75亿美元。
- 制药侧两件大事:泓君提到Claude仅用21小时找到结构类似CRISPR的新酶系统ART,因被怀疑是新的基因编辑机制,基因编辑公司股价应声下跌;扎克伯格夫妇的Biohub计划把虚拟细胞项目扩大到18亿美元,DeepMind、Meta、Isomorphic Labs、美国能源部与NIH出钱出数据,目标是让药物进入实验室前,就能在电脑里看细胞如何反应。
2. 许华哲实测:反思第一次变成了动作
- 最惊艳的是适应能力:机器人撞到桌子,Astra会说“这个桌子还蛮高的,那我是不是应该把手抬得更高一点”——把CoT反思变成实际动作,“这是过去很多机器人模型不具备的,大模型也不具备的”。
- 插花例子如实保留:花茎下端劈开、分叉,不好塞进花瓶,它会想到“捏住分叉,把它捏窄一点,再往里塞”。许的归因是“本质上还是理解了3D”,而这样的理解已能帮助它完成不少非动态操作任务。
- 自我迭代与Real-to-Sim:网上的画金门大桥Demo经过几轮迭代后非常逼真;过去Real-to-Sim需要大量视频、照片和手工标定,现在给模型几张图片和指令,就可能快速复现实验室或办公室环境,用于仿真训练。
3. Bill的冷静体感:这不是4.5到4.6那种范式转变
- 他的坐标系:Opus 4.5到4.6是“近乎范式转变”的升级——工具调用几乎不出错,能自主完成长程Coding任务;Astra是在原有较长任务基础上做得更长、幻觉更少、审美更好,但“没有做到解决一个以前完全解决不了的问题”。
- 实测细节:长程任务中对上下文和已完成工作的认知更稳,但速度偏慢;跑一整晚、24小时仍会出现幻觉,并未根本解决。前端审美提升明显,Bill认为这可能与训练时对设计、审美方向的专门训练有关。
4. 王晟:对生物医学是大节点,“慢让我放心”
- 没有客观Benchmark可直接比较,但王晟说,他们已从之前的模型、Codex系列模型切换到GPT-6 Astra做内部生物医学任务。两大用途:Computer Use操作多年前开发的生物医学软件,以及执行8到24小时的长程任务。
- Astra发布时展示的两个生物医学Demo之一是Computer Use,操作的工具叫MultiQC,在圈子里出圈。王晟认为Astra也可能学进了软件教程、他人的使用记录和反馈。
- 反直觉的信任逻辑:“它做得比较慢,但慢有时候反而让我放心。”白天用反馈快的模型,晚上要跑长程Pipeline时用Astra。
5. Computer Use为什么又火了:API开放的幻想破灭
- Bill的复盘:过去大家以为工具都会开放API、做Agent-native接口,但Amazon、购物和旅行类App未必愿意开放;Instinct和Muse背后都接了浏览器。他认为这又回到Manus早期的Browser Use,最后可能是API与Browser Use并存的混合状态。
- 破局可能在本地:Bill说他们发布的模型基本在30B左右,可在端侧或本地算力上运行。若Browser Use发生在用户自己的机器而非云端,可能改变商用IP被屏蔽的瓶颈;奢侈品网站早就会屏蔽商用IP,而“它不可能把你电脑上的浏览器也屏蔽掉,不然你自己也没法上Amazon”。
6. Meta Muse的账算不过来
- 架构上与Manus的云端虚拟机相似,泓君举例说Amazon已屏蔽Meta Muse;若更多网站这样做,它能操作的东西会越来越少。Bill说Manus走过类似路线,后来不少产品转向白领工作流,原因之一是原先能做的事很快被大型平台屏蔽。
- 成本端:每用户每周1亿免费Token,Bill估算若全部按Input、按他们的成本算,约100美元;云端虚拟机的CPU也不便宜。他做RL大型Rollout时见过CPU价格与GPU相当,最后选择自己架Sandbox。
- 后台模型的传闻:官方会说用Muse Spark;外部有人扒出某些场景调用OpenAI。Bill怀疑存在Routing,但不确定会否调用Astra或Fable;如果10次迭代里有1次需要调用它们,成本可能不止每用户每周约100美元,甚至每月可能达到200美元。
7. Bill的判断:To C Agent可能要靠硬件验证身份
- Bill认为云端虚拟机“不能代表用户本身”,商家难以确认Agent是否代表真实用户;如果Agent与用户一对一,商家可能接受,但一个用户变成20个Agent、不停比价和刷流量,商家可能得不偿失。
- 他认为软硬件结合可能提供机会:如果硬件属于用户,商家或许能确认Agent代表这个用户。Poki AI正与高通、Intel、AMD、联想、惠普等合作;Bill认为模型、软件和硬件需要合作,才可能打破Access、Identity和硬件方面的限制。
8. 价格梯队与企业端的泥潭
- Astra每百万Token输入10美元、输出50美元,约为GPT-6-4的四到五倍。Bill的亲历:用完Claude的20x Plan后加购100美元Credits,只用了两三次来回的Agent Flow就用完了。
- 行业分叉的素描:Bill身边使用Grok Bot的人多在尝鲜;他身边Legal、Healthcare等传统企业从业者,还在纠结怎么脱离Microsoft Copilot的泥潭,甚至不能自由使用Codex和Claude Work。“走在前面的人什么都可以随便用,走在后面的人还在泥潭里挣扎。”
9. 真正的Token黑洞在AI for Science
- 泓君转述前沿模型研究员的判断:消费级Agent的Token使用量未必花很多钱,推理成本也在下降;她称OpenAI、Anthropic、DeepMind等关注和竞争的核心方向之一,是尚未解决、尚未定义的科学问题。解纳维—斯托克斯方程的Agent据称发出约270万条信息、消耗约1,300亿个Output Token;第三方按零售价估算约2,200万美元。
- 泓君的分层观察:普通人对Astra与上一代模型的区别“感知已经不大”,但前沿科学家对能力提升的感知很强;如果AI真的能制药,收益可能更可观。
10. 小模型能追上吗?王晟:提升主要来自Coding,不来自生物医学知识
- Bill向两位教授提问:30B左右的小模型经优化后,与Frontier Model在白领工作流上的差距正缩小;机器人和Science领域里,每代Frontier Model的提升有多大?
- 王晟的拆解:Astra在生物医学任务上的提升主要来自Coding、查文献和长程任务等通用能力,不是生物医学知识Benchmark的提升。模型越强,安全防范也越严,生物医学任务上更常拒答;他们内部一般用Kimi K3或Muse Spark 1.3。王晟说,能力增强后实际使用体验反而变差。
- 更深一层:现有生物医学Benchmark往往给定数据集和明确问题,像Kaggle数据科学比赛,最后退化为机器学习问题。王晟认为这些Benchmark定义不够好,大家追赶的方向和大模型进步的方向可能都不完全正确。
11. 机器人侧是定性飞跃,但快系统缺位
- 许华哲的对照:过去Opus 4.5、4.6和Fable的升级,在机器人测试上几乎没有定性变化;Astra则带来飞跃,许多机器人Benchmark因此失效。像RoboDojo这类受认可的机器人仿真Benchmark,Astra都成了第一名。
- 但长期一定需要更快的小模型:高动态任务如抖毛巾,Astra做不了——它知道要快速动一下,但只能写Code来做,直接输出动作还不行。许认为机器人本地模型最好小于10B;云端API可用于准静态任务,200毫秒甚至几百毫秒延迟可能可以接受,但倒水这类高动态任务,卡一下水就可能溢出来。
12. 分层这一刀切在哪:Astra把边界往下压了
- 原有共识是VLM做任务规划(例如做西红柿炒蛋,规划开冰箱、拿鸡蛋),具身小模型做具体动作。Astra的变化是能给出“把手往右伸2厘米”这样的低层指令;底层模型更像反射系统,听懂往左、往右。
- 许反对无限下压成端到端:一是速度,网上的Astra控制Demo常要加速到16倍或24倍;二是缺直觉物理,比如物体里有水可能会洒、玻璃可能会碎,这类即时反应可能仍需世界模型或快速模型。
- 慢的原因:模型大、CoT也长;Astra给出的CoT是加密的,许认为“可能是假的”,但内部思考很长而且冗余。面对简单和复杂任务时思考时长基本相似,泓君打趣说它是“内耗型人格”。
13. 实测短板:会分析,但不会熟练
- 筷子夹小球的对比:许的团队自家模型会连续尝试,速度快;Astra每一步都分析发生了什么、再决定怎么调整,更像人类思考,但速度慢,有时会陷入僵局;一旦分析错了,就可能无法继续推进。
- 许还观察到,Astra抓桌面物体时旋转能力较弱,需要反复尝试怎样旋转才能抓起并塞进墙上的小孔。
- 硬边界:双臂任务几乎做不了,叠衣服完全叠不了;在语言不太好描述的任务上能力不强。它的熟练曲线也有限:第一次做一件事花1小时,第二次45分钟,之后基本停在45分钟,不会像人或一些小模型那样持续变快。
14. 谁被冲击、谁被利好:从Sim-to-Real到数据标注
- 对Sim-to-Real路线,许直言“仿真复活”的说法有些Hype:Astra能把3D外观做得很好,但没有让物理引擎更准确,因此不直接让机器人更好用。它利好本体和硬件:斯坦福一个课题组约两周就把Astra接入类人机器人,让它在家做家庭任务并完成论文;本体质量足够好,就可能直接接Astra做Demo级任务。
- 大脑公司分两派:一派继续训练更快、更强的具身模型,也可能借鉴Astra的数据标注和CoT方式;另一派可能放弃自研大模型,专注使用Astra或把自己的产品做成工具,转向机器人部署。传统TAMP(Task and Motion Planning)也可能在Agent时代重新焕发生机。
- 标注的启发是“把里面的因果关系和直觉物理标注清楚”:没抓住是位置偏了还是物体太滑,过去只描述做了什么的正向标注不够。许转述的传闻是OpenAI只买不带标注的数据,可能因认为外部标注不准确、要在内部重标,或为保密。数据公司可卖靠规模的“生肉”,也可卖懂模型训练方式的“熟肉”;后者单价可能翻10倍甚至更高。
15. JEPA在机器人上表现很差
- 许华哲说JEPA自称System 1,和机器人原生模型有些相似,但他们试下来表现很差。JEPA本身不能输入图像,需先用视觉VLM等把图像转成状态再交给它;叠方块时常叠不起来或叠好后倒下。Astra能看出第一块歪了,让第二块反方向调整,JEPA没有这种能力。
- 许提到,他似乎看到OpenAI要发布一个类似JEPA、能输入图像的快速多模态模型,但还没试过。对Astra的心路则是从最初惊艳、逐步发现短板,到思考快慢系统怎样结合:“它已经出现了,你不能回避它,但它自己又有很多问题,你没有办法直接用它。”总体仍偏乐观,认为它照亮了许多以前没看到的方向。
16. AI制药:从Computer Use到Human Use
- 王晟提出,与AI控制电脑的Computer Use相对应,制药还需要Human Use——AI控制真实实验中的实验员和Technician去做实验。模型给出具体实验方案(温度、分子、湿度和条件)是现在做得不好、但很重要的能力;他估计完成度可能只有30%,而且需要深入的Domain Expertise。
- 饭店类比:给Astra番茄、鸡蛋、土豆,它可能仍提出做海鲜大餐的方案。模型缺的是了解现实中有什么资源,并据此协调和设计可行方案的能力。
- 王晟认为严肃的AI制药公司需要自己的实验室,积累数据并验证结果,还要重新设计流程,让湿实验配合AI:预先准备好实验条件,在AI预测后立即执行。否则AI提出方案、交给不了解模型的合作者重新设计实验,会很低效;模型迭代可能比真实实验还快。
- 周期账:细胞和老鼠实验需数周;猴子实验通常需4个月,有时做两轮共8个月。AI制药公司做完猴子实验后可把项目授权给大药厂,授权费通常在1,000万美元以上;做到这一步大概需要6到12个月。
17. 验证悖论、数据飞轮与Benchmark重构
- 核心悖论是:如果一个药物问题的答案已经知道,就没必要再研究;真正关心的问题没有现成答案,最终得靠湿实验验证。王晟认为,AI至今没有一个完全由AI开发并验证的药物,核心原因是现实反馈慢、受自然规律限制。AlphaFold刚带来蛋白质结构预测突破时,许多AI药物发现公司涌现,但大多仍受真实动物和人体实验限制。他认为药物研发周期通常是5到10年,现在还没走完一个AI时代药物的周期;现实反馈不可能从根本上消除,但可以加速。
- 关于开源,泓君提到AlphaFold 3开放了研究和数据;王晟强调开源工具对社区很重要,也提到当时许多机构尝试做AlphaFold开源版本,如OpenFold。他认为即使不开源,社区也会追赶。工具开源后,垂直科学AI公司仍能凭自有实验数据建立壁垒;一条“分子在老鼠身上到底能不能杀掉癌细胞”的数据,可能价值几万到几十万美元。
- 湿实验即服务正在成形:王晟举例说Adaptyv Bio与Anthropic合作,Anthropic生成预测后,它以MCP形式开展实验;公司刚融4,000万美元。Anthropic还办了以湿实验验证为标准的蛋白质设计比赛;王晟听说Anthropic也在组建湿实验团队、招聘有湿实验背景的人。John Jumper加入Anthropic。至于DeepMind与Isomorphic Labs如何分工,他说自己并不清楚,提出的可能性包括DeepMind做AI、Isomorphic做验证,或Isomorphic更多端到端完成。
- Benchmark应设计成没有明确上限的任务,例如当前较好的药物能杀掉30%的癌细胞,AI能否设计出能杀掉40%的药物,让实验持续形成数据飞轮。王晟观察到,进展快慢与实验周期有关:周期越短、反馈越快,模型越容易做好;酶和蛋白质方向可能迭代较快,衰老、罕见病等周期长且更专门的问题则推进较慢。酶可用于工业加工,例如把地沟油转成可食用油,或让洗衣粉在不同温度下保持活性。
18. 蒸馏之辩与三人的终局关切
- 针对“普通人连蒸馏价值都没有了”的说法,三人各有立场。许华哲认为机器人领域“每个人都是生活的专家,大家都值得被蒸馏”:有人擅长做饭,有人擅长叠衣服、走路或跳舞;也许一两年后才需要Gordon Ramsay级的大厨。王晟说知识层面AI更全面,但科学家仍需长期投入、支持和背书;他也在“蒸馏AI”,从AI学习跨领域知识。人还负责定义问题、表达希望AI解决什么,就像飞机能自己飞,人们仍希望有驾驶员。Bill认为真正该蒸馏的不只是技能,而是人如何从零学习;模型能否通过交互,一个月达到基础医生水平、三个月达到某领域教授水平,他们离这一目标还很远。
- 各自最关心的问题:Bill关注内存、RAM和VRAM昂贵,以及算力能否分散到个人和企业;他希望小一些、广度高的模型解决生活中80%到90%的问题,并与高度更高的AI for Science模型配合,缓解硬件和电力瓶颈。许关注零样本泛化:部署时应是“5个普通人”就能完成,而不是“5个PhD级别的人去工厂待3个月”;他预测2028年初通用机器人开始真正实用,并说如果玩过Astra和他们下个月可能推出的模型,或会觉得这一预测合理。
- 王晟畅想的新范式是,不再只是人写Prompt指挥AI,而是AI生成清晰、可执行的指令来调动现实资源。例如给AI10万美元,让它设计药物并规划实验,考虑一次老鼠实验要2,000美元、人体实验需要时间。未来仪器也可能为AI而非人设计:X光、CT等设备或直接把底层波形、信号给AI,跳过为人合成图像的步骤。AI要真正进入Science,需要理解现实世界,并利用真实资源解决难题。
Full transcript
嗨,大家好,欢迎收听硅谷101,我是泓君。在我们节目正式开始之前,告诉大家一个好消息。过去大家在硅谷101节目中听到了很多跟消费相关的选题,比如像跑鞋战争、消失的爱马仕股份去哪了,还有最近我们对超级厄尔尼诺现象的解读。那未来呢,我们会把所有这些跟消费相关的商业现象单独推出一档新的播客,叫做消费101,一周一更,由硅谷101很受大家欢迎的消费方向的主持人麻花来主持。我们会一起跟大家分享消费商业里的十万个为什么。那欢迎对生活方式还有消费感兴趣的朋友来关注我们的新节目。好,那说回今天的节目,我们来聊一聊 OpenAI Astra 发布对行业的影响。这期节目,我们选了 Agent、机器人和制药 3 个方向来聊。对机器人和 AI for Science 来说,这可能是历次模型更新中冲击最大的一次,所以不少人把它叫作机器人领域的 GPT 时刻。
从 Astra 发布到录制这期节目,虽然只过去了 1 个多月,但行业进展实在太快了。有很多热门产品,我们都会在节目里提到。我先讲讲这个月的几个关键进展和背景。
我们先说 Agent。Astra 发布 5 天后,Meta 上线了个人 Agent Meta Muse,给每个用户一台云端电脑。它上线 2 周,就冲到了美国 App Store 榜首。它的对手 Instinct,一个月内估值就从 25 亿美元涨到了 100 亿美元,这是 C 端的情况。B 端方面,xAI 的 Grok Bot 也开放了企业部署。
模型层面,一个叫 Jeff 的模型突然火了。它是怎么回事?它不写字、不推理,只给选项并打概率。它的母公司 TypeSafe 称它是一个 System 1 模型,借鉴了《思考,快与慢》里的系统一概念。它发布 24 天就融了 8.7 亿美元,估值达到 75 亿美元。这些是 Agent 领域的进展。
我们再来看 AI 制药,也有两件大事。一件是 9 月底,Claude 仅用了 21 个小时,就自己找到了一个叫 ART 的新酶系统。它的结构非常像 CRISPR,因此被怀疑是一种新的基因编辑机制,导致很多基因编辑公司的股价应声下跌。
另一件事是 10 月初,在旧金山的 Tech Week,我的朋友圈被扎克伯格夫妇的 Biohub 刷屏了。他们打算把虚拟细胞计划扩大到 18 亿美元。谷歌 DeepMind、Meta、Isomorphic Labs,还有美国能源部和 NIH 一起出钱、出数据,目标是让药物还没进实验室,就能在电脑里看到细胞会如何反应。可以说,他们是在解决 AI 制药的数据问题。
刚才提到的很多产品,我们可能都会在这期节目里聊到。这期最后讲到 AI 制药的部分也会非常精彩。我们会聊聊个人 Agent 的商业化卡在哪里,机器人如何受到 Astra 这样的底层模型冲击,以及 AI 制药真正的瓶颈是什么。
虽然距离这次模型更新已经有一段时间,但经历了这么多热点之后,我反而觉得,这期节目里聊到的行业底层逻辑是最接近本质、也最不容易过时的部分。下面就请收听我们今天的节目。今天和我一起的嘉宾,是破壳机器人的创始人、清华大学交叉信息研究院助理教授许华哲老师。Hello,华哲,你好。
Hello,Hello,泓君你好,大家好。
还有一位是我们的老朋友,Poki AI 的创始人兼 CEO 朱哲清,Bill Zhu。Hello,Bill。
泓君你好,大家好。
还有一位是华盛顿大学计算机学院助理教授、AI2 的 Lead Scientist 王晟。Hello,王教授,您好。
泓君好,大家好,非常高兴今天能参加这个活动。
1. Astra's Robot Breakthrough
Astra 发布已经 3 周了,你们有没有用过这个产品?或者说,看看网上的 Demo,大家觉得最让你们惊艳的 Demo 是什么?你们平时又是怎么使用它的?华哲。
因为我是做机器人的,所以我们肯定测了很多 Astra 执行机器人任务的能力。我们看到的第一个特点是它的适应能力非常强。比如我给它一个机器人的本体,让它去做相应的事情,它很快就会发现这个机器人的运动速度比较快,或者运动空间是什么样的。比如它撞到桌子了,就会说:“这个桌子还蛮高的,那我是不是应该把手抬得更高一点?”
这其实是把 CoT,也就是反思过程的能力,转化成实际动作的能力。这是过去很多机器人模型不具备的,大模型也不具备。另一个特点是它自我更新、自我升级的能力。因为它会反思,所以可以一次又一次地做同样的事情,每次都做得更好。
网上也有人用 Astra 操作机械臂画金门大桥。它第一次画得比较差,但画完以后会再想怎么样能画得更好。经过几轮迭代,就可以画得非常逼真。所以我们也看到,Astra 在泛化方面有很好的能力。
你们后来复现过这个 Demo 吗?
画画这个 Demo 我们没有试过,但其实试了很多其他任务。比如我们做过插花,把一朵花插进花瓶里。这是比较经典的机器人任务,但我们给它增加了一些难度:那朵花的茎下端被劈成了两半,有点分叉,不好往里塞。这时它会意识到:“因为它分叉了,所以我要捏住分叉,把它捏窄一点,再往里塞。”这样的能力还是比较惊艳的。
那它其实已经理解了一些物理世界,包括操作规范。
我觉得本质上还是理解了 3D。因为它可以从三维尺寸的角度做出一些理解,而这样的理解已经能够帮助它完成很多非动态物理世界中的操作任务。
我看到网上还有一些很有意思的 Demo,是用 Astra 快速生成 3D 场景,渲染效果也很好。
对,这是它在机器人方面另一个令人震惊的能力:给它几张图片,它就可以很快把仿真环境生成出来。学术圈可能把这叫作 Real-to-Sim,也就是从真实环境迁移到仿真环境。
过去这件事需要拍大量的视频和照片,还需要很多人手工标定、修改。现在给 Astra 这样的模型一个指令,它可能很快就能把整个实验室或办公室的环境复现出来。拿这样的仿真环境去训练机器人,也能让机器人在仿真中得到提升。
Bill。
我们做模型公司,所以 Astra 发布时,比较关注他们在后训练、模型开发等方面的迭代能力。实际试下来,这方面没有那么惊艳,但它在长程任务和迭代上,相比之前的基准模型,确实有比较稳定的提升。
它对上下文和之前完成的任务有更稳定的认知,不会出现太多幻觉,所以目前体验还是比较好的。不过它有几个问题:一个是速度相对慢一些,也可能和现在使用量很高有关。另一个是让它运行很长时间,比如跑一整晚、24 小时,还是会出现幻觉,所以它没有从根本上解决这个问题。但总体来说,它提升了不少。
我有朋友也测了一些前端和设计任务。我觉得它对前端审美的认知有比较大的提升,这可能和训练时对设计、审美方向做了专门训练有关。
Bill,这一轮 Astra 的发布,从模型对行业的影响来看,和当年 Opus 4.6、4.7 的发布以及 Coding 能力的进化相比,是一个大的节点吗?
单纯从 Coding 来说,可能没有那么大的节点。从 4.5 到 4.6,我们当时的体感是一次近乎范式转变的升级。原来只能依赖模型做短程 Coding,比如改几个文件、做一些简单的小项目。到了 4.6,基本上会感觉到工具调用几乎不会出错,它可以自主完成一些长程 Coding 任务。
现在只是说,它能在原来比较长的任务基础上做得更长,幻觉更少,审美也更好,但没有做到解决一个以前完全解决不了的问题。
王教授,您认同吗?您觉得它在生物领域的长程任务上,以及降低幻觉方面,是一个大的节点,还是众多升级中的一次?
我觉得是一个大的节点。虽然没有一个客观的 Benchmark 可以直接比较,但现实是,我们现在已经从之前的模型、Codex 系列模型切换到 GPT-6 Astra,来做内部的生物医学任务了。我主要做 AI for Science,核心是 AI 在生物医学领域的应用。
2. Computer Use Enters Science
Astra 有两个特别好用的地方,一个是 Computer Use,另一个是长程任务。Computer Use 方面,我们会用 Astra 操作生物医学领域那些很多年前发明的软件。这些软件是领域内默认要使用的,但因为开发时间很早,界面设计不好,还有很多专业术语,跨领域的人使用起来成本很高。不过,Astra 可以根据简单的 Prompt 把软件操作得比较好。
而且,在通过 Astra 操作软件、使用鼠标和键盘的过程中,我还可以学习怎么用这些软件。这对我们领域特别重要,因为生物医学领域很多人对 AI 工具的接受度比较低。我想,Astra 不仅有 Computer Use 能力,还把这些软件对应的网上教程、其他人的使用记录和反馈,都以文字形式学进去了,所以它真的理解怎么使用这些软件。
另一个是长程任务。生物医学里的任务一般比较复杂,有时会持续 8 到 24 小时,Astra 做得比较好。当然,它比其他一些模型慢,但慢有时反而让我放心,觉得它可能会更深思熟虑、考虑得更深入。我们现在一般会切换着用:白天用反馈比较快的模型,晚上准备让模型跑一整晚的时候,就用 Astra 设计一个比较长程的 Pipeline 或 Prompt,让它执行一整晚。这是它在 AI for Science 领域比较值得信赖的一点。
我没想到 Computer Use 在 AI for Science 领域能帮到大家这么多。Astra 的 Computer Use 能力,相比之前的模型,核心提升是什么?
这个我们没有做过个人感知上的对比,但在公开 Benchmark 上,它的分数提升比较大。我觉得,Astra 这次发布时展示了两个生物医学 Demo,其中一个就是 Computer Use。这个 Demo 在我们圈子里出圈了,大家发现,原来可以直接用 Astra 操作一个生物医学工具。它操作的工具叫 MultiQC,是一个挺常用的网页工具。
这样让大家能够更好地开始使用这个功能,也发现它其实比想象中好用很多。我觉得之前的模型也具备 Computer Use 能力,只是大家还没有真正开始思考怎么把它融入科研 Pipeline。
Bill,你可不可以用一句话解释一下什么是 Computer Use?
现在的 Computer Use,基本上是模型通过对视觉的理解,决定 Agent 下一步要在屏幕上点击哪里,或者输入哪些文字,来完成一系列任务。当它可以串联几十个动作时,就能完成一个人类想要达到的目标。
它和 API 的区别是,你不用给接口,也不用给密码,它直接像人一样操作和使用电脑。
对。它看到的是人类看到的屏幕、UI,以及所有可以交互的界面,再通过人类可以使用的电脑输入输出设备来完成任务。
3. The Browser Use Comeback
Computer Use 之前好像也有。大家之前说,操作 Agent 的方式一般有两种:调用 API 接口,或者让 Agent 操作浏览器。我理解后者其实就是 Computer Use。这次为什么 Astra 的发布又把 Computer Use 带火了?Bill,你怎么看?
我觉得 Computer Use 这个方向最近又火了一波。之前大家觉得所有工具都会开放 API,都会有 Agent 接口,很多 App 和系统都在做 Agent-native 的设置。但最近一段时间,不管是 Instinct 还是 Muse,背后其实都接了浏览器。
一个比较大的问题是,很多第三方 App,比如 Amazon、购物 App、旅行 App,其实不愿意开放 API。我觉得这又回到了当年 Manus 的情况:Manus 最开始做 Browser Use,后来很多别家跟上了,再后来大家发现这不够高效,又回到了 Coding 和 API 调用。现在有些东西避不开,于是又回到了 Browser Use。所以最后有可能还是一种混合状态。
我自己有一个比较有意思的看法。我们目前专注的是相对较小的模型,基本上发布的模型都在 30B 左右,可以在端侧和本地算力上运行。比如一台小型 AI Box,或者一台 AI PC,就可以跑这些模型。未来如果 Browser Use 发生在你的机器上,而不是云端,这可能会改变 Browser Use 的瓶颈。
现在远程 Browser Use 一般通过商用机器运行,最多再找 Bright Data 或 IP Proxy 来掩盖自己是商用用户的事实,然后告诉商家,或者 Amazon、Expedia:“我可能其实是一个假装的消费者。”这样绕过 IP 检查。很多网站会说,如果流量来自商用 IP,就不让你进去。
是因为他们开始屏蔽一些 AI 机器人,商家不希望它接入。
对。奢侈品网站其实很早就会屏蔽。如果用了你们那边的网络、用的是你自己的 IP,就不会被 Block。所以这可能是未来一个破局的趋势,也可能会迫使很多 App 厂商改变 Browser Use 的机制。也就是说,浏览器沙盒可能会在本地运行,而不是在云端。
你这个观察非常有意思,让我想起最近非常火的一个 To C 消费级应用 Meta Muse。它的定位是做个人 AI 助手,面向消费者,再加上现在 Agent 使用能力成熟,以及 Meta 强大的用户基数和广告投放,我很能理解它为什么在这个时间点爆火。
但它还有一个特别的设计:相当于给每个人一台云端虚拟机,数据存在云端、属于用户自己的存储空间里。按你刚才的理论,它用的还是商用 IP,未来商业化的话,很有可能会被商家卡住 IP。
Meta Muse 背后的虚拟机设计,其实和当时的 Manus 很像,它也主打 Browser Use。它很多使用场景都和旅行、购物、客服有关,而这些场景没办法通过 API 调用来完成,基本上最后都得靠浏览器。
当时 Manus 走的也是一模一样的路,后来被全部 Block 掉了。所以 Manus 到后期,现在和 Gemini 很像,都主打白领工作。你看 Copilot、Copilot Work、ChatGPT Work,最后都往白领工作效率这个方向偏移,核心原因就是很多东西一开始能做,后来很快就被巨头全部 Block 掉了。
比如亚马逊现在就把 Meta Muse 屏蔽了。如果更多网站也这么做,它能访问和操作的东西就会越来越少。
对,但它不可能把你电脑上的浏览器也屏蔽掉,不然你自己也没法上 Amazon 了。所以这可能是一个破局机会。不过我怀疑,这件事肯定会经历比较大的来回拉扯。
目前 To C 端 Agent 可能还不是特别成熟。你看 Instinct 和 Meta Muse 的 Token 消耗率都非常高,因为要做 Browser Use,对模型的需求和要求都挺高,不可能用比较便宜的模型。每个人又有无限 Token,Meta 还给 1 亿 Token 的免费额度。它很难在短期内真正做出一个现象级产品,达到过去 Google Search 或社交网络那样的规模。我们可能需要看到一个完全不受免费 Token 限制的产品。
1 亿 Token 大概对应多少美元?
如果全部按 Input 算,按他们的成本来算,应该在 100 美元左右,我估计。
每个用户 100 美元的免费额度?
每个星期。
那挺多的。
对,这纯粹是在烧钱。
我还听说,Meta Muse 比较耗钱的不仅是 Token 成本,还有云端虚拟机的成本,因为现在内存和 CPU 都很贵。
你看我们做 RL 训练的过程,CPU 和 GPU 的价格,其实 CPU 一开始我们都用虚拟服务去做虚拟沙盒,后来发现实在太贵,最后就直接租一个大的 CPU Box,自己架沙盒。因为安装东西没有太高的门槛,Compute 和资源才是关键。所以最后我们决定自己架沙盒,不去别人那里租。有一次做大型 Rollout 时,我们发现 CPU 的价格和 GPU 一样了,甚至非常离谱。
4. The Consumer Agent Business Model
你刚刚提到 Meta Muse 和 Manus 比起来,走的可能是 Manus 最开始的那条路:最初想自己操作浏览器,最后又回到白领工作。你看好 Meta Muse 的长远发展吗?还是觉得它的现象级表现只会持续很短时间?
我觉得这波消费级产品最后一定会落到软硬件结合的状态。如果 Meta 能把可穿戴设备做大,可能就有机会。我觉得最后要落到软硬件结合,是因为云端没办法代表用户本身。这也是浏览器把它们完全 Block 掉的原因:一旦换成云端虚拟机,就没办法验证这个人本身就是用户。
我觉得用户的 ID,或者使用 Agent 的用户身份,会是这一波 To C 的关键。如果商家能确认这个 Agent 就代表某个用户在操作,也可能愿意开放访问。但现在用云端虚拟机、云端浏览器,很可能没办法验证这一点。商家会觉得自己的流量入口被剥夺了。
如果用户和 Agent 是一对一的,比如有一个用户本来就要访问我的网站,通过 Agent 访问,对我来说可能没问题。但如果原本只有一个用户,现在变成 20 个 Agent,这 20 个 Agent 的消费能力和原来一个用户差不多,还不停比价、刷流量,把我这边的流量全弄乱了,那我就得不偿失了。
所以我觉得软硬件结合可能会是一个机会。如果硬件本身属于这个用户,商家就可以确认这个 Agent 是这个用户的代表,可能愿意把访问权限开放给它。
我觉得你这个洞察真的非常厉害。前几天我和朋友吃饭,也聊到这个观察:云端 IP 很容易被商家 Block,能不能让个人访问的 IP 在本地,比如在自己的手机或 Mac mini 上?但这对他们来说也是个大问题:怎么样绕过苹果?又怎么确保个人终端设备是安全的?他们怎么做?
我觉得现在这个生态本身很复杂。我们和高通、Intel、AMD、联想、惠普等都有合作。像我们这样把硬件、软件和模型结合起来的公司,也要找到落地方向,以及哪些场景最容易落地。
他们做 To C 或 To B 的场景,就会卡在 Access、Identity 和硬件这些问题上面。所以双方未来可能会有商业合作或生态合作的机会。但最后肯定是模型、软件和硬件三方合作共赢,才能打破这个局面。
比如 Meta Muse,它后台接的是什么模型,你知道吗?
这方面有传闻。官方肯定会说用的是 Muse Spark,但外部有人扒出来,说他们有些场景会调用 OpenAI。我怀疑存在一些 Routing。如果 Muse Spark 不够强,可能会调用 Astra 或 Fable 来解决问题,但我怀疑不太会,因为成本太高了。
如果 10 次迭代里有 1 次要调用 Astra 或 Fable 才能解决问题,那它就不只是 100 美元的成本了,可能每个用户每个月要 200 美元,获客成本就太离谱了。
所以现在 Astra 和 Fable 的价格大概是其他模型的 2 到 3 倍?
不止,远不止。
不止?
Astra 现在的 Input 价格是每百万 Token 10 美元吧,我没记错的话。也就是说,比 GPT-6-4 贵 5 倍。
Astra 的定价是每百万 Token 10 美元,Output 是 50 美元。
对,差不多是 4 到 5 倍的价格,所以很离谱。如果我要用这样的模型解决一个难题,一次就要花三四十美元。我举个例子,我之前用 Claude 的订阅,把 20x 的 Plan 用完了。那次我很急,必须解决一个任务,于是又花了 100 美元买 Credits,结果只用了两三次来回的 Agent Flow,就全部用完了。
很难想象,如果我是 Muse,把 10% 的流量引到 Astra 上,会是什么样的灾难性成本。当然 Meta 可能财大气粗,没关系。但它的竞争对手 Instinct,我估计至少得用 SOTA 级别的模型,可能会用很多开源模型打底,再做一些 Routing。每个用户的获客成本肯定非常可观,不只是广告营销上的获客成本,之后还会有大量成本。所以我觉得这件事会烧很多钱。
我们的愿景是,如果电脑本地就能跑所有东西,就没必要都跑到云端。至少 60% 到 70% 的 Token 可以在本地产生,或者在自己的私有算力上产生,这样就不用花那么多钱,把所有请求都路由到 Frontier Model。希望未来这里会有一个平衡。就看他们有多少钱可以烧,如果能烧一两年,我们这个行业的模型也会逐渐成熟,最后可能就能达到平衡。
大家在 To B 的工作流里会用 xAI 的 Grok Bot 吗?
我身边用 Grok Bot 的人,更多是在尝鲜,因为它相对比较主动。但用 Codex 或 Claude Code,其实也能解决这些问题,真正接入工作流的人可能比较少。
我身边很多真正在本地部署、在 Legal、Healthcare 等传统企业工作的人,现在还在纠结怎么脱离 Microsoft Copilot 的泥潭,甚至都不能自由使用 Codex 和 Claude Work,更别说 Grok Bot 了。所以我觉得整个行业现在分叉非常大:走在前面的人什么都可以随便用,走在后面的人还在泥潭里挣扎。
5. Why Science Burns Tokens
这个很有意思。Astra 里面也可以调用很多自己的 Agent。我们之前看 OpenAI 解数学题,内部调用了一个更强的模型,大概用了 1 万个子 Agent。
最近我和一些前沿模型研究员聊天,听到一个很有意思的观点:他们认为现在 To C 和消费级 Agent 的 Token 使用量其实花不了多少钱。一方面推理成本在下降,另一方面 Token 成本比大家想象的便宜。但现在真正最烧钱的地方,包括前沿模型研究员以及 OpenAI、Anthropic、DeepMind 这些公司在关注和竞争的核心领域,是 AI for Science。那些尚未解决、尚未定义的科学问题,比如解数学题,或者跑像王教授这样的生物实验,都非常烧 Token,也是内部消耗量最大的方向。
比如刚才提到 OpenAI 解纳维—斯托克斯方程,Agent 大概发了 270 万条信息,消耗了约 1,300 亿个 Output Token。第三方按零售价算了算,这部分大概会消耗 2,200 万美元。
现在整个模型的进化,就像 Bill 刚才说的,使用者分成了好几个梯队。但对普通人来说,比如今天聊 Astra 的发布,可能很难感受到 Astra 和上一代模型,甚至和 Claude 其他模型之间有什么明显区别。普通人的感知已经不大了,但前沿科学家对能力提升的感知却非常大。
前沿实验室关注的方向和我们想象中也不太一样。他们觉得,做出一个大的科学突破,或者 AI 真的能制药、解决很多疾病,利润会更可观。
我想问一下许教授和王教授。我自己主要做 Post-training,也做一些模型架构调整,比较专注小模型,因为我们想做本地模型。我们能看到,经过优化后,我们这个层级的模型和 Frontier Model 的差距越来越小。当然我们没有钱训练一个 Trillion Parameter 的模型,但至少在白领工作和我们自己的工作流里,智能差距是在缩小的。
从 AI for Science 或者机器人角度来看,Frontier Model 每一代迭代能带来多大的提升?比如从 Opus 4.5 到 4.6 的差别,和从 Opus 4.8 到 Fable 的差别,或者从 5.6 到 Astra 的差别,这些差距能比较吗?
我觉得 Astra 的 AI for Science 能力在生物医学领域确实有很大提升,但这个提升主要来自 Coding、查文献和长程任务这些通用能力,并不是它的生物医学知识能力提高了。专门测生物医学知识的 Benchmark,Astra 并没有提升。
我们现在实际使用时,其实很难用 Astra、Opus 或 Fable,因为它们对生物医学任务的防范越来越严格,经常会拒绝回答,这是个非常严重的问题。所以我们内部一般用 Kimi K3 或 Muse Spark 1.3。如果要用 Astra,就得用一些比较特殊的方式告诉它:“我不是在做危险任务,只是在设计 Benchmark。”所以大模型能力增强后,实际使用体验反而越来越差。
还有一点,刚才 Bill 说得很有道理,我也认同:在定义明确的 AI for Science Benchmark 上,小模型确实能和大模型的差距越来越小。但我个人觉得,这些 Benchmark 本身定义得不够好,所以大家追赶的方向、包括大模型进步的方向,都可能不完全正确。
定义 Benchmark 时,大家通常会设计一个更容易让 AI 完成的任务,比如给出一个明确的生物数据集,让模型预测一个明确的问题。这和我们真正做药物发现的差距非常大。本质上,现在的生物医学 Benchmark 就像 Kaggle 这种数据科学比赛,最后退化成一个机器学习问题。这样一来,Astra 的 Coding 能力提升就会带来很大进步。
6. Astra Changes Robotics
从机器人角度看,Astra 是一次飞跃。过去刚才提到的 Opus 4.5、4.6,以及 Fable 的变化,都没有这次 Astra 给机器人带来的变化大。因为过去所有升级,在机器人测试上几乎都没有太好的表现,原来不能做的,现在仍然不能做,定性上没有变化。但 Astra 带来的变化是定性的,很多机器人 Benchmark 都失效了。
像 RoboDojo 这类大家比较认可的机器人仿真 Benchmark,Astra 都成了第一名。不管它用了哪种数据,带来的能力都是对原有模型的飞跃式升级。
但说到小模型和大模型,我觉得长期来看,我们一定需要一个能力和 Astra 相当的小模型。原因是机器人任务有时间要求,需要即时响应,也需要处理高动态任务,比如抖一条毛巾。Astra 做不了,因为它太慢了。它知道要快速动一下,但只能写 Code 来做,如果让它直接输出动作,就做不到。
所以我们一定需要一个快速决策的模型,只不过要把 Astra 的 CoT、推理能力和 3D 理解加入进去。
所以你觉得未来机器人的方向,会变成大模型负责规划、小模型负责执行和控制的分层架构吗?
这种分层架构大家一直比较认同,只不过分层的边界到底在哪里、怎么分,一直有争论。比如过去大家普遍认为 VLM 负责任务规划层。任务规划层大概是:我跟你说要吃西红柿炒蛋,VLM 规划打开冰箱门、拿西红柿、拿鸡蛋等步骤。底下的小模型,或者具身模型,则负责执行打开冰箱门、打鸡蛋这些具体动作。
Astra 这次最大的变化,是它现在能做低层动作控制。也就是说,它可以把指令变成“把手往右伸 2 厘米”,或者“把手放在冰箱门把手上”。如果没有抓住,它还能说:“那你再往前靠一靠。”相当于它把边界往下压了一点。以前大家各自负责清晰划分的部分,现在它说自己能力很强,除了慢以外,还可以往下多做一点。底下的模型就更像反射系统:听懂往左、往右,像一个提线木偶。
肯定会有人说,上层模型是不是可以无限往下压,最后变成完全端到端的 VLA,由 Astra 直接控制所有事情?我个人觉得这不太合理。第一,速度很明显是个问题。网上看到的 Astra 控制 Demo,基本上都要加速到 16 倍或 24 倍,否则就得一直等。第二,我觉得现在的 Astra 还是非常缺乏物理理解,尤其缺乏人类的直觉物理学。比如我随手碰一个物体,如果里面有水,可能会洒出来;如果是玻璃,可能会碎。Astra 经过很多语言推理,可能能理解这些事情,但如果希望它在任务中立刻作出反应,效果可能还不够好。这个地方可能还是需要世界模型或快速模型做一些直觉式反应。
你刚刚提到它速度慢,是因为模型太大,还是推理时间太长?
模型大肯定是一个原因,另一个原因是它的 CoT 很长。它给出的 CoT 是加密的,我理解那可能是假的,但它内部的 CoT 非常长,所以每一步决策都要思考很久,而且思考很冗余。
我们观察到,它面对简单任务和复杂任务时,思考时长基本相似。这意味着面对复杂任务时它很聪明,但面对简单任务时,这就成了额外开销,让它看起来非常笨。
内耗型人格。
是的,是的。
许教授,我想问一下:现在机器人上搭载的芯片,能支持多大的模型?什么样的模型大小比较理想?如果模型放在云端,像 ChatGPT 一样立刻给你输出所有配置,这种情况下,什么样的网络延迟可以接受?
如果搭载在本地,模型最好小于 10B,这个尺寸比较舒服。当然十几 B 或者小几十 B 也能做,但硬件成本可能会上去,用的芯片也得升级。
如果搭载在云端,我们星海图机器人现在两条路都在走,也会把模型放在云端,以 API 的形式提供服务。这样的话,模型尺寸就没有太多限制,更多要看网络延迟和用的卡是哪一代。延迟要看任务:通过 API 肯定不能做高动态、时间敏感的任务,比如倒水。卡一下,水可能就溢出来了。
假设做的都是准静态任务,我觉得 200 毫秒,甚至几百毫秒,都是可以接受的。但如果做高动态任务,一定得在本地,没办法放在云端,卡一下就完全不行了。
对,有道理。
许教授,我知道之前你们公司的一个 Demo 是用筷子夹小球。现在用自己的模型和 Astra 做,区别是什么?
用我们自己的模型,首先做得快很多。其次,它抓东西时会连续不断地尝试,过程中没有太多逻辑思考。抓了一次失败了,可能我稍微碰了一下,状态就发生变化,那我可以换个角度再试。
但 Astra 每做一步,就要分析发生了什么、原因是什么,然后根据原因给自己下指令,决定要做什么调整。这个过程更像人类思考,但一方面会变得很慢,另一方面有时会陷入僵局。它有时无法理解为什么会发生这样的事情;或者一旦分析错了,就没办法继续推进。
还有一个观察是,抓桌面物体时,Astra 做旋转相对比较弱,但它能做。在旋转这件事上,我们看到它要反复尝试怎么转,才能把东西抓起来,再塞进墙上的小孔。这个能力目前还是有一定短板。
7. Robotics Companies Face a Reckoning
Astra 出来以后,机器人公司分很多种,有做大脑的,有走 Sim-to-Real 路线的,有用物理世界数据的;还有做本体、做数据的。你觉得它对哪类公司的冲击比较大?
对于 Sim-to-Real 这条路线,我一直认为仿真没办法训练出最好的机器人模型和策略。很多人说 Astra 让仿真重新复活了,因为它让 Real-to-Sim 变得容易了,但它只是把 3D 外观做得非常好,并没有因为 Astra 的出现让物理引擎变得更准确。
所以我觉得这方面有些 hype。虽然它带来很多变化,但这些变化并不会直接让机器人变得更好用。
第二,我觉得 Astra 肯定利好本体和硬件。Astra 出来这两三周,斯坦福已经有一个课题组把 Astra 接入一个类人机器人,让它在家里做一些家庭任务。这件事非常快,相当于做了一篇论文,大概两周就完成了。可以看到,有了 Astra 这样很强的跨本体泛化能力,如果本体质量足够好,可能直接连接 Astra 就能做一部分事情,尽管还只是 Demo 级别。
做大脑的公司,我觉得有两派。一派相信会有更快、更好的具身模型,也可能从 Astra 身上学到数据标注、CoT 等方式。我觉得这会带来整个行业的增长,是一件好事。另一派觉得自己做模型的能力不够强,可能就直接放弃了:既然 Astra 很好,那我就专注于怎么用它,或者把自己的东西做成工具,让 Astra 调用,完成任务闭环。这样就更像机器人部署公司。
所以我觉得,有一部分公司会逐渐转向部署机器人,另一部分则会做更小但具备 Astra 这种能力,或者训练能力超过 Astra 的模型。
你觉得它对整个机器人领域未来的研究方式,包括刚才提到的分层边界,会带来新的启发或比较大的变化吗?
我觉得会带来非常大的变化。第一是整个模型训练范式,未来大家都不会忽略 Astra 这样的范式,所以做模型的人肯定会产生一些新想法。
另一个变化是,过去做传统机器人规划的人,可能会转向更 Agentic、更偏 Harness 的机器人研究,去研究如何组合各种能力。机器人领域有一个方向叫 TAMP,也就是 Task and Motion Planning,会把规划和控制放在一起做场景任务。过去我觉得这个方向比较古板,或者说属于上一个代际,因为它很多时候用传统规划手段一步步做。比如下一个任务是拧开瓶盖,就要确认瓶盖是关着的,否则不能进入下一步。
过去我觉得这些方法有点过时,但到了 Agent 时代,它好像又重新焕发生机了。可能规划、做模型这些东西,等有了好的模型以后又变得重要。所以我觉得这肯定会给整个研究领域带来一些变化。
你刚才提到,一些很好的机器人大脑公司可以向 Astra 学习数据标注方式。你从中得到的启发是什么?
我觉得要把里面的因果关系和直觉物理标注清楚。我做这件事成功是为什么,失败是为什么;我做了什么,发生了什么结果;这些交互过程都需要详细标注。
过去很多机器人数据只标注一句话,描述你做了什么,相当于只做正向标注,没有标注背后的原因。比如我没抓住它,到底是因为抓的位置偏上了,还是因为物体沾了水太滑了?这些都要标注出来。有了这些信息,我们才能真正做一个通用的机器人大脑。
那这是不是也会影响整个数据标注公司?我知道现在有不少人在做机器人数据标注。
我听到的传闻是,OpenAI 现在只买不带标注的数据,他们觉得外面的标注都是错的,会自己在内部重新标注。另一方面,可能也是为了保密,不想把自己的标注方式透露出去。
一定程度上,对数据公司来说会有两种方向。一种是卖生数据、生肉,相当于卖石油、卖原材料,主要还是靠规模,需要管理 1,000 人或 1 万人去采集数据,或者把所有的家庭都 Mapping 一遍。
另一种是做熟肉、熟数据,需要了解最前沿的模型是怎么训练的。如果它有这方面的知识,就可以很自信地说:“这是 OpenAI 的标注方式,这是 Pi 的标注方式,你喜欢哪个?我卖给你。”这样它的单价可能翻 10 倍,甚至更高。
这个水还挺深的。
是的,是的。
而且这些模型公司的研究品味本来就不容易理解。
对。他们需要在交易过程中获得局部观察,推理对方是怎么使用这些数据的,这也是一种 CoT,要推理对方究竟如何使用数据。
那你觉得它会改变未来机器人研究的方式吗?大家之前研究机器人垂直模型,现在说大模型能力足够好,也能驱动机器人。虽然还有一些问题,但以后机器人训练会不会底层还是一个基模,只需要做后训练就可以了?
如果我们想真正部署,一个几 T 的模型肯定很难部署。如果放在远程,我觉得能解决一部分任务,但不能解决所有任务。
如果所有机器人都用 Astra 这样的基础模型,我觉得它不太可能成为未来所有机器人使用的模型。一定会有一个比 Astra 小得多、但有相似能力的模型。即使它在云端提供服务,我觉得也仍然会是机器人专用模型。
从 Astra 发布到今天已经有三四周了。你对它的理解,包括最开始看到机器人画金门大桥的 Demo 时的感受,有变化吗?我知道很多机器人创始人一开始很慌,后来大家也会自己去试。整个过程中你的心理有变化吗?
有。它刚出来时,大家一开始尝试,基本都觉得非常惊艳。最开始是让它抓一个东西,发现它很快就完成了。后来就尝试更复杂的任务,比如刚才提到的空间要求,要旋转;再后来是更复杂的语义,甚至一些物理任务。逐步尝试之后,我们会觉得机器人领域的 GPT 时刻确实来了。
但再深入看,还是能看到很多问题。比如双臂任务,它现在几乎没办法做。像叠衣服,Astra 完全叠不了。所以我们有一个感受:在语言不太好描述的任务上,Astra 的能力并不强,我们还是能看到,它在足够灵巧的任务上有很大空间。
第二,我们发现它的总结能力还不够好。第一次做一件事可能花 1 个小时,第二次花 45 分钟。再让它持续做,永远都是 45 分钟,基本从第三次开始就变成常数了。它不会像人或一些更小的模型那样,经过充分训练后时间越来越短,最后随手几秒钟就做完。所以机器人原生模型还有很多空间。
到了现在,我觉得更多是要想清楚 System 1 和 System 2,也就是快慢系统之间到底应该怎么结合。上面的 Astra 到底是调用,还是给出指令,应该把什么样的指令作为接口?它已经出现了,不能回避,但它自己又有很多问题,没办法直接用。接下来的问题是,怎么把机器人公司的优势和 Astra 这样的模型充分结合起来,做出真正通用的机器人。到现在,我们更多还是从技术角度思考未来怎么做。
最近还有一个项目也很火,叫 JEPA。它可能就是用 System 1、System 2,快思考、慢思考这一套理论做的。你觉得它对机器人领域影响大吗?
JEPA 自己称自己是 System 1,我觉得它和机器人原生模型很像。大家一般认为机器人主要是 System 1,有一小部分 System 2 的能力,所以它应该是一个相对快速的系统。
我们也试过 JEPA。首先,它在机器人上的表现很差。
为什么?
原因有很多。首先,OpenAI 最近好像也要发新的东西了,但 JEPA 本身没办法输入图像,所以得先把图像转成状态给它。你必须跑一个视觉 VLM,或者其他视觉模型,把状态给它,再让它快速决策。
我们测试下来,像叠方块这种任务,它经常叠不起来,或者叠好以后就倒了。比如 Astra 能看到第一个方块叠得有点歪,就让第二个反过来一点、往另一边靠一靠,这样才能平衡。但 JEPA 没有这样的能力。
现在我看到很多人说 JEPA 可能可以用来标数据,因为它很快。我刚才好像看到 OpenAI 要出一个类似 JEPA 的快速模型,而且能输入图像,是一个多模态的快系统,但我还没试过,应该快发布了。
对,我们可以期待一下。整体来说,你觉得 Astra 的发布对机器人行业是正向影响,还是对大家造成了冲击?
它对整个机器人领域的影响肯定是正向的,因为大家看到了新的能力,但肯定也带来一些冲击。对一些个体来说,尤其是模型能力远远低于 Astra 的公司,可能会担心永远追不上它。
整体上我还是偏乐观的。它相当于提供了一种新思路,照亮了很多以前没看到的地方,所以我个人觉得它的影响偏正向。
8. The Wet Lab Bottleneck
接下来聊聊我自己非常感兴趣的 AI for Science。你觉得 Astra 和 Fable 5 这几个模型,在 AI for Science 上谁的能力更强?
我觉得 Astra 的能力会更强,因为它做长程任务的能力稍微强一点。对我们的应用来说,首先我们没有一个明确的 Benchmark,很难用现有的生物医学 Benchmark 衡量模型做生物医学任务的好坏。
现在模型很缺的一项能力是:它可能编程或做其他任务都做得不错,但我们希望模型能指导我们在真实世界里做生物医学实验。比如有一个 Benchmark,让它预测蛋白质的活性,它可能做得很好。但我们现在最重要的一个场景,是 AI 模型能不能给出实验方案:具体怎么做实验、在什么温度下、用什么分子、在什么湿度和条件下做。这是现在的模型都做不好、但又非常重要的能力。
刚才我说的 Computer Use,是 AI 怎么控制电脑。我们现在把另一个方向叫 Human Use,也就是 AI 怎么控制真实实验里的实验员和 Technician 去做实验。这是我们对比 Astra 和之前一些模型后发现 Astra 做得还比较好的地方。这类任务的语料其实非常少,但我觉得 Astra 更强的能力可能会在这方面带来提升。
我理解可以分成两类:一类是 AI 给出方案,预测新药可能是什么结构、由什么分子组成;另一类是方案出来以后,要在真实实验中验证它是否可行。现在第一部分做得还可以,第二部分给出的方案还不够好。
对。第一部分其实我们不知道 AI 做得好不好,这里面有一个悖论:如果一个问题,比如开发治疗癌症的药物,答案已经知道了,那这个问题也没必要研究了,因为我已经知道药物具体是什么。
我们真正关心的问题都没办法用 Benchmark 衡量,也没有答案。所以生物医学 AI for Science 的问题,最后都需要通过湿实验验证。干实验就是所有预测、分析都在计算机中模拟,无论用 CPU 还是 GPU,都在计算机中完成。湿实验则是在真实实验室里,通过试管、培养皿,对老鼠、细胞等进行操作。这就是计算机之内和计算机之外的区别。
我给 AI 出一道题,不可能知道答案。GPT 给我一个分子式,说这个能治疗癌症;Claude 给我另一个分子式,我都得去做湿实验验证。做实验之前,它不只是要给我一个分子式,还要有具体实验计划:怎么合成这个分子式、这个小分子应该怎么储存、我应该按什么周期给老鼠用药。这些特别细节的东西,现在的 AI 模型都做得非常差。
它能生成一个分子式,因为世界上有很多这样的数据;但怎么合成、怎么给老鼠用药等,它们都做得不好,而这些其实更重要。
那你觉得,放眼现在的大模型,它在设计实验上大概完成了多少?完成度怎么样?
我觉得完成度可能只有 30%,很多时候需要人类专家修改。设计实验需要非常深入的 Domain Expertise。一个领域的教授可能也不知道,得是专门针对这个方向做过很多实验的 Technician,才能设计出高效、成功率高、又可行的实验。
另外,每个实验室的器材、设备都不一样。Astra 这样的 AI 模型没办法根据具体设备针对性地设计实验。比如一家餐厅有番茄、鸡蛋、土豆,我让 Astra 做一道菜,它并不能理解这家餐厅有哪些原材料,也不会针对现有材料设计菜品,可能会说要做一道海鲜大餐。这种方案在现实世界中很难执行。
所以我觉得,它缺乏的是对现实世界资源的利用、协调和使用能力,这也是我们现在想改进模型的方向。
所以如果真的要让大模型在 AI 制药上有所帮助,一个严肃的、真的想用 AI 生成药物的公司,还是要配备自己的实验室。
对,我觉得一定要配备实验室。现在通用模型已经很厉害了,配备实验室后,公司就可以自己验证,积累自己的数据。
现在 AI 做药物发现还有一个瓶颈:验证周期很久。我设计一个分子,拿去老鼠身上做实验,不可避免要花几周,因为老鼠要通过新陈代谢对药物作出反应。这几周时间里,模型可能已经进化到下一代了,GPT-6.1、6.2 都出来了,AI 模型的迭代比真实实验还快。
所以前沿 AI for Science 实验室需要有湿实验条件,还要改造实验室、重新设计流程,让湿实验更好地配合 AI。比如一开始就把细胞等都准备好,只有在 AI 需要预测的几步,才在它预测之后立即把小分子放进去。把前置条件准备好,让湿实验和 AI 模型一起设计,才能让闭环更快。
不能像现在这样,AI 模型设计一个东西后交给合作者,合作者不知道模型是怎么设计的,也不知道模型可能会给出什么结果,就重新针对它设计一套湿实验。这样分开做会比较低效。所以未来的前沿实验室需要有湿实验条件。
从 AI 设计分子结构,到最后干湿实验做完、达到临床一期,大概需要多长时间?
一般我们先做细胞和老鼠实验,几周就可以做完。之后通常会做一批猴子等灵长类动物实验,这怎么样都要 4 个月。有时候做两次,就是 4 个月再加 4 个月,总共 8 个月。
作为一家 AI 制药公司,做完猴子实验后不一定会推进到人体实验,可能会直接 License 授权给大药厂。这笔授权费也非常可观,一般在 1,000 万美元以上,甚至更高。大药厂有患者网络,可以更好地招募患者,做针对性的人体实验。所以我们一般做到猴子实验结束,周期大概是 6 到 12 个月。
所以验证一个药物花的时间远比 AI 设计药物久。但在 AI 提出想法这个环节,现在 AI 已经很聪明了,数学领域发展很快,是因为很多环节都可以被验证,而且不需要做实验,所以发展很快。
在生物学上,比如 AI 真的设计了一个新分子、新药物,怎么确定它设计得对不对?
对,我觉得这是最大的难点,也是 AI 能在数学上取得很大成就、攻克前几年的猜想的原因。生物医学领域到现在还没有一个完全由 AI 开发、并且得到验证的药物,根本原因就是现实世界反馈太慢了,而且受自然规律限制。老鼠、猴子都需要那么久的时间。
上一波 AlphaFold 时期,有很多 AI Drug Discovery 公司雨后春笋般冒出来,那时还是大模型之前的 AlphaFold 时代。但那些公司大部分后来都没有成功,因为它们主要还是用 AI 设计和发现药物。即使把 AI 设计一个分子的周期从半年缩短到几天、几小时,后面还是会受真实的老鼠和人体实验限制。
所以我觉得这是一个核心问题。如果能解决,AI 在生物医学制药上的爆发,就会像 AI 解决千禧年大奖难题一样,非常巨大。我觉得这个问题不可能从根本上解决,但可以加速现实世界的反馈,间接提升 AI 在这方面的效果。
你说的 AlphaFold 时期是哪个时期?
就是 AlphaFold 刚出来、蛋白质结构预测有很大飞跃的那段时间。
AlphaFold 1 和 2 的时候?
对,刚出来的时候,很多 AI 创业公司觉得可以用 AI 预测蛋白质结构,有了更好的结构就能快速开发药物。当时也能预测、生成很多好的药物结构,但验证仍然是最大的瓶颈。现在其实还是同样的问题。
9. The Value of Wet Lab Data
我听说 AlphaFold 3 把所有研究,包括数据都开源了。它的开源也带来了一波生物制药公司,包括做垂直模型、做 AI 的公司崛起。因为它开源以后,相当于机器人行业开源一样,很多底层基础设施都准备好了。
对,我觉得它的开源非常重要。在当时的时间线上,社区里有很多机构都在尝试做 AlphaFold 的开源版本,比如 OpenFold。如果它不开源,大家也会很快追上,会有开源版本来模仿它。
这些工具开源之后,对社区最好的帮助是让大家更重视数据积累。虽然工具开源了,但垂直科学 AI 公司可以用自己积累的数据建立护城河。这些数据非常珍贵,一条数据就可能价值几万或几十万美元,因为它们来自真实的老鼠或人体实验。不仅实验成本高,周期也很久。所以反而在开源之后,这些垂直科学公司会更有优势。这是它对 Community 的贡献。
你说的一条数据是什么?就是一个实验在完整的动物身上跑通,算一条数据吗?
比如一个分子在老鼠身上到底能不能杀掉癌细胞,这就是一条数据。
那这个数据还是太便宜了,感觉大家要花很久,工作量也挺大。
是的,这是非常高价值的数据,在互联网上的大模型预训练语料库里根本看不到。
这么来看,生物医药界未来是不是也会兴起很多数据公司?反正模型负责给想法,我就成立一个实验室,专门负责验证,也可能是一个很好的商业模式。
对,我觉得这是一个非常好的商业模式。现在 AI 数据的价格,比如买一道奥数题都要几千美元,Terminal-Bench 的一道题也要几千美元。新出的 Terminal-Bench Science,上面的题也会是高价值题。我觉得这些题还只限于计算机里的操作,未来如果有真正的生物真实世界数据,价值会非常高。
另一个高价值的方向,是搭建一个能帮助 AI 方便地做真实生物实验的接口,光这一项就很有价值。现在有家公司叫 Adaptyv Bio,专门和 Anthropic 合作。Anthropic 生成 AI 预测后,它就以 MCP 的形式立即开始做实验。它刚刚融了 4,000 万美元。我觉得这样的公司会越来越多。以后每个湿实验公司都会有 MCP API,直接接入 AI 大模型,为模型提供服务,也能减少很多沟通成本。
这又回到刚才的问题:最重要的是 AI 自己知道要做什么实验、怎么设计实验,湿实验公司也能和它配合。
现在像 OpenAI、Anthropic 这些前沿模型研究实验室,哪些配备了自己的湿实验室?
Anthropic 明确有相关布局,它和 Adaptyv Bio 明确合作了。最近它还出了一个比赛,邀请大家做 Anthropic 定义的蛋白质设计问题,并赞助 Adaptyv Bio 为大家做湿实验验证。所以 Anthropic 最近定义的比赛,最后也是以湿实验验证作为标准。
我也听到很多消息,Anthropic 自己在构建湿实验团队,包括招聘的人也有湿实验背景。我想 OpenAI 应该也会有类似布局,会慢慢开始和湿实验公司合作。所以我觉得这是未来的趋势。各个 AI Frontier Lab 如果真的想做高价值发现,而不是只刷现有 Benchmark,不可避免地要有自己的湿实验室。
那 DeepMind 呢?现在感觉它的创始人哈萨比斯也重点在 Isomorphic 上,那是从 DeepMind 分出去的生物制药公司。
我不知道 DeepMind 和 Isomorphic 会以什么形式合作,是 DeepMind 做 AI、Isomorphic 做验证,还是更多由 Isomorphic 自己端到端完成:它用一些模型,自己做更多验证,端到端解决问题。
John Jumper,也就是另一位和哈萨比斯一起拿诺贝尔奖的科学家,加入 Anthropic 了,所以我觉得 Anthropic 在这方面会有很大优势。
我看和他们一起拿诺贝尔奖的还有 David Baker。他自己也做了一家新的制药公司,叫 Xaira,对吧?
对,他有很多制药公司,我不知道他投入多少。据我理解,他应该有几十家公司。我理解他还是会更多专注于自己的科学研究,再看之后能不能拓展到商业或自己的 Startup 里。
你觉得整个模型对制药的影响中,对你来说有哪些比较大的节点?哪些基础模型能力的提升会让这个行业一下子出现质的飞跃?
现在我们的提升几乎都取决于 Coding 能力。因为大家还没有走到湿实验或真实世界控制这一块,所以 Coding 能力提升后,我们这些生物医学相关任务也会变得特别简单。
现在生物医学的 Coding 任务,在那些 Benchmark 上还没有满分,但我个人理解已经几乎可以认为解决了,因为 AI 做得比人好。像 Terminal Bench Science 上的一些生物医学问题,我自己试了一下,做得都没有 AI 好。虽然很多 AI 的分数,即使是 Astra,也只有 60 多分,满分 100 分,但它其实已经比我做得好。所以我认为这些任务已经解决了。
比较大的节点就是 Coding 能力提升,它会解决生物制药在 Dry Lab 上的能力问题。还有一个问题是生物医学数据特别大、特别复杂,每个人的数据都可以达到 2 TB。未来模型要继续提升,就需要高效处理、理解这些 2 TB 的数据。这是一个非常重要、也非常大的机会。
你刚刚提到,现在 AI 在一些能力上已经超过你了。你已经是非常顶尖的科学家,也做学术研究。我可以理解,这已经不是超越平均智商,而是超越最顶尖的智力了。
在这个环节里,你觉得 AI 未来会给前沿科学家带来什么问题?比如它做出来的东西你们很难验证,会出现这种情况吗?
验证还是要靠湿实验。如果一个问题定义得很好,有明确的测试集和输入,也知道要解决什么问题,那 AI 解决它的能力会比我强。人类科学家更多能做的事情,就是定义哪些问题让 AI 去解决。
所以我觉得未来 AI 在生物医学领域的趋势,不再是解决问题、设计模型,而更多是设计 Benchmark、设计 Evaluation 方法,定义重要的问题让 AI 去解决。
生物医学关系到制药、治疗病人,直接和人打交道,所以很多时候还是需要科学家参与,不能完全靠 AI 自动化。需要人类科学家为它背书。就像飞机,就算能自己飞,我们也希望上面有个驾驶员。AI 能自己看、自己治疗、自己开诊断书,我也希望有医生亲眼看一下我的报告。
科学发现会投入很多钱和时间,所以重大决策还是需要人类科学家一起把关,判断问题的价值。如果只是解决问题,我觉得 AI 已经会比最强的人类科学家更强。
你刚才提到,Astra 的 Benchmark 定义有问题。你觉得未来的 Benchmark 应该怎么定义,会朝什么方向演进?
我觉得首先要设计那些没有上限的生物医学题。比如现在最好的药物能杀掉 30% 的癌细胞,那 AI 能不能做出更好的药物,杀掉 40% 的癌细胞?这样 AI 就能不停地设计,任务也没有上限。
同时,做这个任务的过程中会形成数据飞轮。我不断做湿实验,虽然湿实验很贵、比较慢,但持续做下去还是可以收集到可观的数据。我们要避免一些简单的分类任务,比如判断某个基因会不会导致癌症,因为这种任务很容易被 AI 解决。
未来要设计的是宏大、没有明确上限的任务,比如如何延长人类寿命,让 AI 持续解决问题,同时持续积累数据,把特定问题的数据越积越多。
你刚才提到,AI 还没有真正做出一款被验证、可以使用的药物。为什么这个领域依然这么火?只是因为时间还早,还是未来能被解决?
我觉得未来会被解决,只是时间还早。AI 是新时代的技术,过去几年才发生。一个药物的周期也要 5 到 10 年,现在还没走完一个药物的周期。
我觉得未来 AI 会有机会自己发现并更好地验证药物。现在有些公司说药物在研发中有 AI 高度参与设计,但可能更多只是 AI 参与,或者是一种噱头。因为那个药物开始研发时是 5 到 10 年前,那时候的 AI 和现在完全不是同一种 AI。所以我觉得未来会做到,更多是时间因素。
Claude 最近有一个新成果,说发现了一种新的 ART,有点类似 CRISPR-Cas9 的基因编辑工具,但最后还没有被验证,科学家也在观察。你觉得现在模型在生物医药领域的哪些方向已经非常强,开始有一些突破?我们看到这些突破的苗头是什么?
我们观察到,这些突破几乎和生物医学实验周期成正比。周期越短、反馈越快,模型就越容易做得好。过去几十年里,大家已经积累了很多实验数据。这些数据通过各种方式,比如写在论文里,或者被大模型公司收购,已经被模型公司掌握了。
实验做得越快,模型就越能做得好。比如 Anthropic 这次做的一个比赛,是设计 Enzyme,也就是酶,这是实验特别快的一个领域。未来像蛋白质、酶这些能快速实验的方向,我觉得都会有很快的迭代。
但如果是研究衰老、罕见病这种特别稀有、特别 Domain-specific、周期又很长的问题,模型进展就会比较慢,也很难快速推进。
蛋白质会带来哪些领域的变化?有一些特定领域吗?比如减肥或者癌症治疗?
理论上蛋白质是万能的。减肥、癌症治疗,以及所有疾病,理论上都可以通过蛋白质以某种方式引导制药,改变人体并进行治疗。
酶有很多是一种催化剂。比如我们以前设计过一些酶,可以把地沟油变成可以食用的油;或者让洗衣粉在不同温度下都保持活性。所以酶更多用于生活中的工业、化工加工,帮助加速生产过程,商业价值很大,而且可以快速落地。
蛋白质如果用于设计药物,最后还是不可避免要做人体实验,周期也比较长。
10. Who Is Worth Distilling
了解,非常精彩。我也和很多模型研究员聊过。之前大家一直在说蒸馏,很多前沿模型实验室的研究员说,普通人现在可能连蒸馏的价值都没有了。这话听起来很悲哀,但现在训练信号是不是也在转向专家数据和可验证环境?大家同意吗?
机器人这儿显然不是这样。机器人领域里,每个人都是生活的专家,所以没那么悲哀,大家都值得被蒸馏。你擅长做饭,我擅长叠衣服,他擅长走路,他擅长跳舞。
当然再往后走,也会经历这样的阶段。今天的机器人还做不到大模型之于普通人那种水平的事情,也许一年、两年后才会到这个阶段:必须是舞蹈专家,或者必须是 Gordon Ramsay 这样的顶级厨师,才值得被蒸馏。但今天,每个人做家常菜的经验都值得被蒸馏。
嗯。
如果知识被蒸馏,AI 的知识确实更全面,单个科学家肯定比不过。但有一些科学发现需要长期投入,还是需要科学家或工程师支持、背书,所以这方面 AI 替代不了。
同时也有反向蒸馏的问题。AI 这么强,我每天也在蒸馏 AI。我有很多新的领域不懂,尤其我们做 AI for Science 这种交叉学科,很多东西我不知道,就可以快速向 AI 学习。学习之后,我获取知识的速度也更快,有时还能有新的想法和创意,做出更好的科研成果。所以我觉得这是一个互相蒸馏的过程。
另一方面,从医学这个很具体的领域来说,人的作用永远很大,因为人不只是解决问题,还能定义问题,也可以表达希望 AI 解决的问题。比如新的疾病,或者有人想活到 200 岁、500 岁,这些问题源源不断。每个人的身体状况不同,也会不断给 AI 提供新的问题和方向,所以普通人绝对不会被 AI 取代。
说得特别好。Bill。
从蒸馏的角度来说,目前的智能或者模型能力,还是来自非常大的模型。它们可能记住了很多知识,也把一些 Know-how 通过训练直接加了进去。比如优化 Benchmark、推进固定的落地场景,会出现很多 Overfitting 的情况。
在这种情况下,我们目前 Overfit 的领域可能还不够,还有很多领域值得被 Overfit。虽然现在大家都说模型已经到了 General Intelligence 的级别,但从已经 Overfit 的场景来看,我们可能还没有那么 General。
如果未来要真正做到非常通用的智能,可能还要跳出蒸馏每个场景、Overfit 每个场景的状态,进入一种模拟人从零开始学习的状态。从这个角度来说,我们需要蒸馏的不是人能不能把一件事做好,而是人怎么学习、怎么从零开始学,以及怎么学得比人更快。
比如有一个 Foundation Model,它可能处在非常 Underfit 的状态,但如果它想成为一名医生,能不能通过一个月的交互达到人类基础医生的水平,或者通过 3 个月的交互达到某个领域教授的水平,完全靠模型自己迭代来学习?我觉得我们离这个程度还很远。未来从人身上能得到的 Intuition 还有很多,人类还没有完全被取代。
我觉得可能很多是一层表层技能,而不是底层的思维方式。
对。
11. What Each Field Needs Next
今天很难得,我们请来了 3 位在不同领域做得很好的创业者和学者。大家要不要说一下,自己现在在领域里最关心的一个问题?
我们现在最关注的问题,是硬件方面全世界的内存都很有限,RAM 非常贵,VRAM 也非常贵。很多人又担心,是不是所有数据都要上云。
如果未来算力会铺开,每个人、每家公司都有自己的算力,不再集中在数据中心里,我们能不能想象所有人都有自己的算力、能运行自己的模型?模型不一定要做到最大,我们能不能通过这些模型解决生活中 80% 到 90% 的问题,解决现在 AI 没办法无限量普及的问题?
我同意未来模型还需要往大、往强发展,但它可能有广度和高度之分。比如 AI for Science 可能需要一个高度很高的模型,而在一般的企业工作和个人生活里,可能需要的是广度很高、但规模不必很大的模型。这是一个结合的问题。如果能正确结合,就可以解决目前硬件需求和电力需求的瓶颈。
嗯。
从机器人角度看,我们最关心的肯定还是零样本泛化能力。过去机器人有两条路:一条是部署,一条是泛化。这两条路有些正交。
部署有点像 AI 赋能上一代机器人。比如工厂里的机械臂,原来可能是开环拧螺丝,也就是不拿反馈,我把位置标定好,让它按设定动作执行。现在有了 AI,可以闭环拧螺丝,或者闭环上货。
但在我看来,这还是有点逆时代。你仍然需要 5 个 PhD 级别的人去工厂里待 3 个月,解决机器人的稳定性、速度,以及要不要定制末端夹爪等问题。
今天我们聊 Astra,我觉得最终还是希望有一个通用机器人,能够零样本快速部署。部署时应该是 5 个普通人过去就能完成,他们更多是做体力劳动、懂一些基本技能,而不是需要 5 个非常厉害的人过去。
这种零样本泛化肯定有冗余,但我觉得可以接受。能不能有一个足够好、足够快、可以零样本泛化的模型,仍然是机器人最主要的追求。
你觉得机器人离那一步还有多远?
我觉得 2028 年初会是通用机器人开始真正实用的时间节点。从现在开始,可能 18 个月后,大家就可以在家里用语言指挥机器人做家里 90% 的事情。
这个预测还是相当激进的。
如果你玩过 Astra,下个月也许还能玩我们的模型,应该会觉得这个预测比较合理。
那机器人进展很快。
对,我觉得机器人其实相对慢。但因为 2023 年时机器人和大模型同步出发,大家看到大模型发展得非常快,机器人其实已经慢了一倍的速度。不过物理世界的东西总是要慢一点,没办法像纯软件那样超快速迭代。
我整体上觉得,今天和您聊完,气氛乐观了很多。从 2020 年关注 GPT、2022 年关注 ChatGPT,再到大模型、多模态,前几轮里模型层的发展远超机器人。可能就在过去一两年,甚至一年前,大家还觉得机器人的 GPT 时刻没有到来;但今天我们已经在谈应用了,所以我觉得进展还是非常快的。
王教授。
AI for Science 如果真的要有突破,最重要的是 AI 对真实世界的理解,以及对真实世界资源的运用和分配。我们研究 Science,本质上就是研究真实世界:物理学研究宇宙,生物学研究生命,化学研究微观世界。AI 还需要理解真实世界,并且能够运用真实世界的资源。
这不是说我设计一个机器人取代人类、自动做实验,而是 AI 能知道根据实验室现有的资源,应该让机器人或人去做什么。比如以后我给 AI 的 Prompt 不是“给我设计一种能治疗癌症的药”,而是“给你 10 万美元,给我设计一种药物,而且我可以做这些实验”。比如做一次老鼠实验要 2,000 美元,人体实验需要一定的周期。AI 能不能真的这样规划真实世界中非常复杂的任务?这些内容很难出现在语料里。
这可能需要一种新范式。现在都是人来用 AI,人研究怎么写好 Prompt,才能把 AI 指挥好;未来可能是 AI 来写出清晰、可执行的指令,Prompt 真实世界。指令要高效、清晰、没有歧义,然后人或机器人根据这些指令,利用现实世界资源把事情高效完成。
过去我们判断 AI 能不能遵循人的指令,未来可能要看它能不能更好地生成指令,帮助我们调动现实世界资源。我们甚至会改造现实世界。未来的一些实验设备、仪器不一定是给人看的、给人用的,而是给 AI 用的。现在拍 X 光、拍 CT,还要把图像合成出来给人类医生看;未来可能直接把底层的波形或信号给 AI 看,跳过生成图片这一步。
所以我认为最重要的是 AI 能更好地走到真实世界里,不管是通过机器人还是人类,都要知道怎么利用真实世界的资源,解决极难的问题。
好的,非常棒。今天特别精彩,我学到了很多行业里的细分知识,感谢大家。
谢谢。
谢谢。