41.对话智源院长王仲远:关于世界模型,AI与物理世界,与大模型的最前沿
- 王仲远给出的最确定预判:人工智能将正式从数字世界迈向物理世界。 智源以“物界”系列模型探索这一方向。其技术路线图为“语言→多模态→具身智能与 AI for Science→世界模型”,理由是大语言模型路线已相对成熟、“应该交给企业来做”,而“大模型的发展还远没有到尽头”。
- 文本数据枯竭有三条出路:合成数据、后训练/推理 scaling、多模态——而多模态数据量级尤其可观。 他援引 Ilya“全世界只有一份互联网数据”的判断,指出声音、图像、视频、3D、脑信号等数据量“可能是文本数据的百倍、千倍乃至万倍”,且尚未被有效用于大模型训练,这是智源押注原生多模态的核心理由。
- 现有多模态大模型多数是“走捷径”:以语言模型为核心再映射其他模态,结果是“博士退化成高中”。 典型症状是“三点一大还是三点二大它搞不清楚了”;而人脑接触模态越多越聪明。他的技术信仰是“越简单、越统一的结构,越有可能具备更强的生命力”——原生多模态要从一开始就用统一架构装入所有模态。
- 具身智能虽火,但他公开泼冷水:这是“五年到十年周期的,甚至更长”,且“具身智能不等同于人形机器人”。 “大家千万不要认为未来三年机器人就满街跑”,热度起得太快“很可能在未来一两年陷入到泡沫的低谷”。他判断的落地路线是多模态/世界模型 foundation model + 强化学习,并以两岁小女孩看短视频学会拆糖果为例证。
- 对 scaling law 的辩护用的是七八十年的长镜头:BERT 一亿参数距人脑差一百万倍,GPT-3 差一千倍,GPT-4 的 1.8 万亿差一百倍。 “当我们的模型有一天能够到达人类大脑的参数的时候,我们再来论证 scaling law 到底是有效还是没效”——他明确表态对神经网络路线“还是 believe 的”,Transformer 被替代则是长周期事件。
- 对姚顺宇“AI进入中场休息、评估大于训练”的判断,他只部分认同:或许在大语言模型上成立。 国产模型追上 GPT-4 后确实进入应用爆发期,但“整个物理 AGI 时代的到来,还需要那么几次的技术的重大突破”;对 Meta 世界模型 V-JEPA 2 登顶榜单,他强调智源对具身团队的硬要求是“真机部署”而非刷榜。
- 世界模型连定义都未收敛,图灵奖得主们的路线也并不完全一致:杨立昆不信自回归,Bengio 不信强化学习、主张“只有智能没有自我”的 scientist AI,Sutton 则坚信 RL 与体验时代。 “有人爬南坡,有人爬北坡”,智源选择用简单、可 scale up 的大一统架构训世界模型基础模型,承认“最终能不能达到期待的效果还有待验证”。
- 智源的组织打法本身是投资线索:85后院长、29岁的 Emu3 负责人、“不论资排辈”的代表作文化、真开源生态。 BGE 向量模型下载数亿次、曾登顶 Hugging Face 月度榜首,30多个国家和地区的数百机构在用其数据与框架;张宏江“功成不必在我”的理念下,智源自我定位是长出参天大树的“土壤”,而非果实本身。
1. 智源的底色:把千万级资源交给评不上副教授的年轻人
- 主持人卫诗婕开场重述三年前对创始理事长张宏江的专访:2020年 GPT-3 出现后,智源效仿 OpenAI 砍掉所有支线 all in 大模型,从八十张卡追万卡集群;刘知远当时连副教授都未评上,却在智源运作了千万级资源的项目——“在传统的科研体系里根本不可能”。
- 悟道项目中曾出现唐杰、杨志林、刘知远、黄民烈等中国大模型创业潮的灵魂人物,智源因此被称为“中国 AI 的黄埔军校”;三年后,这家机构迎来首位85后院长王仲远。
2. 院长面试聊了小半年,最后“选了那个最年轻的”
- 王仲远2018年在美团时就以理事单位身份见证智源成立,2023年七八月经引荐接触遴选:“按照以往的科研机构,一般要找个院士或大咖,我当时才三十七八岁,真的会有机会吗?”他坦言“我是心动的,不敢相信”。
- 考核是全方位的:科研成绩、系统落地能力(“不是仅仅发表论文”,要让普通人体验得到科研成果)、以及管理能力——“定战略、建团队、拿结果,要有一整套的体系”。
3. 为什么 AI 是年轻人的事业:成功经验会成为创新的桎梏
- 他引 Hinton“我很多的创新其实都是我的学生做出来的”,以及 OpenAI Sora 技术负责人在智源大会上的话:今天的 AI 突破“颠覆了以往所有的范式”——陷入传统科研范式越深的人越难自拔,“年轻人是不受束缚的,年轻人是没有失败的”。
- 落到机制上:不论资排辈、不看帽子、代表作文化;原生多模态世界模型 Emu3 的负责人今年才二十九岁,“能获得数千万资源的支持”。选人更看“有没有对于技术的理想”,呼应张宏江的“功成不必在我”。
4. 小女孩之问:促成他离开企业加入智源的时刻
- 2023年3月 GPT-4 发布几天后,他去孩子的小学给三年级上 AI 课,全班沸腾“以后可以不用做作业了”,一个小女孩站起来问:“叔叔,如果人工智能什么都能做了,那么将来我们做什么?”“这样一个简简单单的问题直击我的心灵”——他意识到原以为下一代才会触及的 AGI,“在我们这一代就有可能触及到”。
- 他的宏观判断:大模型推动的可能是“一次工业级的革命,最次也是一次产业级的革命”,短则十年二十年,长则三四十年。而在企业里“很难将自己百分之百的精力都 all in 在 AI 上”,内心挣扎之际智源抛来橄榄枝。
- 他给小女孩的答案(自认至今没有准确答案):了解并使用这项技术、形成世界观人生观价值观、培养自我学习和与人交往的能力——大学不再只是考察知识,更重要的是锻炼学习能力和与人交往的能力。
5. 基本功与细节:从微软道德标准到 Facebook 的 bad case
- 他记住的微软入职培训只有一条:“要用最高的道德标准来要求自己”;美团王兴(“兴哥”)的全员信“苦练基本功”则给了方法论——“商业拉长足够多的周期来看,很多的失败最终都源于基本功不够扎实”。
- 映射到大模型:为什么不同公司训出的模型效果不同?“归根结底是基本功”——数据质量、芯片利用率、每次网络故障的处理、“对 loss 曲线中每个异常波动都不放过去追究原因”、评测中不放过任何一个细节。
- 最佳例证是 Facebook 的实体链接:搜“苹果”是公司还是水果,团队起初“只关注指标不关注细节”,准确率很低;他深入分析各种 bad case——“当我们深入去看每一个细节的时候,自然而然你的解法就产生了”。
6. 离开微软:世外桃源与“担心被时代抛弃”
- 2016年,BAT 已成、美团和今日头条崛起,“各种高楼平地起”,而研究院是“安全的港湾,有点像世外桃源、乌托邦、象牙塔”;“我似乎意识到这个世界在发生剧烈的变化,我很担心被这个时代抛弃”,于是选择去商业性质更强、更接近产品的公司。
- Facebook 的松紧哲学:陪产假四个月、周三在家办公、三餐全免,但通过 weekly scrum、高频 OKR review、激励与淘汰机制“让你不断证明自己”,且“周围都是全世界最顶尖的研究员和工程师,不进则退”。主持人的总结被他认可:“过程上宽松,结果上严格。”
- 他把这套经验带进智源:取消上下班打卡、S 和 A 级员工年终奖“大幅提升,甚至超过互联网公司”,同时保留淘汰机制。
7. 快与慢:Llama 4 的教训与低垂果实的正循环
- 当天早晨内部还在聊“为什么 Llama 系列最近不那么给力”——从 Facebook 朋友传出的说法(他注明“不一定正确”):一拨人做几个月就换一拨人,“在快节奏的调整中缺乏了积累和沉淀”。“我的第一反应是,这非常符合 Meta 的 move fast and break things 文化”——某些方面有独特突破,某些方面就不适用。
- 智源的对应策略:确定性的事情要快(“你不快,别人就抢先做出来了”),长期探索给两三年的耐心与试错空间。主持人补充的机制他完全认同:先通过短期结果证明自己、获得更多资源,进而“去打更大的仗”;“否则,当你说要做一个重大的创新突破时,如何让投资人、资源拥有者有这样的信心?”
8. 认知迭代:《刷新》、电梯十八楼与 growth mindset
- 萨提亚·纳德拉《刷新》里两个词影响深远:同理心与 growth mindset——“一个优秀的人会随着这个世界、接触到的人和知识,不断迭代自己的认知”,对应的 fixed mindset 就是“这个人太固执了”。
- 美团“老王”的电梯比喻值得保留:“当你坐的电梯到了十八楼,到底是你自己有能力到十八楼,还是你在电梯里不断地蹦跶,是你蹦跶的能力到了十八楼?”复盘要“不仅把对的部分认清楚,还要把错误的部分反思清楚”。
- 他的职业总结:在微软学做研究,在 Facebook 学快速落地,在美团学管理——“不同的优秀企业背后是有共性的,都需要做认知的迭代”。
9. 练心智:愚昧之巅、绝望之谷、开悟之坡
- 美团管理四件套“定战略、建团队、拿结果、练心智”中最后一项:“即使你尽了全力,你依然有可能失败,这时候你的内心需要足够的强大。”老王的话他记到今天:“练成了,大家一起成就;失败了,就互相成全。”
- 美团版的这套路径是:顺利的人“错误地将天时地利人和综合的结果完全归因于自己的成果”,就处在愚昧之巅;管理者要“把你推向绝望之谷”,再从中爬上开悟之坡——“看哪些事情可以凭能力而为,哪些要顺势而为,哪些也许应该放弃”。
- 被问“你经历过绝望之谷吗”,他的回答原样保留:“肯定经历过,但我不想分享。”走出低谷的方式是去挪威罗弗敦群岛旅行:“你会发现世界如此之大,为什么我要把自己局限在自己的茧房当中?每个人的人生路径可以有很多,不一定只有唯一的路径。”
10. 快手的顿悟:Transformer 要“大一统”了
- 在美团他从只身一人做到负责四五百人的搜索与 NLP 部门;在快手接手 MMU 团队后力推的第一个项目是把视觉底层架构全部升级为 Transformer——“那个时候在企业里 Transformer 依然是有争议的,因为消耗的资源量挺大”。
- 关键洞察:当 NLP(BERT、GPT)、视觉、音频的底层都转向 Transformer,“我开始意识到,人工智能深度学习有可能要开始大一统了”——以前各领域编码方式、数据格式、网络结构互不相同、各做各的。
- 他给主持人的比喻:“就好像咱们国家有五十六个民族,但都有一个共同的语言叫汉语——当我们都能用普通话,不同模态之间就可以交流了,就有可能融合,产生意想不到的效果。”
11. 跨模态、多模态、全模态、原生多模态:一场名词祛魅
- 他的辨析:“此多模态非彼多模态。”图像、视频理解类模型多是“以 large language model 为核心,再加不同模态往语言模型映射(CLIP 之类)”的组合式;文生图用 diffusion,文生视频用 diffusion transformer——背后的技术方案并不一样,“非专业人士分不清你说的是哪一个多模态模型”。
- 全模态更代表大一统:所有模态都能作为输入和输出,就像人脑“闭上眼睛也能想象到画面,就像一个视频一样,更加类人”。原生多模态的关键在于“从一开始就设计出一种统一的架构”,而非先有语言模型再拼接。
12. 大模型远没有到尽头:数据枯竭的三条出路
- 智源的战略争论是:大模型已产业化,智源还要不要做?结论是“已经成熟和收敛的技术路线基本局限于大语言模型,它应该交给企业来做”。而 Ilya 在 NeurIPS 说过“全世界只有一份互联网数据”,pre-train 阶段可能已经结束。
- 三条出路:一是合成数据——当机器智能达到或超过人类,“就有可能创造出比人类创造的还高质量的数据反哺训练”,重要但“还没有完全突破”;二是后训练与推理模型——慢思考“又发现了一条新的 scaling law 曲线”,才有了 o3、o4、DeepSeek R1 及大家期待的 R2;三是多模态。
- 多模态的量级论据是全片最硬的数字:声音、图像、视频、3D、脑信号等模态的数据量“可能是文本数据的百倍、千倍乃至万倍”,还没有被有效用于大模型训练。
13. 多模态能否提升智能:一个 NLP 出身者的自我修正
- 他承认学界和产业界对此有争论,且自己曾有 NLP 人的“天然自豪感”——“语言是人类所独有的完备体系”,很多研究者认为“语言才是边界”。
- 他的转向:“能否提升智能非常取决于你对智能的定义。对于很多的动物来讲,它没有语言体系,它也有它的智能”——觅食、交流、攀爬、靠气味分辨,甚至有一些能力人类并不具备。
- 更务实的一击:真实落地中“仅有语言的模态是远远不够的”——PPT、流程图、设计图、医疗的核磁与 X 光、教师的教案笔记全是多模态,“不管它能否提升智能,它是人工智能一定要突破的方向”。且人类学习本就先于语言:“我们刚出生不会说话,但已经开始通过视觉学习了;系统性的语言学习是从幼儿园、小学才开始的。”
14. 捷径的代价:“博士”接上多模态后退化成“高中生”
- 现有以大语言模型为核心的多模态理解模型的怪现象:语言模型训到博士生水平,加入其他模态后“智能水平似乎退化了,退化成大学甚至高中水平”——“经常看到的问题就是三点一大还是三点二大它搞不清楚了”。
- 他的比喻辛辣:“特别像你在一个封闭的环境学到了博士学位,最后面告诉你这个世界是这个样子的,你受到巨大冲击以至于精神有些失常,智力下降,浑浑噩噩地解决一些问题。”而人脑“接触到的知识越多越聪明,并不会有一天突然不会说话了”——这正是原生多模态要探究的神经网络本质问题。
15. 什么是世界模型:预测下一个动作,而不是描述静态画面
- 现有多模态模型“对空间和时间的感知不够好”,只会描述静态画面:“这边有两个人在交流,都穿着黑色的衣服”——“但我们在真实世界里很少这么交流”,人的第一反应是预测下一个场景、下一个动作。
- 他的例子如实保留:水瓶放在边缘,“我不小心一碰它就有可能跌倒;如果瓶盖没盖是更危险的行为,因为水会洒一地——因此人类自然的动作是赶紧盖好、把水放中间一些”。它不会去说“这个水放在边缘,一个透明的塑料瓶上面没有标识”,这不是我们的思考方式。
- 杨立昆2023年在智源大会提出世界模型,但“行业里还没有很明确的定义”——连名词含义都未定,各家的技术实践路径自然不统一。智源的选择:用“很简单、很容易扩展、能够 scale up 的结构”训世界模型的 foundation model,“最终能不能达到期待的效果还有待验证;也许还不够,需要再加一些模块”。
16. 三位图灵奖得主的不同路线
- 他今年二月与 Bengio、杨立昆交流时观察到:杨立昆不相信自回归(autoregressive),“在很多场合挑战说大语言模型的技术路线是不正确的,无法达到 AGI”;Bengio 不相信强化学习、认为其不具备泛化能力,作为悲观派主张“只有智能没有自我”的 scientist AI,用相对统一的管控方式构建安全的 AI。
- Sutton 作为强化学习之父则穿着花衬衫宣称乐观,“人类从出生开始就在跟这个世界不断交互,得到 reward,然后再成长”,提出 AI 要迈入体验时代。
- 主持人问智源是否与 Sutton 同一阵营,他拒绝简单划分:“我们没办法简单地划分阵营。”“有人爬南坡,有人爬北坡,也许最终都可以爬上去,但大家经过的风景是不一样的。”
17. 具身智能为何今年这么火——以及为什么要警惕泡沫
- 他坦言“我也不知道为什么具身智能这么火”,但给出三个因素:人形机器人“终于能走起来、走得稳了”,让“碳基生命和硅基生命似乎有可能开始共存”的想象成立;强化学习在语言模型上的作用让研究者相信机器人 RL 也能突破;大模型让机器人“开始看到这个世界”,加上政策支持。
- 泼冷水的部分毫不含糊:“具身智能是五年到十年周期的,甚至更长”“具身智能不等同于人形机器人”“大家千万不要认为未来三年机器人就满街跑,这是一个完全不切实际的期待”——热度起太快,“很可能在未来一两年陷入到泡沫的低谷”。
- 关于智源的位置:“我们不是一个跟风的机构,不是因为具身智能火才做具身智能,恰恰是因为我们做了具身智能——某种程度上是我们带火了具身智能,我也不确定。”选择具身的战略逻辑:AI 要造福人类,“它不仅可以作诗,它还要做事。当它做事情的时候,它需要有一个本体”——机械手臂、轮式单臂、轮式双臂或人形都行。
18. 具身的技术路线:foundation model + 强化学习,以及拆糖果的两岁小孩
- 他的路线判断(自称“仅仅是一家之言”):类比大语言模型“foundation model + RL 后训练”的成功,具身智能“很可能是一个多模态模型或世界模型作为 foundation model,再通过真实世界的数据采集或体验学习,不断激发能力并把学到的技能记住”。
- 真实世界的佐证如实保留:今年春节,一个两岁小女孩在没有大人教导的情况下学会拆糖果、把蓝莓穿在牙签上——“我们都震惊了”。原因是她刷手机看了大量主播拆糖果的视频,大脑学习到了这种能力,又在真实世界里实践——最开始撕不开,后来发现锯齿的地方可以撕开,于是学会了。
- 强化学习之外的历史局限也被点明:以往基于 RL 的无人驾驶、机器人拿杯子“依然局限在展示,不具备像人类一样泛化的决策行动能力”。
19. 物界系列与 RoboBrain:最强大脑的验证是真机部署,不是榜单
- 今年智源大会发布的物界系列(“界”代表“虚实世界边界的突破”,与当年“悟道”——五道口谐音——一脉相承):原生多模态世界模型 Emu3、脑科学多模态通用基础模型 Brain-Mind、跨本体大小脑协作框架 RoboOS 与具身大脑 RoboBrain(均已迭代到2.0)、全原子微观生命模型 OpenComplex。
- “最强大脑”的依据:RoboBrain 在空间理解、任务规划等能力上与行业内 vision-language model 及其他具身大脑模型做了评测,“确实证明在这些能力上超过那些模型”,且已开源。空间任务的例子包括:“帮我拿那个最红的苹果”“那个最大的苹果”“最上面的苹果”;“拿水时前面有遮挡,要绕过去或移开”——对人类很简单,对现在的机器人却非常难。
- 对 Meta 世界模型 V-JEPA 2 登顶 Hugging Face 榜单,他的回应克制:“技术路线上就不太一样,且榜单在这件事情上的意义甚至不那么大。”智源对具身团队“非常重要的要求就是真机部署”,在真实场景验证而非刷榜;“这些新闻总会不断出现,我们依然按照自己的节奏和技术路线往前走”。
20. 真开源的账本:BGE 数亿次下载,却追踪不到谁在用
- BGE 通用向量模型去年十月登顶 Hugging Face 月度下载量榜首,且是2023年以来 Hugging Face 所有 AI 模型中截至去年年底的下载量第一名,“下载量数亿次”——大量企业朋友私下反馈“你们的 BGE 模型真的好用,我们内部都在用”,包括耳熟能详的国内外大型互联网公司和热门创业公司,“当然他们不会在公开场合这么说”。
- 开源数据下载数百万次,登记信息显示覆盖30多个国家和地区、数百个机构。真开源的定义:不像商业公司只开权重,智源把“代码、数据、模型本身、评测方法全部开源”——“骨子里就一直有‘功成不必在我’的理念”,育出的苗“不一定非要在智源的土壤中长出来,交给市场、交给企业也是很好的贡献”。
- 资源的现实约束也未回避:“作为非营利机构,我经常深深感受到发展所需资源的瓶颈,很多时候不得不做各种无奈的选择”——但如果技术路线选对,具体到某个团队,获得的资源有可能还不如大企业,智源“还有可能用更少的资源,做出比它更好的成果”。
21. 对“中场休息”的部分认同与 scaling law 的长镜头
- 姚顺宇判断 AI 进入中场休息、从“训练大于评估”转向“评估大于训练”,他答“我部分认同:也许在大语言模型是这样的”——去年六月他就预判年底国产模型可追上 GPT-4、之后 Agent 是重要方向,DeepSeek 的出现印证了这一点;即使没有 DeepSeek,也会有其他国产模型有可能追上 GPT-4。模型可用后,评测和用户洞察就变得关键。但研究院要继续推上限:“整个物理 AGI 时代的到来,还需要那么几次的技术的重大突破。”
- Scaling law 之辩他给出全片最可引用的数据链:2018年 BERT 一亿参数,距人脑差一百万倍;GPT-3 一千七百五十亿,差一千倍;GPT-4 的1.8万亿,差一百倍。“当我们的模型有一天能够到达人类大脑的参数的时候,我们再来论证 scaling law 到底是有效还是没效”——算力遵循摩尔定律逐步发展,数据加入多模态之后,“我对 scaling law 还是 believe 的,对神经网络这条技术路线是 believe 的”。
- 架构问题同理拉长周期看:Transformer“已被证明是非常通用、能实现数据 scale up 的架构”,效率问题确实存在,但替代它“跟芯片加速、算子优化紧密相关,需要比较长周期不断被论证、被验证”。
22. 大模型之外的种子,与“掰手腕”的务实姿态
- 人脑与大模型的学习路径差异是留种子的理由:人脑“大概十几瓦的功耗就能完成如此复杂的理解、推理和交互”、看几张图就认识猫狗,而大模型要读全互联网、用庞大集群训练。因此智源以“小资源投入+充分时间空间”布局类脑智能、数字孪生心脏、蛋白质和生命分子建模——Brain-Mind 正是“一个很小的团队”把脑电、功能磁共振、双光子等信号放进统一架构后“产生了意想不到的效果”。
- 与世界顶尖机构的差距他直言不讳:“不论在资源的投入还是人才的密度上,我们还做得远远不够。”但差异在于中国“广阔的市场、庞大的用户群体、完备的创新创业体系”——“我对长期非常非常有信心,没有任何力量能够阻碍我们在人工智能上的发展”。
- 收束的姿态是全片的精神注脚:“追寻登顶珠穆朗玛峰是我们的追求,一步一步地爬坡是我们正在做的事情”“不积跬步,无以至千里”——以及那句最确定的预判:“人工智能将正式地从数字世界迈向物理世界。”
Full transcript
愚昧之巅,绝望之谷,开悟之坡。你经历过绝望之谷吗?
肯定经历过,但我不想分享。
我开始意识到一点:人工智能深度学习有可能要开始大一统了。越简单的结构、越统一的结构,越有可能具备更强的生命力。
能否提升智能,非常取决于你对智能的定义。对于很多动物来讲,它没有语言体系,但它依然有自己的智能。
对,仅有语言模型是远远不够的。
人工智能将正式从数字世界迈向物理世界。
Hello,大家好,欢迎来到商业漫谈,我是诗洁。创新应该以何种方式被规划?三年前我曾经写下过一个中国式尝试。2023年在中国大模型正如火如荼的时候,我曾专访过智源研究院创始理事长、美国国家工程院外籍院士张宏江博士。作为一家非盈利机构,智源效仿 OpenAI,是一家独立于政府、商业和高校之外的新型科研机构。2018年,前微软亚洲研究院创始人之一、刚从金山 CEO 位置上退休的张宏江主导了这一切。在张宏江博士看来,真正的科研创新需要让年轻学者在最有热忱和动力的年龄展开真正高效的学术研究,做最前沿、敢于失败但值得长期投入的技术探索方向。所以当年的智源就坚定地喊出了要给年轻人以舞台。2020年,智源最早启动大语言模型悟道系列,为此调度大量资源,并大胆启用年轻人。后来,中国大模型创业潮里的灵魂人物唐杰、杨志林、刘知远、黄民烈等,都曾是悟道项目中出现过的身影。智源研究院也被称作中国 AI 的黄埔军校。距离那次采访已经过去三年,智源研究院经历了从大语言模型到多模态世界模型的研究路线进化,而这家年轻的机构也迎来了首位 85 后院长,也就是本期嘉宾王仲远博士。2018年,33岁的王仲远曾被麻省理工科技评论评为35岁以下科技创新35人中的远见者,理由是他曾在知识图谱和 NLP 领域解决多项挑战性问题,是 AI 领域杰出的青年科学家代表。过去近20年,仲远先后经历过微软、Facebook、美团、快手这四家大厂,长期从事 AI 相关研究和产业化。他的到来也为这所年轻的研究院带来了全新的视野和氛围。在今年六月初的智源大会上,智源空前地邀请到四位图灵奖得主,并发布物界系列模型,其中多个重要项目负责人都在30岁上下。我们的对话就发生在智源大会后一周。在这期节目中,你将会听到为什么 AI 是年轻人的事业,具身智能是未来吗?什么是世界模型?它会在通往 AGI 的路上扮演什么样的角色?以及为什么让模型理解文字之外的客观世界是一个更让人兴奋的未来?欢迎仲远,谢谢你。先跟大家打个招呼吧。
Hello,大家好,我是智源研究院的王仲远。
仲远是非常 high level 的一位嘉宾,不是因为今天的 title 是智源研究院院长,而是因为我看了你所有过往的履历和经历,确实是一个年轻而优秀的代表。所以今天我可能会代表很多年轻的听众和读者朋友,多问一些关于成长方面的问题。
好呀好呀。当然,这场访谈也会涉及很多硬科技的技术和知识,包括行业的发展。
1. The Youngest Director
今天这个对话有一个渊源,应该是 3 年前。2023 年的时候,我采访了智源研究院理事长张宏江老师。那个时候你还没有来,刚好记录了当时智源的一个非常关键的转型期,也梳理了一下智源的历史。那篇文章我也看到了,真的是非常好写,也非常有深度。
我当时采访宏江老师,印象最深的是一点:他跟我说,一定要支持年轻人,给年轻人机会。我记得他当时给我举了几个例子。
第 1 个例子是说,2020 年 GPT-3 出现之后,智源研究院也像当年的 OpenAI 一样,把其他所有的支线全部砍掉,all in 大模型,也使得智源变成了中国最早全力做大模型研究的机构。
第 2 个点是,因为当时 GPT-3 是万卡集群,而智源是从 80 张卡追起。唐杰教授当时也非常年轻,就想办法去搞卡,这也是一种年轻的力量。
第 3 件让我印象特别深的事情,是刘知远教授跟我说的。当时刘知远教授连副教授都没有评上,是一个年轻人,但他在智源申请说想做大模型,智源就给他批卡。他最后应该运作了一个千万级资源的项目,他跟我说特别感谢智源,因为在传统的科研体系里面,一个这么年轻、连副教授都没有评上的人,根本不可能调度这么大的资源。
所以当时宏江老师就说,一定要给年轻人机会。我们今年也看到,国家领导人说,AI 是年轻人的世界。你是智源历史上第 1 位 85 后院长。
对。
所以我觉得你的到来就给了大家信心,让大家相信智源是一个年轻人的舞台。
那我们先从你个人讲一讲。首先,从智源组建的第 1 天开始,我就知道这个机构的存在。2018 年的时候,我还在美团。
对。因为美团也是智源的理事单位和发起单位,我当时在美团负责整个 NLP 加搜索的团队。其实 2018 年的时候,BERT 模型已经出现了。在这样一个趋势之下,智源研究院成立了。
我对智源研究院最早的印象,其实是智源学者一堆的大咖都聚集在了智源这样的一个机构。每年的智源大会也都非常火爆。那个时候我就看到,跟我也差不多、原来都挺熟的一些助理教授、副教授,在智源这边也开始承担很重要的项目。
慢慢地就觉得,这是一个很有意思的机构。到 2022 年底,ChatGPT 发布之后,其实促成了我很多的思考。真正开始跟智源这边接触,已经是 2023 年七八月份的时候。宏江博士也是通过别人的引荐接触到了我,然后说:“愿不愿意跟智源聊一聊?”
所以我当时在想,智源研究院是行业里面非常强的一个机构,他们要遴选院长。我这么年轻,按照以往的科研机构,一般来讲要找一个院士,或者找一个大咖。当时 2023 年我大概也就 37、38 岁,我还觉得,真的会有机会吗?
你是心动的,是吧?
我是心动的,但不敢相信。不敢相信他们会找到这么年轻的人。
包括智源研究院是北京市的一个新型研发机构,其实我跟北京市也有很多交流。很有意思,最后他们从几个候选人中选来选去,做了一个决定。
他们说选了哪个人?
他们说,选了那个最年轻的。
我很好奇,找工作是要面试的,选院长也要面试吗?
肯定啊,而且是非常多轮,一轮又一轮,前前后后聊了也有小半年。
他们考核些什么呢?
我觉得会是全方位的。作为院长来讲,第 1 个,到底有没有在科研方面足够的理解和过往的成绩。
然后在系统开发上,因为智源的定位就是新型研发机构,我们不是仅仅发表论文。系统上有没有实际落地的场景?甚至在我加入智源之前,我在快手的时候还负责了一些业务,包括工程团队,所以智源还是非常看重落地能力的。
刚才讲的系统是指什么?
系统指的是最终要让大家能够体验得到科研成果,而不是一个在论文里面、可能只有专业人士才能体验到的成果。系统能让普通人也有机会体验到。
作为院长,其实还需要有管理能力:定战略、建团队、拿结果,要有一整套体系。
我看你的履历,你是非常擅长快速拿结果的。一会儿我准备好好跟你聊一聊。那为什么 AI 是年轻人的事儿?
2. Youth Drives AI Breakthroughs
这也是一个非常有意思的问题。很多技术的突破,其实都是年轻人做出来的。当然,我个人认为,以前辛顿教授也提过类似的观点。他说:“我很多的创新,其实都是我的学生做出来的。”
在人工智能这个领域尤其如此。去年智源大会的时候,OpenAI Sora 的技术负责人提到,我们今天做的所有人工智能技术突破,都颠覆了以往的所有范式。
这也就意味着,以往可能陷入传统科研范式越深的人,越难以自拔,越难以突破那种思维的局限和惯性。年轻人有时候是不受束缚的,年轻人是没有失败的。真正的突破,需要去做这些尝试。
往往成功的经验会成为未来创新的桎梏。所以,这是我们探讨青年人挑大梁这一点非常重要的理念来源。
我们很多重大的科研项目,都是由年轻人担当整体负责人。比如我们所说的原生多模态世界模型 Emu3,它的负责人今年也才 29 岁。他能够获得数千万资源的支持,也能够获得团队的支持。
我想问一些比较微观的问题:你们怎么塑造这种氛围?有没有一些比较具体的例子?
我觉得智源有几个非常核心的理念,包括不论资排辈、不看帽子,倡导代表作文化。
我们在遴选项目负责人的时候,更多看的是:你过往有没有一些能够证明自己科研能力的代表作。这个代表作可以是论文,代表你能够有创新突破;也可以是你做过的一些开源项目,代表你在行业里面有没有自己的认知和影响力。这些可能代表的是过去。
更为重要的是,我们要看这个年轻人有没有技术理想、对科研的追求,以及系统落地的能力。
我记得采访宏江博士时,他提到了一句话,叫“功成不必在我”。
对,我非常认同这句话,确实是“功成不必在我”。
但是,怎么去筛选一个人到底有没有技术理想呢?
3. Technical Ideals Shape The Mission
有很多方式。首先,我自己就是一个理想主义与现实主义交织、不断融合的人。我一直都希望能够用人工智能来造福人类。当我开始学计算机时,本质上就在做这样一件事。
为什么会有这种理想?因为我觉得,从计算机发明之初起,微软当时就有一个愿景:让全世界每一个人都能够用得上电脑。
当我开始接触大数据,包括做知识图谱、做 NLP 的时候,我们最希望的就是,做的每一项技术最终都能被全世界每一个人使用,而且大家用了这项技术之后会说:“真的好用,真的解决了我的一些问题。”这自然而然就变成了我们的理想和追求。
当然也有很多现实。现实是,我加入微软亚洲研究院的时候,深度学习刚刚开始。我们也做了很多技术突破,但依然会发现,AGI 离我们可能还有 40、50 年。
我当时觉得,我们先解决具体的问题,解决很多单点技术。AGI 可能是我们下一代的事情。
一切的改变,又回到了刚才提到的 2022 年底 ChatGPT 的发布。我印象很深,应该是在 2023 年 3 月份,那时候 GPT-4 刚发布没几天。我到我们家孩子所在的小学,给 3 年级的小朋友上了一堂人工智能课。
我给他们讲:“你看,我们做的数字人有多么有意思。ChatGPT 能够把语文、数学、英语、音乐、美术每一个科目的小学题都解决得非常好。”
全班小朋友都沸腾了,大家说:“好厉害,以后可以不用做作业了。”
当时班上有个小女孩站起来问我:“叔叔,如果人工智能什么都能做了,那么将来我们做什么呢?”
这样一个简简单单的问题,直击我的心灵,让我反思了很久。我原来觉得,AGI 依然是下一代的事情,甚至下一代能不能接触到 AGI 都还不确定,但现在似乎在我们这一代就有可能触及到,而且我们的下一代很可能就会跟它共存。
那么到那个时候,这个社会到底会是什么样的社会?我们现在做的技术突破,还有哪些没有解决?解决完之后,人工智能又会发展到什么程度?
我突然意识到,这似乎又回到了当年我从学校毕业时、深度学习刚刚兴起的那个阶段。技术要面临重大突破,产业有可能面临重大变革,但技术突破的程度还不足以支撑整个产业立刻发生变化。
所以,对于大模型推动人工智能走向通用人工智能,我相信它有可能是一次工业级的革命,最次也可能是一次产业级的革命。不管是哪一种革命,都可能持续几十年,短则 10 年、20 年,长则 30、40 年,甚至对人类整个未来都有重大影响。
这个时候,在企业里面有时会有力不从心的感觉。我很难把自己 100% 的精力都 all in 在 AI 上,因为我可能还得负责企业的业务。
这个时候,我内心是非常挣扎的。也就在这个时候,智源研究院向我抛来了橄榄枝。
你讲那个小女孩的故事特别感染我。你当时是怎么回答她的?
很坦诚地讲,直到今天,我依然没有一个很准确的答案。
我当时回复那个小女孩:固然人工智能在不断发展,有很多不确定性,但可能有几点非常重要。
第 1,要去了解这项技术、使用这项技术,同时也要思考它能够帮助我们解决什么问题,以及不能帮助我们解决什么问题。
第 2,其实人在这个社会里面,更重要的是世界观、人生观、价值观。这三观的形成,能够让你变成一个对社会有用、有价值的人。
第 3,可能是自我学习的能力。我们总说,在大学里面,很多人高考完之后觉得,到了大学就彻底放松了。但实际上,大学不再是简单地考察各种知识,更重要的是锻炼你学习的能力,以及跟别人交往的能力。
所以我当时也给小女孩回复了自己的一些想法,仅仅供他们参考。
当然,我会时不时想起这样一段对话,也会想起原来我认为要 40、50 年才能实现的场景,有可能真的把时间缩短到了 5 年、10 年,就有可能触及。
那么在这个时候,我们应该做些什么?我应该为它做些什么?这些都是促使我最终决定加入智源研究院的原因。
明白,这是非常重要的一个原因。
你们的很多理念和对未来的信仰,其实都藏在具体的战略和动作里面,待会儿我们会仔细聊到。
我想先问一下,你刚才提到三观——世界观、人生观、价值观。你自己的三观是怎么形成的?
原来我确实没有非常系统地思考过自己的三观。但你刚才这个问题,让我又回想起我在中国人民大学时的一次经历。
当时我作为师兄师姐,给大一新生做了一次讲座。我在里面提到,我们要“做人、做事、做学问”。某种意义上,这也是在阐述三观。
有能力的人,如果道德不过关,可能对社会的危害更大。我加入微软时有很多入职培训的细节已经不记得了,但唯一记得的是:要用最高的道德标准来要求自己。
只要按照这种要求来行事,基本上就不会出错。所以微软要求员工以最高道德标准行事,这是我自己的个人总结,其实他们不会这么直白地说。
大概在 2018、2019 年,美团的王兴,兴哥,发过一封全员信,叫“苦练基本功”。他说,商业拉长足够多的周期来看,很多失败最终都是源于基本功不够扎实。
做任何事情,做商业,最后大家比拼的都是基本功。你能不能把基本功的每一个细节、每一个知识点都做到足够到位?做到位了,最终组合起来,才是一个非常扎实的成果。
包括大模型,大家都会问,为什么不同模型公司训练出来的模型,效果有的好一些,有的差一些?其实归根结底,在我看来也是基本功。
数据的质量怎么样?你是不是能够抠很多细节,最终把数据质量做出来?训练的时候,是不是把效率优化做到了极致?芯片利用率怎么样?网络通信中的每一次故障,是不是都能处理好?
算法中的每一行代码,是不是都有足够的敬畏,能够扎进去研究其中的细节?在这个过程中去看 loss 曲线,是不是对于每条 loss 曲线中的异常波动都不放过,追究它的原因?
包括评测,对于每一次评测异常的结果,是不是都愿意不断追究,不放过任何一个细节?这种抓细节的能力,其实就是苦练基本功。
说到这里,又勾起我另外一段回忆。当时在 Facebook 做实体链接,也就是搜索和知识图谱的结合。
最开始他们的准确率很低。比如在 Facebook 上搜索“苹果”,你搜的到底是苹果公司,还是水果苹果?在不同上下文中,它可以链接到不同的实体,这就叫实体链接。背后可能有一个非常大的知识图谱。
在这样的链接过程中,我们会看实体链接的准确率:你把“苹果”链接到的实体是不是正确的,搜索结果是不是用户想要的。
最开始实体链接的效果确实比较差,但我发现,原来他们在做的时候只关注指标、只关注结果,却没有关注细节。
所以我非常深入地分析了各种 bad case。当我们深入看每一个细节时,自然而然就会产生解决方案。
所以你是在错题集里归纳总结,是吗?
对。你提到的“细节决定成败”非常好。细节决定最终的成果,当然细节也是基本功非常重要的组成部分。
明白。所以你刚才提到,很多时候你在不同的企业、不同的机构,好像很快都能拿到一些成果。
我想很重要的一点,就是我比较关注细节。直到今天,对于一些重大项目,我依然会盯得很细。
你人生中第 1 次感受到做学术研究的快感和激动,是什么时候?
4. Research Must Serve People
其实在学校的时候,刚才提到过,我当时在申请 Sigma 奖学金。我们那时做了一个 Deep Web Learning,很多人可能不了解 Deep Web。
当时讲网页时,其实有浅层网页和深层网页。深层网页背后有数据库,所以我们做的一项研究,就是如何把深层网页的数据结构化。这其实就是知识图谱的一些雏形。
在中国人民大学孟老师的实验室里,我接受了非常重要的训练,就是研究和系统并重。因为人民大学的强项是数据库和大数据,而数据库是一个系统工程:先要有一个系统,再把系统里面的每个环节都突破到极致。
这样的系统化思维,造就了我后来不管是在微软亚洲研究院,还是在企业,包括今天我们在智源所倡导的以系统的方式开展研究。它们是一脉相承的。
回到刚才的问题,我们当时做 Deep Web 数据集成,最终搭建了一个当时叫“Job 通”的系统,帮助高校学生更加便捷地获取各种工作信息。当时很多人民大学的学生都开始用起来了。
从一开始我就觉得,研究最终是为了服务大家。
你在微软做了很多年,从应届校招生一路做到主管研究员,主要负责知识图谱和对话机器人。这是一个伏笔。
但我看你做了 6 年之后,选择去了 Facebook。当时的原因是,你想从研究走向实践。这个转变又是怎么发生的呢?
5. Research Needs The Real World
这又回到了整个技术发展的趋势。那时已经是 2016 年。我们知道,这次深度学习的兴起,也就是第 3 次人工智能发展浪潮,是从 2006 年辛顿教授在《科学》杂志上的一篇论文开始的,它开启了深度学习的研究。
当然,真正的爆发是在 2012 年。辛顿教授带领两个学生在 ImageNet 比赛上一举夺冠,开始让产业界重新关注:原来深度学习真的 work。
但从 2006 年到 2012 年之间,深度学习也在发展,存在很多技术争论。
2010 年到 2016 年,我在微软亚洲研究院期间,突然意识到自己好像与社会开始有些脱节。
微软亚洲研究院是一个非常好的机构,直到今天我依然非常怀念那段经历。但那时国内的阿里巴巴、腾讯、百度已经形成了 BAT,美团也已经出现,今日头条也已经出现,似乎一座座高楼正在平地而起。
研究院处在一个非常安全的港湾,有点像世外桃源、乌托邦,也有点像象牙塔。微软亚洲研究院虽然也强调 technology transfer,但它其实还缺少跨团队协同,以及搭建更大系统的能力。
通过跟外界交流,以及同学、朋友给我的反馈,我似乎意识到,这个世界正在发生剧烈变化。我很担心被这个时代抛弃。
所以那时我最终决定迈出这一步,去一家商业性质更强、真正能够更接近产品的公司。
我打断一下。在 2016 年这个节点,我相信你应该拿到了很多 offer,其中应该也不乏今天中国的大巨头。
第 1 个问题是,你当时对这些新兴公司是什么样的看法?最终为什么选择了 Facebook?
很坦诚地讲,在微软很长一段时间里,我还是希望把研究做扎实,所以一直待在研究院。后来确实也是机缘巧合,我原来的老板回到了美国,也去了 Facebook。
有一天他跟我说:“仲远,你要不然来 Facebook 看一看吧?”他说:“这是一个快速发展的企业,跟微软的工作风格很不一样。”
如果说微软当时的标签更像 software company,也就是软件公司,那么 Facebook 是真正的互联网公司。产品迭代节奏非常激烈,很多想法大家想到就立刻去做,做了之后马上把它变成产品。Move fast and break things,然后全世界几十亿用户就用到了。
这种成就感,很多时候真的会让人产生很强的 passion。我在 Facebook 工作时经常工作到凌晨一两点,但这从来不是 Facebook 主动要求的。
回国之后,我还跟很多人交流。我说,Facebook 真的在宽松的地方非常宽松。比如当年,男生的陪产假居然有 4 个月,这在国内很多时候不敢想象,在其他很多公司也不敢想象。每周三可以在家办公,早餐、午餐、晚餐全部免费提供。
这是一家让人觉得非常宽松、非常自由,又能够很容易迭代的公司。但它严格的地方在哪里?它通过一系列机制让你不断证明自己,创造新的成绩和结果。
比如当时会有 weekly scrum,大家每周快速同步:“我们做了什么,还要做什么?”包括相对高频的 OKR review、激励机制和淘汰机制,使得大家都在不断证明自己。
更何况,在 Facebook 你会发现,周围都是全世界最顶尖的研究员和工程师,不进则退。
所以我回过头来想,智源研究院也会尝试创造这样的环境。我加入智源之后,做的一件很重要的事情就是取消上下班打卡。我们也增加了很多福利,加大了激励,S 和 A 的同学年终奖大幅提升,甚至超过互联网公司。
当然我们也有淘汰机制,保证能够产生创新氛围,有可能孵化和孕育顶尖科研成果。
我试图用一句话总结:它在过程上是宽松的,但在结果上相对严格。
对,你说到点子上了。
我很好奇,你刚才讲到 Facebook 的口号,就是“快速行动,打破传统”,也就是“Move fast and break things”。这种快和慢之间的哲学,怎么把握?
快和慢需要一个平衡的节奏感。无论模型训练还是企业管理,都需要快和慢的结合。
我们需要看哪些是比较容易摘的果实,要尽快拿到。如果是很确定的事情,就要快。因为你不快,别人可能已经抢先做出来了。
但有一些不确定的事情,就要慢。要给科研人员足够的思考时间、反思和尝试的时间,给他们失败的宽容和试错的空间。这样才有可能真正做到突破。
今天早晨开会的时候,我们还在聊 Meta 的 Llama 4,为什么好像 Llama 系列最近不那么给力。
从 Facebook 那边的朋友传出来一些信息,也不一定正确。他们说,很多时候是一拨人做几个月,做完之后换一拨人又做几个月,不断地换人。在这样非常快节奏的调整过程中,就缺乏了积累和沉淀。
我当时的第 1 反应是,这非常 Facebook,非常符合 Meta 的“Move fast and break things”文化。
这种文化在很多方面会有独特的突破,但在某些方面可能不那么适用。智源研究院现在也是一样,对于很多需要 long-term 探索的科研项目,我们会给予充分耐心。有些项目可能已经做了 2、3 年,我们依然给它足够的时间和空间。
但也有一些项目比较确定,我们就希望大家能够全力以赴,尽快完成。所以这需要一个平衡的哲学。
你讲的内容启发了我一点。我虽然只管过一个小团队,但自己也经常被选拔和被管理,也在字节待过。
刚才讲到的低垂果实,快速拿到是非常必要的。因为你可以营造一个宽松的、适合长期努力的空间,但你选拔的人必须在过往短期快速拿到果实的案例中,不断验证自己,才能为自己争取 reputation。
你要打过简单的仗,才能被赋予打常胜仗的……
你说得非常对。我们需要有一个正循环:你能够证明自己拿到结果,才能获得更多资源,进而去打更大的仗。
否则,当你说“我要做一个重大的创新突破,需要很多资源,需要很长周期”时,如何让投资人、资源拥有者有这样的信心去做?
你点到了我下一个想问的问题。
我们刚才梳理了你在微软和 Facebook 的经历,风格截然不同。
对。
但后来你回到国内,加入的两家公司也各有各的个性,就是美团和快手。
对。
综合来看,你怎么看待这几家公司的风格和创始人的风格?你是否练就了识别人和识别公司文化的能力?
我觉得一定有。非常幸运的是,我在不同公司见证了非常优秀的创始人,这促使我不断反思。
在微软时,有一本书给我留下了非常深的印象,叫《刷新》,是萨提亚·纳德拉写的。里面有两个词对我影响非常深远:一个是同理心,一个是 growth mindset。
为什么我们没办法达成一致?或者为什么我们能够达成一致?理解这些,才有利于合作共赢。
另外一个是 growth mindset,对应的是 fixed mindset。我经常在想,fixed mindset 应该怎么翻译。对应到中文,很多时候我们会说这个人太固执,不愿意改变固有思维方式。
我觉得自己非常幸运,在微软期间就受到这样的训练:一个优秀的人,会随着这个世界、随着接触到的人和知识,不断迭代自己的认知。
在美团,内部会不断对项目进行复盘和认知迭代。你得想想,过去这件事情为什么做对了、为什么做错了。不仅要把正确的部分认清楚,也要把错误的部分反思清楚。
我想起老王曾经举过一个很有意思的例子。他说:“当你坐的电梯到了 18 楼,到底是你自己有能力到 18 楼,还是你在电梯里面不断蹦跶,最后是你的蹦跶能力到了 18 楼?”
其实你需要有非常清醒的认知。这最终促成了我很多反思。
我发现,不同优秀企业之间,背后有一些共性,都需要不断做认知迭代。
所以在微软亚洲研究院,我学会了如何做研究;在 Facebook,我学会了如何快速落地、实现产品落地;在美团,我学会了如何做管理,如何认清一个组织、它的战略、团队和结果之间的关系。
这些东西就在不断学习和迭代的过程中,挺有意思的。
所以美团管理的精髓是什么?
定战略、建团队、拿结果、练心智。
前三个可以理解,大家听过很多了。“练心智”是什么意思?
练心智是说,很多时候即使你尽了全力,依然有可能失败。这个时候,你的内心需要足够强大。
我又想起跟老王的一次交流。他曾经说过:“练成了,大家一起成就;失败了,就互相成全。”
我觉得老王是一个非常有哲学思维的人。
什么叫互相成全?
就是你在这个地方失败了,可能离开了,那也祝福你。也许你不适合这个地方,也许你不适合这个项目,也许你不适合这家企业。互相成全。
你有失败过吗?
肯定有。
有可以分享的失败吗?
太多了,多到我没办法一下子说出某一个特别的、能够立刻出现在脑海里的失败。
人生真实的经历,永远不会像履历或公开报道上那么光鲜。我想每个人都有自己独特的人生经历和独特的挫折。
过去这十几年,作为管理者,我很多时候跟团队下属谈心,聊的其实并不是工作,而是如何一起共克人生的艰难。
我会告诉他们,你不是个例,你跟很多人一样,都在面临类似的困难。练心智,要挺过去。挺过去之后你会发现,自己新的一波高峰又来了。
6. The Valley Of Despair
说到这里,又想起美团的一个理论,叫“愚昧之巅、绝望之谷、开悟之坡”。
很多人成功时会觉得自己很顺利,这时会产生一种错觉,觉得自己无所不能,做什么成什么,觉得自己非常 unique、独特、极度优秀,于是就产生了愚昧之巅。
尤其是特别顺利的人,会觉得自己就是这家企业里最重要的人,就是这个行业里最厉害的人。
但通常处在愚昧之巅时,他没有意识到哪些是自己的能力,哪些是赛道的风口,哪些是平台的能力。
这时取得的成绩,其实是天时、地利、人和综合作用的结果。错误地把这些都完全归因于自己的成果,就处在了愚昧之巅。
所以当时在美团,老王说,作为管理者,很重要的一点是,当你处于愚昧之巅时,要把你推向绝望之谷,让你认识到,很多事情只是你因势而为,并不完全是个人能力。
这时你可能会受到很多挫折,因为社会有自己的运作体系。当失败、处在绝望之谷时,你是否又走向另一个极端,自暴自弃、自我否定?
这也是一种不健康的想法。你需要用更加平和的心态面对这些事情,这就进入了开悟之坡。
你能够从人生低谷中重新爬起来,更加淡然地看待事情,去看哪些事情可以凭能力而为,哪些事情要选择顺势而为,哪些事情也许应该放弃。这样,人生就会进入一种更加怡然自得的状态。
挺有意思的。你经历过绝望之谷吗?
肯定经历过,但我不想分享。
可以,尊重你。那你在绝望之谷的时候,会想些什么,开始爬开悟之坡?
第 1 点,你一定要有这个意识:当你处于绝望之谷时,你不是孤单的。全世界几乎每个人都会经历自己的绝望之谷。
首先要尝试平和。第 2 点,你要用自己最舒服的方式,帮助自己走出抑郁或低谷状态。
比如我自己就曾经选择去旅行。当我到了挪威,去了罗弗敦群岛,那是一片非常美的群岛。我的第 1 反应是:我为什么不早点来?
那里既有雪山,又有红叶、绿叶,还有大海、蓝天白云,特别开阔。你会发现世界如此之大,为什么我要把自己局限在茧房里?
我们知道欧洲人很乐于享受生活。他们的生活如此惬意。在一个可能与世无争、传承了几百年的小村庄里,人们世世代代过着这样的生活,你会想,其实每个人的人生都可以有很多经历,不一定只有唯一的路径,人生路径可以有很多。
所以,当你找到一种能够让自己走出绝望之谷的方式,不管是听音乐、看电影,还是去旅游,能够走出低谷状态,也许就会拥有不一样的视角。
当你有了不一样的视角,就可以开启更加丰富多彩的人生。
明白。回到你在美团的经历,你做了美团大脑,而且这个美团大脑好像现在还在服务它的业务,我不知道……
我听说过。从我只身一人加入美团,到后来离开时负责整个搜索与 NLP 部门,大概是四五百人的团队。
当我的 scope 扩大时,绝对不是因为美团大脑,更多是每一个公司业务项目的成功、技术的落地,以及我们推动搜索体验和各项业务指标提升,才能带来这样的结果。
这也在践行一个理念:既要有短平快、能够拿到的业务结果,也要有为公司打基础、构建平台能力的长期工作。
否则我们会发现,如果基础不牢,上层建筑就不牢靠,拿到的结果很可能只是短期的。
所以我们看到,很多人很擅长拿低垂的果实,却没有长期思考,于是职业生涯总是在原地打转。但他把所有低垂果实都拿完之后,就发现自己的职业生涯似乎没办法再成长了。
你后来从美团到了快手,主要经历是在做多模态吗?
7. Transformer Unifies AI
对。因为快手是短视频平台,它不仅仅有 NLP。事实上,快手的 NLP 在最开始时还不是主流,更多的是视觉和音频。
当时我接手的快手 MMU 团队,天然就是一个 AI 平台团队,包含视觉能力和音频能力。后来我们又建设了 NLP 能力,最后发现很多技术殊途同归。
视觉方面,我加入之后力推的第 1 个项目,就是把整个视觉底层架构、底层模型架构全部升级为 Transformer。
那时在企业里,Transformer 依然有争议,因为它需要消耗的资源量还是挺大的。
但那时是哪一年?
我们看到,2018 年已经开始做 BERT。BERT 的底层其实是 Transformer,GPT 的底层也是 Transformer。
所以在美团时,我发现 NLP 已经开始使用 Transformer。当我开始接手视觉团队时,发现他们也在讨论底层模型架构要不要用 Transformer。那时我开始意识到,这个世界的人工智能深度学习,有可能要开始大一统了。
因为底层架构越来越像、越来越接近,都开始基于 Transformer 训练模型。虽然很多时候它们依然按照视觉 Transformer 来做,音频也开始使用 Transformer。
从原来视频、音频中使用的 CNN 或 RNN 等结构,最终都开始向 Transformer 结构转变时,我意识到,多模态可能成为一种趋势。
这里有两个问题。你能不能用通俗的语言给我们解释一下刚才用的“大一统”?如果大家都用 Transformer,意味着什么?
首先意味着它们在编码时有可能实现统一。
以前不同领域之间互不干扰。比如自然语言处理会分词,分词后做词法分析、句法分析、语义分析,分阶段完成。
图像领域可能有分类任务、标签生成任务,也有把图像转成 embedding 的任务,还有区域识别、物体识别等。它们背后的模型虽然都叫深度学习,但深度学习所使用的神经网络结构各不相同。
结构不统一,编码方式不统一,训练数据格式也不统一,最终就是各做各的。
Transformer 出现之后,语音、视觉、NLP 的底层都开始使用 Transformer,我就意识到,最终有可能出现大一统模型,不同模态可以放在一起融合。
我举个通俗的比喻,你看对不对。假设一共有 30 个人,原来这 30 个人分成 3 个小组,每个小组 10 个人,大家各自用自己的方式解决各自的任务。
你说的大一统,就是把这 30 个人融为一个小组,共同解决所有任务。
就好像我们国家有 56 个民族,但都有一个共同的语言,叫汉语。当大家都能够用普通话时,就可以交流了。
一样的,不同模态之间有了共同语言、共同架构,就有可能进行融合,产生一些意想不到的效果。
你刚才提到了两个概念,一个是跨模态,一个是多模态。我看智源今年的重点就是多模态,而且不只是多模态,是原生多模态。我们一会儿再解释。
我先问一下,跨模态方面,文生图、文生视频、图生文,这些算跨模态吗?
如果单一来看,比如文字变成图像,文字变成声音,或者智源大会上发布的“物界”模型,可以从图像变成脑电信号,甚至脑电信号变成图像,这些都可以认为是跨模态,因为它从一种模态跨到了另一种模态。
但过去两年,大家好像都用多模态来称呼它。
是的。所以我曾经提到过,大家都叫多模态,但此多模态非彼多模态。
你觉得跨模态更准确,是吧?
倒也不一定。现在还有“全模态”这个说法。多模态更像是一个能够统揽所有模态的模型,但行业内的人还是能分清楚。
当然,我们讲图像理解、视频理解时,这种多模态背后的模型基本上还是以 large language model,也就是语言模型为核心,再加上不同模态向语言模型映射的 CLIP 之类的架构。它是一种偏组合式的、以语言模型为核心的构建方式。
但比如文字生成图像,用的是 diffusion、Stable Diffusion 等架构;文字生成视频,用的是 Diffusion Transformer 等架构。它们背后所使用的技术解决方案,跟图像理解、视频理解的技术方案并不一样。
所以当我们都讲多模态模型时,非专业人士很难分清楚,到底说的是哪一种多模态模型。
那你能不能给我们梳理一下跨模态、多模态、全模态到底怎么区分?
简单来讲,跨模态指的是从一种模态变为另外一种模态。
什么叫模态?像文字、图像、视频,甚至视频算单模态还是多模态,也存在一定争论。脑电信号、3D 等,也都可以叫模态。
从一种模态变为另外一种模态,可以简单认为是跨模态。
多模态指的是,我们在输入时就能够接受不同模态一起输入,同时输出时也能够接受不同模态的输出。
现在有些多模态模型,输入是特定几种模态,输出可能只有文字或图像;或者只能从某几类模态变成某几类模态。
全模态则是希望所有模态都能作为输入,所有模态都能作为输出,所以它更代表大一统。
刚才提到,我在快手时就意识到不同模态之间的技术迭代演化,因为它们都采用了 Transformer 这种底层统一架构,具备融合的可能性。
早期做研究时,大家只是简单地把不同模态拼接起来,放到模型里面训练。当然,这又是一个低垂的果实,很快就可以拿到。
现在讲的原生多模态,则希望从一开始就设计出一种统一架构,能够把不同模态各自编码,或者通过某种方式编码进入这个架构。输出时既可以输出脑信号,也可以输出 3D、文字和图像。
因为人类的大脑某种意义上就是全模态的。我们可以接受世界各种各样的信号,也能输出各种各样的信号。
最直接的输出信号当然是文字和声音,但当我们闭上眼睛,也能想象到一些画面,就像一个视频一样。这就是我们的全模态能力,它更加类人。
所以经过这么多年的研究和产业实践,我意识到,越简单、越统一的结构,越有可能具备更强的生命力,也越有可能改变这个世界、改变这个产业。
智源其实预测了 AI 的趋势发展。简单来说,就是从语言到多模态,再到具身智能和 AI for Science,最终到世界模型。这是你们现在提出的趋势判断,对吗?
对。
为什么是这样一个趋势?
8. The Data Problem Changes AI
做趋势预测是风险很高的行为,因为很容易被打脸。当然,基于我自己长期的研究和产业经验,很多时候我们对于大的趋势,还是能够判断得相对比较准的。
先讲讲技术路线预测是怎么来的。去年加入智源之后,很重要的一件事就是梳理未来的战略方向。
就像你刚才提到的,2023 年你采访宏江老师时,也有过这样的争论:大模型似乎已经开始产业化了,智源还需不需要做大模型?包括人才,可能也有很多企业主动来挖。
那么我们接下来应该做什么?
去年我们真正开始梳理、分析未来发展趋势时,有一个基本论断:大模型的发展还远没有到尽头。
大模型虽然推动技术有可能通往通用人工智能,也就是 AGI,乃至 ASI,但现在已经成熟和收敛的技术路线,基本局限于大语言模型。
很多人所说的大模型,主要指大语言模型,以及基于大语言模型构建出来的多模态模型。这条技术路线已经相对成熟,应该交给企业来做。
但我们可以看到,大语言模型依赖的文本数据,主要是互联网数据。就像伊利亚·苏茨克维在 NeurIPS 的一次主题演讲中提到的,全世界只有一份互联网数据。
因此,大语言模型的 pre-training 阶段有可能已经结束。固然还会有一些新的高质量数据,比如领域数据、闭源数据可以加入 pre-training,但人类互联网数据可能已经被用完了。
解决文本数据枯竭,有几种方式。
第 1 种是合成数据。如何让人工智能大模型通过合成数据继续不断迭代训练,这肯定是一个非常重要的研究方向。当前来看,这应该是一个重要研究点,但还没有完全突破。
因为你可以想象,互联网数据和书籍本身也是人类写的,所有文本数据都是人类创造的。如果有一天机器智能达到或超过人类智能,它就有可能创造出比人类创造的高质量数据还要高质量的数据。这些数据就有可能反哺大语言模型,这就是合成数据。
第 2 条路径是,不再关注文本数据枯竭的问题。我已经有了一个压缩了很多知识的 foundation model,但这个 foundation model 的能力可能还没有被完全激发出来,于是就有后训练和推理模型。
去年,后训练和推理模型很大程度上改变了整个产业格局,使慢思考所激发出来的智能,发现了一条新的 scaling law 曲线。
所以我们看到了现在的 o3、o4,也看到了 DeepSeek 的 R1,以及大家期待的 R2。在推理上,有可能继续激发智能。
第 3 种解决数据问题的方式,有可能是多模态。与文本数据相比,其他模态,比如声音、图像、视频、3D,以及脑信号,数据量可能是文本数据的百倍、千倍乃至万倍。
这些数据还没有被有效地用于大模型训练。
这里有一个争论:多模态数据到底能不能提升大模型的智能?这在学术界和产业界都有争论。
我自己是自然语言研究背景出身,作为自然语言研究者,我们天然有一种自豪感。过去我们认为,语言是人类所独有的,没有任何动物拥有像人类这样完备的语言体系。
不同国家、不同地区有不同的语言体系,但这些语言体系又有共同的语义表达。所以以前做自然语言处理时,经常说自然语言处理是人工智能皇冠上的明珠。
很多研究者和产业界人士觉得,语言才能提升模型,语言就是边界。
对。
但这也可能得益于我后来管过视觉、语音,包括做多模态的真实经历。我们也会考虑,多模态一定有它的独特性。
能否提升智能,非常取决于你对智能的定义。
比如对于很多动物来说,它没有语言体系,但依然能够在这个世界生存,也有自己的智能。它能够解决觅食、与同伴交流的问题,甚至拥有一些人类不具备的能力,比如攀爬、快速奔跑,能够通过气味进行分辨,能够对世界进行各种探索。
而且在真实落地时我们发现,仅有语言这一种模态远远不够。真实的各行各业、生产生活中,模态非常多。
比如各行各业都会用 PPT 汇报,这是多模态;有很多流程图、设计图,也都是多模态。在医疗领域使用的核磁共振、CT,包括拍摄的 X 光片,都是多模态数据。
在教育领域,老师的教案、笔记,也都是多模态。
所以不管多模态能否提升智能,它都是人工智能一定要突破的一个方向。
另一方面,我们观察人类的学习过程,会发现它跟现在大语言模型的发展路径不一样。
人类刚出生时不会说话,语言体系还没有形成,但已经开始学习了。我们通过视觉开始接触世界,已经知道某些东西有危险,某些东西可以拿起来。
人类从一开始经历的就是多模态训练:通过眼睛接收世界信息,通过与父母交流学习世界。
事实上,人类系统性的语言学习,是从幼儿园、小学才开始的。我们先学习语文,慢慢再学习数学、物理、化学,越来越复杂。这是一个学习系统。
我们会认为,既然神经网络是在仿照人类大脑的神经网络构建,那么现在固然找到了一条已经走通的路径,其中一条路径把文字压缩进了计算机神经网络。
那么,也应该有一条路径,能够把不同模态压缩进一个计算机神经网络。这就是智源研究院探索原生多模态模型的原因。
我总结一下你刚才讲的原生多模态,和过去两年行业里常见的多模态之间的区别。
行业里很多跨模态,或者叫多模态,其实还是以语言为核心的训练逻辑。但我看你们是要做大一统,做底层融合,把这个叫作原生多模态,是吗?
对,架构选择和数据训练范式都有区别。
现在行业里很多多模态模型,是先有语言模型,再把不同模态映射到语言模型的大模型里面。但实际上,人类的学习过程不是这样的。
人类是从一开始就把不同模态的信息往大脑里装。所以这是一种训练方法和思想路径的不同,这种不同会带来意想不到的效果。
举个例子,现在这种以大语言模型为核心的多模态理解模型,经常遇到一个问题:大语言模型可能训练到了博士生水平,但加入其他模态之后,智能水平似乎退化了,退化成大学水平,甚至高中水平。
我们经常看到的一个问题就是,3.1 大还是 3.2 大,它搞不清楚了。
这跟人类的大脑也不太一样。正常情况下,接触到的知识越多,我们的大脑会越来越聪明,不会突然有一天不会说话了。真出现这种情况,多半是生病了。
但正常情况下,我们接触到其他模态信息时,语言模型能力也应该提升。
这是我们想探究的整个神经网络问题的本质:到底什么样的训练方式,能够训练出优秀的大模型?
我们的原生多模态世界模型,正在做这方面的探索。
为什么是这个顺序?从语言到多模态,再到具身智能、AI for Science,再到世界模型。
9. The Road To Physical Intelligence
首先,从语言到多模态,是因为语言大模型现在已经走通了。纯视觉模态的大模型还没有完全走通。
视觉信号一方面数据量特别大,另一方面有效信息又特别少,所以纯视觉模态大模型目前还在进行很多探索。
我曾经跟谢赛宁交流过。他是做视觉出身的,特别希望探索出一种不考虑语言、只从视觉里面学习智能的路径。我想一定可以获得某种程度的智能,但这些智能能不能达到我们期待的、类似语言的那种智能,也许是两种不同的智能。
所以如果这张图更加完整,它可以从单一模态大模型向多模态发展。
刚才讲了,多模态的统一融合一定是需要突破的方向。否则现在很多多模态模型,依然是低垂的果实:大家走通一条路线,再把不同模态映射上去,发现能够解决一些实际问题,于是先这么做了。
但其中非常核心、底层的科学问题,大家还没有完全探索清楚,也没有完全解决。
原生多模态大模型能够越来越接近人类大脑,也就意味着它能看到世界、感知世界、理解世界,还能跟世界进行交互。它能够思考、推理。
所以我们认为,它最终就要从数字世界具备这样的能力,迈向物理世界。
其实不具备这个能力,物理世界中也可以有一些智能。那为什么智源今年大会发布了“物界”模型?
因为我们认为,原生多模态大模型,或者其他架构的多模态大模型,已经开始出现曙光,有可能进入新的爆发阶段。
它们具备进入物理世界的能力后,对于物理 AGI 的突破会有重大支撑。它能够看到、感知、理解世界,还能够跟世界进行推理和交互,整个新大门就会被打开。
所以“物界”的“界”是跨界的“界”,是吗?
“物界”的“界”,代表虚实世界边界的突破,代表人工智能从数字世界迈向物理世界。
当年我们发布悟道系列大模型,“道”代表我们对于大语言模型系统性方法和路径的探索。“悟道”其实也指五道口的一群人,一起来探索这些方法,是一个谐音梗。
这次是从悟道到物界,从数字世界迈向物理世界。当然,这个过程中依然有很多问题要解决。
多模态大模型能够支撑物理 AGI,这一点尤其不同。我们可以看到,物理世界原来也有一些智能,比如基于强化学习可以做无人驾驶,也可以让机器人拿起杯子。
但它们依然局限于展示,不具备像人类一样泛化的决策和行动能力。自主思考、主动决策并且执行,仅通过强化学习是不太够的。
仲远,我分享一个思考,你帮我判断一下对不对。
我们刚才聊到从语言到多模态。我认为,多模态的下一站重点发展就是具身智能。
我曾经跟一位专门投资具身智能的投资人聊过。他说,他们真正到产业里采访、调研使用机器人的产业时,大家普遍回答,现在真正把大模型用到机器人上的还很少。
结合你刚才讲的,过去一段时间发展比较成熟的是大语言模型,但它没有办法直接用到机器人身上。多模态可能就可以,而且一定要是原生多模态、包含世界模型能力的原生多模态。
你给大家解释一下,什么叫世界模型?
刚才提到,很多多模态大模型走的是捷径,但不一定是终极路线。
走捷径指的是,我有了大语言模型,把其他模态映射到大语言模型的隐空间之后,发现它已经具备了一定的多模态能力。
这就像你在封闭环境里学到了博士学位,最后有人告诉你这个世界是什么样的,你突然受到巨大冲击,以至于精神有些失常,智力下降,开始浑浑噩噩地解决一些问题,但没有解决本质问题。
我们可以看到,很多机器人把现有多模态大模型用上去时,对于空间和时间的感知是不够好的。
很多时候,它看到的只是静态画面的描述,因为这在数字世界里很容易获得训练数据。于是它会说:“这里有两个人在交流,两个人都穿着黑色衣服。”
但你想想,我们在真实世界里很少这样交流。大家的第 1 反应是,他们实际上在交谈,可能这是一个访谈节目。甚至我们不做描述,而是说:“我口渴了,帮我拿一杯水。”
它在预测接下来可能发生的场景和动作是什么。这种动作跟空间和时间相关,所以它需要对世界有更加深刻的理解。
它要知道,当水放在边缘时很危险,我不小心一碰,它就可能掉下去。如果瓶盖没有盖好,会更加危险,因为它掉下去之后水会洒一地。
于是人类自然会赶紧把瓶盖盖好,把水放到中间一些。
这才是人类在真实世界中的自然行为。人不会说:“这个水放在边缘,是一个透明的、没有标识的塑料瓶。”这不是我们的思考方式。
所以,我们认为要从语言能力牵引的多模态,真正走向你说的原生多模态,而且一定是对世界有真正理解的原生多模态模型。
这个过程中,是不是要像人类理解世界一样,去构建世界模型?
对。杨立昆在 2023 年参加智源大会时提出了世界模型,前两天他也发布了最新一版世界模型。
当然,世界模型是一个更加宏大的命题。很多人都在问,什么是世界模型?什么是空间智能?什么是时空智能?它跟现在的大语言模型和多模态大模型有什么区别?
行业里还没有很明确的定义。这意味着,连这个词的含义都没有明确时,大家对它的理解和技术实践路径自然各有各的想法,并不统一。
杨立昆有他自己对世界模型的理解,也做了很多尝试。
我想问,你们的世界模型跟他提出的世界模型有什么区别?
我们的世界模型首先还是一条大一统路径。它其实分了一些模块,但我们希望用更加简单的方式做世界模型学习。
最终能不能达到期待的效果,还有待验证。也许它具备一定的世界模型属性,最终我们发现,靠一个大一统模型具备了很多能力,但可能还不够,需要再加一些模块。
这就像有了大语言模型,再加一个 CLIP,把不同模态接过来。将来的世界模型构造也可能变得更加复杂。
但我们希望,从最开始的 foundation model 就能够用一种简单、容易扩展、能够 scale up 的结构,训练出世界模型的基础模型。这是我们的技术信仰和理念。
2023 年我就在现场。那年 Sam Altman 做开场,Quinn 当时分享世界模型时,我印象特别深。他完全把 AI 比作一个从婴儿慢慢长大的过程,然后去学习。
你们今天跟他还是共识的,就是要让 AI 像人类一样学习。只不过过去可能更多 focus 在人类如何学习语言,但一个人成长的过程中,五官六感都在接收信息。
我想,技术路线上永远会有各种争议,大家也会有各自不同的观点。
我可以分享一个小故事。今年 2 月份,我跟 Bengio 教授和杨立昆交流时,发现杨立昆不相信自回归这条技术路线,也就是 autoregressive。
所以他在很多场合都会挑战:大语言模型的技术路线是不正确的,无法达到 AGI。
Bengio 教授则不相信强化学习。他觉得强化学习不具备泛化能力。今年智源大会上,他提出要有一个 scientist agent,也就是科学家智能体。
他觉得要用一种 scientist AI,只有智能、没有自我的 AI,以相对统一的管控方式构建安全 AI。因为他是悲观派。
但 Sutton 教授会觉得,reinforcement learning,也就是强化学习,是非常重要的路线。毕竟他是强化学习之父,非常相信强化学习。
他认为,人类从出生开始,就在跟世界不断交互,得到 reward,然后成长。
所以你可以看到,在研究界,两位图灵奖得主的技术路线也并不完全一样,对技术路线的主张也不完全认同。
所以,世界模型到底应该怎么实现,多模态到底应该怎么做,其实还没有统一答案。有人爬南坡,有人爬北坡。
你举的这个例子非常好。南坡、北坡最终都有可能爬上去,只是大家经过的风景不一样。
你刚才提到两位图灵奖得主的冲突,也是我今年印象很深的事情。我暂且把他们一个分为悲观派,一个分为乐观派,虽然他们是两场各自的演讲,但我觉得很多观点完全相悖。
Sutton 教授特别有意思。他穿了一件花衬衫,说自己是乐观的,AI 是可以发展的。他还讲到,人类生成的数据将要耗尽,AI 要迈入体验时代。
我不知道这个体验时代是不是跟你们现在做的世界模型相通。你们是一个阵营的吗?
我觉得首先不能简单划分阵营。我的技术路线理解是这样的:
多数情况下,我们会有一个基于海量数据训练出来的 foundation model,再基于强化学习提升、激发它的智能。
大语言模型解决数据枯竭的一个重要方式,就是通过强化学习做后训练,或者做推理 scaling law,使智能不断提升。它其实就是一个 foundation model,再加上强化学习。
在具身智能领域,我们也很可能会有一个多模态模型或世界模型作为 foundation model,再通过真实世界的数据采集,或者体验学习,不断激发这个 foundation model 的能力,并且把学到的技能记住。
这有可能是具身智能发展的一个路线。
我在真实世界中也观察到过类似现象。今年春节时,我看到一个两岁的小女孩,在没有任何大人教导的情况下,学会了拆糖果,也学会了把不同的蓝莓串在一根牙签上。
我们当时都震惊了,因为从来没有人教过她。为什么她能学会?
后来我发现,她在刷手机上的视频。她在视频里看了大量相关数据,很开心地看到一个主播在拆各种糖果。于是她的大脑就学习到了这种能力。
她又在真实世界里实践。最开始她失败了,怎么撕都撕不开,后来发现糖果包装边上有锯齿,可以从那里撕开,于是学会了这个能力。
包括串糖果、串蓝莓、串水果,她发现这样串能够串得牢固,于是学会了这个技能。
这仅仅是一家之言。我认为,最终有可能是一个多模态 foundation model,或者世界模型 foundation model,再加上强化学习,成为未来真正意义上的具身机器人的具身智能。
所以你们今年也做了具身智能的大脑模型,以及具身智能底层的 RoboOS。
RoboBrain 是一个大小脑协作的框架,主要是为了让大脑跟机器人已经具备的小脑更加容易协同和适配。
我想,这可能是我们判断出来的一条技术路线,但会不会成功,还需要验证,也可能失败,确实不知道。
但我想强调一点,这恰恰是智源研究院这样的机构的魅力所在。
我们对于讨论出来的技术路线,回到最早的理念,就是希望有一群有理想、有信念、有技术,尤其有自己技术信仰的年轻人,基于大量分析和过去成功的科研成果,敢于尝试一条全新的技术路线。
我们认为这条技术路线有很大可能成功。如果成功,这是我们对整个中国乃至全世界技术发展的促进,能够让人工智能更好地造福人类。
但如果失败,我们也希望社会、媒体和公众能够对这样的科研创新有一定包容性。
因为在这个社会里,大家很容易看到特别成功的人,再去追寻他的历史轨迹。但实际上,我们也要尊重失败者。只有越来越多的失败者,才有可能产生为数不多的成功。
我们不应该忽略,也不应该过度苛责失败者。恰恰是因为他们的失败,成功才显得弥足珍贵。
一个好的创新环境、一个好的科研体系,就是要鼓励和支持有可能失败的创新。
这让我想到一本书,好像叫《为什么伟大的创新不能被计划》。
培养创新的土壤很重要。你刚才讲的我特别认同,生态和土壤比较重要。
智源研究院正在努力创建的,就是一个让大家有可能突破、做出世界级科研成果的土壤和环境。在这样的土壤和环境下,有可能长出令人意想不到的果实。
当然,即使有了肥沃的土壤,最终也有可能没有我们想象中的收成。
我第 1 次见你是在群访,大概半个月前。你那天也反复强调这件事。我能够感受到,这几年跟随智源关注你们,我会认为智源追求的其实不是那个果实。
果实当然人人都想要,但智源追求的其实是那片土壤。
当我们创建了这样的土壤,就会有越来越多的小苗。有些树可能长成参天大树,有些树也许不一定要在智源的土壤里最终长出来。
我们把这棵苗培育出来之后,也可以交给市场、交给企业,这也是很好的贡献。
明白。那我们还是回到具身智能。
我们发现今年具身智能特别火。首先,你能不能讲一下,为什么是在今年这么火?第 2 个点,我们刚才讲到语言和多模态,其实是要找一个场景,不管是收集数据、训练,还是应用。为什么先挑了具身智能,挑了机器人?
10. Embodied AI Finds Its Moment
首先我也不知道为什么具身智能这么火。
说实话,我第 1 次听到具身智能,还是在快手。那时我们关注到“Embodied AI”这样的一个名词,这个名词似乎开始受到大家关注。
其实当时大家并没有形成共识,说具身智能是不是未来。直到今天,虽然具身智能很火,但我也经常听到其他声音,甚至负面反馈,觉得具身智能是泡沫,是一个发展不起来的领域。
我们永远要尊重这样的声音和争论。
具身智能在过去一两年显得尤其火热,我觉得有几个因素。
一方面,从硬件来看,我们看到人形机器人终于能够开始走起来,开始走得稳了。于是科幻片里大家想象的机器人助手、机器人保姆,甚至机器人朋友,都有可能出现。碳基生命和硅基生命似乎有可能开始共存,大家就有了这样的想象。
第 2 点,在强化学习方面,因为强化学习帮助语言大模型进一步提升了能力,所以做强化学习的研究者开始相信,机器人的强化学习也能够进一步突破。
第 3 点,不管是大语言模型开始让它有可能像人类一样说话和交流,还是多模态大模型——即使是现在比较局限的、我们刚才讲的拼接式多模态大模型——都可以让机器人开始看到世界、感知世界,让大家看到一些曙光和希望。
当然,还有很多政策方面的支持,使得具身智能越来越火。
但我在不同场合也多次强调和呼吁,在我看来,具身智能是一个 5 到 10 年,甚至更长周期的领域。我们要对这个领域有更多耐心和宽容。
按照历史规律,如果泡沫起来太快、热度起来太快,很可能未来一两年也会陷入泡沫低谷。如果真的出现这种情况,也可能是市场规律。
但请大家相信,至少在智源研究院,我们会继续踏踏实实、一步一步地把每项研究工作、每个项目做好。
我们不是一个跟风的机构,不是因为具身智能火了才做具身智能。恰恰是因为我们做了具身智能,也许在某种程度上,是我们带火了具身智能。当然我也不确定。
这是我们基于对技术路线和人工智能发展路径的判断,做出的战略选择。
你战略上为什么选择具身智能?
我感觉你们今年最大的两个重点,一个是原生多模态,一个就是具身智能。
刚才提到,我们希望人工智能最终能够造福人类,帮助人解决问题。它不仅可以作诗,还要做事。
当它做事情时,需要一个载体、本体。不管这个本体是机械手臂、轮式单臂、轮式双臂,还是人形机器人,都是具身智能的载体。
所以我在不同场合都强调,具身智能不等同于人形机器人。
尤其是人形机器人,我认为需要更长的周期。我们要尊重事物发展的客观规律,也要尊重产业发展的客观规律。
不管从硬件成熟度、供应链完备程度,还是技术发展规律来看,都需要更长周期。大家千万不要认为,未来 3 年机器人就会满街跑、进入千家万户。这是完全不切实际的期待。
今年“物界”其实是一个系列,包含我们刚才提到的 Emu3,也就是原生多模态模型;还有脑科学多模态通用基础模型 Brain-Mind;以及跨本体具身大小脑协作框架,也就是刚才讲的平台 RoboOS。
还有具身大脑 RoboBrain。这两个都已经迭代到 2.0 版本了,而且应该是最近半年发生的事情。
当然,还有全原子微观生命模型 OpenComplex。
我们先讲具身领域会用到的两个,一个是大小脑协作框架,一个是具身大脑。上次群访时你用了一个词,叫“最强大脑”。这个“最强”体现在哪里?
我们认为,具身大脑能够帮助机器人、帮助这些硬件具备智能化水平。
智能化最重要的是泛化性,以及对空间的理解能力、世界模型能力、空间理解能力和任务规划能力。这些能力,都是 RoboBrain 要进行评价的。
RoboBrain 能不能跟真实物理世界交互?能不能很好地理解空间?能不能对人类指令进行规划?我们在不同任务上都做了评测。
我们跟行业里已有的 vision-language model,以及其他多模态模型,都做了各种评测,包括已知的其他具身大脑模型。
最终我们确实证明,在这些能力上,我们超过了那些模型。我们也把它开源了,并且会持续迭代,希望能够持续打造这样一个最强大脑。
当最强大脑装进一个本体之后,就能够解决更多事情。
什么叫空间任务?举个例子,我们有时会说:“能不能帮我拿一个苹果?”这是最简单的任务。
但很多时候我们会说:“能不能帮我拿那个最红的苹果?”或者“那个最大的苹果?”“帮我拿最上面的那个苹果。”
拿到苹果之后,把它放在这一排。这些任务包含很多空间感知,对大模型提出了新的能力要求。
当我说“帮我拿一瓶水”时,如果水前面还有其他东西遮挡,我需要知道是绕过去,还是把前面的遮挡物移开。这些都是任务规划能力。
对人类来说很简单,但对于现在的大模型和机器人来说,却非常难。
另一方面,我们也非常关注 AI 安全。我们希望大模型和人工智能最终做到 AI 向善、科技向善,服务人类,而不是伤害人类。
所以我们要确保,在发展的过程中,它能够在符合我们价值观的治理框架下运行。
前两年,智源在安全对齐方面投入了很多。那个时候不光是智源,美国最先进的公司和机构也一直在提 AI 安全对齐。
我提一个很现实的问题:即便智源有资金,资源永远也是有限的。我们要集中资源,做聚焦的事情。
像你刚才讲的战略切换和重心确定,是怎么样确立最重要的几件事情的?
资源永远是有限的。我在不同公司、不同企业工作时学到很重要的一点,就是永远要在资源受限的情况下抓住最重要的事情,拿到超预期的结果。
过去一年多,我花了很多时间不断争取资源。所以我们也呼吁,更多有资源的投资人、企业家,乃至对人工智能有理想、有信仰的社会各界人士,都能够提供资源,帮助智源这样的科研机构不断探索和突破。
确实,作为一家非营利性科研机构,我也经常深深感受到发展所需要的资源瓶颈。很多时候,我们不得不做出各种无奈的选择。
那你们现在最重要的几件事情,就是刚才讲的多模态、具身智能和生命科学?
对。这 3 块确实是我们未来几年最重要的发展方向。
并且在这些发展方向中,我们也是有取舍的,不可能所有项目都做。就像刚才讲世界模型,我们有技术路线一、技术路线二、技术路线三,只能选择一条技术路线。这条路线有可能失败。
但如果我是全世界最大的一些企业,南坡、北坡都爬,可能全部布局。当然这种布局过程中,具体到某个团队,它获得的资源有可能还不如智源。
这就意味着,如果我们的技术路线选对了,还有可能用更少的资源,做出比它更好的成果。这些都有可能发生。
我问一个最基础的问题。我们刚才讲的原生多模态模型和具身智能模型,它们都是世界模型,还是它们一起构成世界模型?
这个问题非常好,我也没有完全的答案。
首先,世界模型没有一个明确的定义。但我觉得,它们是世界模型可能的组成部分。
刚才讲到世界模型和多模态,我想你应该也留意到了,最近 Meta 推出了一个世界模型 V-JEPA 2,它登顶了 Hugging Face 榜单,把 GPT-4 长时间霸榜的位置比下去了。
你们的多模态世界模型,跟它相比,现在能不能分享一下有什么区别?
这应该就是杨立昆提出的世界模型。我们肯定会做相关对比。
但刚才讲了,技术路线不太一样,而且我们会认为,榜单在这件事情上的意义甚至没有那么大。
在智源内部,对具身智能团队一个非常重要的要求就是真机部署。我们判断世界模型好不好用,一定要在真实场景和环境下验证,而不仅仅是在榜单上验证。
明白。所以现在各种大模型榜单眼花缭乱,很多公司也在刷榜,确实有这样的情况。
但我们还是会关注这样一款模型,也会做更多评测和对比。我相信,具体对比可能要稍晚一些才会有细节分享。
我比较关注的是,Meta 推出这样一个世界模型,好像给我们吹来一阵风,感觉接下来要讨论世界模型、迈入下一个纪元了,是吧?
我倒没有受到这个新闻太多影响,因为我们一直按照自己的节奏、步伐和技术路线往前走。
这些新闻总是会不断出现。不管其他团队研究得怎么样,我们依然会按照对人工智能技术路线发展的判断,以及对项目的布局,一步一步、扎扎实实地推进。
你刚才讲到应用和部署。我问一个最直接的问题:你们的原生多模态大模型和具身智能大模型,目前应用情况怎么样?
比如多模态模型,应用场景有哪些?
你问了一个非常好的问题。
11. Open Source Builds The Ecosystem
智源研究院一直在研发各种模型,很多模型我们都全部开源出去了。开源之后,我们甚至不知道被哪些机构、哪些团队最终拿去使用,有些甚至变成了产品。
举一个具体例子,智源研究院过去两年发布的 BGE 系列模型,也就是刚才讲的通用向量模型,在去年 10 月登顶 Hugging Face 月度下载量榜首。
它也是 2023 年以来,Hugging Face 发布的所有 AI 模型中,截至去年年底下载量第 1 的模型。下载量达到数亿次。
但我们自己也一直很难追踪它到底被谁使用。你可以想象,它有数亿次下载,不管是个人开发者还是企业开发者,都在使用我们的模型。
我在企业待过,通过很多企业朋友得到反馈:“你们智源研究院的 BGE 模型真的好用,我们内部都在用。”
你想象得到的、耳熟能详的互联网公司,包括国际上大家知道的大型互联网公司,乃至一些热门创业公司,我们都得到过反馈,说他们在用 BGE 模型。
当然,他们不会在公开场合这么说。
这也带来另一个问题:我们很多时候不知道到底有哪些团队在使用我们的模型。
比如我们的数据。我们做了很多开源数据,下载量也有数百万次。
因为在数据方面,我们有时会要求开发者登记姓名、单位、邮箱等基础信息,所以后来发现,已经有超过 30 个国家和地区、数百个机构在使用我们的数据和框架。
大家觉得热门的那些模型,很多都在使用我们的数据和框架。
一方面,智源研究院确实为整个行业和产业,不仅在人才方面,也在开源模型、开源框架方面,做出了很大贡献。
但另一方面,因为我们足够开源、开放,很多时候也很难追踪到底有哪些产品和企业在使用我们的模型。
我留意到,你上任之后有一个特别重要的举措,就是倡导“真开源”。
我觉得这件事特别呼应宏江老师当年讲的“功成不必在我”。智源研究院也许在骨子里一直都有这样的理念。
这种理念在于,我们通过一些项目培养很多青年人才。这些人才可以继续留在智源做研究、做项目,也可以自己创业、到市场上去折腾,还可以到大公司帮助企业和产品做得更好。
同样,通过开源社区和生态,我们也在润物细无声地支撑整个人工智能产业发展。
包括你刚才提到的真开源。很多商业化公司有业务需要,很多时候只开源权重。
智源在很多模型开源时,会把代码、数据、模型本身,包括评测方法全部开源,帮助大家复现,也让大家基于我们的模型做进一步迭代和研发。
这确实包含“功成不必在我”的理念和情怀。
你曾经接受采访时,给技术人提过一些建议,其中一个是一定要关心最关键的核心技术。
你觉得在今天这个时代,最核心的技术是什么?
不同领域、不同背景的研究员,所关注的核心技术一定不一样。
就像智源研究院,我们对于技术的判断,决定了对于哪些技术方向进行布局,以及采用什么技术路线。
但我更想传递的是,要扎扎实实抓住每个细节,因为细节决定成败。
对于关键技术,大家可以基于自己的理解、对技术发展的判断,以及自己的兴趣和热情去做。我没办法简单定义,一千个人就有一千个哈姆雷特。
恰恰是这样的土壤,如果每个人都有工匠精神,最终就会培养出独一无二的工匠。
最后一个问题。我最近留意到,OpenAI 的华人员工、也是姚班校友的姚顺宇,前段时间给出一个判断:AI 趋势正在进入中场休息。在此之前是训练大于评估,在此之后将会是评估大于训练,背后意味着从解决问题到定义问题。
我觉得这是一个非常 sharp 的判断,但不知道你认不认同。
我部分认同。
舜宇的判断,是基于他所在的领域,包括大语言模型,以及他对技术路线的判断所形成的观点。
他是不是更多关注大语言模型?
至少从我的观点来看,也许在大语言模型领域是这样的。
如果大家翻看我去年接受媒体访谈时对一些技术做出的判断,去年 6 月智源大会时,我就判断,到年底国产模型可以追上 GPT-4,再往后 Agent 可能会是一个很重要的发展方向。
确实在年底、春节前后,我们看到了 DeepSeek 的出现,使得国产模型开始追上 GPT-4。
但我相信,即使没有 DeepSeek,也会有其他国产模型追上 GPT-4。
当国产模型变得可用,就进入了落地应用和产品爆发的阶段。对于用户需求的洞察和评测,就非常关键。
这也是我当年从微软亚洲研究院决定投身产业界的一个重要原因:模型到了可用阶段。
如果大语言模型确实到了这个阶段,我觉得对人类来说也许是一件好事。现在的大语言模型显然还是工具,它还不具备我们期待的真正超级智能所需要的那些特性。
这对产业来说也是一件好事,因为可以基于可用模型,开始迭代出很多可能的应用场景。
但另一方面,从研究院角度,我们依然会追寻大模型可能达到的上限。无论多模态、具身智能,还是物理 AGI,都还有很多关键技术路径需要突破。
AGI 时代,或者物理 AGI 时代的到来,还需要几次重大技术突破,才有可能通往真正的通用人工智能时代。
智源研究院愿意在这样的技术突破中扮演关键角色。有可能是我们实现突破,也有可能是我们提供土壤,孕育出突破的可能性。
你今天有什么可以给出的确定性趋势预判?
最确定的就是,像今年智源大会发布的“物界”系列大模型一样,我仍然坚信,人工智能将正式从数字世界迈向物理世界。
最后一个问题。因为我看你之前讲过,做智源的目标是想跟世界顶级科研机构掰掰手腕。
我想知道怎么个掰法。我们今天跟世界顶级研究机构的差距,或者说差异在哪里?
我一直都是在理想主义和现实主义之间不断平衡的状态。
智源研究院一直有这样的追求,希望成为全球最顶尖的科研机构。
当然,我们与当下世界最顶尖的人工智能科研机构依然有不少差距。不论资源投入还是人才密度,我们都还远远不够。
所以我更愿意务实地,在追寻物理 AGI 这条技术路线上,把手头每一件事情扎扎实实做好。
我们有这样的愿景和心,但路是一步一步走出来的。我不去想太多能不能一定达到高分。追寻登顶珠穆朗玛峰是我们的追求,一步一步爬坡是我们正在做的事情。
所以你想做的事情,是带领智源日拱一卒,是吗?
是。不积跬步,无以至千里。
刚才讲到差距,有些是差距,有些是差异。中国最顶尖的科研机构,跟美国或者世界其他地方相比,也有一些差异。
中国有非常广阔的市场、庞大的用户群体,以及非常完备的创新创业体系。在中国这片土地上做人工智能,我对长期发展非常有信心。
不管遇到什么困难,我们都能够克服。新中国刚成立的几十年里,我们那么困难,都熬过来了。
如今不管经济体量还是市场规模,我相信没有任何力量能够阻碍我们在技术和人工智能上的发展。
所以南坡、北坡,你觉得南坡的风景肯定会很好?
是的。
好,谢谢。
谢谢,谢谢。
其实好多问题还没有问完,有一些问题我回去之后还想在微信上听听你的想法,你可以用语音回答。
好呀。还有吗?再给我两个问题,我应该就可以问完。
对呀,那你问吧。我觉得今天的交流非常深入。
我很少回答这么多。
你们还会布局大模型以外的人工智能技术吗?可以大概讲一下,会有哪些方向?
好,这个问题我先记着。你再问下一个问题,我看下一个问题是什么,待会儿一起回答。
好,没问题。最后两个问题,还有央视的记者在等着。
关于 scaling law,它会一直是主线吗?
我觉得,我自己对 scaling law 的理解,跟行业里其他研究者的理解不太一样。
去年智源大会上,我分享过一页 PPT。在我看来,scaling law 不是这两年才出现的。虽然很多人工智能研究者会分析这两年的 scaling law,但如果把时间拉长到足够长,比如过去七八十年,我们会发现,神经网络这条技术路线的智能每一次重大突破,都伴随着数据规模、算力能力、参数规模,以及算法创新综合带来的能力突破。
很多时候,当我们陷入对一件事情的纠结、争论和挣扎时,如果把时间尺度拉得足够长,就会豁然开朗。
现在人工智能大模型在 2018 年的 BERT 模型只有 1 亿参数,它跟人类大脑相差 100 万倍。GPT-3 是 1,750 亿参数,相差 1,000 倍。GPT-4 是 1.8 万亿参数,相差 100 倍。
可以看到,大模型正在快速接近人类大脑的参数规模。
Scaling law 还有没有效?我认为,等模型有一天能够达到人类大脑的参数规模时,我们再来论证 scaling law 到底有效还是无效。
现在不管数据还是算力,全世界其实都面临算力瓶颈。算力还要遵循摩尔定律,一步一步发展。也许 5 年后的算力、10 年后的算力,相比今天会有重大提升。
到那个时候,算力 ready 了,数据如果也 ready 了,而数据又包含多模态数据,那么当我们把时间拉得足够长,我对于 scaling law 还是 believe 的。
我对于神经网络这条技术路线是 believe 的。
多模态训练,包括刚才讲的世界模型,需要全新的架构吗?
也有可能不需要。
首先,Transformer 已经被证明是一个非常通用、非常好用的架构,至少它能够实现数据的 scale up。
所以我们认为,基于 Transformer 的基础架构,有可能帮助我们在多模态世界模型上继续取得突破。
但 Transformer 有没有自己的问题?显然有。Transformer 的效率提升还有空间,所以现在也有很多人在做探索。
但一个架构被替代,是一个长周期的事情。它跟芯片加速、各种效率优化、算子等都紧密相关。
一个新架构要替代 Transformer,需要经过较长周期不断论证和验证。
这些在我看来都是不能排除的未来可能性。但基于现有架构,我们也会做各种探索。
所以 AI 进入物理世界,最关键的几个难点,能大概说一下吗?
最关键的,本质上还是空间和时间的感知能力,以及如何跟硬件结合。
硬件构型不统一,导致模型如何指挥硬件达成想要的效果,目前还没有形成行业统一标准。因为标准不统一,大家都比较碎片化,所以整体还处在一个相对低水平的阶段。
这些问题都有可能在未来不断突破。
那空间和时间的感知力,具体背后是什么?
可能就是世界模型,也就是你刚才问到的大模型以外的人工智能技术。
首先还是要尊重科学发展的规律。科学发展的规律在于,我们既会布局当下主流的技术路线,或者认为未来可能成为主流的技术路线,也会进行研发投入。
另一方面,对于一些可能具有突破性的技术方向,要给它足够的时间和空间。
比如现在大模型的学习路径,跟人类依然有很多不同。人类大脑从一开始就是多模态学习,但现在大模型从一开始学习的是语言数据。
人类大脑能够用很小的功耗完成复杂的理解、推理和交互。科学家估计,人类大脑大概只需要十几瓦的功耗。
而大模型要学习全世界、全互联网的数据,需要非常庞大的集群和高端芯片进行训练和推理。这跟它消耗的能源,也跟人类大脑不一样。
人类大脑还能够通过小样本学习。我们只要看几张图片,就知道这是猫、这是狗。
但大模型需要读取全世界的书籍和互联网数据。我想,没有任何人能够读完所有书籍和互联网数据。
所以它的学习路径跟人类大脑依然不太一样。
除了现在大模型的人工智能技术路线,我们也会思考,类脑智能有没有突破的可能;数字孪生心脏能不能帮助我们理解和构造人类身体;蛋白质、生命分子的建模,是不是能够帮助我们更深刻地认识生命运作机理。
这些都是未解之谜,也是我们希望探索的方向。
对于探索性项目,我们会比较谨慎地投入小资源,给研究员充分的时间、空间和宽容。
可以分享的是,今年智源大会发布的“物界·Brain-Mind”,是脑科学领域首个多模态通用基础模型。
实际上,这是一个很小的团队做出来的。它基于统一架构,把脑信号,包括脑电信号、功能磁共振、双光子等各种信号放到统一架构中训练,产生了意想不到的效果。
这就是我们提供土壤、给研究员自由探索空间后,有可能产生意想不到的科研进展和成果。
所以这也让我很感动。你们并没有完全 focus 在大模型这件事情上,而是在其他地方也留有种子。
还是回到刚才那句话,智源研究院更多提供的是一片土壤。
好,辛苦你了。后面聊得比较久了,算下来聊了几个小时。
因为昨天我还是蛮感动的。我觉得你做的功课很扎实。
谢谢。
好了,本期节目就到这里,欢迎在留言区评论分享听后感,也欢迎留下你想听的选题或是嘉宾。这期节目已经在苹果 Podcast、网易云音乐、QQ 音乐、豆瓣、微博音频等平台同步上线,欢迎订阅,我们下期再见。