卫诗婕
愚昧之巅,绝望之谷,开悟之坡。你经历过绝望之谷吗?
王仲远
肯定经历过,但我不想分享。
我开始意识到一点:人工智能深度学习有可能要开始大一统了。越简单的结构、越统一的结构,越有可能具备更强的生命力。
能否提升智能,非常取决于你对智能的定义。对于很多动物来讲,它没有语言体系,但它依然有自己的智能。
卫诗婕
对,仅有语言模型是远远不够的。
王仲远
人工智能将正式从数字世界迈向物理世界。
卫诗婕
Hello,大家好,欢迎来到商业漫谈,我是诗洁。创新应该以何种方式被规划?三年前我曾经写下过一个中国式尝试。2023年在中国大模型正如火如荼的时候,我曾专访过智源研究院创始理事长、美国国家工程院外籍院士张宏江博士。作为一家非盈利机构,智源效仿 OpenAI,是一家独立于政府、商业和高校之外的新型科研机构。2018年,前微软亚洲研究院创始人之一、刚从金山 CEO 位置上退休的张宏江主导了这一切。在张宏江博士看来,真正的科研创新需要让年轻学者在最有热忱和动力的年龄展开真正高效的学术研究,做最前沿、敢于失败但值得长期投入的技术探索方向。所以当年的智源就坚定地喊出了要给年轻人以舞台。2020年,智源最早启动大语言模型悟道系列,为此调度大量资源,并大胆启用年轻人。后来,中国大模型创业潮里的灵魂人物唐杰、杨志林、刘知远、黄民烈等,都曾是悟道项目中出现过的身影。智源研究院也被称作中国 AI 的黄埔军校。距离那次采访已经过去三年,智源研究院经历了从大语言模型到多模态世界模型的研究路线进化,而这家年轻的机构也迎来了首位 85 后院长,也就是本期嘉宾王仲远博士。2018年,33岁的王仲远曾被麻省理工科技评论评为35岁以下科技创新35人中的远见者,理由是他曾在知识图谱和 NLP 领域解决多项挑战性问题,是 AI 领域杰出的青年科学家代表。过去近20年,仲远先后经历过微软、Facebook、美团、快手这四家大厂,长期从事 AI 相关研究和产业化。他的到来也为这所年轻的研究院带来了全新的视野和氛围。在今年六月初的智源大会上,智源空前地邀请到四位图灵奖得主,并发布物界系列模型,其中多个重要项目负责人都在30岁上下。我们的对话就发生在智源大会后一周。在这期节目中,你将会听到为什么 AI 是年轻人的事业,具身智能是未来吗?什么是世界模型?它会在通往 AGI 的路上扮演什么样的角色?以及为什么让模型理解文字之外的客观世界是一个更让人兴奋的未来?欢迎仲远,谢谢你。先跟大家打个招呼吧。
王仲远
Hello,大家好,我是智源研究院的王仲远。
卫诗婕
仲远是非常 high level 的一位嘉宾,不是因为今天的 title 是智源研究院院长,而是因为我看了你所有过往的履历和经历,确实是一个年轻而优秀的代表。所以今天我可能会代表很多年轻的听众和读者朋友,多问一些关于成长方面的问题。
王仲远
好呀好呀。当然,这场访谈也会涉及很多硬科技的技术和知识,包括行业的发展。
1. The Youngest Director
卫诗婕
今天这个对话有一个渊源,应该是 3 年前。2023 年的时候,我采访了智源研究院理事长张宏江老师。那个时候你还没有来,刚好记录了当时智源的一个非常关键的转型期,也梳理了一下智源的历史。那篇文章我也看到了,真的是非常好写,也非常有深度。
我当时采访宏江老师,印象最深的是一点:他跟我说,一定要支持年轻人,给年轻人机会。我记得他当时给我举了几个例子。
第 1 个例子是说,2020 年 GPT-3 出现之后,智源研究院也像当年的 OpenAI 一样,把其他所有的支线全部砍掉,all in 大模型,也使得智源变成了中国最早全力做大模型研究的机构。
第 2 个点是,因为当时 GPT-3 是万卡集群,而智源是从 80 张卡追起。唐杰教授当时也非常年轻,就想办法去搞卡,这也是一种年轻的力量。
第 3 件让我印象特别深的事情,是刘知远教授跟我说的。当时刘知远教授连副教授都没有评上,是一个年轻人,但他在智源申请说想做大模型,智源就给他批卡。他最后应该运作了一个千万级资源的项目,他跟我说特别感谢智源,因为在传统的科研体系里面,一个这么年轻、连副教授都没有评上的人,根本不可能调度这么大的资源。
所以当时宏江老师就说,一定要给年轻人机会。我们今年也看到,国家领导人说,AI 是年轻人的世界。你是智源历史上第 1 位 85 后院长。
王仲远
对。
卫诗婕
所以我觉得你的到来就给了大家信心,让大家相信智源是一个年轻人的舞台。
那我们先从你个人讲一讲。首先,从智源组建的第 1 天开始,我就知道这个机构的存在。2018 年的时候,我还在美团。
王仲远
对。因为美团也是智源的理事单位和发起单位,我当时在美团负责整个 NLP 加搜索的团队。其实 2018 年的时候,BERT 模型已经出现了。在这样一个趋势之下,智源研究院成立了。
我对智源研究院最早的印象,其实是智源学者一堆的大咖都聚集在了智源这样的一个机构。每年的智源大会也都非常火爆。那个时候我就看到,跟我也差不多、原来都挺熟的一些助理教授、副教授,在智源这边也开始承担很重要的项目。
慢慢地就觉得,这是一个很有意思的机构。到 2022 年底,ChatGPT 发布之后,其实促成了我很多的思考。真正开始跟智源这边接触,已经是 2023 年七八月份的时候。宏江博士也是通过别人的引荐接触到了我,然后说:“愿不愿意跟智源聊一聊?”
所以我当时在想,智源研究院是行业里面非常强的一个机构,他们要遴选院长。我这么年轻,按照以往的科研机构,一般来讲要找一个院士,或者找一个大咖。当时 2023 年我大概也就 37、38 岁,我还觉得,真的会有机会吗?
卫诗婕
你是心动的,是吧?
王仲远
我是心动的,但不敢相信。不敢相信他们会找到这么年轻的人。
包括智源研究院是北京市的一个新型研发机构,其实我跟北京市也有很多交流。很有意思,最后他们从几个候选人中选来选去,做了一个决定。
卫诗婕
他们说选了哪个人?
王仲远
他们说,选了那个最年轻的。
卫诗婕
我很好奇,找工作是要面试的,选院长也要面试吗?
王仲远
肯定啊,而且是非常多轮,一轮又一轮,前前后后聊了也有小半年。
卫诗婕
他们考核些什么呢?
王仲远
我觉得会是全方位的。作为院长来讲,第 1 个,到底有没有在科研方面足够的理解和过往的成绩。
然后在系统开发上,因为智源的定位就是新型研发机构,我们不是仅仅发表论文。系统上有没有实际落地的场景?甚至在我加入智源之前,我在快手的时候还负责了一些业务,包括工程团队,所以智源还是非常看重落地能力的。
卫诗婕
刚才讲的系统是指什么?
王仲远
系统指的是最终要让大家能够体验得到科研成果,而不是一个在论文里面、可能只有专业人士才能体验到的成果。系统能让普通人也有机会体验到。
作为院长,其实还需要有管理能力:定战略、建团队、拿结果,要有一整套体系。
卫诗婕
我看你的履历,你是非常擅长快速拿结果的。一会儿我准备好好跟你聊一聊。那为什么 AI 是年轻人的事儿?
2. Youth Drives AI Breakthroughs
王仲远
这也是一个非常有意思的问题。很多技术的突破,其实都是年轻人做出来的。当然,我个人认为,以前辛顿教授也提过类似的观点。他说:“我很多的创新,其实都是我的学生做出来的。”
在人工智能这个领域尤其如此。去年智源大会的时候,OpenAI Sora 的技术负责人提到,我们今天做的所有人工智能技术突破,都颠覆了以往的所有范式。
这也就意味着,以往可能陷入传统科研范式越深的人,越难以自拔,越难以突破那种思维的局限和惯性。年轻人有时候是不受束缚的,年轻人是没有失败的。真正的突破,需要去做这些尝试。
往往成功的经验会成为未来创新的桎梏。所以,这是我们探讨青年人挑大梁这一点非常重要的理念来源。
我们很多重大的科研项目,都是由年轻人担当整体负责人。比如我们所说的原生多模态世界模型 Emu3,它的负责人今年也才 29 岁。他能够获得数千万资源的支持,也能够获得团队的支持。
卫诗婕
我想问一些比较微观的问题:你们怎么塑造这种氛围?有没有一些比较具体的例子?
王仲远
我觉得智源有几个非常核心的理念,包括不论资排辈、不看帽子,倡导代表作文化。
我们在遴选项目负责人的时候,更多看的是:你过往有没有一些能够证明自己科研能力的代表作。这个代表作可以是论文,代表你能够有创新突破;也可以是你做过的一些开源项目,代表你在行业里面有没有自己的认知和影响力。这些可能代表的是过去。
更为重要的是,我们要看这个年轻人有没有技术理想、对科研的追求,以及系统落地的能力。
卫诗婕
我记得采访宏江博士时,他提到了一句话,叫“功成不必在我”。
王仲远
对,我非常认同这句话,确实是“功成不必在我”。
卫诗婕
但是,怎么去筛选一个人到底有没有技术理想呢?
3. Technical Ideals Shape The Mission
王仲远
有很多方式。首先,我自己就是一个理想主义与现实主义交织、不断融合的人。我一直都希望能够用人工智能来造福人类。当我开始学计算机时,本质上就在做这样一件事。
为什么会有这种理想?因为我觉得,从计算机发明之初起,微软当时就有一个愿景:让全世界每一个人都能够用得上电脑。
当我开始接触大数据,包括做知识图谱、做 NLP 的时候,我们最希望的就是,做的每一项技术最终都能被全世界每一个人使用,而且大家用了这项技术之后会说:“真的好用,真的解决了我的一些问题。”这自然而然就变成了我们的理想和追求。
当然也有很多现实。现实是,我加入微软亚洲研究院的时候,深度学习刚刚开始。我们也做了很多技术突破,但依然会发现,AGI 离我们可能还有 40、50 年。
我当时觉得,我们先解决具体的问题,解决很多单点技术。AGI 可能是我们下一代的事情。
一切的改变,又回到了刚才提到的 2022 年底 ChatGPT 的发布。我印象很深,应该是在 2023 年 3 月份,那时候 GPT-4 刚发布没几天。我到我们家孩子所在的小学,给 3 年级的小朋友上了一堂人工智能课。
我给他们讲:“你看,我们做的数字人有多么有意思。ChatGPT 能够把语文、数学、英语、音乐、美术每一个科目的小学题都解决得非常好。”
全班小朋友都沸腾了,大家说:“好厉害,以后可以不用做作业了。”
当时班上有个小女孩站起来问我:“叔叔,如果人工智能什么都能做了,那么将来我们做什么呢?”
这样一个简简单单的问题,直击我的心灵,让我反思了很久。我原来觉得,AGI 依然是下一代的事情,甚至下一代能不能接触到 AGI 都还不确定,但现在似乎在我们这一代就有可能触及到,而且我们的下一代很可能就会跟它共存。
那么到那个时候,这个社会到底会是什么样的社会?我们现在做的技术突破,还有哪些没有解决?解决完之后,人工智能又会发展到什么程度?
我突然意识到,这似乎又回到了当年我从学校毕业时、深度学习刚刚兴起的那个阶段。技术要面临重大突破,产业有可能面临重大变革,但技术突破的程度还不足以支撑整个产业立刻发生变化。
所以,对于大模型推动人工智能走向通用人工智能,我相信它有可能是一次工业级的革命,最次也可能是一次产业级的革命。不管是哪一种革命,都可能持续几十年,短则 10 年、20 年,长则 30、40 年,甚至对人类整个未来都有重大影响。
这个时候,在企业里面有时会有力不从心的感觉。我很难把自己 100% 的精力都 all in 在 AI 上,因为我可能还得负责企业的业务。
这个时候,我内心是非常挣扎的。也就在这个时候,智源研究院向我抛来了橄榄枝。
卫诗婕
你讲那个小女孩的故事特别感染我。你当时是怎么回答她的?
王仲远
很坦诚地讲,直到今天,我依然没有一个很准确的答案。
我当时回复那个小女孩:固然人工智能在不断发展,有很多不确定性,但可能有几点非常重要。
第 1,要去了解这项技术、使用这项技术,同时也要思考它能够帮助我们解决什么问题,以及不能帮助我们解决什么问题。
第 2,其实人在这个社会里面,更重要的是世界观、人生观、价值观。这三观的形成,能够让你变成一个对社会有用、有价值的人。
第 3,可能是自我学习的能力。我们总说,在大学里面,很多人高考完之后觉得,到了大学就彻底放松了。但实际上,大学不再是简单地考察各种知识,更重要的是锻炼你学习的能力,以及跟别人交往的能力。
所以我当时也给小女孩回复了自己的一些想法,仅仅供他们参考。
当然,我会时不时想起这样一段对话,也会想起原来我认为要 40、50 年才能实现的场景,有可能真的把时间缩短到了 5 年、10 年,就有可能触及。
那么在这个时候,我们应该做些什么?我应该为它做些什么?这些都是促使我最终决定加入智源研究院的原因。
卫诗婕
明白,这是非常重要的一个原因。
你们的很多理念和对未来的信仰,其实都藏在具体的战略和动作里面,待会儿我们会仔细聊到。
我想先问一下,你刚才提到三观——世界观、人生观、价值观。你自己的三观是怎么形成的?
王仲远
原来我确实没有非常系统地思考过自己的三观。但你刚才这个问题,让我又回想起我在中国人民大学时的一次经历。
当时我作为师兄师姐,给大一新生做了一次讲座。我在里面提到,我们要“做人、做事、做学问”。某种意义上,这也是在阐述三观。
有能力的人,如果道德不过关,可能对社会的危害更大。我加入微软时有很多入职培训的细节已经不记得了,但唯一记得的是:要用最高的道德标准来要求自己。
只要按照这种要求来行事,基本上就不会出错。所以微软要求员工以最高道德标准行事,这是我自己的个人总结,其实他们不会这么直白地说。
大概在 2018、2019 年,美团的王兴,兴哥,发过一封全员信,叫“苦练基本功”。他说,商业拉长足够多的周期来看,很多失败最终都是源于基本功不够扎实。
做任何事情,做商业,最后大家比拼的都是基本功。你能不能把基本功的每一个细节、每一个知识点都做到足够到位?做到位了,最终组合起来,才是一个非常扎实的成果。
包括大模型,大家都会问,为什么不同模型公司训练出来的模型,效果有的好一些,有的差一些?其实归根结底,在我看来也是基本功。
数据的质量怎么样?你是不是能够抠很多细节,最终把数据质量做出来?训练的时候,是不是把效率优化做到了极致?芯片利用率怎么样?网络通信中的每一次故障,是不是都能处理好?
算法中的每一行代码,是不是都有足够的敬畏,能够扎进去研究其中的细节?在这个过程中去看 loss 曲线,是不是对于每条 loss 曲线中的异常波动都不放过,追究它的原因?
包括评测,对于每一次评测异常的结果,是不是都愿意不断追究,不放过任何一个细节?这种抓细节的能力,其实就是苦练基本功。
说到这里,又勾起我另外一段回忆。当时在 Facebook 做实体链接,也就是搜索和知识图谱的结合。
最开始他们的准确率很低。比如在 Facebook 上搜索“苹果”,你搜的到底是苹果公司,还是水果苹果?在不同上下文中,它可以链接到不同的实体,这就叫实体链接。背后可能有一个非常大的知识图谱。
在这样的链接过程中,我们会看实体链接的准确率:你把“苹果”链接到的实体是不是正确的,搜索结果是不是用户想要的。
最开始实体链接的效果确实比较差,但我发现,原来他们在做的时候只关注指标、只关注结果,却没有关注细节。
所以我非常深入地分析了各种 bad case。当我们深入看每一个细节时,自然而然就会产生解决方案。
卫诗婕
所以你是在错题集里归纳总结,是吗?
王仲远
对。你提到的“细节决定成败”非常好。细节决定最终的成果,当然细节也是基本功非常重要的组成部分。
卫诗婕
明白。所以你刚才提到,很多时候你在不同的企业、不同的机构,好像很快都能拿到一些成果。
王仲远
我想很重要的一点,就是我比较关注细节。直到今天,对于一些重大项目,我依然会盯得很细。
卫诗婕
你人生中第 1 次感受到做学术研究的快感和激动,是什么时候?
4. Research Must Serve People
王仲远
其实在学校的时候,刚才提到过,我当时在申请 Sigma 奖学金。我们那时做了一个 Deep Web Learning,很多人可能不了解 Deep Web。
当时讲网页时,其实有浅层网页和深层网页。深层网页背后有数据库,所以我们做的一项研究,就是如何把深层网页的数据结构化。这其实就是知识图谱的一些雏形。
在中国人民大学孟老师的实验室里,我接受了非常重要的训练,就是研究和系统并重。因为人民大学的强项是数据库和大数据,而数据库是一个系统工程:先要有一个系统,再把系统里面的每个环节都突破到极致。
这样的系统化思维,造就了我后来不管是在微软亚洲研究院,还是在企业,包括今天我们在智源所倡导的以系统的方式开展研究。它们是一脉相承的。
回到刚才的问题,我们当时做 Deep Web 数据集成,最终搭建了一个当时叫“Job 通”的系统,帮助高校学生更加便捷地获取各种工作信息。当时很多人民大学的学生都开始用起来了。
从一开始我就觉得,研究最终是为了服务大家。
卫诗婕
你在微软做了很多年,从应届校招生一路做到主管研究员,主要负责知识图谱和对话机器人。这是一个伏笔。
但我看你做了 6 年之后,选择去了 Facebook。当时的原因是,你想从研究走向实践。这个转变又是怎么发生的呢?
5. Research Needs The Real World
王仲远
这又回到了整个技术发展的趋势。那时已经是 2016 年。我们知道,这次深度学习的兴起,也就是第 3 次人工智能发展浪潮,是从 2006 年辛顿教授在《科学》杂志上的一篇论文开始的,它开启了深度学习的研究。
当然,真正的爆发是在 2012 年。辛顿教授带领两个学生在 ImageNet 比赛上一举夺冠,开始让产业界重新关注:原来深度学习真的 work。
但从 2006 年到 2012 年之间,深度学习也在发展,存在很多技术争论。
2010 年到 2016 年,我在微软亚洲研究院期间,突然意识到自己好像与社会开始有些脱节。
微软亚洲研究院是一个非常好的机构,直到今天我依然非常怀念那段经历。但那时国内的阿里巴巴、腾讯、百度已经形成了 BAT,美团也已经出现,今日头条也已经出现,似乎一座座高楼正在平地而起。
研究院处在一个非常安全的港湾,有点像世外桃源、乌托邦,也有点像象牙塔。微软亚洲研究院虽然也强调 technology transfer,但它其实还缺少跨团队协同,以及搭建更大系统的能力。
通过跟外界交流,以及同学、朋友给我的反馈,我似乎意识到,这个世界正在发生剧烈变化。我很担心被这个时代抛弃。
所以那时我最终决定迈出这一步,去一家商业性质更强、真正能够更接近产品的公司。
卫诗婕
我打断一下。在 2016 年这个节点,我相信你应该拿到了很多 offer,其中应该也不乏今天中国的大巨头。
第 1 个问题是,你当时对这些新兴公司是什么样的看法?最终为什么选择了 Facebook?
王仲远
很坦诚地讲,在微软很长一段时间里,我还是希望把研究做扎实,所以一直待在研究院。后来确实也是机缘巧合,我原来的老板回到了美国,也去了 Facebook。
有一天他跟我说:“仲远,你要不然来 Facebook 看一看吧?”他说:“这是一个快速发展的企业,跟微软的工作风格很不一样。”
如果说微软当时的标签更像 software company,也就是软件公司,那么 Facebook 是真正的互联网公司。产品迭代节奏非常激烈,很多想法大家想到就立刻去做,做了之后马上把它变成产品。Move fast and break things,然后全世界几十亿用户就用到了。
这种成就感,很多时候真的会让人产生很强的 passion。我在 Facebook 工作时经常工作到凌晨一两点,但这从来不是 Facebook 主动要求的。
回国之后,我还跟很多人交流。我说,Facebook 真的在宽松的地方非常宽松。比如当年,男生的陪产假居然有 4 个月,这在国内很多时候不敢想象,在其他很多公司也不敢想象。每周三可以在家办公,早餐、午餐、晚餐全部免费提供。
这是一家让人觉得非常宽松、非常自由,又能够很容易迭代的公司。但它严格的地方在哪里?它通过一系列机制让你不断证明自己,创造新的成绩和结果。
比如当时会有 weekly scrum,大家每周快速同步:“我们做了什么,还要做什么?”包括相对高频的 OKR review、激励机制和淘汰机制,使得大家都在不断证明自己。
更何况,在 Facebook 你会发现,周围都是全世界最顶尖的研究员和工程师,不进则退。
所以我回过头来想,智源研究院也会尝试创造这样的环境。我加入智源之后,做的一件很重要的事情就是取消上下班打卡。我们也增加了很多福利,加大了激励,S 和 A 的同学年终奖大幅提升,甚至超过互联网公司。
当然我们也有淘汰机制,保证能够产生创新氛围,有可能孵化和孕育顶尖科研成果。
卫诗婕
我试图用一句话总结:它在过程上是宽松的,但在结果上相对严格。
王仲远
对,你说到点子上了。
卫诗婕
我很好奇,你刚才讲到 Facebook 的口号,就是“快速行动,打破传统”,也就是“Move fast and break things”。这种快和慢之间的哲学,怎么把握?
王仲远
快和慢需要一个平衡的节奏感。无论模型训练还是企业管理,都需要快和慢的结合。
我们需要看哪些是比较容易摘的果实,要尽快拿到。如果是很确定的事情,就要快。因为你不快,别人可能已经抢先做出来了。
但有一些不确定的事情,就要慢。要给科研人员足够的思考时间、反思和尝试的时间,给他们失败的宽容和试错的空间。这样才有可能真正做到突破。
今天早晨开会的时候,我们还在聊 Meta 的 Llama 4,为什么好像 Llama 系列最近不那么给力。
从 Facebook 那边的朋友传出来一些信息,也不一定正确。他们说,很多时候是一拨人做几个月,做完之后换一拨人又做几个月,不断地换人。在这样非常快节奏的调整过程中,就缺乏了积累和沉淀。
我当时的第 1 反应是,这非常 Facebook,非常符合 Meta 的“Move fast and break things”文化。
这种文化在很多方面会有独特的突破,但在某些方面可能不那么适用。智源研究院现在也是一样,对于很多需要 long-term 探索的科研项目,我们会给予充分耐心。有些项目可能已经做了 2、3 年,我们依然给它足够的时间和空间。
但也有一些项目比较确定,我们就希望大家能够全力以赴,尽快完成。所以这需要一个平衡的哲学。
卫诗婕
你讲的内容启发了我一点。我虽然只管过一个小团队,但自己也经常被选拔和被管理,也在字节待过。
刚才讲到的低垂果实,快速拿到是非常必要的。因为你可以营造一个宽松的、适合长期努力的空间,但你选拔的人必须在过往短期快速拿到果实的案例中,不断验证自己,才能为自己争取 reputation。
你要打过简单的仗,才能被赋予打常胜仗的……
王仲远
你说得非常对。我们需要有一个正循环:你能够证明自己拿到结果,才能获得更多资源,进而去打更大的仗。
否则,当你说“我要做一个重大的创新突破,需要很多资源,需要很长周期”时,如何让投资人、资源拥有者有这样的信心去做?
卫诗婕
你点到了我下一个想问的问题。
我们刚才梳理了你在微软和 Facebook 的经历,风格截然不同。
王仲远
对。
卫诗婕
但后来你回到国内,加入的两家公司也各有各的个性,就是美团和快手。
王仲远
对。
卫诗婕
综合来看,你怎么看待这几家公司的风格和创始人的风格?你是否练就了识别人和识别公司文化的能力?
王仲远
我觉得一定有。非常幸运的是,我在不同公司见证了非常优秀的创始人,这促使我不断反思。
在微软时,有一本书给我留下了非常深的印象,叫《刷新》,是萨提亚·纳德拉写的。里面有两个词对我影响非常深远:一个是同理心,一个是 growth mindset。
为什么我们没办法达成一致?或者为什么我们能够达成一致?理解这些,才有利于合作共赢。
另外一个是 growth mindset,对应的是 fixed mindset。我经常在想,fixed mindset 应该怎么翻译。对应到中文,很多时候我们会说这个人太固执,不愿意改变固有思维方式。
我觉得自己非常幸运,在微软期间就受到这样的训练:一个优秀的人,会随着这个世界、随着接触到的人和知识,不断迭代自己的认知。
在美团,内部会不断对项目进行复盘和认知迭代。你得想想,过去这件事情为什么做对了、为什么做错了。不仅要把正确的部分认清楚,也要把错误的部分反思清楚。
我想起老王曾经举过一个很有意思的例子。他说:“当你坐的电梯到了 18 楼,到底是你自己有能力到 18 楼,还是你在电梯里面不断蹦跶,最后是你的蹦跶能力到了 18 楼?”
其实你需要有非常清醒的认知。这最终促成了我很多反思。
我发现,不同优秀企业之间,背后有一些共性,都需要不断做认知迭代。
所以在微软亚洲研究院,我学会了如何做研究;在 Facebook,我学会了如何快速落地、实现产品落地;在美团,我学会了如何做管理,如何认清一个组织、它的战略、团队和结果之间的关系。
这些东西就在不断学习和迭代的过程中,挺有意思的。
卫诗婕
所以美团管理的精髓是什么?
王仲远
定战略、建团队、拿结果、练心智。
卫诗婕
前三个可以理解,大家听过很多了。“练心智”是什么意思?
王仲远
练心智是说,很多时候即使你尽了全力,依然有可能失败。这个时候,你的内心需要足够强大。
我又想起跟老王的一次交流。他曾经说过:“练成了,大家一起成就;失败了,就互相成全。”
我觉得老王是一个非常有哲学思维的人。
卫诗婕
什么叫互相成全?
王仲远
就是你在这个地方失败了,可能离开了,那也祝福你。也许你不适合这个地方,也许你不适合这个项目,也许你不适合这家企业。互相成全。
卫诗婕
你有失败过吗?
王仲远
肯定有。
卫诗婕
有可以分享的失败吗?
王仲远
太多了,多到我没办法一下子说出某一个特别的、能够立刻出现在脑海里的失败。
人生真实的经历,永远不会像履历或公开报道上那么光鲜。我想每个人都有自己独特的人生经历和独特的挫折。
过去这十几年,作为管理者,我很多时候跟团队下属谈心,聊的其实并不是工作,而是如何一起共克人生的艰难。
我会告诉他们,你不是个例,你跟很多人一样,都在面临类似的困难。练心智,要挺过去。挺过去之后你会发现,自己新的一波高峰又来了。
6. The Valley Of Despair
说到这里,又想起美团的一个理论,叫“愚昧之巅、绝望之谷、开悟之坡”。
很多人成功时会觉得自己很顺利,这时会产生一种错觉,觉得自己无所不能,做什么成什么,觉得自己非常 unique、独特、极度优秀,于是就产生了愚昧之巅。
尤其是特别顺利的人,会觉得自己就是这家企业里最重要的人,就是这个行业里最厉害的人。
但通常处在愚昧之巅时,他没有意识到哪些是自己的能力,哪些是赛道的风口,哪些是平台的能力。
这时取得的成绩,其实是天时、地利、人和综合作用的结果。错误地把这些都完全归因于自己的成果,就处在了愚昧之巅。
所以当时在美团,老王说,作为管理者,很重要的一点是,当你处于愚昧之巅时,要把你推向绝望之谷,让你认识到,很多事情只是你因势而为,并不完全是个人能力。
这时你可能会受到很多挫折,因为社会有自己的运作体系。当失败、处在绝望之谷时,你是否又走向另一个极端,自暴自弃、自我否定?
这也是一种不健康的想法。你需要用更加平和的心态面对这些事情,这就进入了开悟之坡。
你能够从人生低谷中重新爬起来,更加淡然地看待事情,去看哪些事情可以凭能力而为,哪些事情要选择顺势而为,哪些事情也许应该放弃。这样,人生就会进入一种更加怡然自得的状态。
卫诗婕
挺有意思的。你经历过绝望之谷吗?
王仲远
肯定经历过,但我不想分享。
卫诗婕
可以,尊重你。那你在绝望之谷的时候,会想些什么,开始爬开悟之坡?
王仲远
第 1 点,你一定要有这个意识:当你处于绝望之谷时,你不是孤单的。全世界几乎每个人都会经历自己的绝望之谷。
首先要尝试平和。第 2 点,你要用自己最舒服的方式,帮助自己走出抑郁或低谷状态。
比如我自己就曾经选择去旅行。当我到了挪威,去了罗弗敦群岛,那是一片非常美的群岛。我的第 1 反应是:我为什么不早点来?
那里既有雪山,又有红叶、绿叶,还有大海、蓝天白云,特别开阔。你会发现世界如此之大,为什么我要把自己局限在茧房里?
我们知道欧洲人很乐于享受生活。他们的生活如此惬意。在一个可能与世无争、传承了几百年的小村庄里,人们世世代代过着这样的生活,你会想,其实每个人的人生都可以有很多经历,不一定只有唯一的路径,人生路径可以有很多。
所以,当你找到一种能够让自己走出绝望之谷的方式,不管是听音乐、看电影,还是去旅游,能够走出低谷状态,也许就会拥有不一样的视角。
当你有了不一样的视角,就可以开启更加丰富多彩的人生。
卫诗婕
明白。回到你在美团的经历,你做了美团大脑,而且这个美团大脑好像现在还在服务它的业务,我不知道……
王仲远
我听说过。从我只身一人加入美团,到后来离开时负责整个搜索与 NLP 部门,大概是四五百人的团队。
当我的 scope 扩大时,绝对不是因为美团大脑,更多是每一个公司业务项目的成功、技术的落地,以及我们推动搜索体验和各项业务指标提升,才能带来这样的结果。
这也在践行一个理念:既要有短平快、能够拿到的业务结果,也要有为公司打基础、构建平台能力的长期工作。
否则我们会发现,如果基础不牢,上层建筑就不牢靠,拿到的结果很可能只是短期的。
卫诗婕
所以我们看到,很多人很擅长拿低垂的果实,却没有长期思考,于是职业生涯总是在原地打转。但他把所有低垂果实都拿完之后,就发现自己的职业生涯似乎没办法再成长了。
你后来从美团到了快手,主要经历是在做多模态吗?
7. Transformer Unifies AI
王仲远
对。因为快手是短视频平台,它不仅仅有 NLP。事实上,快手的 NLP 在最开始时还不是主流,更多的是视觉和音频。
当时我接手的快手 MMU 团队,天然就是一个 AI 平台团队,包含视觉能力和音频能力。后来我们又建设了 NLP 能力,最后发现很多技术殊途同归。
视觉方面,我加入之后力推的第 1 个项目,就是把整个视觉底层架构、底层模型架构全部升级为 Transformer。
那时在企业里,Transformer 依然有争议,因为它需要消耗的资源量还是挺大的。
卫诗婕
但那时是哪一年?
王仲远
我们看到,2018 年已经开始做 BERT。BERT 的底层其实是 Transformer,GPT 的底层也是 Transformer。
所以在美团时,我发现 NLP 已经开始使用 Transformer。当我开始接手视觉团队时,发现他们也在讨论底层模型架构要不要用 Transformer。那时我开始意识到,这个世界的人工智能深度学习,有可能要开始大一统了。
因为底层架构越来越像、越来越接近,都开始基于 Transformer 训练模型。虽然很多时候它们依然按照视觉 Transformer 来做,音频也开始使用 Transformer。
从原来视频、音频中使用的 CNN 或 RNN 等结构,最终都开始向 Transformer 结构转变时,我意识到,多模态可能成为一种趋势。
卫诗婕
这里有两个问题。你能不能用通俗的语言给我们解释一下刚才用的“大一统”?如果大家都用 Transformer,意味着什么?
王仲远
首先意味着它们在编码时有可能实现统一。
以前不同领域之间互不干扰。比如自然语言处理会分词,分词后做词法分析、句法分析、语义分析,分阶段完成。
图像领域可能有分类任务、标签生成任务,也有把图像转成 embedding 的任务,还有区域识别、物体识别等。它们背后的模型虽然都叫深度学习,但深度学习所使用的神经网络结构各不相同。
结构不统一,编码方式不统一,训练数据格式也不统一,最终就是各做各的。
Transformer 出现之后,语音、视觉、NLP 的底层都开始使用 Transformer,我就意识到,最终有可能出现大一统模型,不同模态可以放在一起融合。
卫诗婕
我举个通俗的比喻,你看对不对。假设一共有 30 个人,原来这 30 个人分成 3 个小组,每个小组 10 个人,大家各自用自己的方式解决各自的任务。
你说的大一统,就是把这 30 个人融为一个小组,共同解决所有任务。
王仲远
就好像我们国家有 56 个民族,但都有一个共同的语言,叫汉语。当大家都能够用普通话时,就可以交流了。
一样的,不同模态之间有了共同语言、共同架构,就有可能进行融合,产生一些意想不到的效果。
卫诗婕
你刚才提到了两个概念,一个是跨模态,一个是多模态。我看智源今年的重点就是多模态,而且不只是多模态,是原生多模态。我们一会儿再解释。
我先问一下,跨模态方面,文生图、文生视频、图生文,这些算跨模态吗?
王仲远
如果单一来看,比如文字变成图像,文字变成声音,或者智源大会上发布的“物界”模型,可以从图像变成脑电信号,甚至脑电信号变成图像,这些都可以认为是跨模态,因为它从一种模态跨到了另一种模态。
卫诗婕
但过去两年,大家好像都用多模态来称呼它。
王仲远
是的。所以我曾经提到过,大家都叫多模态,但此多模态非彼多模态。
卫诗婕
你觉得跨模态更准确,是吧?
王仲远
倒也不一定。现在还有“全模态”这个说法。多模态更像是一个能够统揽所有模态的模型,但行业内的人还是能分清楚。
当然,我们讲图像理解、视频理解时,这种多模态背后的模型基本上还是以 large language model,也就是语言模型为核心,再加上不同模态向语言模型映射的 CLIP 之类的架构。它是一种偏组合式的、以语言模型为核心的构建方式。
但比如文字生成图像,用的是 diffusion、Stable Diffusion 等架构;文字生成视频,用的是 Diffusion Transformer 等架构。它们背后所使用的技术解决方案,跟图像理解、视频理解的技术方案并不一样。
所以当我们都讲多模态模型时,非专业人士很难分清楚,到底说的是哪一种多模态模型。
卫诗婕
那你能不能给我们梳理一下跨模态、多模态、全模态到底怎么区分?
王仲远
简单来讲,跨模态指的是从一种模态变为另外一种模态。
什么叫模态?像文字、图像、视频,甚至视频算单模态还是多模态,也存在一定争论。脑电信号、3D 等,也都可以叫模态。
从一种模态变为另外一种模态,可以简单认为是跨模态。
多模态指的是,我们在输入时就能够接受不同模态一起输入,同时输出时也能够接受不同模态的输出。
现在有些多模态模型,输入是特定几种模态,输出可能只有文字或图像;或者只能从某几类模态变成某几类模态。
全模态则是希望所有模态都能作为输入,所有模态都能作为输出,所以它更代表大一统。
刚才提到,我在快手时就意识到不同模态之间的技术迭代演化,因为它们都采用了 Transformer 这种底层统一架构,具备融合的可能性。
早期做研究时,大家只是简单地把不同模态拼接起来,放到模型里面训练。当然,这又是一个低垂的果实,很快就可以拿到。
现在讲的原生多模态,则希望从一开始就设计出一种统一架构,能够把不同模态各自编码,或者通过某种方式编码进入这个架构。输出时既可以输出脑信号,也可以输出 3D、文字和图像。
因为人类的大脑某种意义上就是全模态的。我们可以接受世界各种各样的信号,也能输出各种各样的信号。
最直接的输出信号当然是文字和声音,但当我们闭上眼睛,也能想象到一些画面,就像一个视频一样。这就是我们的全模态能力,它更加类人。
所以经过这么多年的研究和产业实践,我意识到,越简单、越统一的结构,越有可能具备更强的生命力,也越有可能改变这个世界、改变这个产业。
卫诗婕
智源其实预测了 AI 的趋势发展。简单来说,就是从语言到多模态,再到具身智能和 AI for Science,最终到世界模型。这是你们现在提出的趋势判断,对吗?
王仲远
对。
卫诗婕
为什么是这样一个趋势?
8. The Data Problem Changes AI
王仲远
做趋势预测是风险很高的行为,因为很容易被打脸。当然,基于我自己长期的研究和产业经验,很多时候我们对于大的趋势,还是能够判断得相对比较准的。
先讲讲技术路线预测是怎么来的。去年加入智源之后,很重要的一件事就是梳理未来的战略方向。
就像你刚才提到的,2023 年你采访宏江老师时,也有过这样的争论:大模型似乎已经开始产业化了,智源还需不需要做大模型?包括人才,可能也有很多企业主动来挖。
那么我们接下来应该做什么?
去年我们真正开始梳理、分析未来发展趋势时,有一个基本论断:大模型的发展还远没有到尽头。
大模型虽然推动技术有可能通往通用人工智能,也就是 AGI,乃至 ASI,但现在已经成熟和收敛的技术路线,基本局限于大语言模型。
很多人所说的大模型,主要指大语言模型,以及基于大语言模型构建出来的多模态模型。这条技术路线已经相对成熟,应该交给企业来做。
但我们可以看到,大语言模型依赖的文本数据,主要是互联网数据。就像伊利亚·苏茨克维在 NeurIPS 的一次主题演讲中提到的,全世界只有一份互联网数据。
因此,大语言模型的 pre-training 阶段有可能已经结束。固然还会有一些新的高质量数据,比如领域数据、闭源数据可以加入 pre-training,但人类互联网数据可能已经被用完了。
解决文本数据枯竭,有几种方式。
第 1 种是合成数据。如何让人工智能大模型通过合成数据继续不断迭代训练,这肯定是一个非常重要的研究方向。当前来看,这应该是一个重要研究点,但还没有完全突破。
因为你可以想象,互联网数据和书籍本身也是人类写的,所有文本数据都是人类创造的。如果有一天机器智能达到或超过人类智能,它就有可能创造出比人类创造的高质量数据还要高质量的数据。这些数据就有可能反哺大语言模型,这就是合成数据。
第 2 条路径是,不再关注文本数据枯竭的问题。我已经有了一个压缩了很多知识的 foundation model,但这个 foundation model 的能力可能还没有被完全激发出来,于是就有后训练和推理模型。
去年,后训练和推理模型很大程度上改变了整个产业格局,使慢思考所激发出来的智能,发现了一条新的 scaling law 曲线。
所以我们看到了现在的 o3、o4,也看到了 DeepSeek 的 R1,以及大家期待的 R2。在推理上,有可能继续激发智能。
第 3 种解决数据问题的方式,有可能是多模态。与文本数据相比,其他模态,比如声音、图像、视频、3D,以及脑信号,数据量可能是文本数据的百倍、千倍乃至万倍。
这些数据还没有被有效地用于大模型训练。
这里有一个争论:多模态数据到底能不能提升大模型的智能?这在学术界和产业界都有争论。
我自己是自然语言研究背景出身,作为自然语言研究者,我们天然有一种自豪感。过去我们认为,语言是人类所独有的,没有任何动物拥有像人类这样完备的语言体系。
不同国家、不同地区有不同的语言体系,但这些语言体系又有共同的语义表达。所以以前做自然语言处理时,经常说自然语言处理是人工智能皇冠上的明珠。
很多研究者和产业界人士觉得,语言才能提升模型,语言就是边界。
卫诗婕
对。
王仲远
但这也可能得益于我后来管过视觉、语音,包括做多模态的真实经历。我们也会考虑,多模态一定有它的独特性。
能否提升智能,非常取决于你对智能的定义。
比如对于很多动物来说,它没有语言体系,但依然能够在这个世界生存,也有自己的智能。它能够解决觅食、与同伴交流的问题,甚至拥有一些人类不具备的能力,比如攀爬、快速奔跑,能够通过气味进行分辨,能够对世界进行各种探索。
而且在真实落地时我们发现,仅有语言这一种模态远远不够。真实的各行各业、生产生活中,模态非常多。
比如各行各业都会用 PPT 汇报,这是多模态;有很多流程图、设计图,也都是多模态。在医疗领域使用的核磁共振、CT,包括拍摄的 X 光片,都是多模态数据。
在教育领域,老师的教案、笔记,也都是多模态。
所以不管多模态能否提升智能,它都是人工智能一定要突破的一个方向。
另一方面,我们观察人类的学习过程,会发现它跟现在大语言模型的发展路径不一样。
人类刚出生时不会说话,语言体系还没有形成,但已经开始学习了。我们通过视觉开始接触世界,已经知道某些东西有危险,某些东西可以拿起来。
人类从一开始经历的就是多模态训练:通过眼睛接收世界信息,通过与父母交流学习世界。
事实上,人类系统性的语言学习,是从幼儿园、小学才开始的。我们先学习语文,慢慢再学习数学、物理、化学,越来越复杂。这是一个学习系统。
我们会认为,既然神经网络是在仿照人类大脑的神经网络构建,那么现在固然找到了一条已经走通的路径,其中一条路径把文字压缩进了计算机神经网络。
那么,也应该有一条路径,能够把不同模态压缩进一个计算机神经网络。这就是智源研究院探索原生多模态模型的原因。
卫诗婕
我总结一下你刚才讲的原生多模态,和过去两年行业里常见的多模态之间的区别。
行业里很多跨模态,或者叫多模态,其实还是以语言为核心的训练逻辑。但我看你们是要做大一统,做底层融合,把这个叫作原生多模态,是吗?
王仲远
对,架构选择和数据训练范式都有区别。
现在行业里很多多模态模型,是先有语言模型,再把不同模态映射到语言模型的大模型里面。但实际上,人类的学习过程不是这样的。
人类是从一开始就把不同模态的信息往大脑里装。所以这是一种训练方法和思想路径的不同,这种不同会带来意想不到的效果。
举个例子,现在这种以大语言模型为核心的多模态理解模型,经常遇到一个问题:大语言模型可能训练到了博士生水平,但加入其他模态之后,智能水平似乎退化了,退化成大学水平,甚至高中水平。
我们经常看到的一个问题就是,3.1 大还是 3.2 大,它搞不清楚了。
这跟人类的大脑也不太一样。正常情况下,接触到的知识越多,我们的大脑会越来越聪明,不会突然有一天不会说话了。真出现这种情况,多半是生病了。
但正常情况下,我们接触到其他模态信息时,语言模型能力也应该提升。
这是我们想探究的整个神经网络问题的本质:到底什么样的训练方式,能够训练出优秀的大模型?
我们的原生多模态世界模型,正在做这方面的探索。
卫诗婕
为什么是这个顺序?从语言到多模态,再到具身智能、AI for Science,再到世界模型。
9. The Road To Physical Intelligence
王仲远
首先,从语言到多模态,是因为语言大模型现在已经走通了。纯视觉模态的大模型还没有完全走通。
视觉信号一方面数据量特别大,另一方面有效信息又特别少,所以纯视觉模态大模型目前还在进行很多探索。
我曾经跟谢赛宁交流过。他是做视觉出身的,特别希望探索出一种不考虑语言、只从视觉里面学习智能的路径。我想一定可以获得某种程度的智能,但这些智能能不能达到我们期待的、类似语言的那种智能,也许是两种不同的智能。
所以如果这张图更加完整,它可以从单一模态大模型向多模态发展。
刚才讲了,多模态的统一融合一定是需要突破的方向。否则现在很多多模态模型,依然是低垂的果实:大家走通一条路线,再把不同模态映射上去,发现能够解决一些实际问题,于是先这么做了。
但其中非常核心、底层的科学问题,大家还没有完全探索清楚,也没有完全解决。
原生多模态大模型能够越来越接近人类大脑,也就意味着它能看到世界、感知世界、理解世界,还能跟世界进行交互。它能够思考、推理。
所以我们认为,它最终就要从数字世界具备这样的能力,迈向物理世界。
卫诗婕
其实不具备这个能力,物理世界中也可以有一些智能。那为什么智源今年大会发布了“物界”模型?
王仲远
因为我们认为,原生多模态大模型,或者其他架构的多模态大模型,已经开始出现曙光,有可能进入新的爆发阶段。
它们具备进入物理世界的能力后,对于物理 AGI 的突破会有重大支撑。它能够看到、感知、理解世界,还能够跟世界进行推理和交互,整个新大门就会被打开。
卫诗婕
所以“物界”的“界”是跨界的“界”,是吗?
王仲远
“物界”的“界”,代表虚实世界边界的突破,代表人工智能从数字世界迈向物理世界。
当年我们发布悟道系列大模型,“道”代表我们对于大语言模型系统性方法和路径的探索。“悟道”其实也指五道口的一群人,一起来探索这些方法,是一个谐音梗。
这次是从悟道到物界,从数字世界迈向物理世界。当然,这个过程中依然有很多问题要解决。
多模态大模型能够支撑物理 AGI,这一点尤其不同。我们可以看到,物理世界原来也有一些智能,比如基于强化学习可以做无人驾驶,也可以让机器人拿起杯子。
但它们依然局限于展示,不具备像人类一样泛化的决策和行动能力。自主思考、主动决策并且执行,仅通过强化学习是不太够的。
卫诗婕
仲远,我分享一个思考,你帮我判断一下对不对。
我们刚才聊到从语言到多模态。我认为,多模态的下一站重点发展就是具身智能。
我曾经跟一位专门投资具身智能的投资人聊过。他说,他们真正到产业里采访、调研使用机器人的产业时,大家普遍回答,现在真正把大模型用到机器人上的还很少。
结合你刚才讲的,过去一段时间发展比较成熟的是大语言模型,但它没有办法直接用到机器人身上。多模态可能就可以,而且一定要是原生多模态、包含世界模型能力的原生多模态。
你给大家解释一下,什么叫世界模型?
王仲远
刚才提到,很多多模态大模型走的是捷径,但不一定是终极路线。
走捷径指的是,我有了大语言模型,把其他模态映射到大语言模型的隐空间之后,发现它已经具备了一定的多模态能力。
这就像你在封闭环境里学到了博士学位,最后有人告诉你这个世界是什么样的,你突然受到巨大冲击,以至于精神有些失常,智力下降,开始浑浑噩噩地解决一些问题,但没有解决本质问题。
我们可以看到,很多机器人把现有多模态大模型用上去时,对于空间和时间的感知是不够好的。
很多时候,它看到的只是静态画面的描述,因为这在数字世界里很容易获得训练数据。于是它会说:“这里有两个人在交流,两个人都穿着黑色衣服。”
但你想想,我们在真实世界里很少这样交流。大家的第 1 反应是,他们实际上在交谈,可能这是一个访谈节目。甚至我们不做描述,而是说:“我口渴了,帮我拿一杯水。”
它在预测接下来可能发生的场景和动作是什么。这种动作跟空间和时间相关,所以它需要对世界有更加深刻的理解。
它要知道,当水放在边缘时很危险,我不小心一碰,它就可能掉下去。如果瓶盖没有盖好,会更加危险,因为它掉下去之后水会洒一地。
于是人类自然会赶紧把瓶盖盖好,把水放到中间一些。
这才是人类在真实世界中的自然行为。人不会说:“这个水放在边缘,是一个透明的、没有标识的塑料瓶。”这不是我们的思考方式。
所以,我们认为要从语言能力牵引的多模态,真正走向你说的原生多模态,而且一定是对世界有真正理解的原生多模态模型。
卫诗婕
这个过程中,是不是要像人类理解世界一样,去构建世界模型?
王仲远
对。杨立昆在 2023 年参加智源大会时提出了世界模型,前两天他也发布了最新一版世界模型。
当然,世界模型是一个更加宏大的命题。很多人都在问,什么是世界模型?什么是空间智能?什么是时空智能?它跟现在的大语言模型和多模态大模型有什么区别?
行业里还没有很明确的定义。这意味着,连这个词的含义都没有明确时,大家对它的理解和技术实践路径自然各有各的想法,并不统一。
杨立昆有他自己对世界模型的理解,也做了很多尝试。
卫诗婕
我想问,你们的世界模型跟他提出的世界模型有什么区别?
王仲远
我们的世界模型首先还是一条大一统路径。它其实分了一些模块,但我们希望用更加简单的方式做世界模型学习。
最终能不能达到期待的效果,还有待验证。也许它具备一定的世界模型属性,最终我们发现,靠一个大一统模型具备了很多能力,但可能还不够,需要再加一些模块。
这就像有了大语言模型,再加一个 CLIP,把不同模态接过来。将来的世界模型构造也可能变得更加复杂。
但我们希望,从最开始的 foundation model 就能够用一种简单、容易扩展、能够 scale up 的结构,训练出世界模型的基础模型。这是我们的技术信仰和理念。
卫诗婕
2023 年我就在现场。那年 Sam Altman 做开场,Quinn 当时分享世界模型时,我印象特别深。他完全把 AI 比作一个从婴儿慢慢长大的过程,然后去学习。
你们今天跟他还是共识的,就是要让 AI 像人类一样学习。只不过过去可能更多 focus 在人类如何学习语言,但一个人成长的过程中,五官六感都在接收信息。
我想,技术路线上永远会有各种争议,大家也会有各自不同的观点。
王仲远
我可以分享一个小故事。今年 2 月份,我跟 Bengio 教授和杨立昆交流时,发现杨立昆不相信自回归这条技术路线,也就是 autoregressive。
所以他在很多场合都会挑战:大语言模型的技术路线是不正确的,无法达到 AGI。
Bengio 教授则不相信强化学习。他觉得强化学习不具备泛化能力。今年智源大会上,他提出要有一个 scientist agent,也就是科学家智能体。
他觉得要用一种 scientist AI,只有智能、没有自我的 AI,以相对统一的管控方式构建安全 AI。因为他是悲观派。
但 Sutton 教授会觉得,reinforcement learning,也就是强化学习,是非常重要的路线。毕竟他是强化学习之父,非常相信强化学习。
他认为,人类从出生开始,就在跟世界不断交互,得到 reward,然后成长。
所以你可以看到,在研究界,两位图灵奖得主的技术路线也并不完全一样,对技术路线的主张也不完全认同。
卫诗婕
所以,世界模型到底应该怎么实现,多模态到底应该怎么做,其实还没有统一答案。有人爬南坡,有人爬北坡。
王仲远
你举的这个例子非常好。南坡、北坡最终都有可能爬上去,只是大家经过的风景不一样。
卫诗婕
你刚才提到两位图灵奖得主的冲突,也是我今年印象很深的事情。我暂且把他们一个分为悲观派,一个分为乐观派,虽然他们是两场各自的演讲,但我觉得很多观点完全相悖。
Sutton 教授特别有意思。他穿了一件花衬衫,说自己是乐观的,AI 是可以发展的。他还讲到,人类生成的数据将要耗尽,AI 要迈入体验时代。
我不知道这个体验时代是不是跟你们现在做的世界模型相通。你们是一个阵营的吗?
王仲远
我觉得首先不能简单划分阵营。我的技术路线理解是这样的:
多数情况下,我们会有一个基于海量数据训练出来的 foundation model,再基于强化学习提升、激发它的智能。
大语言模型解决数据枯竭的一个重要方式,就是通过强化学习做后训练,或者做推理 scaling law,使智能不断提升。它其实就是一个 foundation model,再加上强化学习。
在具身智能领域,我们也很可能会有一个多模态模型或世界模型作为 foundation model,再通过真实世界的数据采集,或者体验学习,不断激发这个 foundation model 的能力,并且把学到的技能记住。
这有可能是具身智能发展的一个路线。
我在真实世界中也观察到过类似现象。今年春节时,我看到一个两岁的小女孩,在没有任何大人教导的情况下,学会了拆糖果,也学会了把不同的蓝莓串在一根牙签上。
我们当时都震惊了,因为从来没有人教过她。为什么她能学会?
后来我发现,她在刷手机上的视频。她在视频里看了大量相关数据,很开心地看到一个主播在拆各种糖果。于是她的大脑就学习到了这种能力。
她又在真实世界里实践。最开始她失败了,怎么撕都撕不开,后来发现糖果包装边上有锯齿,可以从那里撕开,于是学会了这个能力。
包括串糖果、串蓝莓、串水果,她发现这样串能够串得牢固,于是学会了这个技能。
这仅仅是一家之言。我认为,最终有可能是一个多模态 foundation model,或者世界模型 foundation model,再加上强化学习,成为未来真正意义上的具身机器人的具身智能。
卫诗婕
所以你们今年也做了具身智能的大脑模型,以及具身智能底层的 RoboOS。
王仲远
RoboBrain 是一个大小脑协作的框架,主要是为了让大脑跟机器人已经具备的小脑更加容易协同和适配。
我想,这可能是我们判断出来的一条技术路线,但会不会成功,还需要验证,也可能失败,确实不知道。
卫诗婕
但我想强调一点,这恰恰是智源研究院这样的机构的魅力所在。
我们对于讨论出来的技术路线,回到最早的理念,就是希望有一群有理想、有信念、有技术,尤其有自己技术信仰的年轻人,基于大量分析和过去成功的科研成果,敢于尝试一条全新的技术路线。
王仲远
我们认为这条技术路线有很大可能成功。如果成功,这是我们对整个中国乃至全世界技术发展的促进,能够让人工智能更好地造福人类。
但如果失败,我们也希望社会、媒体和公众能够对这样的科研创新有一定包容性。
因为在这个社会里,大家很容易看到特别成功的人,再去追寻他的历史轨迹。但实际上,我们也要尊重失败者。只有越来越多的失败者,才有可能产生为数不多的成功。
我们不应该忽略,也不应该过度苛责失败者。恰恰是因为他们的失败,成功才显得弥足珍贵。
一个好的创新环境、一个好的科研体系,就是要鼓励和支持有可能失败的创新。
卫诗婕
这让我想到一本书,好像叫《为什么伟大的创新不能被计划》。
王仲远
培养创新的土壤很重要。你刚才讲的我特别认同,生态和土壤比较重要。
智源研究院正在努力创建的,就是一个让大家有可能突破、做出世界级科研成果的土壤和环境。在这样的土壤和环境下,有可能长出令人意想不到的果实。
卫诗婕
当然,即使有了肥沃的土壤,最终也有可能没有我们想象中的收成。
我第 1 次见你是在群访,大概半个月前。你那天也反复强调这件事。我能够感受到,这几年跟随智源关注你们,我会认为智源追求的其实不是那个果实。
果实当然人人都想要,但智源追求的其实是那片土壤。
王仲远
当我们创建了这样的土壤,就会有越来越多的小苗。有些树可能长成参天大树,有些树也许不一定要在智源的土壤里最终长出来。
我们把这棵苗培育出来之后,也可以交给市场、交给企业,这也是很好的贡献。
卫诗婕
明白。那我们还是回到具身智能。
我们发现今年具身智能特别火。首先,你能不能讲一下,为什么是在今年这么火?第 2 个点,我们刚才讲到语言和多模态,其实是要找一个场景,不管是收集数据、训练,还是应用。为什么先挑了具身智能,挑了机器人?
10. Embodied AI Finds Its Moment
王仲远
首先我也不知道为什么具身智能这么火。
说实话,我第 1 次听到具身智能,还是在快手。那时我们关注到“Embodied AI”这样的一个名词,这个名词似乎开始受到大家关注。
其实当时大家并没有形成共识,说具身智能是不是未来。直到今天,虽然具身智能很火,但我也经常听到其他声音,甚至负面反馈,觉得具身智能是泡沫,是一个发展不起来的领域。
我们永远要尊重这样的声音和争论。
具身智能在过去一两年显得尤其火热,我觉得有几个因素。
一方面,从硬件来看,我们看到人形机器人终于能够开始走起来,开始走得稳了。于是科幻片里大家想象的机器人助手、机器人保姆,甚至机器人朋友,都有可能出现。碳基生命和硅基生命似乎有可能开始共存,大家就有了这样的想象。
第 2 点,在强化学习方面,因为强化学习帮助语言大模型进一步提升了能力,所以做强化学习的研究者开始相信,机器人的强化学习也能够进一步突破。
第 3 点,不管是大语言模型开始让它有可能像人类一样说话和交流,还是多模态大模型——即使是现在比较局限的、我们刚才讲的拼接式多模态大模型——都可以让机器人开始看到世界、感知世界,让大家看到一些曙光和希望。
当然,还有很多政策方面的支持,使得具身智能越来越火。
但我在不同场合也多次强调和呼吁,在我看来,具身智能是一个 5 到 10 年,甚至更长周期的领域。我们要对这个领域有更多耐心和宽容。
按照历史规律,如果泡沫起来太快、热度起来太快,很可能未来一两年也会陷入泡沫低谷。如果真的出现这种情况,也可能是市场规律。
但请大家相信,至少在智源研究院,我们会继续踏踏实实、一步一步地把每项研究工作、每个项目做好。
我们不是一个跟风的机构,不是因为具身智能火了才做具身智能。恰恰是因为我们做了具身智能,也许在某种程度上,是我们带火了具身智能。当然我也不确定。
这是我们基于对技术路线和人工智能发展路径的判断,做出的战略选择。
卫诗婕
你战略上为什么选择具身智能?
我感觉你们今年最大的两个重点,一个是原生多模态,一个就是具身智能。
王仲远
刚才提到,我们希望人工智能最终能够造福人类,帮助人解决问题。它不仅可以作诗,还要做事。
当它做事情时,需要一个载体、本体。不管这个本体是机械手臂、轮式单臂、轮式双臂,还是人形机器人,都是具身智能的载体。
所以我在不同场合都强调,具身智能不等同于人形机器人。
尤其是人形机器人,我认为需要更长的周期。我们要尊重事物发展的客观规律,也要尊重产业发展的客观规律。
不管从硬件成熟度、供应链完备程度,还是技术发展规律来看,都需要更长周期。大家千万不要认为,未来 3 年机器人就会满街跑、进入千家万户。这是完全不切实际的期待。
卫诗婕
今年“物界”其实是一个系列,包含我们刚才提到的 Emu3,也就是原生多模态模型;还有脑科学多模态通用基础模型 Brain-Mind;以及跨本体具身大小脑协作框架,也就是刚才讲的平台 RoboOS。
还有具身大脑 RoboBrain。这两个都已经迭代到 2.0 版本了,而且应该是最近半年发生的事情。
当然,还有全原子微观生命模型 OpenComplex。
我们先讲具身领域会用到的两个,一个是大小脑协作框架,一个是具身大脑。上次群访时你用了一个词,叫“最强大脑”。这个“最强”体现在哪里?
王仲远
我们认为,具身大脑能够帮助机器人、帮助这些硬件具备智能化水平。
智能化最重要的是泛化性,以及对空间的理解能力、世界模型能力、空间理解能力和任务规划能力。这些能力,都是 RoboBrain 要进行评价的。
RoboBrain 能不能跟真实物理世界交互?能不能很好地理解空间?能不能对人类指令进行规划?我们在不同任务上都做了评测。
我们跟行业里已有的 vision-language model,以及其他多模态模型,都做了各种评测,包括已知的其他具身大脑模型。
最终我们确实证明,在这些能力上,我们超过了那些模型。我们也把它开源了,并且会持续迭代,希望能够持续打造这样一个最强大脑。
当最强大脑装进一个本体之后,就能够解决更多事情。
什么叫空间任务?举个例子,我们有时会说:“能不能帮我拿一个苹果?”这是最简单的任务。
但很多时候我们会说:“能不能帮我拿那个最红的苹果?”或者“那个最大的苹果?”“帮我拿最上面的那个苹果。”
拿到苹果之后,把它放在这一排。这些任务包含很多空间感知,对大模型提出了新的能力要求。
当我说“帮我拿一瓶水”时,如果水前面还有其他东西遮挡,我需要知道是绕过去,还是把前面的遮挡物移开。这些都是任务规划能力。
对人类来说很简单,但对于现在的大模型和机器人来说,却非常难。
另一方面,我们也非常关注 AI 安全。我们希望大模型和人工智能最终做到 AI 向善、科技向善,服务人类,而不是伤害人类。
所以我们要确保,在发展的过程中,它能够在符合我们价值观的治理框架下运行。
卫诗婕
前两年,智源在安全对齐方面投入了很多。那个时候不光是智源,美国最先进的公司和机构也一直在提 AI 安全对齐。
我提一个很现实的问题:即便智源有资金,资源永远也是有限的。我们要集中资源,做聚焦的事情。
像你刚才讲的战略切换和重心确定,是怎么样确立最重要的几件事情的?
王仲远
资源永远是有限的。我在不同公司、不同企业工作时学到很重要的一点,就是永远要在资源受限的情况下抓住最重要的事情,拿到超预期的结果。
过去一年多,我花了很多时间不断争取资源。所以我们也呼吁,更多有资源的投资人、企业家,乃至对人工智能有理想、有信仰的社会各界人士,都能够提供资源,帮助智源这样的科研机构不断探索和突破。
确实,作为一家非营利性科研机构,我也经常深深感受到发展所需要的资源瓶颈。很多时候,我们不得不做出各种无奈的选择。
卫诗婕
那你们现在最重要的几件事情,就是刚才讲的多模态、具身智能和生命科学?
王仲远
对。这 3 块确实是我们未来几年最重要的发展方向。
并且在这些发展方向中,我们也是有取舍的,不可能所有项目都做。就像刚才讲世界模型,我们有技术路线一、技术路线二、技术路线三,只能选择一条技术路线。这条路线有可能失败。
但如果我是全世界最大的一些企业,南坡、北坡都爬,可能全部布局。当然这种布局过程中,具体到某个团队,它获得的资源有可能还不如智源。
这就意味着,如果我们的技术路线选对了,还有可能用更少的资源,做出比它更好的成果。这些都有可能发生。
卫诗婕
我问一个最基础的问题。我们刚才讲的原生多模态模型和具身智能模型,它们都是世界模型,还是它们一起构成世界模型?
王仲远
这个问题非常好,我也没有完全的答案。
首先,世界模型没有一个明确的定义。但我觉得,它们是世界模型可能的组成部分。
卫诗婕
刚才讲到世界模型和多模态,我想你应该也留意到了,最近 Meta 推出了一个世界模型 V-JEPA 2,它登顶了 Hugging Face 榜单,把 GPT-4 长时间霸榜的位置比下去了。
你们的多模态世界模型,跟它相比,现在能不能分享一下有什么区别?
王仲远
这应该就是杨立昆提出的世界模型。我们肯定会做相关对比。
但刚才讲了,技术路线不太一样,而且我们会认为,榜单在这件事情上的意义甚至没有那么大。
在智源内部,对具身智能团队一个非常重要的要求就是真机部署。我们判断世界模型好不好用,一定要在真实场景和环境下验证,而不仅仅是在榜单上验证。
卫诗婕
明白。所以现在各种大模型榜单眼花缭乱,很多公司也在刷榜,确实有这样的情况。
但我们还是会关注这样一款模型,也会做更多评测和对比。我相信,具体对比可能要稍晚一些才会有细节分享。
我比较关注的是,Meta 推出这样一个世界模型,好像给我们吹来一阵风,感觉接下来要讨论世界模型、迈入下一个纪元了,是吧?
王仲远
我倒没有受到这个新闻太多影响,因为我们一直按照自己的节奏、步伐和技术路线往前走。
这些新闻总是会不断出现。不管其他团队研究得怎么样,我们依然会按照对人工智能技术路线发展的判断,以及对项目的布局,一步一步、扎扎实实地推进。
卫诗婕
你刚才讲到应用和部署。我问一个最直接的问题:你们的原生多模态大模型和具身智能大模型,目前应用情况怎么样?
比如多模态模型,应用场景有哪些?
王仲远
你问了一个非常好的问题。
11. Open Source Builds The Ecosystem
智源研究院一直在研发各种模型,很多模型我们都全部开源出去了。开源之后,我们甚至不知道被哪些机构、哪些团队最终拿去使用,有些甚至变成了产品。
举一个具体例子,智源研究院过去两年发布的 BGE 系列模型,也就是刚才讲的通用向量模型,在去年 10 月登顶 Hugging Face 月度下载量榜首。
它也是 2023 年以来,Hugging Face 发布的所有 AI 模型中,截至去年年底下载量第 1 的模型。下载量达到数亿次。
但我们自己也一直很难追踪它到底被谁使用。你可以想象,它有数亿次下载,不管是个人开发者还是企业开发者,都在使用我们的模型。
我在企业待过,通过很多企业朋友得到反馈:“你们智源研究院的 BGE 模型真的好用,我们内部都在用。”
你想象得到的、耳熟能详的互联网公司,包括国际上大家知道的大型互联网公司,乃至一些热门创业公司,我们都得到过反馈,说他们在用 BGE 模型。
当然,他们不会在公开场合这么说。
这也带来另一个问题:我们很多时候不知道到底有哪些团队在使用我们的模型。
比如我们的数据。我们做了很多开源数据,下载量也有数百万次。
因为在数据方面,我们有时会要求开发者登记姓名、单位、邮箱等基础信息,所以后来发现,已经有超过 30 个国家和地区、数百个机构在使用我们的数据和框架。
大家觉得热门的那些模型,很多都在使用我们的数据和框架。
一方面,智源研究院确实为整个行业和产业,不仅在人才方面,也在开源模型、开源框架方面,做出了很大贡献。
但另一方面,因为我们足够开源、开放,很多时候也很难追踪到底有哪些产品和企业在使用我们的模型。
卫诗婕
我留意到,你上任之后有一个特别重要的举措,就是倡导“真开源”。
我觉得这件事特别呼应宏江老师当年讲的“功成不必在我”。智源研究院也许在骨子里一直都有这样的理念。
王仲远
这种理念在于,我们通过一些项目培养很多青年人才。这些人才可以继续留在智源做研究、做项目,也可以自己创业、到市场上去折腾,还可以到大公司帮助企业和产品做得更好。
同样,通过开源社区和生态,我们也在润物细无声地支撑整个人工智能产业发展。
包括你刚才提到的真开源。很多商业化公司有业务需要,很多时候只开源权重。
智源在很多模型开源时,会把代码、数据、模型本身,包括评测方法全部开源,帮助大家复现,也让大家基于我们的模型做进一步迭代和研发。
这确实包含“功成不必在我”的理念和情怀。
卫诗婕
你曾经接受采访时,给技术人提过一些建议,其中一个是一定要关心最关键的核心技术。
你觉得在今天这个时代,最核心的技术是什么?
王仲远
不同领域、不同背景的研究员,所关注的核心技术一定不一样。
就像智源研究院,我们对于技术的判断,决定了对于哪些技术方向进行布局,以及采用什么技术路线。
但我更想传递的是,要扎扎实实抓住每个细节,因为细节决定成败。
对于关键技术,大家可以基于自己的理解、对技术发展的判断,以及自己的兴趣和热情去做。我没办法简单定义,一千个人就有一千个哈姆雷特。
恰恰是这样的土壤,如果每个人都有工匠精神,最终就会培养出独一无二的工匠。
卫诗婕
最后一个问题。我最近留意到,OpenAI 的华人员工、也是姚班校友的姚顺宇,前段时间给出一个判断:AI 趋势正在进入中场休息。在此之前是训练大于评估,在此之后将会是评估大于训练,背后意味着从解决问题到定义问题。
我觉得这是一个非常 sharp 的判断,但不知道你认不认同。
王仲远
我部分认同。
舜宇的判断,是基于他所在的领域,包括大语言模型,以及他对技术路线的判断所形成的观点。
他是不是更多关注大语言模型?
至少从我的观点来看,也许在大语言模型领域是这样的。
如果大家翻看我去年接受媒体访谈时对一些技术做出的判断,去年 6 月智源大会时,我就判断,到年底国产模型可以追上 GPT-4,再往后 Agent 可能会是一个很重要的发展方向。
确实在年底、春节前后,我们看到了 DeepSeek 的出现,使得国产模型开始追上 GPT-4。
但我相信,即使没有 DeepSeek,也会有其他国产模型追上 GPT-4。
当国产模型变得可用,就进入了落地应用和产品爆发的阶段。对于用户需求的洞察和评测,就非常关键。
这也是我当年从微软亚洲研究院决定投身产业界的一个重要原因:模型到了可用阶段。
如果大语言模型确实到了这个阶段,我觉得对人类来说也许是一件好事。现在的大语言模型显然还是工具,它还不具备我们期待的真正超级智能所需要的那些特性。
这对产业来说也是一件好事,因为可以基于可用模型,开始迭代出很多可能的应用场景。
但另一方面,从研究院角度,我们依然会追寻大模型可能达到的上限。无论多模态、具身智能,还是物理 AGI,都还有很多关键技术路径需要突破。
AGI 时代,或者物理 AGI 时代的到来,还需要几次重大技术突破,才有可能通往真正的通用人工智能时代。
智源研究院愿意在这样的技术突破中扮演关键角色。有可能是我们实现突破,也有可能是我们提供土壤,孕育出突破的可能性。
卫诗婕
你今天有什么可以给出的确定性趋势预判?
王仲远
最确定的就是,像今年智源大会发布的“物界”系列大模型一样,我仍然坚信,人工智能将正式从数字世界迈向物理世界。
卫诗婕
最后一个问题。因为我看你之前讲过,做智源的目标是想跟世界顶级科研机构掰掰手腕。
我想知道怎么个掰法。我们今天跟世界顶级研究机构的差距,或者说差异在哪里?
王仲远
我一直都是在理想主义和现实主义之间不断平衡的状态。
智源研究院一直有这样的追求,希望成为全球最顶尖的科研机构。
当然,我们与当下世界最顶尖的人工智能科研机构依然有不少差距。不论资源投入还是人才密度,我们都还远远不够。
所以我更愿意务实地,在追寻物理 AGI 这条技术路线上,把手头每一件事情扎扎实实做好。
我们有这样的愿景和心,但路是一步一步走出来的。我不去想太多能不能一定达到高分。追寻登顶珠穆朗玛峰是我们的追求,一步一步爬坡是我们正在做的事情。
卫诗婕
所以你想做的事情,是带领智源日拱一卒,是吗?
王仲远
是。不积跬步,无以至千里。
刚才讲到差距,有些是差距,有些是差异。中国最顶尖的科研机构,跟美国或者世界其他地方相比,也有一些差异。
中国有非常广阔的市场、庞大的用户群体,以及非常完备的创新创业体系。在中国这片土地上做人工智能,我对长期发展非常有信心。
不管遇到什么困难,我们都能够克服。新中国刚成立的几十年里,我们那么困难,都熬过来了。
如今不管经济体量还是市场规模,我相信没有任何力量能够阻碍我们在技术和人工智能上的发展。
卫诗婕
所以南坡、北坡,你觉得南坡的风景肯定会很好?
王仲远
是的。
卫诗婕
好,谢谢。
王仲远
谢谢,谢谢。
卫诗婕
其实好多问题还没有问完,有一些问题我回去之后还想在微信上听听你的想法,你可以用语音回答。
王仲远
好呀。还有吗?再给我两个问题,我应该就可以问完。
卫诗婕
对呀,那你问吧。我觉得今天的交流非常深入。
王仲远
我很少回答这么多。
卫诗婕
你们还会布局大模型以外的人工智能技术吗?可以大概讲一下,会有哪些方向?
王仲远
好,这个问题我先记着。你再问下一个问题,我看下一个问题是什么,待会儿一起回答。
卫诗婕
好,没问题。最后两个问题,还有央视的记者在等着。
关于 scaling law,它会一直是主线吗?
王仲远
我觉得,我自己对 scaling law 的理解,跟行业里其他研究者的理解不太一样。
去年智源大会上,我分享过一页 PPT。在我看来,scaling law 不是这两年才出现的。虽然很多人工智能研究者会分析这两年的 scaling law,但如果把时间拉长到足够长,比如过去七八十年,我们会发现,神经网络这条技术路线的智能每一次重大突破,都伴随着数据规模、算力能力、参数规模,以及算法创新综合带来的能力突破。
很多时候,当我们陷入对一件事情的纠结、争论和挣扎时,如果把时间尺度拉得足够长,就会豁然开朗。
现在人工智能大模型在 2018 年的 BERT 模型只有 1 亿参数,它跟人类大脑相差 100 万倍。GPT-3 是 1,750 亿参数,相差 1,000 倍。GPT-4 是 1.8 万亿参数,相差 100 倍。
可以看到,大模型正在快速接近人类大脑的参数规模。
Scaling law 还有没有效?我认为,等模型有一天能够达到人类大脑的参数规模时,我们再来论证 scaling law 到底有效还是无效。
现在不管数据还是算力,全世界其实都面临算力瓶颈。算力还要遵循摩尔定律,一步一步发展。也许 5 年后的算力、10 年后的算力,相比今天会有重大提升。
到那个时候,算力 ready 了,数据如果也 ready 了,而数据又包含多模态数据,那么当我们把时间拉得足够长,我对于 scaling law 还是 believe 的。
我对于神经网络这条技术路线是 believe 的。
卫诗婕
多模态训练,包括刚才讲的世界模型,需要全新的架构吗?
王仲远
也有可能不需要。
首先,Transformer 已经被证明是一个非常通用、非常好用的架构,至少它能够实现数据的 scale up。
所以我们认为,基于 Transformer 的基础架构,有可能帮助我们在多模态世界模型上继续取得突破。
但 Transformer 有没有自己的问题?显然有。Transformer 的效率提升还有空间,所以现在也有很多人在做探索。
但一个架构被替代,是一个长周期的事情。它跟芯片加速、各种效率优化、算子等都紧密相关。
一个新架构要替代 Transformer,需要经过较长周期不断论证和验证。
这些在我看来都是不能排除的未来可能性。但基于现有架构,我们也会做各种探索。
卫诗婕
所以 AI 进入物理世界,最关键的几个难点,能大概说一下吗?
王仲远
最关键的,本质上还是空间和时间的感知能力,以及如何跟硬件结合。
硬件构型不统一,导致模型如何指挥硬件达成想要的效果,目前还没有形成行业统一标准。因为标准不统一,大家都比较碎片化,所以整体还处在一个相对低水平的阶段。
这些问题都有可能在未来不断突破。
卫诗婕
那空间和时间的感知力,具体背后是什么?
王仲远
可能就是世界模型,也就是你刚才问到的大模型以外的人工智能技术。
首先还是要尊重科学发展的规律。科学发展的规律在于,我们既会布局当下主流的技术路线,或者认为未来可能成为主流的技术路线,也会进行研发投入。
另一方面,对于一些可能具有突破性的技术方向,要给它足够的时间和空间。
比如现在大模型的学习路径,跟人类依然有很多不同。人类大脑从一开始就是多模态学习,但现在大模型从一开始学习的是语言数据。
人类大脑能够用很小的功耗完成复杂的理解、推理和交互。科学家估计,人类大脑大概只需要十几瓦的功耗。
而大模型要学习全世界、全互联网的数据,需要非常庞大的集群和高端芯片进行训练和推理。这跟它消耗的能源,也跟人类大脑不一样。
人类大脑还能够通过小样本学习。我们只要看几张图片,就知道这是猫、这是狗。
但大模型需要读取全世界的书籍和互联网数据。我想,没有任何人能够读完所有书籍和互联网数据。
所以它的学习路径跟人类大脑依然不太一样。
除了现在大模型的人工智能技术路线,我们也会思考,类脑智能有没有突破的可能;数字孪生心脏能不能帮助我们理解和构造人类身体;蛋白质、生命分子的建模,是不是能够帮助我们更深刻地认识生命运作机理。
这些都是未解之谜,也是我们希望探索的方向。
对于探索性项目,我们会比较谨慎地投入小资源,给研究员充分的时间、空间和宽容。
可以分享的是,今年智源大会发布的“物界·Brain-Mind”,是脑科学领域首个多模态通用基础模型。
实际上,这是一个很小的团队做出来的。它基于统一架构,把脑信号,包括脑电信号、功能磁共振、双光子等各种信号放到统一架构中训练,产生了意想不到的效果。
这就是我们提供土壤、给研究员自由探索空间后,有可能产生意想不到的科研进展和成果。
卫诗婕
所以这也让我很感动。你们并没有完全 focus 在大模型这件事情上,而是在其他地方也留有种子。
王仲远
还是回到刚才那句话,智源研究院更多提供的是一片土壤。
卫诗婕
好,辛苦你了。后面聊得比较久了,算下来聊了几个小时。
王仲远
因为昨天我还是蛮感动的。我觉得你做的功课很扎实。
卫诗婕
谢谢。
好了,本期节目就到这里,欢迎在留言区评论分享听后感,也欢迎留下你想听的选题或是嘉宾。这期节目已经在苹果 Podcast、网易云音乐、QQ 音乐、豆瓣、微博音频等平台同步上线,欢迎订阅,我们下期再见。