[BidClub_]
张小珺Jùn|商业访谈录 · · 109 min

120. 小鹏新上任的刘先明首次访谈:Language是毒药、拆掉L、简单即美、换帅、小鹏的AI转型

张小珺刘先明

YouTube
TL;DR
  • 小鹏智驾换帅后首次专访:2025年10月9日李力云卸任,世界基座模型负责人刘先明接任,成为继古俊利、吴新宙、李力云之后的第四任智驾一号位。他对外界猜测只回一句"大家就没有那么多背后的故事,正向去看就好了",并把小鹏重新定义为"物理AI公司"——芯片大脑加与物理世界交互的device,车、机器人、飞行汽车等都属于同一物理AI体系。
  • 全片最激进的技术判断:"Language是毒药"。用开源语言模型(如理想用DeepSeek)当底座是最简单的shortcut,"但它一定会带来像一种毒药一样——你会越来越重地依赖它";语言是离散、冗余的表达,而物理世界输入是连续传感器信号、输出是连续控制量,中间插L纯属低效。小鹏VLA 2.0直接以VL联合语料输入、action输出,训练数据27-30万小时纯video,拆掉L后基本无明显回退、scaling立现,困扰已久的模态混淆问题明显改善。
  • 拆是贯穿全片的动词:从去年到今年拆了激光雷达、拆了规控规则、拆了端到端、拆了语言,"基本全拆了",现在实车版本是模型直出控制信号,连ETC场景的规则都没留。哲学来自他PhD导师:"简单即美,世界上好的东西一定是简单的。"最难拆的是规则和loss,他为此拍过桌子。
  • 明年在广州推L4,并希望把Robotaxi运行好("我们的目前计划是这样的"),同一架构靠车端加算力、更多inference时间和更大模型体积解决复杂问题;泛化性出乎意料地强——"海外市场的泛化性反而很强"——由此打开全球市场命题。数据每季度以30-40%速度增长,全部真实数据。
  • 主机厂vs供应商之争正面回应余凯"未来主机厂不会自研智驾":"数据就是一座金矿",只有主机厂能规模化闭环;智驾会标准化,但"一个月接管一次和二十公里接管一次是完全不一样的体验";车企AI竞争已白热化,"做不好基本可能会被淘汰"。2025年45亿AI投入"差不多花完了",大师兄批预算的回复是一个字:"好"。
  • 组织论是隐藏主线:AI不是天才灵光一现,"一定是严格体系化的东西"——小型集中团队+大规模工程体系,技术自下而上、北极星自上而下。Meta做不好AI是因为半年一次reorg和考核逼出"break things and move fast";小鹏则极度扁平,他直接看一线工程师代码、凌晨两三点睡。他的关键bet:"物理AI里面的scaling。"
  • Waymo在旧金山已到每周25万单、从景点变成生活的一部分;他带娃第一次坐Waymo,"坐在曾经竞争对手的车上,他做得很好,非常不甘心"。里程碑愿景:"有一天我可以把我们家的娃放到车上说,好,你自己上学去吧。"
Digest · the substance, structured for research

1. 换帅无内幕:一个"头铁"的一号位,上任三周只做减法

  • 访谈录于2025年10月30日、他上任三周之际。对这次人事变动的全部回应:"大家就没有那么多背后的故事,正向去看就好了。"至于三任前任与他各自的历史使命,他的答案透着工程师式的冷幽默——"也许有一天我会把这个事情做到我自己觉得好像把我自己干掉了,就这样。"
  • 他对外界标签照单全收:有人说他"非常憨藏"、有人说micro management、有人说头铁,"内部也有"。他的辩护是方法论式的:想做成一件事就要承担risk、做前瞻判断、把风险控制在可接受范围内,"如果没有头铁的性格,很多事情是推不动的,也不太可能看到结果"。
  • 上任三周最重要的决策是简化:不听汇报、直接看每天的debug日会或问题日会里的问题,"简化流程、简化研发工序、简化要做的事情",重复的事合并、不必要的事降级或暂停——"我还是希望整个中心变成一个非常简单极致的组织结构。"

2. 从Facebook卫星测绘到Cruise:使命驱动的履历与"cruise coin"方法论

  • UIUC PhD一六年毕业,进Facebook Connectivity Lab做高空无人机激光通信与卫星图像分析,项目一度用掉Facebook超过16%的计算资源;海地地震后Sheryl要求三天内交出震前震后人口与建筑分布,团队不到两天交付供红十字会救援。择业时打动他的一句话:"how many people have chance to change one billion people's life。"与一位名叫“开明”的同事同期入职的插曲:"刷paper肯定刷不过他……绝望。"
  • 转向自动驾驶的触发点是一段卡车司机DMS视频——司机连开数小时困到闭眼,"他们也有自己的家人,有自己的老婆孩子在家里等着"。选Cruise而非Waymo的理由很坦白:"加入老二在逆袭的故事永远是让人非常兴奋的故事。"入职后的落差也直说:Cruise的技术栈"比我想的还要烂",把demo做成规模化产品的难度"比想象的大太多了"。
  • Cruise留给他三样至今主导其路线的东西:极致简化、大规模infra(几百人的infra团队,当时自动驾驶业内规模最大的之一),以及"continuous learning machine"——内部玩笑是所有人躺在夏威夷海滩上等cruise coin从树上掉下来,"数据迭代来解决一切问题,我们就可以躺着赚钱"。他的总结:今天所有physical AI企业做的无非还是这两件事,更大规模的infrastructure去scale up,用数据驱动解决问题。

3. 一小时定offer:来主机厂只为一件事——数据金矿

  • 2024年1月与“大师兄”在硅谷办公室约了一小时,"出来就跟HR说,哎,准备offer吧",3月入职。那次谈话更像共谋而非面试:大师兄的问题是"我想远远甩开当前的对手这一代,我们应该怎么做"——"他需要找到一个人能理解他把这个事情做出来,而我需要一个支持我理解我的老板。"
  • 选主机厂的核心逻辑一句话就够:"我来小鹏的核心逻辑是数据,数据就是一座金矿。"如果physical AI的未来是大规模数据、快速iteration和infra闭环,"那我一定要去找的地方就是主机厂,因为只有主机厂才有这样的数据、可控的数据链路"。
  • 还有一层是执念:"如果最终证明我错了,我接受;但如果证明我是对的,而我好像不在这个赛道上,这个事情跟我没有关系,我可能会受不了。"

4. 四代软件栈与"云端工厂":自动驾驶正在变成大模型

  • 他给的技术断代:software 1.0(约零九年大炮挑战赛到一六一七年,激光雷达聚类+传统数学规控);1.5(Mobileye式一半模型一半规则——"你的模型做得再强,上限卡在那些规则代码上");2.0(Karpathy提出的纯神经网络+数据迭代,瓶颈变成网络结构与数据量);到现在的VLA/VLM/世界模型——本质仍是端到端,只是更大芯片算力支撑更大参数,更大参数需要更多数据。
  • 当前"最为可靠的前进方式"是云端工厂:车端硬件撑不起大模型,就在云端训一个巨大模型,再通过蒸馏、量化、剪枝部署——"factory一旦训练好,就会不停generate可以deploy到不同硬件上的模型"。
  • 名词之争他主动引战:"其实大家不用起那么多的名词,本质上做的东西都差不多。"最贴切的词是physical AI;至于模型,"大家本质在做的都是端到端模型,加上不同的多模态数据"。

5. "Language是毒药":拆L的完整推理链

  • 起点是他们也试过的诱惑——像理想那样用DeepSeek开源模型当L底座。"这是最简单最直接的路径,但实际上这么做一定会带来像一种毒药一样,你会越来越重地依赖它"——因为"这个能力不是你自己的",且有上限。内部有一句话:"模型其实是一个机器,它的燃料来自数据。光有机器没有用,一定要让数据流起来。数据流起来一旦掺入了任何language的supervision,就会让整个效率变得极低。"
  • 技术上的罪状有三:L在中间就必须生成语言监督信号(即使用大模型打标签仍要人工质检),引入人的监督、拉低数据使用效率;语言是离散的codebook空间,而物理世界模型输入是连续视觉/传感器信号、输出是连续控制量(纵向加速度和kappa或yaw angle等连续控制量),"用语言生成离散token再翻译出连续控制量,显然是一个低效的过程";部署时更直观——"增加很少的信号就要增加几百个token,这个完全不make sense"。
  • 转折发生在"加数据看到瓶颈的时候——就是加不动了"。拆L反常识、反paper共识("所有公开的东西都告诉你language很重要"),但决定出奇地快:"大家讨论了一下,好像也没讨论太久,觉得就应该这么做,那我们来试一下。"他还援引DeepSeek OCR的paper作旁证:没必要把图像对齐到文字token空间,"这本质上也是反公式的"。

6. 全拆到底:最难拆的不是激光雷达,是规则和loss

  • 时间线:去年拆激光雷达、拆规控规则(内部"有很多debate",大师兄拍板"对长期一定是更有利的"),今年上半年拆语言,"端到端也拆了……基本全拆了"。现在实车上跑的版本模型直出控制信号,连进ETC这种场景的规则"也都拆掉了"。
  • 阻力最大的是拆规则、拆loss:"当模型某些情况表现不好,最自然的想法就是加特定的loss function或规则——你要不要能顶住压力不做这件事,并且坚信我就要去做scaling、做极致的简化。"他承认为此发过火:"我拍过桌子……开会的时候也说过很多不该说的话。"外界以为端到端早是共识,他纠正:"在企业里真正做还非常难——当你真正有业务目标、路上真的会出现事故的时候,是很难的。"
  • 底层哲学来自PhD导师的一句话:"简单即美,世界上好的东西都一定是简单的。"通用的错误是为了让模型在小数据小算力下好看而不断往上加复杂东西;而《The Bitter Lesson》式的教训他照单认领——手工特征、手写reward function短线work,"长期看都是人工智能的一个回撤"。下一代还能拆什么?"好像没什么可拆的了。"但他拒绝称之为终极架构:"你要能放弃你之前认为正确的东西去追求更好的,要有这个勇气和能力才行。"

7. VLA 2.0=砍掉decoding的世界模型:27-30万小时video,拆L后基本无明显回退

  • 训练方式与理想的对照最清晰:理想先训L语料、再vision、最后VL联合——他评价那只是"对网络初参数做初始化比较好的方式,但并不能彻底解决自动驾驶的问题";小鹏只输入VL联合语料、直接输出action,没有纯L语料。为解决高维输入到几十个控制量的"维数灾难",先训世界模型让它理解世界如何运行——相当于把文字CoT换成latent CoT,"让CoT直接作为隐空间,去做generation、做diffusion,看它中间生成什么样的视频"来检验理解。
  • 世界模型和VLA不是两个东西:"把世界模型中计算复杂的decoding部分全部砍掉,只让它产生中间的推理和最终的动作,就变成我们现在发布的VLA 2.0。"机器人复用同一架构;他们同时在自研代号图灵的基座模型——"不一定"是语言模型。
  • 实证结果出乎他们自己意料:在27-30万小时纯video的数据规模下,"拆掉它之后第一反应是担心不work,比如红绿灯、待转区——但根本就没出现,非常自然地就过去了,完全的出乎意料",基本没有明显回落、"上来就看到明显的scaling";长期的模态混淆问题(对L依赖太高、action不灵活)也明显改善。他的复盘去掉了一切神秘感:"很多时候就是你直觉上觉得它是对的,敢于踏出那一步,并像疯子一样去推规模,发现它就是work。"

8. 涌现与泛化:旧金山解决不了的问题,在广州被轻易解决

  • 涌现的具象版本:"在旧金山遍地躺的都是流浪汉、到处都是垃圾,你觉得这个问题解决不了——但你到广州看一看,这不是一个数量级的问题。你曾经认为解决不了的问题,正在被非常轻易地解决掉。"广州城中村小路"开得非常丝滑,很像人但是很安全"——不是单纯imitation learning,"它确实在思考":会等对向车通过独行道,会根据对方车微小变化决定何时smooth地nudge。
  • 泛化性是最大惊喜、也是明年的KPI:"海外或其他市场的泛化性没有像你想象那样变差,反而很强"——由此涌现出新命题:用这个模型打全球市场。数据侧每季度以30-40%速度增长、全部真实数据;corner case最难获取,而获取它的前提是先有零到一的系统告诉你什么是corner case(shadow影子模式、用户接管数据、数据分布trigger模型),"没有这个系统,收上来很多都是无效数据"。
  • 与特斯拉的路线"不谋而合"——看到Tesla最近的talk后"大家的第一个反应就是:我去,又撞车了"。他的解读不无宿命感:"对的事情真理可能就这么一条,大家最终可能都会踩在这个路上。"至于业内像他这样拆L的多不多:"我觉得不是太多吧……关注自己该做好的事吧。"

9. 明年广州推L4:安全下限是最后的阻隔,Waymo是心里的刺

  • "我们明年会去推L4,在广州"——同一架构,车端增加算力、给更多testing time scaling和更大模型体积去解决更复杂问题;商用化的本质是"降低系统出错的概率,从而降低云端接管的频次、降低成本"。明确的路只有一条:physical AI模型+极致scaling(更大资源、更好infrastructure、更大数据规模);模糊的部分他也不讳言——scaling能持续到什么程度、安全下限怎么守住(安全对齐"正在尝试,尚未正式开始")、软硬件定制化在scaling起来之后影响多大。
  • 工程上的清醒话值得记录:long context"对量产是一个非常不友好的方案"——推理速度慢直接导致控车结果差,"出现鬼探头或突然窜出来的电动车,必须迅速响应,这永远是一个trade off";长时序用户记忆"大家都在探索,目前没有一个特别好的方法"。
  • Waymo一段是全片最动情处:带娃回旧金山第一次坐Waymo(Cruise禁止十三岁以下儿童乘车,娃从此见到就喊robot car),"你坐在一个你曾经认为竞争对手的车上,然后他做得很好,非常不甘心"。Waymo在旧金山每周25万个订单、已从旅游景点变成生活的一部分。他的技术判断是"不是有代差,是下一代技术栈完全不一样";他的里程碑是"明年在广州把Robotaxi运行得很好",终点是"有一天把我们家的娃放到车上说,好,你自己上学去吧"。

10. AI转型的组织论:分→合→分,45亿投入,做不好“基本可能会被淘汰”

  • 转型定调于去年十周年,大师兄宣布小鹏是AI企业:"做车、做机器人、做飞行汽车、做芯片,本质就两件事——做芯片大脑,以及做跟物理世界交互的device。"组织节奏是从分到合再到分:现在合力做物理AI基座,模型强了之后应用自然涌现(类比"Claude背后一个很强大的模型,不需要很多人就可以做一个应用")。2025年45亿AI/智驾投入"差不多花完了";要预算时大师兄的回复就是"好",最多问一句够不够,"到目前还没有被否过"——最近被问的sharp问题是"为什么花这么多钱",他"到现在还没回具体金额",后来当面说"不需要了"。
  • 对余凯"主机厂不会自研智驾、应交给供应商"的喊话,他先笑称"五年后我们再来看吧",再给实话:第三方"很难规模化地拿到你想要的数据",主机厂能自动化定位数据缺失点、让车队第二天就收上来形成闭环。智驾将来会标准化,但"一辆车一个月接管一次,跟一辆车二十公里接管一次,是完全不一样的体验"——强能力才有产品定义权。车企AI竞争"挺白热化的","做不好基本可能会被淘汰了"。
  • Meta是他反复引用的反面教材:半年一次reorg和绩效考核,"刨去假期你还剩三个月做事情",逼出"break things and move fast"的互联网哲学;且Meta的创新依赖天才个体的灵光一现,"但AI一定是一个严格体系化的东西"——小型集中团队、充足资源、加上"底层看不见的工程能力"(数据、训练infra、容错性、系统效率)。技术突破一定自下而上,但自上而下要有明确北极星和合理的时间预期。Google的好转他归因于"Larry Page和Brin回来之后"——最终还是考验创始人风格。
  • 他自己的管理与之呼应:第一件事建infra团队,第二件事把组织拍平——团队leader直接写代码debug,他直接看一线工程师的实验结果,晚上两三点睡、七八点起;跟大师兄没有固定例会,"想到什么问题随时就聊",最近不到一个月碰了量产计划、海外、泛化性、Robotaxi四件事。规则到模型的切换节点也如是:模型性能在某个时刻突然超过规则,"测试员鼓掌"——张小珺提到理想是"发了一场大火"才拆掉规则,小鹏的版本是"等到超越那一刻,让它顺其自然去发生"。快问快答里他押下的关键bet只有一个:"在物理AI里面的scaling。"
刘先明

来小鹏就是那个时候,大师兄跟我在硅谷办公室约了一个小时。我之前还在犹豫,但跟大师兄聊了一个小时之后,出来就跟 HR 说:“准备 offer 吧。”就直接来了。

张小珺

先明,先给听众朋友们打个招呼,并且做一个简单的自我介绍。

刘先明

Hello,大家好,我是刘先明,现在是小鹏自动驾驶中心负责人。我之前在 Cruise 工作,更早的时候在地平线北美办公室。PhD 毕业于 UIUC,2016 年毕业,毕业之后去了 Facebook。所以我是非常典型的北美 PhD 毕业之后去大厂研究院的路径。

毕业之后,我先去大厂的研究院刷论文。当时正好“开明”跟我差不多同一时间去了 Facebook,所以我当时很绝望,因为刷论文肯定刷不过他。

张小珺

他有多强?

刘先明

他基本上能想到的、Facebook 当时,也就是 Meta 的 FAIR,主要的 research paper 都有他的名字,而且他一个人贡献了组里所有人的 idea。

张小珺

还是很厉害的。你的研究和从业主线是什么样的?

刘先明

1. From Vision To Robotaxis

我一直做的是传统 CV 和 machine learning。2008 年开始做传统 CV,那时候大家还叫 computer vision,还没有叫 AI。后来开始做 machine learning 相关的东西,那时候还没有 deep learning,也没有 neural network。大概 2015、2016 年之后,大家才说:“这个东西就是 AI。”

早期我们开过一个玩笑:computer vision,there is no vision in computer vision。那时做的还是比较传统的技术和 research,所以我一直做的就是这个方向。

有一段时间我也在纠结,到底要不要去 academic,也就是去学术界,还是去工业界。自从去了 Facebook、去了湾区实习之后,我就觉得工业界能拿到资源,能做的事情更有意思,所以逐渐断了去学术界的念头。

张小珺

你在 Facebook 是哪个组,做什么?

刘先明

我在 Facebook 最早所在的组叫 Connectivity Lab。2015、2016 年,Facebook 有 3 个主要的 research lab:一个叫 Connectivity,主要做高空无人机基站、无人机激光通信和 GS;另外一个是 FAIR,也就是 Facebook AI Research;第三个是 Oculus Lab。我当时在 Connectivity,算是软硬件结合的实验室。

张小珺

你在 Facebook 工作了几年?

刘先明

最早是 2015 年去实习,2016 年回学校继续跟 Facebook 合作,后来 2016 年提前毕业,又回到 Facebook Research 开始正式工作,2018 年离开。所以从实习到正式工作,是 2015 年到 2018 年,差不多 3 年多、3 年半。

张小珺

从地平线去了 Cruise,这怎么考虑的?

刘先明

当时想做 Robotaxi。我这个人做事一直有一种使命感,也可以说是兴趣驱动。我毕业的时候做过一个选择:去 research、去 academic,还是去 Facebook 这样的地方,或者去华尔街做 trading。

当时我实习部门的 director 说过一句话:“How many people have chance to change one billion people's life?”这句话让人觉得很燃,觉得自己一定要去改变人类。

我们当时做的事情,主要是分析世界上哪里有人。后来 Stanford 还做过一个 research,关于贫困和贫富差距的报告。2015、2016 年我实习和 full-time 工作期间,那基本上是 Facebook 最大的开源机器学习项目之一,大概用了整个 Facebook 超过 16% 的计算资源。

我们希望把结果提供给 World Bank 做 survey,也提供给 Red Cross 做救援。当时海地发生地震之后,Sheryl 说:“你们 3 天之内搞定一件事,给我海地这个国家在地震前后的人口分布和建筑分布数据。”

我们完全通过 satellite image,也就是卫星图像来做视觉分析。大概不到 2 天,就把整个事情交了出去,之后 Red Cross 进去做救援。

所以我这个人有点轴,就是想做有意思的、或者说有使命感的事情。后来决定做自动驾驶,也是类似的原因。刚开始有人给我看过一段自动驾驶的宣传片:卡车司机一开就是几个小时,他们的 DMS 会看车内图像,经常能看到司机一两分钟之内困得闭上眼睛。

但他们也有自己的家人,有老婆孩子在家里等着他们。所以那时候我觉得,做这件事情是有意义的,真的能改变人的生活,能去救人,于是决定做自动驾驶。

当时做自动驾驶,能选的就是 Cruise 和 Waymo 两家公司,算是比较成熟的,或者说真正的第一、第二。

张小珺

在美国是第一、第二,对吧?

刘先明

对,第一、第二。恰好那时候 Cruise 又是老二。你知道,加入老二、看它逆袭的故事,永远让人觉得很兴奋,所以我去了 Cruise。

张小珺

你 2020 年去的 Cruise,去了以后,有什么跟你想的不一样的地方吗?

刘先明

有几个地方。第一个,当时去的时候,Cruise 的技术栈比我想的还要差。第二,Cruise 面临的挑战和差距,也比想象中高很多。

真正把 Robotaxi 从一个产品、一个 demo、一项技术,做成规模化产品,挑战难度比想象中大太多了。

张小珺

你在 Cruise 的过程中学到了什么?

刘先明

我去 Cruise 的时候,正好是 2019、2020 年左右,也是 Cruise 开始成立 Cruise AI 的时候。那时候 Cruise 一直是老二,仅次于 Waymo,但大家开始反思:靠传统打法能不能追得上 Waymo?

所以 Cruise 很早就开始做全面 AI 化。去了之后,我们做了几件事情,我觉得这也一直影响着我现在的技术路线。

第一个是极致的简化。第二个是做 infra,做大规模的 infra。Cruise 应该是当时所有自动驾驶企业里面,infra 团队规模最大的之一,有几百人,包含 data infrastructure、training infrastructure,以及整个软件分析链路。

另外一个事情叫 continuous learning machine,也就是持续学习的机器。那时候大家还开玩笑说,有一份 memo,内容是所有人躺在夏威夷的海滩上,等着 Cruise coin,也就是金币从树上掉下来。我们希望靠数据迭代解决一切问题,实现商业化之后就可以躺着赚钱。

现在看,整个自动驾驶企业或者 physical AI 企业做的事情,无非还是两条路:更大规模的 infrastructure,去升级和 scale up;以及用数据驱动解决问题。这是我在 Cruise 学到的最重要的东西。

张小珺

你从 Cruise 到小鹏之间去哪儿了?

刘先明

从 Cruise 离开之后就在小鹏,中间休了一段时间的假。

张小珺

为什么从 Robotaxi 公司去到整车企业?

刘先明

2. Why He Chose Xpeng

我觉得有几个原因。第一个,Cruise 当时的状态不是太好,挺可惜的。那时候我们其实顺风顺水,一路高歌猛进,开城速度和商业化速度都做得挺好,突然间戛然而止,确实比较可惜。这个故事就不说了。

出来之后,我就在考虑一个问题:如果我真的想做自动驾驶,什么地方最合适?

如果沿着刚才的套路,认为 physical AI 和自动驾驶未来的趋势是大规模数据、快速 iteration 反馈,以及建立 infrastructure 和整个数据闭环体系,那我一定要找的就是一家主机厂。因为只有主机厂才有这样的数据,才有可控的数据链路。

来小鹏就是那个时候。大师兄跟我在硅谷办公室约了一个小时。我之前还在犹豫,但跟大师兄聊了一个小时之后,出来就跟 HR 说:“准备 offer 吧。”就直接来了。

我是 2024 年初,1 月份跟大师兄谈的,3 月份来的。

张小珺

他什么地方打动你了?你们聊了什么?

刘先明

首先,大师兄是一个非常坦诚的人,又是一个技术宅男、技术直男。那时候他问我的问题是:“我想做下一代,想远远甩开当前的对手,我们这一代应该怎么做?”

我们就围绕这个问题聊。后来发现,有时候不是我在说服他“我们要做这件事”,而是我们在想同一个问题。

我有一种感觉,他需要找到一个能理解他的人,然后把事情做出来;而我需要找到一个支持我、理解我的老板,把事情做出来。所以我们聊了一个小时之后,感觉不像是面试,更像是在讨论:“我要做这件事情,应该怎么做?”

出来之后我就觉得,这是一个我必须要来的地方。

张小珺

到 2024 年初,自动驾驶这件事情还吸引你吗?吸引你的点是什么?那时候 AI 已经有很多选择,为什么还要选自动驾驶?

刘先明

这是一种执念。当你做自动驾驶做了这么多年,会觉得自己有想法,觉得这件事情是可以解决的,还是想把它做下去。

另外,做了这么多年自动驾驶之后,我觉得自己看到了一条比较明确的路,看到了曙光,可以把这件事情继续做下去。如果最终证明我错了,我接受;但如果证明我是对的,而我不在这个赛道上,这件事情跟我没有关系,我可能会受不了。所以我还是选择了自动驾驶。

张小珺

在 Facebook 工作,和在 Cruise 或小鹏工作有什么不一样?

刘先明

Facebook 的时候,我觉得挺累的,每天早上工作到晚上,晚上写代码写到 11 点、12 点。

张小珺

不是应该很轻松吗?Facebook 很活泼、很自由?

刘先明

Facebook 很累,非常累。到了 Cruise 之后会觉得更累,压力也更大。

在 Facebook 处理的问题,并不像现在这样是真实的问题。在 Cruise,车在路上坏了,出了事故,这就是非常 critical 的问题。除了工作压力,还有很多精神上的压力。

到了小鹏之后,节奏会变得更快。老板开玩笑说是 7×24 小时,当然是开玩笑。我们赶上了一个比较好的时代,这个时代提供了很好的方法论,去证明自动驾驶或者 physical AI 是能够往前推进的。

当你看到一件事情具有比较强的确定性,所有人做的第一个选择就是加速把它做出来、验证它、证明它、deploy、iterate,让它上线。

我觉得这是一个驱动。你每天的工作时长会变得更长,但根据我太太的说法,我现在好像变得更开心了。虽然更累,但是更开心。

张小珺

为什么开心?

刘先明

因为做的是自己喜欢做的事情,而且能看到正向的收益和结果。所有事情虽然有困难、有很多不确定性,但有挑战的东西才有意思。每过一个挑战,反而会发现一些新的突破。

最近“涌现”这个词在发布会上经常出现,就是一个很好的例子。当你解决了一个问题之后,会发现很多之前觉得解决不了的问题也能解决了。

比如在旧金山做 Cruise,旧金山太难了,遍地都是无家可归的流浪汉,到处都是垃圾,你会觉得这个问题解决不了。最早我们用激光雷达的技术栈,加上视觉,去解决宠物、鸟这些 corner case。

但你到广州看一看,这根本不是一个数量级的问题。你会发现,曾经认为解决不了的问题,正在一个一个被非常轻易地解决掉。用一套新的方法论解决问题时,会看到很多新的可能,这件事非常令人兴奋。

张小珺

自动驾驶的变化很大,尤其是技术,感觉每一年都要变一个技术路线。从你在 Cruise 开始做自动驾驶,到现在在小鹏这一年,你能不能细数一下自动驾驶经历的每一波技术变革?

刘先明

3. The Autonomous Driving Stack

今年 CVPR 的时候我做过一个 talk,里面写了几个不同的 stage。

第一个 stage 是 Software 1.0。那时候从大炮挑战赛开始,用激光雷达做聚类,得到感知结果,再配上一些简单的 detection。规控基本靠传统的数学方式做 optimization。

张小珺

这是哪几年?

刘先明

大概从零几年一直到 2016 年。大炮第一代大概是 2009 年,一直到 2016、2017 年。

2016、2017 年之后,大家发现可以混融一些模型,尤其是在感知部分做 detection 和 segmentation。最典型的例子就是当时如日中天的 Mobileye。我把它叫作 Software 1.5:一半是模型,一半是规则。

但它其实有一个上限。模型做得再强,最终的 bound、最终上限还是在规则代码,也就是规控上。所以后来才有了 Software 2.0。

比如现在所说的端到端,Software 2.0 最早是 Andrew Karpathy 提出来的。他说,如果能用纯粹的 machine learning、纯粹的神经网络,通过数据迭代解决很多问题,就可以了。

我们在 Cruise 做的事情也类似:建立一个神经网络模型,给它更多数据。但很快会发现一个问题,网络结构和数据量直接成为瓶颈。你没有办法在很大参数量的网络上,实现很大规模的数据训练,让模型变得更聪明。

所以现在才有 Software 3.0,或者新的 VLA、VLM 等技术架构。但本质上是一样的:在有更大芯片算力的情况下,提供更大的网络结构;更大的网络需要更多参数,更多参数又需要更多数据。

之前有一期播客采访张祥雨,他提到一个观点,我很认同:过去几年 AI 的发展,主要是在做 scaling up,在做 data scaling up。有更强的网络之后,一定需要更多数据。

所以现在新的自动驾驶软件栈,已经越来越接近 AI 或者大模型。更强大的模型使用更多数据训练,大家在寻找各种不同的 scaling 方式,也包括使用预训练大模型。

现在自动驾驶大概经历了几代软件栈:从纯规则,到规则加一半模型,再到传统端到端,最后是更大的模型。

我们现在在做一件有意思的事情。云端工厂的本质是:如果 scaling work,scaling out work,我需要更多参数和更多数据去 train,但车端硬件一定支持不了。那就把它放到云端,训练一个巨大的模型,再通过蒸馏,或者量化、剪枝、蒸馏等方式部署到车上。

这样就变成了一个 factory。这个 factory 训练好之后,会不断 generate 不同的模型,部署到不同硬件上完成软件部署。我觉得这是目前自动驾驶最可靠的一种前进方式。

张小珺

从端到端到现在讲得非常多的 VLA,本质区别是什么?

刘先明

如果从整个范式上来说,没有太多变化。现在的 VLA、VLM、世界模型,本质上还是端到端的体系架构。

大家在做的事情,是更多使用通识知识和多模态数据。比如去年比较流行的 VLM,基本上就是 vision 和 language 进来做理解,输出 language,再把它变成某种 go point 或 meta action,扔到端到端模型里做决策。

包括现在的 VLA,我们做的也是 vision 和 language 作为 input,推理之后直接给出 action,直接给出最终结果。本质上还是类似端到端的范式。

为了解决数据使用和数据量的问题,大家引入了很多不同的中间结构。很多做 VLA 的人会说,把传感器信号 translate 成中间的 language token,再用 language token decode 出最终 trajectory。

但这会产生一个瓶颈,反而不利于 scaling。我们的做法比较简单直接:都拆掉就完了。

张小珺

拆掉?

刘先明

对,把 language 拆掉。中间不直接做 language,而是直接用 vision 和 language 作为输入,作为 action 的 decoding。也就是说,V 和 L 一起输入,不单独输入 L。

张小珺

能不能讲讲你们的 VLA 是怎么训练的,以及从第一代到第二代的区别?这次即将发布的是第二代。

刘先明

4. Language Is The Bottleneck

完整讲的话,其实很简单,没有太多中间的曲折或故事。本质上还是回到一开始说的:自动驾驶最大的核心是什么?对小鹏、主机厂,或者自动驾驶企业来说,最核心的就是数据。

最终你的核心能力取决于数据规模和使用数据的效率:你能使用多少数据,以及能不能更好地使用这些数据。

如果是这样,最直接的问题就是:有没有可能找到一个足够大的模型,让中间没有 bottleneck,能够真正 train 起来?

过去 AI 成功的一个关键,是能够使用数据做 unsupervised learning 和 self-supervised learning,也就是无监督学习和自监督学习,使用自监督信号。

如果中间有 language,以语言作为监督信号,就势必要引入人的监督,也就是人的数据标注或 refinement。这样会降低整个数据使用的效率。

最直接的办法,是找到一种自监督方式,让模型输入之后直接输出。这样才能保证,只要有足够多的数据,就可以不停地像机器一样把数据流进来。

内部有一句话:模型其实是一台机器,它的燃料来自数据。光有机器没有用,一定要让数据流起来。数据一旦掺入 language supervision,整个效率就会变得极低。

张小珺

为什么 language 会让效率变低?它不是可以帮助理解吗?

刘先明

语言的理解能力可以起到认知作用。但一段 video 进来之后,language 肯定要去打标签、生成 labeling。即使使用大模型 generate,也还需要人工判断和质检。

张小珺

我知道理想他们那个自研模型 L 占比较重要的作用,而且用了 DeepSeek 的开源模型。你们会这么用吗?

刘先明

我们没有这么用,不会这么用。

核心原因是,我们一开始其实也在想有没有类似的办法。使用开源模型做这件事情,是最直接的 shortcut、最简单的路径。但实际上这么做一定会像毒药一样,让你越来越依赖它。

我们曾经也是这么做的,但后来发现,它并不能让你随心所欲地增大数据量。因为中间始终有 language 作为 supervision。

比如 VLM 也好,如果它的 L 在中间,你肯定是输入 vision 和 text prompt,输出 language token,用这个做监督信号。你一定要生成 supervision,一定要生成 language supervision。即使使用 DeepSeek 打标签,还是需要人工质检,然后再训练。

而且 language 本身是一个非常冗余的系统。它是离散空间,要 tokenize,要使用词表,也就是 codebook。codebook 是一个非常离散的空间。

但物理世界的模型有两个最大的不一样。第一,输入是连续的视觉信号,或者整个传感器信号,不再是离散的文本序列。第二,输出也是连续的控制空间。

比如车通常是纵向加速度和 kappa,或者 yaw angle,也就是方向盘转角;机器人则是所有电机的控制量,这些都是连续的控制量。

连续控制量用语言生成一个离散空间的 token,再翻译回连续控制量,显然是一个低效的过程。

张小珺

所以你们没有 L 的自动驾驶模型?

刘先明

对。既然想明白了这件事,我们就做了一个尝试:干脆全都拆掉。

张小珺

全都拆掉?

刘先明

对。拆掉之后,我仍然需要使用语言的理解能力,因为永远要理解用户意图、理解导航意图。但这不再成为主要 dependency,不再是主要依赖。

我们从 vision 加上 language 作为输入,直接输出 action。这样会遇到一个跟 Tesla 一样的问题,就是维数灾难。

输入的 token 数量很多,输出空间却很小。未来几秒钟一共才几十个点、几十个控制量,所以这是从极高维空间到极低维空间的问题。

为了解决这个问题,我们开始做世界模型。世界模型就是先让模型理解世界如何运行,再让它做最后的决定,输出动作。

你可以简单理解为:对于文字,我们用 CoT,也就是 chain of thought,在中间尝试理解模型怎么思考。现在只是换一种方式,不用文字作为 CoT。

我们第一个想法是使用 latent CoT。既然 CoT 能 work,那就更彻底一点,让这个 CoT 直接作为隐空间,去看它对世界的理解是什么样的。于是去做 generation、diffusion,看它中间生成什么样的视频、图像,这个问题就解决了。

张小珺

所以你们的输入是 V、L 联合的语料,还是 vision 语料和 language 语料?好像没有纯 L 的语料,对吧?

刘先明

没有纯粹 L 的语料,我们输入的基本就是 VL 联合语料。

张小珺

理想讲他们的训练过程,先是 L 的语料,然后是 vision 的语料,最后放 VL 联合语料。但你们把前两个都去掉了?

刘先明

那是典型的 VL 训练方式,是对网络初始参数做初始化比较好的方式,但不能彻底解决自动驾驶的问题。自动驾驶本身是一个强依赖外部传感器的模型,或者说体系。

所以我们的输入是 VL 联合语料,输出是 action。

张小珺

这是你们现在的训练方式?

刘先明

对。把 L 拆掉之后,就没有 instruction 了,模型自己理解应该怎样向前、怎样在整个世界中探索。

张小珺

VLA 和世界模型是什么关系?

刘先明

我们在确认一个模型时,不太想区分它是世界模型、VLA 还是端到端模型,本质上是一样的。

输入是 vision 和 language,我们去训练一个世界模型。当把世界模型中计算复杂的部分、decoding 部分全部砍掉,变成可以直接部署上车的模型,不做 decoding,只让它产生中间推理和最终动作,就可以直接上车。这就变成了我们现在发布的 VLA 2.0。

张小珺

从 VLA 1.0 到 2.0,L 是一个很重要的事情,对吧?

刘先明

对,是一个很重要的过程。

张小珺

这个讨论了多久?有犹豫吗?

刘先明

还是挺犹豫的。一个好的团队应该不断跳出过去成功的经验。你不能一直想“我过去是怎么解决这个问题的”,而要跳出来想“这件事情还可以怎样做”。

我一直跟团队内部说,我们要做一个勇于破除自己过去成功经验的团队,去 explore and know,去探索那些我们不知道的东西。

拆 L 这件事情大家讨论了一下,但好像也没有讨论太久,就觉得应该这么做,那就试一下,于是开始做了。

张小珺

能不能用一句话解释,为什么应该拆 L?

刘先明

L 不够高效,还成为中间的 bottleneck。L 本身是离散化的,而 Physical AI 要解决的是物理世界模型:输入是连续信号,输出是连续空间里的动作。那中间为什么要插一个 L,作为一种表达方式?其实没有必要。

张小珺

你们的 CoT 有几步?

刘先明

Depends,取决于具体应用的 case,根据不同应用做不同长度。

张小珺

这是你们后来讨论出来的下一代架构吗?还是 2024 年初你在美国办公室跟小鹏讨论时就讲到了?

刘先明

还没有。跟小鹏讨论的更多是长期战略:我们要做这件事情,战略应该是什么样子,3 年规划是什么样子。

很庆幸,到现在发现我们做的事情还在沿着当时的规划往前走。

张小珺

是什么时候决定拆 L 的?

刘先明

差不多是今年上半年到年中,很快。

张小珺

这是第一个变化。从第一代到第二代还有其他变化吗?

刘先明

5. Scaling Rewards Simplicity

基本上就是很简单的一件事:当你有了一个强大的模型,就会发现很多之前不敢想的事情都能做了。

技术突破往往不是很复杂的过程。我读 PhD 的时候,老板经常说一句话:“简单即美。”世界上好的东西一定是简单的,发现的过程往往也是简单的,就是极致简化。

现在大家经常犯一个通用错误:为了让模型变得好用,在上面加很多复杂的东西,让它在很小的数据、很小的计算量下看起来更好。

但解决问题的方式往往是让它变得更简单,用最原始的方法解决问题。很多人说这是第一性原理,但想一想,这就是最直接、最原始的方式。

张小珺

特斯拉 FSD 最近也有一些进展。你觉得你们跟它的路线是相通的,还是差异比较大?

刘先明

我们跟它的路线比较像,但这不是传统意义上的借鉴,而是大家不谋而合。最近特斯拉在 CVPR 上讲了这件事之后,我们才发现原来大家做的事情很类似。

世界就是这样。如果你认为一件事情是对的,其他人可能也认为它是对的。说有一种英雄相惜的感觉,可能太高大上了,但对的事情、真理可能就只有一条,大家最终都会走到这条路上。

张小珺

你们什么时候验证了 scaling law?

刘先明

今年年初,差不多上半年就验证了。

张小珺

是在这一代架构下验证的吗?

刘先明

在上一代架构上就验证了。

张小珺

这一代架构明显会让 scaling law 效果更好一点?

刘先明

对。

张小珺

好多少?

刘先明

很难用一个量化指标来描述。我们内部有仿真指标、路测指标,还有一些开环指标,整体还是好了不少。

张小珺

你们现在评价它的核心北极星指标有哪些?

刘先明

还是很多。除了传统的开环指标之外,我们也大量使用仿真。做这种模型,必须使用开环仿真和闭环仿真。

张小珺

如果说第一代到第二代,拆 L 是最重要的,还有其他变化吗?

刘先明

加数据。

张小珺

加了多少规模的数据?

刘先明

我们基本上每个季度都以 30% 到 40% 的速度增长数据。

张小珺

是真实数据还是仿真数据?

刘先明

真实数据。

张小珺

什么样的数据最难获取,但又最关键?

刘先明

Corner case,也就是长尾场景,最难获取。

张小珺

你们怎么收集数据?

刘先明

这就说到为什么小鹏能做这件事,或者说为什么主机厂能做这件事。

如果想收集 corner case,首先要知道什么是 corner case。有时候我们很幸运,因为如果小鹏没有从 0 到 1 把规则体系或者上一代端到端系统做出来,你根本不知道什么叫 corner case。

车跑在路上,会有 shadow mode,也就是影子模式;还会有用户接管数据。如果连一个基本系统都没有打好,收上来的很多数据都是无效数据。

有了一个比较好的 0 到 1 系统,它才能告诉你,哪些数据是之前没有见过的 corner case,哪些数据是当前系统解决不了的。系统还可以对数据分布做统计分析,建立模型判断什么样的数据应该 trigger 上来、什么样的数据不需要。

这方面其实已经有很多方法了。

张小珺

能不能分享一些比较有实操性的 know-how?比如什么样的数据应该 trigger 上来?

刘先明

这是一个挺难的问题,我们也一直在探索。现在也许能拿到 99% 的数据,但肯定还有 1%。然后再去获取这 1% 里面的 99%,不断做下去。

Robotaxi 和自动驾驶一直在做这件事,不停地把小数点往后挪。希望当模型看到足够多的数据之后,产生一些涌现效应,开始解决剩余所有 case。这跟现在大模型的做法是一样的。

张小珺

加了你们第二代 VLA 的车已经上车了吗?

刘先明

现在已经上车了。

张小珺

实际体验怎么样?

刘先明

还是很惊艳,尤其是以前在旧金山觉得解决不了的问题,现在觉得很容易。

我们最喜欢测广州这个 case。广州很多城中村有很多小路,现在开得非常丝滑,很像人,但又很安全。

它不是单纯靠 imitation learning,不是人怎么开我就怎么开。更多时候你会发现它确实在思考:什么时候该避让,什么时候该让对面的车先行。

有些道路只能一辆车通过,它会发现“这个时候我要等,另外一辆车过来之后我再走”。或者根据对方车辆一点点微小的变化,决定向前 nudge,非常 smooth 地 nudge。

除此之外,我们也看它的泛化性。最怕的是数据过于集中在某个领域,模型会 overfitting,这是非常常见的问题。

我们的目标是不使用某个特定地点、某种特定类型的数据,而是集中使用泛化性很强的数据训练模型,希望它具备很强的泛化能力。

目前看到的结果是,小路、正常城区工况、高速,以及不同城市、不同天气,表现都还不错。这才有了后面的另一个涌现话题:能不能用这个东西去打全球市场,做各种不同的应用?

张小珺

它的泛化性明显更好,对吧?

刘先明

对,明显好很多。你可以看到,模型训练之后,它在海外或者其他市场的泛化性没有想象中那么差,反而很强。

张小珺

我看到一段对你的描述,说你主导小鹏汽车从自动驾驶向 AI 战略转型。为什么要从自动驾驶战略转向 AI 战略?小鹏本质上是一家 AI 企业吗?

刘先明

6. Xpeng Becomes A Physical AI Company

这是一个核心问题。你看小鹏做车、做机器人、做飞行汽车、做芯片,本质上是一家 AI 企业,是一家 physical AI 企业。

它做的无非两件事情:做芯片,也就是大脑;以及做跟物理世界交互的 device 或 agent。

所以去年小鹏十周年,大师兄开始讲这件事:小鹏其实是一家 AI 企业。这个转型是非常自然的过渡,并不是强行去蹭热度。

张小珺

那转型要做什么?

刘先明

第一件事,我觉得是整个公司的 mindset,也就是思维方式和视野要发生变化。

我一直比较佩服大师兄的一点,是他的视野非常让人佩服。举个例子,去年我们跟大师兄说要做物理 AI 大模型。当时没有 demo,也没有结果,我们跟他说需要这么多 GPU、这么多钱,应该怎么办。

大师兄说:“好。”就完了。

很难找到一家企业的一号位老板,愿意做这样一件事,并且能看到它的价值。包括大模型上车、最终量产,也是很大的挑战。能在合适的时间点发现它的闪光之处,并且敢于承担风险去做,我觉得这是小鹏转型过程中很重要的一件事。

另外就是团队。如果是一家 AI 企业,就应该有新的组织架构。它不会像以前一样,把大规模人才和资源像撒芝麻一样平均分给每个人,那样做不好事情。

过去几年的科技企业和 AI 企业,趋势是从“分”到“合”,现在再到“分”:集中资源,有一个优秀团队,有大量 infrastructure 去做平台、做系统,提升整个团队效率,集中解决一个重点问题。

当出现涌现之后,OpenAI 现在很大的 effort 是做 application。当模型达到一个很好的状态,做下游应用会变得非常容易。Claude 就是典型例子,背后有一个很强大的模型,所以不需要很多人就能做一个应用,但可以有很多人去做不同的应用。

张小珺

你说的“从分到合再到分”,最后的“分”是指做应用?

刘先明

对,“合”是合力做模型。

张小珺

所以你们也希望公司逐渐朝这个方向发展。现在是要合还是要分?

刘先明

现在还在合的过程。

张小珺

以前可能是我做机器人、我做车、我做芯片,现在要先形成合力,未来基座模型很强之后再分,是这个意思?

刘先明

我觉得目前小鹏整个状态,是大家合力把 physical AI 这件事做好。做好之后,自然会涌现出很多 application。

张小珺

你们的转型从什么时候开始?

刘先明

很难说有一个明确时间点。我觉得转型是一家企业的基因问题。

张小珺

小鹏内部说了什么?

刘先明

应该是去年十周年的时候,小鹏说小鹏是一家 AI 企业,要做这样的转型,然后开始做内部改变。在节点、项目和周期上都会发生变化,因为做 AI 绝对不是短期的事。

张小珺

具体体现在哪些方面?

刘先明

资源投入和人才建团队。大家知道,小鹏在 AI 上的投入还是很大的。

张小珺

当我们说这是一家自动驾驶企业,和说这是一家 AI 企业,区别是什么?

刘先明

自动驾驶企业关心的是 KPI:车在路上跑,接管率是多少,用户体验是什么情况。

我最推崇的一件事,内部叫“金屁股”和“白金屁股”。老板出去坐一趟车,觉得“这个很好”,然后就推出去让所有用户使用。这是非常典型的传统研发方式。

而转型之后,你要接受的一件事是,优化目标不再单纯是产品体验。除了产品体验,还有更底层的技术变化,这些最终都是目标,只有这样才能真正往前推进。

有的目标是技术指标,有的是产品指标,还有一些非常 risky 的长线指标。比如做模型、做 AI,不可能一个季度就完成。还要有技术追求。

张小珺

所以我大概理解一下:小鹏是在去年十周年时,觉得要向 AI 企业转型。小鹏有没有语重心长地跟你说过什么,比如目标、KPI 或者愿景?

刘先明

老板的愿景还是挺多的。

我的 KPI 现在核心就是把物理 AI 这件事情做好。现在自动驾驶逐渐显形、落地,变成产品化的东西,这是短期明确的 KPI。

明年的 KPI 主要是泛化能力,也就是全球泛化,在不同市场、不同产品形态、不同业务线上产生明确收益。但这不是唯一 KPI。

一家好的企业,一定既有长线目标,也有短线目标。我们还要继续探索下一代,继续向前推进,解决未知问题。

现在整个大模型发展到这个阶段,仍然有很多没解决的问题,比如模型训练方式、language 怎么使用、怎样做原生多模态、怎样更好地使用世界模型,以及怎样让 reinforcement learning,也就是强化学习,变得更 generic。这些都是后面要不断解决的问题。

不可能停在这里,只解决业务目标,而停止技术推进。技术要继续向前,业务指标也要继续向前。

张小珺

这几个指标的优先级是什么?

刘先明

要分不同阶段。过去有一段时间,我最重要的目标是建 infra、建体系。如果没有强大的 infrastructure,就不可能 scale up。

大家一直说要 scale up,但想想看,当你有几十 PB 的 master data 要读,瞬间读进模型训练里,能做到吗?几千块 GPU 训练一个模型,要求它 5 分钟内不崩掉,也不是容易的事情。

所以第一步是 infrastructure,稳定性和 infrastructure scaling up,是我一段时间的主要关注点。

后面,当 infra 达到稳定状态,关注点就是模型怎么 scaling up,去验证 prototype。再后面继续 scaling up,就要看能不能出现想要的涌现效应和规模化效应。

到现在,随着自动驾驶直接应用,主要 KPI 会变成落地。明年还会有更 aggressive 的目标,也会相应调整我的优先级,在产品落地和技术突破之间继续做平衡。

张小珺

现在 AI 对小鹏汽车意味着什么?

刘先明

我觉得 AI 是一个很重要的 scaler,是一个像乘法一样的乘法因子。

小鹏本质上是一家做 physical AI 的企业,永远有几个 factor:硬件制造是一个 factor,芯片、模型也是 factor。这些东西是乘在一起的,缺一个都很难继续向前。

底层制造,比如机器人的制造,有很多关节和电机;车的制造更是一样,有底盘、动力系统、三电和电气架构。

再到芯片,如果没有好的芯片,就没有办法把模型落地。怎么做芯片、硬件和软件之间的联合开发,也就是 co-design、联合优化和协同优化,本身是很重要的事情。

另外就是模型和 AI 本身。AI 一定是赋能的东西,但要赋能,就要有端侧 device、芯片,以及能直接跟物理世界交互的硬件设备,比如车和机器人。

所以 AI 是因子之一,不是唯一最重要的因子。现在已经进入了一个不同的时代:做 physical AI,一定要跟物理世界交互;要交互,就必须有物理世界的设备。

机器人要跟人说话、跟人交互、完成人的指令和目标;车要从 A 点到 B 点,把人安全送到目的地,或者完成某个指令。没有硬件,就没有办法形成闭环。

而且有了硬件、有了真实世界中的大量 device,整个事情才能形成闭环。训练出一个更好的 AI,需要看到它如何跟世界交互,并把交互反馈拿回来,这也是一个过程。

张小珺

刚才说了你去年 3 月加入小鹏之后做的几件关键事情,差不多包括 infra 搭建、模型本身和落地,三个大的阶段。你对过去这一年多的工作感觉怎么样?

刘先明

还是挺累的。

张小珺

比在 Cruise 还累?

刘先明

比在 Cruise 累。

张小珺

你觉得在小鹏做自动驾驶,和在 Cruise 做自动驾驶,不一样在哪里?你现在还看好 Waymo 这种模式吗?

刘先明

7. Why Xpeng Keeps Tearing Down

在小鹏做自动驾驶,跟 Cruise 或任何一家企业都很不一样。

第一,你有一种新的研发方式。像 Waymo 或 Cruise,当已经有了成熟体系之后,很难在上面做大的变化,这不太可能。

小鹏最大的优势,是整个公司在不停进化,包括自动驾驶团队和 AI 团队,都在不断推翻已经成熟的体系,去做新的东西。

追求新东西,就应该有这样的态度:不可能因为过去的激光雷达系统已经跑得很好,就不能拆掉它。

去年内部有很多 debate 和争论。大师兄说,长期来看这一定是更有利的事情,那就去做。

做 AI 也是一样。我们一开始跟大师兄说,要做全面 AI、做端到端、做上车量产,短期可能会回退。

张小珺

这是去年几月份?

刘先明

差不多去年 7、8 月份,XS 5.4.0 那段时间。拆掉这个东西,一定会有回退;全面 AI 化之后也可能回退。但可以通过数据迭代和 OTA 迭代逐渐拉回来,变得更好,上限可能会更高。

如果只看“现在不能回退、不能产生任何业务问题”,守着一套上限比较低的系统,就不可能走得很远。这可能是我过去工作经历和现在最大的区别。

张小珺

所以从去年到今年,拆了激光雷达,拆了规控规则,今年又拆了语言?

刘先明

对,端到端也拆了,后面拆语言,基本全拆了。

张小珺

为什么 AI 的进展总是要不断拆掉更多冗余的东西?

刘先明

还是那句话,好的东西一定是简单的。

张小珺

下一代再拆点什么?好像没什么可拆的了。这是终极架构吗?

刘先明

我觉得我们这一代人很幸运,从开始做技术到现在,一直在经历技术变革。至少现在,这可能是一个最优解。

但后面肯定会有新的技术范式和新的技术突破。到那个时候,还是回到同一个道理:无论是一家公司、一个企业,还是一个团队,都要有能力放弃之前认为正确的东西,去追求更好的东西。

我不知道未来会不会出现更好的架构和方法论,但目前来说,这可能是我们能想到的最好办法。

张小珺

我昨天看了《The Bitter Lesson》,里面说,长远看,试图构建与我们自以为是的思维方式相符的系统是行不通的。那些手工特征短期看都很 work,但长期看其实都是人工智能的回撤。

刘先明

是的,强化学习也一样。最早我们使用 reward function,用规则写 reward function,确实能让系统短期走上正轨。但系统会严重受制于你写进 reward function 的规则。

这跟你刚才说的是一样的。handcrafted feature、handcrafted reward function,都会出问题。所以现在大家才不断向前,去追求世界模型和更闭环的反馈系统。

张小珺

你刚加入小鹏时,做的就是世界模型吗?

刘先明

我刚加入小鹏时,正好开始筹划做世界模型。最开始还是端到端,后来筹备做世界模型。

张小珺

世界模型是对端到端的替代吗?你们对世界模型的定义是什么?现在学界的定义好像也不一样。

刘先明

大家的定义确实不一样。我们认为,世界模型本质上是对整个世界的生成,是对整个世界理解的过程。

如果能理解这个世界,并且推演这个世界,在此基础上增加任务,让它输出 action、输出最终动作,就是一个很自然的过程。

张小珺

刚才你说的就是你们做的世界模型?

刘先明

对。

张小珺

所以你们不是把 VLA 和世界模型分开做,而是做一个模型,这个模型就叫世界模型?

刘先明

对。它是 VLA 架构。你可以把世界模型中生成和理解的部分拆掉,让它直接输出 action,就变成很简单的 VLA 结构。

张小珺

这个世界模型只是自动驾驶领域的世界模型,对吧?它不是全知全能的世界模型?

刘先明

你需要有一个框架,做一个完整的平台和框架,这个框架能够自然延伸到其他领域。

比如我们也会跟机器人合作,在很多其他领域做事情。小鹏的机器人一直也在用 VLA、VLM 和 VLT 这类结构,本质上是一样的。

重要的是有一套体系,这套体系可以使用不同数据训练,让模型学会更丰富的知识。

张小珺

所以你们统一把它叫作世界模型?

刘先明

对。

张小珺

现在每个车企都在用这几个词,但好像都是相互组合。

刘先明

这个稍微说一点可能会引战:其实大家不用起那么多名词,本质上做的东西都差不多,都是一样的。

张小珺

最贴切的词应该是什么?

刘先明

我觉得 physical AI 是一个挺好的名词。

如果一定要说模型,大家本质上都在做端到端模型,再加上不同的多模态数据,加入不同信号输入,让它去尝试响应。

我觉得最基本的架构就是端到端模型。世界模型可能多了更多对整个世界的理解和 decoding。

比如 Tesla 最近的结果,大家看到 Tesla 发那个 talk 之后,第一个反应是:“又撞车了。”世界模型更多是加入对整个世界的生成和理解,进行推演。

张小珺

你们做 agent 吗?

刘先明

目前还没有。

张小珺

会做吗?

刘先明

很难说,取决于未来的业务需求,或者我们看到的问题本身。

张小珺

智能驾驶的 VLA 和机器人 VLA 有什么不一样?

刘先明

架构上是一样的,没什么区别。

张小珺

现在在应用领域能够复用吗?

刘先明

基本结构可以直接复用。但机器人如果要落地,确实更难。

机器人的数据比自动驾驶少很多,所以解决机器人的数据问题是主要问题。另外,机器人的控制自由度更高,比如做 manipulation,也就是行为操作时,自由度更高。

但刚才说过,输入 token 足够多,输入维度本身足够高,输出已经做了很多降维,所以本质上自由度不会成为大的 blocker。

张小珺

你觉得这一代架构距离自动驾驶最终实现,中间还有什么阻隔?

刘先明

一个是安全,安全下限。这一定是最终要保证的,也是车企最终需要负责的地方。要保证整个系统有安全下限。

这跟伊利亚讲的 AI safety,或者人类的 AI safety,本质上是类似的意思。我觉得这是最大的问题。

如果再找第二个问题,就是泛化性。我们现在看到泛化性还不错,但一定要经过大规模验证之后才知道。

张小珺

预计多久能实现 L3 和 L4?

刘先明

我们明年会推 L4。

张小珺

在哪里?

刘先明

在广州推 L4。

张小珺

基于现在这套架构?

刘先明

对,是同一个架构做 L4。

这涉及 scaling。如果在车端增加更多算力,给它更多 testing-time scaling,给更多 inference 时间,使用更大的模型体积,就有可能解决更多复杂问题。

但做 L4 也是同样的问题:怎么解决安全下限?

可以通过云端接管、云端的 remote takeover,或者安全冗余的方式来做。但本质上,还是要降低系统出错概率,降低云端接管频次,降低成本,达到可商用状态。

张小珺

所以明年你们基于这套架构,能够交付 L4?

刘先明

目前计划是这样的。

张小珺

你们有安全对齐吗?

刘先明

这是个很好的问题。刚才说到安全下限,我们正在尝试做这方面的事情。

张小珺

现在还没有开始?

刘先明

现在还没有正式开始,但会做。

张小珺

当从自动驾驶转向更 AI 的企业时,团队需要发生变化吗?

刘先明

这就是刚才说的“分合”过程。

一开始 AI 团队是一个“合”的过程,逐渐从 AI 到自动驾驶,又变成“分”的过程。一定会有团队负责落地,支持不同业务线,让模型在不同业务场景取得更好的结果。

比如园区、正常行车和海外业务线,每条业务线都在尝试做类似的组织架构变化。

过去一段时间一直在合,现在核心模型还是合的,但业务线上逐渐向外分。

张小珺

大概分哪些人、哪些架构?

刘先明

小鹏的架构比较扁平,也比较考验执行力。架构本身不是问题,重要的是能迅速拉起多少人去做这件事情。

我觉得这才是核心。小鹏内部体系非常扁平,极其扁平。

张小珺

这是你第一次接受访谈,大家会很关心为什么小鹏智能驾驶的一号位发生变化,为什么是你上任。外面有很多解释,大家想听听你的版本。你觉得这对小鹏意味着什么?对整个汽车产业意味着什么?

刘先明

8. Why Leadership Had To Change

我觉得没有那么多背后的故事,正向去看就好了。

当你认准要做一件事情时,这是一个很有挑战的过程,意味着要承担风险,要很头铁地去做。

外界给我贴了很多标签。有时我也会看,有人说我很憨直,有人说我 micro-management,也有人说我很头铁,什么都有。内部也会有各种标签。

但想做一件事情,就需要承担风险,也要有前瞻性判断,把风险控制在可以接受的范围内,然后全力以赴去做。

如果没有头铁的性格,或者没有比较直接的风格,很多事情推不动,也不太可能看到结果。现在回头看,我很庆幸自己过去做了这些事情。

张小珺

你头铁地做了哪些事情?

刘先明

一定要拆,一定要越来越简化模型架构,越来越极致地 scaling。这就是我非常头铁的地方。

当时很多人会问:“要不要加这个?要不要加那个?”我说:“No,不加。”

张小珺

这是去年几月?

刘先明

大概从去年年底到今年年初。从拆东西、加数据到加 scaling,团队里会有不同声音和各种反馈。

作为整个团队的 leader,你要想清楚什么是正确的,也要判断自己目前看到的东西是不是真实的。要有一种执念,可能错了就是错了,但要把风险控制在可接受范围内。

张小珺

拆哪里最难,遇到的阻力最多?

刘先明

拆规则、拆 loss 最难。

这是很传统的方式。训练模型时,发现某些情况下表现不好,很自然就会想加特定的 loss function,或者加一些规则进去。

但如果你相信这些东西跟最终目标相悖,就要顶住压力不做这件事,并且坚信要做 scaling、做极致简化。这既需要勇气,也需要判断。

张小珺

内部有拍过桌子吗?为这件事吵过架吗?

刘先明

看起来我性格挺好,但其实拍过桌子,也会发火。

当拆规则遇到阻力时,确实有过很多次。拆东西时遇到结果不好、时间点紧迫,或者面对很多 challenge 时,确实拍过桌子。开会的时候也说过很多不该说的话。

张小珺

但到了去年年底,端到端、拆规则已经是共识了吧?

刘先明

外面讲的可能已经是共识,但在企业里面真正做起来还是非常难。

当你有真实业务目标,车真的在路上跑,真的可能发生事故时,是很难的。

张小珺

现在还有多少规则?

刘先明

基本没有了。

张小珺

已经没了?

刘先明

已经没了。最后一点规则也拆掉了。现在实车上跑的版本,模型直接输出控制信号。

张小珺

比如进 ETC 这种场景,有规则会不会更高效?

刘先明

也都拆掉了。

张小珺

你是一个非常极致的“拆拆拆” leader。

刘先明

对,拆拆拆 leader。

张小珺

今年又拆了语言。这个阻力大吗?

刘先明

阻力挺大的,因为这反常识,或者说反论文里的常识。所有 paper 和公开资料都告诉你 language 很重要。

张小珺

你为什么觉得它不重要?从什么时候觉得它不重要?

刘先明

差不多是当我们加数据看到瓶颈的时候。加不动了,总感觉有问题。回头看整个训练过程,发现卡在 language 那里。

另外,当你想让训练更高效、加快训练速度、想部署时,会发现 language 输出结果太慢,太低效。

我们以前尝试加语言时也发现了这个问题:加了一个东西,会增加几百个 token。增加很少的信号,却要增加几百个 token,这完全不 make sense。

语言本质上是极其冗余、低效的表达形式。它对人类推理有效,长链推理可能有效。

张小珺

短的及时反馈就不一定有效,对吧?

刘先明

对。人也是这样,如果是及时反馈,可能还没有过脑。很多相对长一点的反馈,语言也不见得有效。

但对于非常明确的逻辑推理,比如数学、物理题和考试,语言比较重要。

最近有一个很有意思的 paper,是 DeepSeek-OCR。它其实也是反范式的。

它告诉你,不必把图像对齐到文字 token 的 space 里。比如先训语言,再训 vision,最后训练 vision 和 language 做 alignment,本质是把视觉信号翻译成文字信号,再通过 special token 替换插进去。

但 DeepSeek-OCR 告诉你,没必要这么做。这本质上也是反范式的。

张小珺

现在业内像你这样拆 L 的多吗?

刘先明

我觉得不太多。我不知道其他家怎么做,也不是很清楚。还是先关注自己,关注该做好的事情。

张小珺

你第一次跟小鹏基于这件事情沟通,是什么时候?

刘先明

其实没有特别沟通。很多时候我觉得大师兄是一个理性的技术直男。你跟他说这件事情,他觉得很自然、应该这么做,就去做了。

我们真正把这件事拆得这么彻底,差不多是今年上半年。

张小珺

有效果之后,是一个先回落、再提升的过程吗?回落了多少?

刘先明

基本没有明显回落,上来就看到明显的 scaling 和结果提升。原因是数据量足够大。

张小珺

有多大?

刘先明

现在训练一个模型,大概是 27 万到 30 万小时的数据,纯 video 数据就是这么大。

在这么大数据规模下,拆掉 language 之后,我们第一反应是担心它不 work,比如红绿灯、待转区的场景。但根本没有出现这些问题,非常自然地通过了,完全出乎意料。

很多人会觉得一个技术突破背后一定有很多故事、很多推理,但很多时候就是直觉上觉得它是对的,敢于踏出那一步,像疯子一样推规模,然后发现它就是 work。

张小珺

你们内部有什么战役吗?

刘先明

没什么战役,大家很平稳地做。

做 AI 很难像传统软件开发一样定一个时间节点,像打战役一样推进。因为做不到。它更多是一个系统性的、体系化的事情。

你很难说:“小俊,下个月给我一个模型,这个模型要解决什么问题。”这样很难做到。否则就会把自己陷入很逼仄的状态,为了完成目标做一些短期优化。

我们每天都在打仗,但更像是有一个北极星指标和北极星目标,知道每天都必须抓紧把事情做出来。

但不是说下个月一定要发布一个版本、解决某个问题。比如科技日之前,也没有特别设定一个指标,就是顺其自然走到这里,然后发布了。

张小珺

下一代会是什么样?明年会做什么?

刘先明

明年至少先把现在这件事情做好,在量产上规模化推起来。

另外会探索一些更长远的事情,比如怎样更好、更极致地使用多模态数据,怎样更好地结合 generative 和 discriminative,让它真正做到自我博弈,继续往前推进。这会是明年的主要事情。

张小珺

有人说你在内部代表 AI 前沿探索的那一派。你现在关注哪些前沿方向?还读论文吗?

刘先明

我现在还读论文、看论文。但给我贴标签的话,我不是 researcher,我是 engineer。

如果看我的 Google Scholar,publication 并不多。我做了很多事情,但不是以发 paper 为主。

我首先坚信一件事:最好的 research 来自真实问题。我不喜欢别人给我画一个框架,告诉你这是数据集、这是指标,然后让你去优化。

更多时候,真实的问题摆在你面前,你要从问题中找出不一样的东西,把它变成 research。我的本质定义是 engineer。

还有一件很有意思的事情,我在 Cruise 的时候,写的 C++ 代码和 Python 代码可能是整个公司最多的人之一,很难想象。

张小珺

你现在还写代码吗?

刘先明

偶尔还是会写,但不多。

另外,我觉得不能把目标定得太狭窄。很多研发是逆向研发:给我一个问题,我去解决它。我觉得这很容易把自己限制住。

更多要做的是正向研发。比如我会关注所有车辆的统计性指标和所有问题,然后按照不同 bucket、不同细分领域做 breakdown,看哪个 breakdown 出的问题最多、回退最多,或者指标下降最多,再根据这个判断要解决什么问题。

本质上,不是看了一篇 paper,再拿着 paper 去找问题,而是一开始脑子里就有问题。这些问题来自真实产品、真实场景和用户反馈。

从真实问题出发,思考解决它最好的办法是什么。恰好读到一篇 paper,发现它正好在做这件事,就可以试一下。如果发现不 work,有 limitation,再去改造。

我本质上就是这样一个人。

张小珺

最近读过什么 paper?除了 DeepSeek-OCR。

刘先明

最近读的是一篇标题不清的 world model 论文,还挺有意思。我们还跟作者聊了聊,发现里面有一些很有意思的想法。

我印象挺深的是,学术界其实也在考虑这些问题。他们有一些结论,是受限于规模和实验效果得出的不完全结论;也有一些结论很 insightful,很有洞见。

这个时候学术界反而会给出一些很有意思的观点。

张小珺

你刚才说看到了一条明确的路。在这条路上,哪些已经非常确定,哪些还比较模糊?

刘先明

9. The Physical AI Endgame

明确的路就是:小鹏是一家 physical AI 公司,要做一个真实的 physical AI 模型。

Physical AI 模型的输入,是连续世界里的真实 sensor input,是连续空间、非结构化的数据;输出是动作。为了解决 corner case,还要做很多 world model 去 simulate,并且提供反馈。

这是很明确的路径。最核心的一点,是想办法做 scaling。Scaling 意味着更大资源投入、更好的 infrastructure,以及更大规模的数据,这是我们看到最明确的一条路。

张小珺

你们要做的是 physical AI 模型,而不是自动驾驶模型。机器人也会复用这个模型吗?

刘先明

目前机器人也是同样的架构,也在使用类似的东西。

张小珺

你们想在 AI 时代扮演什么角色?

刘先明

这个得问大师兄。

张小珺

你自己呢?你有这样的 vision 吗?

刘先明

我的 vision 是希望参与到整个变化过程当中。

以前一直是在数字世界里做事情,现在要进入真实物理世界。它一定是软硬结合的:要有 device,要有大脑,要有真实反馈。

这不是单纯做 AI,而是做一个完整体系,从硬件到大脑、芯片、数据,再到完整的 AI 链条。所以我希望自己有机会做这样一件事情。

张小珺

我上次在云栖大会参加了一个论坛,机器人团队的人说,他们训练的是机器人的模型,不希望把自己描述成语言模型的延伸。他们认为机器人行业具有独立性。你认同吗?

刘先明

认同。

张小珺

为什么?但你不觉得机器人和自动驾驶其实都从语言领域学习了很多、借鉴了很多吗?

刘先明

语言是一个很好的 source of information,是很好的信息来源,但不一定是全部。

现在所有训练方式、所有模型方式,似乎都把语言作为基础:先训练 language model,再使用 language model。比如 DeepMind 的机器人使用 Google 的模型。

DeepMind Robotics 分成两部分:一部分是 vision 和 instruction 输入,输出 action;另一部分是生成 instruction。它是两个模型结合在一起。

张小珺

他们跟我说,Google 的基座大模型对他们帮助很大。

刘先明

这肯定有帮助,至少可以提供很好的 initialization。

张小珺

你们不需要这个吗?

刘先明

我们也在做很多尝试,包括训练不同架构的基座模型。我们把它叫图灵模型。

张小珺

是语言模型吗?

刘先明

不一定,不是一个完全的语言模型。

张小珺

所以跟其他家可能有一个很大的差别:你们不是基于语言模型做这件事。

刘先明

语言模型一定能提供比较好的 initialization,但不能完全依赖它。一定要想办法把多模态数据拿进来。

张小珺

你刚才说它像毒药,会让人上瘾。为什么?

刘先明

因为这个能力不是你自己的,而且它的能力是有限制的。

张小珺

拿掉 L 之后,什么东西有了明显提升?

刘先明

之前一直解决不了的问题,在拆掉 L 之后发生了变化。

以前一直有模态混淆的问题。有 L 的时候,经常会出现模态混淆,因为对 L 的依赖太高。最终输出 action 时,会发现 action 不够灵活,模态区分度也不够好。

这是一个很明显的问题。拆掉之后,效果好了非常多。

张小珺

这是很激进的一步吗?

刘先明

挺激进的。

张小珺

我昨天跟英伟达的人聊,他们还说理想的架构是最激进的。看来不是。

刘先明

每一家都有自己独特的思考,会根据业务和自身状态做出最合理的判断。

我相信中国自动驾驶在整个业界里是非常领先的。每一家都在非常激进地探索,才有了中国自动驾驶进步这么快的状态。

每一家对技术架构的判断,一定取决于当时的状况、未来技术路线和产品形态,做出最优结果。

张小珺

你刚才讲了这条路明确的部分,模糊的部分是什么?

刘先明

模糊的地方还很多。

第一,scaling 到底能持续到什么程度。第二,安全下限到底在哪里,怎么守住安全下限。

如果可以加规则,就能用规则兜住安全下限,但有没有其他办法,像你说的超级对齐一样,对齐人类真实的安全行为,这也是问题。

另外,目前架构对模型结构的依赖到底有多大?软硬件协同定制,意味着要为了硬件做很多定制化,但这种定制化在 scaling 起来之后会产生多大影响,目前还不知道。

张小珺

硬件还会迭代吗?汽车应该相对稳定,不像机器人。

刘先明

汽车硬件迭代周期相对慢,不会像软件和模型这么快。机器人的硬件也会迭代,但芯片硬件迭代没那么快,至少以 2 年为周期。

张小珺

前段时间我跟余凯博士聊,他喊话小鹏,说你们是最难啃的客户。同时他有个观点:未来主机厂不会自研自动驾驶,因为这是一个标准化功能,应该交给供应商,比如地平线。主机厂应该提供的是用户的情绪价值。你怎么看?

刘先明

你还是跟他说,5 年后我们再来看吧。

张小珺

你是跟凯哥说实话,还是说假话?

刘先明

肯定说实话。

10. The OEM Data Advantage

我还是相信主机厂做这件事是有道理的,这也是我来小鹏最大的原因。

我的核心逻辑就是数据。数据是一座金矿。主机厂最大的资源就在于数据,核心就是怎么利用数据的规模和效率。

对于第三方来说,很难规模化拿到想要的数据。比如今天我的模型出现一个问题,我可以自动找到数据分布的 single point,知道哪些地方数据缺失,然后迅速让车队明天就去收数据,形成闭环。

这件事只有主机厂能做到。

张小珺

你觉得智能驾驶未来会成为标准化组件吗?还会有护城河吗?

刘先明

未来自动驾驶可能会成为标准化组件,但即使标准化,也会提供不同用户体验和不同功能。

一辆车可以做到一个月接管一次,很舒服;另一辆车 20 公里接管一次,这是完全不同的体验和应用场景。

有了很强的能力,才能在上面定义不同的产品功能,产品定义才能做出来。

张小珺

为什么国内智能驾驶好像还没有带激光雷达?

刘先明

我觉得大家都在准备。很多厂商会在今年年底和明年年初推出下一代架构,应该很快就会有新的产品出来。

张小珺

你们会是比较靠前的吗?

刘先明

我们会是其中之一,也一定会走在最前面。

张小珺

你觉得 AI 竞争目前到了什么阶段?

刘先明

车企都逐渐意识到 AI 是下一阶段的重要壁垒,所以在不断组建自己的 AI 团队,在资源和硬件上进行大规模投入。

现在车企的 AI 竞争挺严重,也很白热化。它是下一阶段的重要赛点。

张小珺

如果做不好会怎么样?

刘先明

做不好,基本可能会被淘汰。

张小珺

那还可以用供应商,选择供应商就行了。

刘先明

但供应商会回到刚才的问题:很难在闭环、体验和产品形态上做很多变化。

一定是智能化、AI 做得很好,提供非常强的基础能力,才能在上面做出不同的产品形态,产品才有得做。

张小珺

现在汽车公司的 AI 部门都是皇冠上的明珠吗?

刘先明

可能是。

张小珺

你们有什么特别的例会吗?小鹏多久跟你们开一次会?

刘先明

你说部门的还是公司的?

张小珺

都包括。

刘先明

其实没有特别多明确的例会,更多是有问题就随时沟通。

小鹏是一个非常高效、非常勤奋的老板。他不会规定每个月跟我开一次例会,讨论固定问题,而是想到什么问题就随时聊,随时开会。

张小珺

他自己的时间有多长花在 AI 上?

刘先明

还是挺多的。大师兄是一个工作狂,工作时间很长,精力充沛,想问题的速度很快。

经常跟他开会时,你还没说完,他就说:“好了,你不用说了,我懂了,我明白了。”他的精力很大一部分会花在 AI 上。

张小珺

你们多久碰一次?

刘先明

不一定。有问题就随时碰,没有特别 regular 的安排。

张小珺

最近 3 次碰面讨论了什么问题?

刘先明

量产计划、明年海外的问题、泛化性问题和 Robotaxi 问题。

张小珺

最近 3 次,是最近一个月吗?

刘先明

不到一个月,还是挺频繁的。

张小珺

你觉得智能驾驶现在是技术问题,还是产品问题?我觉得你和小鹏好像都是工程师风格。

刘先明

我觉得两者都有,既是技术问题,也是产品问题。

产品首先依赖技术本身的突破。今年科技日有一个很好的词,就是“涌现”。如果没有技术能力,产品形态很难做好。

比如 Tesla FSD V13 刚出来时,它的园区漫游功能让大家觉得很酷。所有主机厂都会尝试用很多规则做出来,但你会发现,受限于技术能力,产品形态和用户体验其实并不好。

核心是要有非常强的技术能力支撑上游产品形态。技术能力强了,产品就可以做出很多让用户惊艳的东西。

张小珺

沿途下蛋?

刘先明

类似吧。

张小珺

常识记忆这类问题,你会关注吗?

刘先明

会关注。这确实是下一个阶段大家不得不解决的问题:用户意图的长时序记忆。大家都在探索,目前还没有特别好的方法。

张小珺

Long context 呢?你们会关注吗?

刘先明

会关注,但 long context 对量产来说并不友好,因为推理速度太慢。

自动驾驶需要及时反馈。Long context 会直接导致推理速度变慢,推理速度变慢又会导致控车结果不好。

很多时候,安全性跟控车频率相关。必须做到非常快的推理速度,才能保证遇到鬼探头、突然窜出来的电动车或者 car cut-in 时迅速响应。

这永远是一个 trade-off。它很重要,但目前还没有特别好的方案。

张小珺

你们说 2025 年要投入 45 亿在 AI 和自动驾驶上,这 45 亿准备怎么花?已经花了多少?

刘先明

差不多花完了吧。

张小珺

你觉得人才够吗?AI 人才够不够?怎么跟字节、DeepSeek 这样的公司抢人才?

刘先明

人才永远不嫌够。总是希望有新的人才加入。

但我们最近的策略在变化,希望有更多年轻人加入。他们会提供新鲜想法,有更充沛的精力,也会带进来 fresh new brain。

新鲜的大脑可以跳脱出已有框架去思考问题,这是我们一直在尝试做的事情。

关于人才,AI 公司和传统互联网企业有一个很大区别:需要一个核心团队,保持稳定,并且获得充足的资源,也就是资源聚焦。

不管是 OpenAI 还是 DeepSeek,核心团队都没有特别大,更依赖少数人的力量。

这并不是说不需要很多人,而是要有明确分工:有人负责核心模型和技术;更多人做平台化和 infrastructure,提升整体效率;更多人做数据和闭环;现在还有一个趋势,是更多人做 application、业务落地和不同应用场景。

张小珺

你们的“分”具体分哪些?

刘先明

不同业务场景,这是明确的一种分。

有了核心模型之后,模型肯定会应用到不同领域、不同业务线上,比如海外业务。内部会根据业务线来分,但希望用一个 AI 模型去赋能各条业务线。

张小珺

你加入小鹏之后,有什么事情出乎意料,跟你想的不一样?

刘先明

难度系数出乎意料。广州的难度实在太大了。

张小珺

广州难还是北京难?

刘先明

广州更难。

另外一个出乎意料的地方,是整个公司对这件事的投入度。

张小珺

有什么细节可以分享?

刘先明

当你想做一件事,去找老板要钱、要预算,老板说:“好。”就完了。

他最多会问一句:“够不够?”

张小珺

有没有预算太多被否掉的?

刘先明

我们总担心这个问题,但到目前还没有被否过。老板会问,但不会否。

张小珺

你觉得制造业企业文化和 AI 企业文化怎么融合?这两种文化完全不一样,企业基因也不一样。那小鹏现在到底是哪种基因?

刘先明

我觉得小鹏目前还是 AI 基因,或者说是创业企业、科技企业的基因。

制造业关注的事情,无非是质量和成本。但你跟一家制造业企业说:“我要训练一个模型,可能一年之后才能看到结果,结果还不可预期,我要投入多少钱。”这笔钱又不是买基建、车床和房地产,老板会觉得钱是怎么花掉的。

这是非常不一样的 philosophy。对于失败、回退和业务 delay 的接受度、理解程度,也是传统制造业企业很难理解的。

张小珺

王凤英核心管制造,你们之间的企业文化应该不一样吧?

刘先明

我们接触还不是那么直接。我是直接跟小鹏汇报的。

张小珺

为什么 Meta 一直 AI 做得不太好?

刘先明

我觉得跟它的风格有关。

张小珺

这是在批评你的前东家、前前东家。

刘先明

Meta 的风格是每半年考核一次,周期特别短。做长线事情,很难在这么短时间里急功近利地做出来。

比如半年时间,先花一个月写 OKR,再花一个月做 PSC,也就是 performance review,中间刨去假期,可能只剩 3 个月做事情。不太可能把一个事情做成长线。

张小珺

中国公司不也这样吗?

刘先明

至少中国公司往往还有一个长线目标。

Meta 过去是互联网公司,强调快。它有强大的 infrastructure 团队,比如 Meta 的 infrastructure 做得非常好,可以在上面 spawn 出不同的 application。

Meta 早期和字节早期的风格、信奉的哲学,都是快速试错:快速做一个产品、做一个应用,看能不能快速拿到用户的新鲜感。互联网产品的用户新鲜感是有限的,所以必须快。

但这件事天然不适合 AI。

另外,Meta 有很多天才,talent density 很高。这帮助它在互联网时代快速试错和创新。不同角落、不同团队的人才,能够做出让人匪夷所思的产品和创新,不管是在营收上还是产品体验上。

但做 AI 一定需要一个集中化、小型化的团队,用足够多资源支持它。这个跟 Meta 之前的组织方式不一样。

张小珺

它还是比较散,比较强调个体。

刘先明

对,比较散,比较尊重个体。它过去的创新模式比较依赖个体,依赖灵光一现的天才想法。

AI 不是这样的。AI 一定是严格体系化的东西。

很多人有误区,觉得 AI 是不是某个人一拍脑袋想出一个东西。但它一定是严格体系化的。

张小珺

不是应该自下而上吗?

刘先明

一定是自下而上。技术突破一定是技术自下而上完成的。

但自上而下要有明确的北极星目标,以及合理的预期时间和预期结果。

AI 非常考验组织。最近很多文章在讨论 OpenAI、Gemini、DeepMind 的组织形式,其实都是非常扁平的结构。

需要有人在中间迅速做节拍器、调节器,给大家明确的远期目标,做结论和决策。决策要基于所有结果,短期发现之后做出判断。

更多创新来自自下而上的发现,但整体又依赖看不见的工程能力:数据能力、训练 infrastructure、容错性和系统效率。

大家看到的是上面一小撮人在做这件事情,但背后其实是一个步调统一、节奏很好的大规模工程体系在支持。

张小珺

你会怎么改进这套组织体系?

刘先明

管理方式一定要变化。

第一,要重视工程本身。你看到我做的第一件事,就是建 infra,建立 infra 团队。

第二,管理方式要变,整个体系要非常扁平。

张小珺

你们已经扁平化了吗?

刘先明

我们还是很扁平。

很多人说我很憨直,原因是我一直扁平到一线 engineer。我会看他们的代码、实验结果,迅速发现问题。大家在办公室里随时讨论,有新想法就快速决策。

这些都需要非常扁平的团队才能做到。

张小珺

你们有几层?

刘先明

非常扁平。我不会刻意设置几层层级。

很多 team leader 仍然直接写代码、debug。很难想象一个大型团队的 leader 会直接写代码,但我们就是这样。

也很难想象一个刚毕业的 PhD 可以说服整个团队去做一件事情,所以团队层级被压得非常平。

张小珺

这是你要做的变化,还是本来就这样?

刘先明

过去半年到一年一直在持续变化。整个团队有了这样的结构,才能快速往前走。

张小珺

所以你做过架构调整?

刘先明

对。可以说现在更扁平了,也可以说做了架构调整,或者说管理风格本来就是这样:不听汇报,所有人直接跟我沟通。

张小珺

你的带宽有多大?能同时跟多少人直接交流?

刘先明

有很多坊间传说,说我不睡觉、每天只睡 4 个小时,确实比较牺牲睡眠时间。

我不可能在同一时间关注所有事情。一般一个时间段关注少数几件事,两三件。这个时候可能跟几个人到十几个人的团队快速沟通,这是比较常见的状态。

张小珺

扁平化之后,你们怎么“合”?

刘先明

合就是资源整合、事情整合,避免内部出现很多 duplicate work,也就是重复造轮子。

大家要在内部分享和沟通。我们一开始没有太多秘密,不存在“你知道而我不知道”的事情。小团队快速分享所有知道的信息,把资源整合起来。

也不会设置部门墙,说你做 A,就绝对不能做 B。更多是鼓励相互流通和合作,让整个事情更快。

张小珺

你们团队有多卷?

刘先明

挺卷的,可能我睡觉都不是最少的。

张小珺

早几点,晚几点?

刘先明

晚上一般 2、3 点,早上可能 7、8 点。

张小珺

你们会有例会吗?学习会之类的?

刘先明

会有一些例会,也会有很多 deep dive。内部会把做过的好实验、坏实验,或者最近看到的好东西拿出来分享。

有时会问一些 spicy 的问题,比如:“这个实验结果为什么是这样?为什么写了这么简单、这么错误的东西?”或者问:“这个事情应该怎么做?要不要冒这个风险?”

张小珺

你接下来这段 journey,最大的挑战是什么?

刘先明

最大的挑战是,我之前一直做内部 AI,现在开始做自动驾驶,对我的带宽是一个很大挑战。

我不可能像以前在 AI 团队里那样,酣畅淋漓地管理每一件事情。做量产之后,会有很多产品、业务、客诉、质量和硬件问题,这些都会占用大量带宽。

怎么在这么大的带宽压力下,仍然分配出精力,帮助团队找到下一阶段该做的事情,这是最大的挑战。

张小珺

你以前没有做过很多量产的事情,对吧?

刘先明

以前还是做过不少,也有一些经验。

张小珺

你更 enjoy 量产,还是前沿技术?

刘先明

我 enjoy 的是两者结合。

我不是纯粹的 researcher,而是喜欢从量产和真实问题里找真实东西的人。所以我不会把自己定义成一个纯粹做前沿研究的人,但我会去找问题。我觉得这是我最大的能力。

张小珺

从上任到现在时间还很短,这中间发生过什么决策或变化吗?

刘先明

时间过得真快,转眼间已经 3 个星期了。我自己都没有意识到会过得这么快,还不到一个月。

张小珺

这哪快?3 个星期分别发生了什么?

刘先明

现在让我回想,我感觉好像都像昨天发生的一样,突然就到这里了,所以我才说很快。

自己没有意识到已经过了 3 个星期,体感上好像只有几天,可能是因为每天很忙,有更多事情要处理,占用更多带宽,睡觉时间也变少了。

简化。简化是我这段时间做的最重要的决策。

张小珺

减了什么?

刘先明

简化流程,简化研发工序,简化要做的事情。

我是一个比较干脆的人,不喜欢听汇报。我不会说“你来跟我解释一下事情到底发生了什么”,而是直接看到最前面。

比如每天的 debug 日会、问题日会,我会直接去看问题。所以我希望整个组织变成一个非常简单、极致的结构。

另外,尽量把事情合并,把重复做的事情合并掉,把不必要做的事情暂停或者降低优先级。这可能是过去这段时间做得最多的事情。

张小珺

前段时间你还带着家里的孩子去了一趟旧金山。

刘先明

对。我在 Cruise 工作了很多年,Cruise 一直禁止 13 岁以下儿童乘车。那段时间正好赶上 Cruise 被 GM 全资收购,我就带孩子回去看了一下以前的办公室和车库,也第一次坐了 Waymo。

他们的变化挺不一样。现在孩子每次看到车都会大喊“Robot car”,特别兴奋。

坐在车上时,我会想起曾经旧金山有 Cruise 几百辆车,每天我们在那里测试。那时候团建出去吃饭、出去玩,大家都会打自己公司的车。

现在坐在曾经认为是竞争对手的车上,而且它做得很好。Waymo 现在已经做得非常好了,你会挺不甘心的,非常不甘心。

这是一种酸,也可以说是一种较劲。所以我还是希望自己能在这一段把事情做下去。

张小珺

要做到什么样?

刘先明

有一天可以把我们家的孩子放到车上,说:“好,你自己上学去吧,我不管你了。”

或者让自动驾驶真正成为生活中不可或缺的东西。现在很多人仍然有疑虑:安全性到底怎么样?效率怎么样?到底是新鲜事物,还是一个玩具?

Waymo 最早在旧金山也是这种状态。几个月前,它还是旧金山最重要的旅游景点,所有人都去尝试 Waymo。

但现在 Waymo 在旧金山每周有 25 万个订单。从 Caltrain station 出来,你会发现很多车上都有名字,很多人在等着上车。

把一个东西从大家眼中的技术、到一个想尝鲜的景点,最后变成生活的一部分,我觉得这就是技术进步本来应该做的事情,应该这样改变人的生活。

我也希望有一天,我们能亲手把这个变化做出来。

张小珺

未来一年、3 年、5 年,你希望自己达到什么里程碑?

刘先明

希望明年能在广州把 Robotaxi 运行得很好,至少未来 1 到 3 年能做到这一点。

张小珺

你觉得你们跟 Waymo 有多长时间的代差?

刘先明

从技术本身看,我觉得不能说有代差。下一代技术栈会完全不一样。

现在有很多争论:依赖激光雷达和两段式体系到底好不好。我觉得这是一个永远的争论。

与其关注争论,不如沿着我现在认为正确的道路,把事情做出来,做到可用的状态。让它不再是一个争论,不是玩具,也不是新闻热点,而是每天生活的一部分,出门默认就会使用。

张小珺

回到国内企业,你在文化上适应吗?

刘先明

还可以,还好。

很多人可能不适应,尤其是去了深圳企业之后会非常不适应。但整个团队对我还是挺照顾的,给了我很多容忍度。

并没有像传统企业一样要求我,或者设置很多条条框框。

张小珺

你刚才说 Meta 的企业文化,如果半年考核一次,太短了。你们怎么考核?

刘先明

不是说 Meta 半年考核太短,而是 Meta 过去的文化,基本每半年会进行一次大的重组,业务目标也按半年定。

很多时候,如果一个东西半年做不出来,就会被砍掉或者调整。这导致 Meta 一直以来的惯性就是快。

Meta 的风格是“Move fast and break things”。在互联网时代,这种文化非常有用:不停试错、迭代,快速产生新东西。

但在 AI 时代,很多事情要从头开始建立体系。这对 Meta 半年一次的 reorg、半年一次的绩效考评不太友好。

我在 Meta 的时候,他们也做过类似变化,比如对 research 机构、research lab 实行一年制考核,鼓励更多长线事情,但最终推行起来很难。

张小珺

Google 为什么好很多?

刘先明

Google 本身的情况不一样。Google 真正的变化,也是在 Larry Page 和 Brin 回来之后发生了很多变化。

可能还是取决于一家公司的风格和创始人的风格。

张小珺

小鹏智能驾驶一号位经历过吴新宙、李力云,现在是你。你觉得你们 3 个人分别承担了什么历史使命?

刘先明

我觉得每个人都有自己的历史使命。在不同阶段,很难说我的历史使命是什么。

也许有一天,我会把这件事做到自己觉得“好像把我自己干掉了”,就是这样。

张小珺

人事任命通知是小鹏找你的,还是 HR 找你的?

刘先明

小鹏找我的。

张小珺

他怎么跟你说的?

刘先明

这个事情发展太快,我已经不记得当时具体怎么说了。

张小珺

有没有需要支持,但小鹏没有支持你的情况?

刘先明

目前真挺少的,好像没有太多 case。

小鹏总是问一些非常 sharp、很难回答的问题。

张小珺

他最近问你什么?

刘先明

“为什么花这么多钱?”

张小珺

你怎么回答?

刘先明

我到现在还没回他具体多少钱。

张小珺

你不是说他都会说好吗?

刘先明

对,但他会问。我现在还没回,主要是过去一段时间预算和花销的问题。后来当面也说了:“不需要了。”

张小珺

所以批了吗?

刘先明

主要是过去预算、过去这段时间的花销之类。

张小珺

他骂过你吗?

刘先明

没有。

大师兄说话比较直接、愉快,不是去骂人,只是有时候话很直。

张小珺

有没有一句话让你觉得很直、不舒服?

刘先明

目前还没有。目前感觉还挺顺利,他给了我很多宽容度。

张小珺

很难想象一年多还没有骂过你。

你们当时在美国是怎么聊的?聊完之后,他对你也很满意?

刘先明

去年年初,我们约了线下见面,在办公室里面聊了一个小时。

张小珺

之前是 HR 找你,还是猎头找你?

刘先明

都不是,是大师兄直接找我。

那时候我跟小鹏在办公室里聊了一个小时,突然发现这个人一点架子都没有。坐下来就开始讨论问题,你说什么他能听懂,还能把问题想得很到点。

这是让我觉得很不一样的地方。所以出来之后,我就跟 HR 说:“我接 offer,你们准备吧。”

张小珺

进来之后有过磨合吗?

刘先明

肯定有磨合期,跟团队磨合,跟上面的 leader 磨合。

比较难的是,你需要一段时间了解公司的业务和现状,再跟每个人沟通,让他们了解你的想法、你想做什么。有时候不一定能说服他们,但至少要让所有人知道为什么要做这件事情,以及这件事情有多大难度、有什么风险。

这其实是一个很难的过程。

张小珺

所以你进来的时候,规则算法还在使用?

刘先明

进来的时候确实还在。那时已经在转型过程中,但并不是马上放弃规则算法。

我觉得大家都在某个时间点知道,规则算法会被基于 AI 的模型打败,然后完成切换。

因为车企永远要承担责任,不可能因为技术很酷,就直接推到车上让所有人使用。

张小珺

你这么说,我突然想到,理想是在公司内部发起了一场大火,才把规则算法拿掉。你们有没有这样标志性的节点?

刘先明

我们也有一个节点。某个时间点,模型性能突然超过了规则。它有好的地方,也有不好的地方,但突然就出现了这个时间点。

我记得特别清楚,当时测试时,测试员鼓掌。

张小珺

超过的时候鼓掌?

刘先明

对。大家觉得:“这个开得太好了。”

张小珺

小鹏的思路是什么?在这件事上有没有干预过决策?

刘先明

基本没有。

整个公司的氛围都是正向推进的风格,可能跟老板风格和小鹏整体风格有关。

在那个时刻,老板没有过多干预,很多事情是顺其自然、水到渠成。结果出来之后,就迅速切换。

张小珺

这个变化的拐点是去年的几月?

刘先明

差不多是去年的 XS 5.4.0 之前。

张小珺

但去年年底才彻底放弃?

刘先明

规则算法很早就切换了。去年已经很早完成切换。

张小珺

那你去年年底拆的是什么?

刘先明

去年年底,我们跟团队一起做端到端,把感知和 planning 放到一起,做成端到端。那段时间确实一直在干这件事。

张小珺

这个过程中你跟其他人 battle 过吗?小鹏有过不同意见吗?

刘先明

没有什么 battle,大家有共识:规则算法已经到了很难继续推进的状态。

所有人都希望这件事发生,但它需要时间。等它真的发生、超过的那一刻,就顺其自然地切换。

很难想象一家企业、一个公司或团队,如果有人非常执着地说“我就是要做这件事”,结果再好也不允许切换,因为担心 scope、担心 job security,那是不可能往前走的。

我觉得这是团队给我最大的宽容,也是我最大的感受。

张小珺

你在过程中做得比较极致的事情是什么?

刘先明

当时我写了一个架构设计,到现在还在做,还没有完全做完。中间很多人问我要不要放弃,但我没有放弃,先推我认为正确的事情。

张小珺

有没有小鹏持 A 意见、你持 B 意见,最后你说服他的过程?

刘先明

还是有的。

最近一次技术产品规划,我一开始跟小鹏的态度不一样。我想得更激进、更极致,小鹏相对更稳妥。

前两天我们还在聊这个事情时,老板改变了态度。

张小珺

他为什么改变?

刘先明

当技术涌现到一个状态,人的想法会变化。

老板做决策时,是在机会和风险之间平衡,会动态调整这个平衡。当风险远远小于机会时,他就会做出正确决定。

很多时候不是我去说服他,我也没有那么大的说服能力。更多是我把事情做好,事情发生之后,决策者自然会改变。

张小珺

在 AI 上,小鹏会参考哪些人的意见比较多?

刘先明

还挺多人的。大师兄经常会征求很多意见,公司内部也有很多人。

他会跟很多人直接沟通,获得反馈和建议,综合起来做决定。公司外部也有很多人给他提出建议。

我觉得他总能挑出其中有用的信息,再在内部分享。我们有时也会说:“大师兄,这个信息可能不准确。”

张小珺

最后来几个快问快答。全球范围内你喜欢的食物?

刘先明

榴莲。

张小珺

喜欢的地点?

刘先明

冰岛。

张小珺

基于你读过的书,推荐两本必读书。

刘先明

有一本叫《Range》,我还挺喜欢。

还有一本很厚的书,名字里有“哥德尔”,应该是《哥德尔、艾舍尔、巴赫:集异璧之大成》。最近一直在读,但太厚了,读到一半就没读。

张小珺

你心目中影响 AI 进程的几篇论文?

刘先明

Transformer 肯定是一篇,GPT 也是一篇。

张小珺

基于你当下的认知,一个关键的重要 bet 是什么?

刘先明

Scaling。

张小珺

物理 AI 里的 scaling?

刘先明

对,物理 AI 的 scaling。

张小珺

你最近思考最多的几个问题是什么?

刘先明

第一个,怎么快速适应节奏变化。第二个,怎么跳出自己的思维误区。

人的思维是有惯性的,所以我考虑最多的是怎么跳出自己的思维误区。

张小珺

你接下来会不会对团队做大的变化?

刘先明

不会,变革不会。

张小珺

我觉得魏小李几家的智能驾驶一号位,风格都挺不一样。你算是偏工程师类型的?

刘先明

算是。

张小珺

描绘一下你看到的一年后、3 年后、5 年后的世界。

刘先明

11. The World Five Years Ahead

一年后的世界,应该是智能化开始全面介入我们的生活,也许还是数字 AI。

3 年后,也许 physical AI 会真正走到生活的每一步。

5 年后,我不敢想。

我家孩子总问我的教育理念,我说很难判断,因为世界发展太快,不知道他们长大之后世界会变成什么样。

但我能做的,是基于现在的认知,把想做的事情做好,让他们学会怎么学习。

也许 5 年后的世界,是一个无法预知的世界。你可能需要每天不停学习,不停获取新的东西。

120. 小鹏新上任的刘先明首次访谈:Language是毒药、拆掉L、简单即美、换帅、小鹏的AI转型 | BidClub