96. 和郎咸朋聊，自动驾驶10年演进史、关键技术细节和特斯拉

哇塞，这么强势，他就觉得你那时候一定要跪下来求他。

大年初一突然李想给我打电话。我想，我还没给李想拜年，他给我拜年了。他第一反应就说：“郎咸朋，你这事儿有没有决心？”

我说：“我来这儿三年，就等这个时候了，就等这一刻。如果真做不出来，我就引咎辞职。我肯定好好做，反正一定要把这件事情做成。”

他说：“只要你有信心，我就支持你。”

端到端做得好的现在是哪些公司呢？所有的 L4 科技公司，谁做端到端？

这就要看本质了。我们先从自动驾驶的发展历程说起。

Hello，大家好，欢迎收听《张小娟商业访谈录》，我是小俊，这是一档提供一手高密度信息的商业访谈节目。今天发布的呢是和理想汽车自动驾驶研发副总裁郎咸朋的聊天，本次访谈发生在二四年的十二月，和我们之前发布的对理想的三小时访谈在同一时期进行。郎咸朋一三年到一八年在百度做自动驾驶，一八年后加入理想，过去十年都在中国的自动驾驶领域。他以亲历者的视角聊了自动驾驶的十年演进史，详解了其中的关键节点和技术细节。本次谈话更像是对自动驾驶的一次技术科普，我觉得我们聊得还不错，所以决定分享给大家，因为。因为这次访谈发生在去年，所以如果大家听到今年其实指的是二四年，如果听到去年其实指的是二三年哦。

十年前，也就是 2014 年、2015 年，那时候百度的 ADU，也就是百度的自动驾驶团队，刚刚成立。我们当时用的是一大堆激光雷达、高精地图，然后用纯规则的一些算法去做自动驾驶。

当时在乌镇的年会上，百度还演示过自动驾驶。大家开玩笑说，这个自动驾驶是工程师用上万行 if else 规则写出来的。

但到现在，其实已经完全不一样了。当时在我们脑海里，最优的技术路径就是使用重量级的激光雷达传感器，配合高精地图。

在当时所有做自动驾驶的人眼里，自动驾驶就像一辆有轨电车。我们给所有地面铺上虚拟轨道，如果轨道铺得足够好，更新得足够快，就可以在这条轨道上实现自动驾驶。

然后我再用非常多的激光雷达，把车身全部装满，360 度无死角地探测周围动态的人和车，再加上刚才所说的轨道，应该就能像高铁在铁路上运行一样，实现非常好的自动驾驶。地铁其实也是自动驾驶，类似的，这是当时的想法。

你现在看起来当然会觉得很可笑，但在当时看起来，自动驾驶就应该这么实现，而且是非常完美的。

再往后走，我们发现可能不行。第一，轨道铺不了那么多。中国有 960 万平方公里，如果说中国整个道路体系，高速公路为什么可以用高精地图？因为高速公路只有 30 多万公里。还有 900 多万公里是普通道路，你不可能把所有道路都做成高精地图。

好，就算你都做上高精地图了，但道路会不断修修改改、填填补补，有很多更新。你不可能每天把所有高精地图都更新一遍。高速公路可能还好，不会天天修，但普通道路今天挖个坑，明天改个道的情况非常多。

所以，高精地图这条路貌似就走不通了。

这条路当时走了多久？

大概做了三年。再往后，BEV Transformer 出现，也就是 2018 年左右。特斯拉其实是我们业界的标杆，我觉得特斯拉率先说，我们不用高精地图，不用激光雷达，要用纯视觉。

其实那个时候它已经表达得很清楚了：第一，看得非常对；第二，看得非常准；第三，看得非常早。

只不过当时业界很多人，要么确实不理解它在说什么，要么已经理解了，但受限于自己之前做了很多地图、做了很多重型激光雷达的事情，没办法转身。已经投入了那么多钱，没办法说转就转。当然，也可能有些人是故意这么做，那就是另外一回事了。

其实这条路大家探索了很久。从 2014 年、2015 年往后做了三年左右，大家慢慢就理解到了，其实用这种方式是不可行的。

在高精地图方案出来之前，业界对自动驾驶的探索其实已经有二三十年了。有汽车之后，人们就开始畅想，如果汽车能自己开、能自动驾驶，那该多好。

最早大家寄希望于，有没有一种方式能让车自己识别眼前的物体，自己做判断、规划和决策。这伴随着前一次人工智能浪潮开始。

你现在翻翻这些论文，尤其是很多院士、老一代做人工智能的人，他们在 20 世纪八九十年代就做了很多自动驾驶方面的探索。只不过那时候传感器可能还不行。

他们用的是很小的摄像头。现在动不动就是几百万像素，他们当时可能几万像素都是一个级别，可能就是 600×800 左右。我们现在的摄像头像素，比那时候大一两个数量级。

而且那时可能连摄像头都没有。因为对他们来说，做图像处理是非常奢侈的事情，当时没有那么好的计算机。

我的老师原来在中科院沈阳自动化所，他们最早做的是计算机视觉，也就是 computer vision。现在天宫、嫦娥这些项目，其实都有他们参与。

但他们在八九十年代做计算机视觉时，都是非常简单的点阵相机。受限于计算机处理性能，他们没办法做高分辨率、实时的处理。

所以在当时，用摄像头做车上的实时感知非常困难。那时候大家更多用的是毫米波雷达这样的设备。

毫米波雷达是一维信号，图像是二维的，信息量更大。雷达信号是一维的，处理起来数量相对没那么多，也容易一些。

你可以理解成，当时做了很多实验，就相当于人蒙着眼睛，用声波的方式，像蝙蝠、海豚一样在路上开车。如果路上车辆多，肯定不行。但当时大家想探索的是，怎么通过传感器加控制单元，让车能够自动在路上开起来。

这是八九十年代的事情。说得有点远了，我今天比较开放，想到什么说什么。但一直以来，大家都想做这件事。

直到后来有了更好的芯片、更大的算力、更好的图像处理算法，伴随着这一次人工智能的兴起，到了 2013 年左右，ImageNet、卷积神经网络等技术出现，大家又重新把这些东西拿回自动驾驶上审视。

这么好的图像感知处理方法，能不能用于自动驾驶？

那个时候大家更多还是看激光雷达和高精地图。说白了，这些东西也不是突然有一天冒出来的。美国 DARPA 大挑战赛里，第一名使用了激光雷达，所以大家开始认为，做自动驾驶可能需要激光雷达和高精地图。

与此同时，也有一波人想，我们能不能用更好的图像视觉感知算法来做自动驾驶。

经过一段时间的探索，伴随着车载传感器和处理器的发展，特斯拉也是这样。算法不行，我自己做算法；芯片不行，我自己造芯片。

它首先先于业界推出了 BEV、HydraNet 这些技术。

如果芯片不行，当时它用的是英伟达 Xavier 那一代芯片，只有 30 TOPS 的算力。现在动不动就是几百 TOPS，当时最好的只有 30 TOPS。

特斯拉说，这个东西处理不了我的 BEV 神经网络，所以我自己造芯片。特斯拉在 2016 年就开始准备造芯片，2019 年推出了新的芯片，72 TOPS 乘以 2，也就是 144 TOPS。

当然，现在看 144 TOPS 平平无奇，但在当时大家都只能用 30 TOPS 的前提下，它有 144 TOPS 的算力，已经非常厉害了。

BEV 加 Transformer，BEV 怎么理解？

BEV 就是 Bird’s-Eye View，鸟瞰图。

它也是一个视觉的，对吗？

对。实际上这个理念并不是非常高大上，很简单。

我们之前做自动驾驶或辅助驾驶，都是用前视摄像头，只看前方大概 120 度左右的视场角。但这里有个问题，如果侧面来车或者后方来车，前视摄像头没有能力覆盖这些内容。

之前我们怎么判断侧方和后方的东西？用的是毫米波雷达。

像博世、采埃孚这样的 Tier 1，在雷达里面有小芯片，可以直接输出侧面雷达覆盖区域内一些物体的速度和位置。

但是它只是一个信号，你可以理解成二维平面里的一个点。这个点对自动驾驶有没有用？多少有一点，比如做预警。就像后视镜上有个灯亮起来，做盲区检测，告诉你后面有一辆车来了。

但如果想做自动驾驶，不是说后边有个车就行了，还要告诉我这个车准确的方位、速度等信息。

毫米波雷达给不出来。它只能告诉你，大概后边有个车，或者有个东西来了。

如果想做这件事，就必须使用更好的传感器，比如激光雷达或摄像头。

如果用激光雷达，像特斯拉这样的量产车，不可能一圈装很贵的激光雷达。当时一台 Velodyne 64 线激光雷达，人民币要卖到五六十万元，非常贵。

早期百度、Cruise 等公司的车，一辆车上有七八个激光雷达，传感器成本远高于整辆车，整车就非常贵。

如果我没记错，当时在百度，一辆车的传感器成本大概是 500 万元人民币。

是全加起来吗？

对，激光雷达加上计算设备，计算设备还好，主要是传感器贵。

不但有大的雷达，还有一些小的补盲雷达。百度最早还有专门的 16 线雷达，横着放。

我们平时头上的雷达是这样转的，百度还有一个横向转的雷达，它要看天上有没有交通信号灯的杆。

那时候肯定没法量产。

肯定没法量产。那时候车也没有多少台。

再说回特斯拉的 BEV。它当时想，我一定要用视觉解决这些问题，因为视觉给我的信息最充分。

雷达后来降价了，它为什么不继续走雷达路线？因为像楼天城就一直坚持认为雷达是对的。

先把特斯拉讲完。

好。特斯拉讲的第一性原理，我觉得是说给老百姓听的。这样比较容易理解。

它不说那些技术上的字眼，而是说，人长着两只眼睛，人用视觉就能开车，所以我一定要教会车用视觉开车。

老百姓可能能听懂，但对我们来说，图像里包含的信息是最丰富的。它不但有颜色、物体内容，还可以通过针孔，或者各个摄像头之间位置产生的视差，推断物体在三维世界里的空间信息。

所以，你不但知道它是什么，还知道它在哪。进而可以推出它的运动速度和运动趋势，这些都能从视频或图像上推算出来。

再说回来，特斯拉想用纯视觉解决这个问题，就不能只用前面一个摄像头，侧面也要放摄像头。

这样我的周围就是 360 度的。Bird’s-Eye View，也就是鸟瞰图。我从上帝视角看，就能看到车身周围所有的信息。

用这些摄像头拼起来，我可以看到周围所有内容。

它的 BEV 算法来源就是这样。但这里有个问题：原来的芯片和处理能力，处理一个前视摄像头才够用。

现在想处理这么多摄像头，特斯拉大概有 6 个、7 个摄像头，相当于需要原来 6 到 7 倍的计算能力。

原来一个 Mobileye 肯定不够，一个 Xavier 也肯定不够，所以我要自己造芯片。这是最本质的一些东西。

这么多摄像头和芯片，成本多少？

非常便宜。特斯拉目前全部算上，传感器加芯片，一辆车大概 1,000 美元，也就是六七千元人民币。

现在一个 Orin 芯片就不止这个价格了，更不用说激光雷达。

对。激光雷达加上芯片，当然不可能这么便宜。

我们现在用的英伟达芯片，还是通用处理器。特斯拉造的是 ASIC，也就是专用芯片。

专用芯片就是，我自己的算法是自己写的，所以我的芯片配合我的算法去设计就好了。但如果换一个算法，这个芯片就不能用了。

英伟达的芯片，你可以理解成一个非常基础、通用的东西。理想的算法放上面能用，小鹏的算法放上面也能用。它是通用的优化和处理方式，不是为小鹏量身定做，也不是为理想量身定做。

就像一件衣服，我做得大一点，瘦一点的人能穿，胖一点的人也能穿，但穿上去不好看。

如果这件衣服是我自己定制的，穿起来就特别合身、特别好看，而且价格还便宜。因为我知道我的用料，可以省掉很多不必要的成本，不用做得肥肥大大的。

一辆车要放几个芯片？

我们现在是两个 Orin X。但这是因为算力的原因，系统一跑在一个上面，系统二跑在另一个上面。

特斯拉有几个？

特斯拉现在 FSD 是两个芯片，两个 72 TOPS，加起来 144 TOPS。

但它现在 144 TOPS 表现出来的性能，我觉得至少大于等于我们现在两个 Orin X 的 500 多 TOPS。

所以不能只看算力的数值，还要看最后的有效算力是多少。这里有有效算力和等效算力的概念。

特斯拉 BEV 算法还有一个非常优秀的地方。刚才我提到，它要把一圈摄像头的信息都用在算法上。

一个很朴素的想法是，每个图像都算一遍，把每个图像看到的内容再拼到一起，共同形成对周围世界的理解。

这是一种最简单的做法，也可以称为一种 BEV 算法，但它是后处理算法。

也就是说，我分别处理每张图像，识别人、车、车道线等内容。处理完之后，前视、侧视、后视摄像头各自看到一些东西。每个摄像头之间又有一定重叠，所以还要做图像之间的物体融合。

这一步会产生很多问题。

特斯拉 BEV 算法最大的好处是，它不是后处理，而是一开始就提取图像上的所有特征，然后通过所有图像的信息统一做一次计算，把所有东西都识别出来。

不像原来那种朴素的做法，每张图像上各做一点，再把结果融合起来。说白了，原来还是用前视 120 度摄像头的算法，只不过把它应用到侧边、后面，再提取出所有东西，最后统一融合，这叫后融合。

后融合的问题是，首先，你能保证每一帧提取出来的东西都对吗？

这边有个人没识别出来，那边又识别出来了，到底信这个摄像头还是信另一个摄像头？不知道。

或者两个摄像头都提取出来了，但这个车提取了一半，另一个车提取了另外一半，那该怎么融合？这辆车到底是一米五、两米还是三米？其实你是不知道的。

在特斯拉 BEV 算法出来之前，业界大量工作都在想办法消除后融合的误差、错误、误检和漏检，就像今天一点点消除幻觉一样。

但特斯拉换了一种方法。我觉得从特斯拉身上学到最好的一点，就是它一直在用升维的方法解决问题。

如果抽取本质的话，今天不应该一点点填补、消除幻觉，而是应该升维。这是另外一个话题，我们继续说。

如果高德地图和激光雷达有问题，我就用更本质的纯视觉方法去做。

原来那种后处理、拼凑的方法有问题，那我就换一种方法：从每张图像里提取特征，然后统一、一次性地得到所有物体的空间位置等信息。

为什么准确率会提高？

最本质的做法是，我不是先在每张图像上提取特征，然后再拼起来；我是先把所有图像拼成一张全景图，再在这张图上提取物体。

这样相当于在同一张图上提取。提取完之后，再把结果反投影回某一张图像。

已经知道这里有一辆车，但我得到的这辆车，不是从每张图像里提取一部分，再拼成一辆车，而是先把所有图像的信息拿到一起。你可以狭义地理解成，先把所有图拼成一张大图，再在大图上把该有的车、该有的人提取出来，之后再反投影到每一张图像上，进行下一步动作。

这样做的好处是，虽然原来每张图像可能都只拼出一部分，但我从所有信息里融合、提取出了一个完整物体，再投到每张图像里时，一致性会特别好。

因为它们都来自同一个来源。原来的做法是从不同来源收集信息，再合成一个东西，合成时可能会有很大问题。

现在我是先利用所有信息，恢复出真实世界里的物体。这个物体反投影到每张图像时，一致性就有保证。

这就是 BEV 算法。里面的算子、Transformer 算子，那是网络结构的问题，但我觉得这些还不是最主要的，最主要的是它的思想。

比如造原子弹，E=mc² 是质能方程。使用聚变还是裂变，这是后来的事。最本质的思想是，物质和能量竟然可以相互转换。

先想到这个东西，再去解决物质和能量怎么转换。裂变还是聚变、铀-235 还是铀-238，都是后面的事。最早想到这个思想的人，才是最厉害的。

刚才我也说了，我们之前都是用其他方法做增量式的工作，但特斯拉用纯视觉给出了本质上的思考：我要做前融合，或者说我要一次性把所有信息都用起来。

我觉得这是它开创的。

Transformer 是一个通用架构，也是一个共识性的架构。当时是 Google 提出来的，特斯拉把它用到了自动驾驶上。

Google 提出来的，特斯拉把它用到自动驾驶上。

对，用到自动驾驶而已。就像我刚才说的，谁发明微积分并不重要，重要的是我把它用到这个领域里。

所以它一直在跟进 AI 的进展，然后把它用到自动驾驶上。

对，可以这么说。

但为什么别人没有用 Transformer？

别人没有想到 BEV 这样的架构。我觉得最本质的还是 BEV。

它看到了当时自动驾驶行业的一些本质问题，然后用了升维的方式解决。

再往后，用 BEV 其实还在原来的套路里。BEV 只是解决了感知问题。感知出来的东西，还要形成驾驶决策，生成行车轨迹和规划路线，让车沿着路线开。

它本质上还是模块化或者分段式结构：感知出内容，再做决策和规划，最后生成行车路线。

后来特斯拉觉得这也有问题。上下游之间可能存在信息传递的问题。

我得到这些感知结果，现在用 BEV 方法已经很好了，但怎么把这些感知结果变成最后的驾驶决策？这一步实际上还要靠工程师的规则和程序。

用工程师设计出来的算法去设计车辆，开起来还是会有很多问题。

这就是第二个阶段。大家已经认识到，重激光雷达的方案量产不了。先不说它的其他问题，单从分辨率和能提供的信息量来看，激光雷达远低于摄像头。

现在随便一个摄像头，图像大概是 800 万像素，也就是 4K×2K 左右，4096×2048 之类的，乘起来就是 800 万像素。

一个激光雷达，现在听说过的最多线数是多少？“线数”就是有多少个激光去扫描，具体怎么做到是另一个问题。

现在车上一般用的是 AT128，以及另外一种 128 线激光雷达。你可以理解成，有 128 个扫描单元，一扫过去就是 128 行。

刚才说图像是两千多行像素，激光雷达是 128 行，也就是说分辨率至少差一个数量级。

以前我们用 64 线，连 100 行都不到，而且扫描时间还有一定延迟。图像是一次性曝光完成的。

这还是横向的，纵向差距更大。看激光雷达的图像，距离远一点，点就非常少。

比如一个身高 1.8 米的人站在 150 米处，激光雷达可能打不到几个点。如果他穿黑色、反射率比较低的衣服，效果就更差。

激光雷达有一个好处：只要有点，它一定会告诉你这个点跟它之间的距离。

但图像上也可以算出来，只是它是隐含的。

对，而且图像算出来也可以很准。激光雷达只是能在那 128 个点上瞬间得到距离。

但这个大千世界，是用一张 800 万像素的图像、上百万甚至上千万个点来描述的。你只用一百多行的点去描述整个世界，信息量远远不够。

还有一点，我们看到的世界是由色彩组成的。你刚才说的空间位置、距离，其实视觉上也有很多方式可以获取。

否则现在我们的车怎么开？只不过激光雷达能在某个点上瞬间得到距离而已。

同样一个场景、同样一个世界，我们只得到 128 行的一些点，而且有的地方覆盖到了，有的地方没有覆盖。

你可以看到，有些黑色区域就是没有扫描到的地方。整个世界是有空洞的，有些地方没有被激光雷达扫描到。

图像不一样。图像没有死角，只要图像完整，里面全都是像素、颜色和色彩。

我能理解视觉比激光雷达的信息量大，而且是多维度的信息。但为什么那么多人还是坚持用激光雷达，并且觉得激光雷达好，觉得去掉激光雷达、用纯视觉是不可思议的呢？

我就反问你：端到端做得好的现在是哪些公司？所有的 L4 科技公司，谁做端到端？

对啊，为什么呢？

这就回到本质。

到了特斯拉有 BEV 之后，它发现还是模块化的：感知、决策、规划、控制等等。里面很多东西还是要依靠工程师个人经验和能力去写算法。

即便这样，写出来的算法也达不到人类开车的感觉和感受。

它重新思考了这个问题。我们以前做自动驾驶，可能从一开始就做错了：把自动驾驶当成一个功能来研发。

我再从自动驾驶的细节说一下。以前开发一个功能，有瀑布式开发、敏捷式开发，无所谓，万变不离其宗。

我有一个产品输入。比如我要做一个平板电脑，这个平板必须定义尺寸、响应速度、按钮数量，每个按钮点下去会出现什么结果。点一下开始会议，点一下开始投屏，显示亮度可以调，声音可以控制。

刚才说的这些，完全都是明确的定义。

包括自动驾驶，他们也希望这样定义：自动驾驶应该在哪些场景下，以什么方式行驶。

所以有了美国汽车工程师学会、美国国家公路交通安全管理局等机构，定义了 L1、L2、L3、L4、L5。

这完全是从刚才那套规则来的。我一定要定义一个自动驾驶的 ODD，也就是 Operational Design Domain，运行设计域。

它其实就是产品设计，或者我们说的 MRD、PRD，产品需求定义。

但问题来了，他们发现在自动驾驶里不好使，因为自动驾驶的因素太多。

同样一条道路、同一个时间，哪怕旁边的车不同、人不同，甚至下雪、刮风、下雨，路面条件不同，开出来的结果都不一样。

正常情况下我可以以 80 公里时速开，开到限速没有问题。但路面湿滑时，你让我开 80，我也不开，可能开 50，甚至 40。

前面有辆车挡着，我是往左边超还是往右边超？要看旁边的线是虚线还是实线。

就算都是虚线，这边有自行车，那边有行人，我是超过自行车，还是压到行人？肯定不能压行人。哪怕我慢一点，也要从自行车那边绕过去。

当时很多创业公司对外标榜，说我们用严格的方法定义了所有场景。

第一个因素是天气，分成晴天、雨天，雨天还分大雨、中雨、小雨。

我当时想，小雨和中雨怎么分？难道看一分钟掉几个雨点？这不可能。

还有车流量，拥堵、密集等等，反正有很多变量。

这就是工程师思维：希望所有事情都能用非常完美的逻辑来定义。天气怎么样、车流怎么样、光照怎么样，是夜晚、阴天还是雨天，这是环境因素。

还有自车因素，我的速度大小、对方是什么样的。他定义了很多东西，以为每个都是一个变量。

不管变量多少，我都可以清晰地定义每个变量的离散化程度，然后全部乘起来，得到上千万种组合。

他们说：“郎咸朋，没关系。每一种组合我们都用规则给你好好写一遍，自动驾驶就解决了。”

我说：“你写吧。你算过吗？写一个规则需要多少行代码？”

更麻烦的是，每一个规则、每个场景之间并不是完全正交的，也不是完全独立的。

你改了一个场景，可能会影响另外一个场景。比如都是右转，你写了一个晴天路况下的右转，但可能忽略了车流量大时、下雨天的右转又不一样。

这能定义得出来吗？

这也是我们现在为什么做一体化端到端，不分高速和城市端到端。

有些城市快速路，比如北京四环、五环，甚至不说环路，只是一些路况比较好的道路，车也可以开得很快。这难道和高速不一样吗？

高速上遇到施工、堵车、低速行驶的情况，和城市早晚高峰其实也差不多。

所以，严格用高速路和城市道路来定义自动驾驶场景，也不合理。

用场景划分的方式做自动驾驶，遇到的第二个问题就是：第一，场景太多，穷举不过来；第二，改了一个场景，可能影响另一个场景，工作量非常大。

还有长尾问题。你再怎么想、再怎么定义，也想不到半路会突然窜出一匹马。

你把马撞飞了，这个情况怎么定义？

或者前一阵子路上突然塌了一个大坑，有的车不认识这个情况，就直接朝坑里开。这些东西没法定义，突发情况一定会出现。

如果一个辅助驾驶或自动驾驶功能，只能在定义过的地方开，那就不叫自动驾驶。

人遇到这种情况可以处理。哪怕我不认识这个东西，我也可以先停下来，或者绕开它。

马路上有一滩黑乎乎的东西，我不知道是塑料袋、石油、黏液，还是一只蜷在那里的黑猫。但我知道不能压过去，绕开就好了。

所以大家有了第三层次的思考：能不能从原来分场景、分功能做软件产品的思路，也就是软件 1.0，转换成让自动驾驶系统具备自我迭代、自我推断和解决问题的能力，也就是软件 2.0？

不再由人一行一行地编码，不再由人教机器具体怎么做，而是希望系统本身拥有自我迭代和学习的能力。

按照卡帕西的思路，回头再看，你会明白很多。他的想法是，我再也不用人去教它，因为教也教不好。

我能不能让系统或者软件本身拥有自我迭代和学习的能力？

这就是本质思考。能量和质量可以发生转换，但怎么转换？

爱因斯坦提出了 E=mc² 的质能方程。有人发明了用中子冲击原子核产生裂变，也有人提出用小的原子弹引爆大的原子弹，产生核聚变。

有方法了以后，我们现在要去哪里找方法？怎么找到一种能让软件自己教自己、自己迭代、自己变好的方法？

强化学习也好，反正就是学习这套东西。

后来我们找到了：用模型。

我们现在做的不是软件，而是模型，思路就转换了。这完全颠覆了原来做软件的思路。

今年端到端也是一样。在端到端之前，不管是有图、无图、轻图，还是其他各种形式，我认为都是软件 1.0，都是上一个按照功能做自动驾驶的时代。

到了端到端，虽然大家可能还不明白“端到端”这个名字，但在我看来，这是非常大的突破和飞跃。它是用软件 2.0，或者说用做能力的方式来做自动驾驶。

我们原来是一行一行写代码，一个一个设计场景，让辅助驾驶或自动驾驶在不同场景下执行命令，做出我们设计好的动作。

到了端到端之后，我们教会系统的是：输入人类驾驶数据，让它自己学会人类驾驶的能力。

至于它学成什么样，我们其实不知道。我们更像旁观者。

我刚才来晚了，去试试昨天晚上的模型怎么样。我们只能看它学得好不好，就像孩子一样。

我不能替孩子学习，但我可以给他好的教师资源、好的学校，这些我可以办到。但他最后学成什么样，我不能替他，也不知道他具体是怎么学的。

不过，学完的结果我是可以评价的。我可以看它开得怎么样，原来做不好的题现在是不是做对了，是不是做得更好。

我们坚信一点：软件 2.0、模型方式和数据驱动，其实是一枚硬币的两面。

因为你用模型，所以必须数据驱动；如果想数据驱动，就必须用模型。

用模型的方式做这样一个能力系统，输入就是优质的驾驶数据。

最核心的是，我们现在用做能力的方法来做自动驾驶。能力更多要求企业拥有高质量数据。

我觉得李想可能也跟你聊过，他为什么说将来在人工智能领域获胜、能够活下来并留下来的公司，是拥有高质量垂类数据的公司。

模型、参数，可能都差不太多，就跟人一样。你的智商比我高，你 140，我 100 或 120。但决定我们未来能不能成功的，不是智商高就一定成功，而是看我们从小到大成长过程中遇到的老师、同学、接受的教育，以及输入的数据质量。

人与人在智商这个物理层面的差距没有那么大，但后天输入对最终成功和成长的影响非常大。

哪怕一个天才，把他关在小黑屋里 20 年再放出来，他也可能和白痴一样。

但一个很普通的人，从小接受很好的输入和教育，加上自己愿意努力，将来一样可以成为非常有成就的人。

数据背后还有一个要拼的东西，就是算力。

你有再大的数据，哪怕有 1 亿、2 亿条数据，没有相应的训练算力也不行。

训练算力和数据，决定了将来自动驾驶的天花板。

你在百度是哪几年？

我 2013 年到 2018 年在百度，来理想之前一直在百度。

那你完整经历了百度那一段自动驾驶的发展。

对，完全经历了。我们和倪凯等人，都是最早跟宝马做自动驾驶的人。如果等会儿有时间，我可以聊聊那段经历。

我们 2018 年来到理想，和李想聊的核心问题就是：面试时我问他，想哥，你觉得将来做自动驾驶最重要的是什么？

他说是数据。

不是现在为了说而说，当时真的就是这么说的。

他问我，为什么觉得是数据？

我说，人可以挖，可以聊，算力确实也很重要，只要企业做得好，有钱就能买到。但数据这个东西，挖也挖不来，买也买不到，是我们自己的东西。

所以从第一天开始，就要做数据。

但你们不会透露用户数据吧？

对外肯定不会。

用户隐私属于车内数据，比如用户自己的人脸、生物特征、声音，这些我们不收集。我们收集的是车外的数据。

比如我站在车外，你也能拍到我。所以在回传时，人脸和车牌都会被处理。

这和百度街景的处理方式类似。

你打开百度街景，人脸和车牌都是模糊掉的。

这方面我们还是非常专业的，会把这些事情处理好。

刚才说自动驾驶的发展，大概就是三个节点：第一个是大量规则，第二个是 BEV 加 Transformer，第三个是端到端。

最关键的就是这几个，其他都可以不用太在意，都是小事。包括轻图、无图，其实也都是小事。

这三个阶段，从大量规则，到 BEV 加 Transformer，再到端到端，团队规模大概是什么变化？是不断缩小的过程吗？

不是，是先扩大再缩小。

之前如果是重激光雷达、重高精地图，高精地图团队规模其实很大，尤其是自己做高精地图的时候。

如果不做高精地图呢？

我记得当时李东闵在百度，还有另一个人在做高精地图，而且他们是两个团队。地图能力也不能直接复用到自动驾驶上。

这就要说到我在百度的经历了。其实我在百度就是做高精地图的。

大家看到的，更多是后来 ADU 产生之后百度自动驾驶的一些动作。

但最早期，我 2013 年加入百度时，百度有一个非常重要的项目，就是百度街景。

当时腾讯街景已经上线，Google 也已经做了好几年。百度想，百度地图里不能没有街景。

所以当时我们的竞争对手是腾讯。腾讯第一是上线比我们早，第二是覆盖和效果都很好。

街景和高精地图的工作就是从那时候开始的。

到了 2013 年下半年，宝马中国的研发团队来找我们，说宝马想在中国测试自动驾驶，希望有人提供高精地图。

他们评估了中国排名靠前的百度、高德和四维这三家，觉得四维做基础地图还可以，但高精地图没有技术能力。

高德和百度两家，他们最后选了百度，因为觉得百度技术能力比较优秀。高德没有做过高精地图，他们就算要教一个学生，也希望这个学生基础好一点。

当时我们其实既没做过高精地图，也没做过自动驾驶。那时候百度说，谁来对接？

李彦宏那边肯定说可以，就让余凯来负责。余凯说，地图的事情还是找地图团队，因为街景就在地图团队。

地图团队当时由顾维灏负责，他现在是毫末智行的 CEO，也是我们非常熟的人。

顾维灏下来以后看谁来接这个事情。我说，没人来我来吧。我觉得挺好的，既有新技术探索，又有自动驾驶，里面很多算法也有用。

后来余凯那边出了两个人，一个是倪凯，一个是陶吉；我们这边出了两个人，一个是我，还有一个是杨艳。我们四个人组成了一个小组，一边服务宝马，一边学习宝马。

深度学习研究院的人负责对接自动驾驶相关的事情。宝马还给了我们两辆车。

后来大家看到 2015 年上北京五环，倪凯开的那辆车，就是宝马给的。

我们负责对接高精地图等相关事情，自动驾驶就是这么做起来的。

最早高精地图是在我们这边做的。我们用了 2013 年到 2014 年的时间，把北京的高精地图基本做完。

百度有测绘资质，我们拿着自己的地图采集车。采集车也不便宜，上面有激光雷达和各种设备。

我们按照宝马的要求，再加上自己的理解，慢慢开始做高精地图。

2014 年，我们把高精地图的技术研究得差不多了。与此同时，另一边也在做自动驾驶技术，我们有深度合作。

本来这两个分支都想做自动驾驶，甚至研究院那边已经明确要自己做自动驾驶。

那我们这边就退而求其次：他们做偏 L4、偏研发、偏 Waymo 那套东西，我们做的是偏量产、偏特斯拉的东西。

所以你们没有 L2 的自动驾驶，只有 L3 和 L4 这么叫？

实际上你可以理解成辅助驾驶，或者偏量产、偏对接车厂的工作。

当时是跟宝马学习，宝马来我们这里测试的也是 L3 自动驾驶。

L2 和 L3 的本质区别是什么？

按照当时的定义，L3 有系统责任的成分。也就是说，在某些情况下系统承担责任。

但如果系统需要人接管，要提前发出信号或提示，让人接管。如果人不接管，系统还要负责靠边停车，或者开到比较安全的地方。

到了 L3，系统就有责任了？

有责任。

是全责吗？

是部分责任。它会告诉用户，哪些地方我是有责的，哪些地方我是无责的。

L4 是有限场景自动驾驶。我先圈定一个区域，在这个区域里人不用管。

L5 是自动驾驶或者无人驾驶。

所以你们今天追求的也是 L4、有限场景自动驾驶，并不是 L5 全自动驾驶？

对。到了 L5，还和整个社会的环境、基础设施有关。那意味着哪里都能开，和人完全一样，可能不现实。

所以我们追求的是 L4，大多数公司说的也都是“大 L4”。

但你问我，我还在讲以前的定义。其实现在大家已经不这么说了。

现在的自动驾驶更多是看体验。特斯拉叫有监督自动驾驶，对应的就是无监督自动驾驶。

无监督是什么意思？就是人不用管。

人不用管就是 L4 或 L5。如果还划定一个范围，就是 L4。

特斯拉不是说 2025 年要推出 Cybercab 吗？它会先在城市里划定一个区域运行。那在我们看来，和 Waymo、Cruise、萝卜快跑、百度做的事情一样，都是先划定一个城市区域，然后在里面运行。

按照我刚才的定义，都叫 L4，也就是有限场景自动驾驶。

什么时候真的无所谓哪里都能去、哪里都能开，那才是 L5，完全无人驾驶。

那个可能还比较远，所以现在很多人都在做 L4 自动驾驶。

但这里有个前提：体验够不够好。

你坐过萝卜的车吗？Cruise 呢？

坐过 Cruise，也坐过 Pony.ai，小马智行。

我也去过 Pony。它在自己设定好的区域里开，我觉得没太大问题。这个区域里，高精地图能够及时更新，很多场景和 case 也分析得相对完善，所以用上一代技术做这件事没有问题。

对。如果只看体验，对于用户来说，你是端到端还是重高精地图，其实无所谓。只要开得好就行。

但对于量产车来说，肯定希望一个功能全国都能开、全国都好用。

如果你们达到 L4，有限场景会怎么做？

这就谈到下一步的计划了。

我们认为，L3、L4 级别的自动驾驶，和之前做 L2 辅助驾驶完全不一样。

从技术角度，一个是用 AI 的方式教车怎么开，一个还是用做功能的方式。这从研发理念和本质上就是不同的。

现在我们叫有监督自动驾驶，这是从过去的工程师定义，转换成了体验式命名。

过去汽车工程学会的定义可以作为参考，但本质上反映出一个理念：我们的 L3 和 L4 是一体化研发的。

换句话说，我们的 L3 不是 L2 的延长，而是 L4 的先导。

不知道你能不能理解这个概念。它不是 L2 加加加，有一天就变成 L3。

对。它既体现在本质上的改变，也体现在我们对这件事的思考上。

很多人认为，L2 只要不断丰富场景、解决更多 corner case，就可以不断逼近 L3，也就是 L2 加加加。

但我刚才说过，L2 的场景设计不完，问题也解决不完，而且解决一个场景可能影响其他场景。

所以 L3 不是 L2 的延长。这个延长既有场景的延长，也有做法的延长。

L2 可以用重图、轻图、无图等各种方案去做。但我们的理解是，用这些方式做不了自动驾驶。

用规则式、分段式的方式，都做不了真正的自动驾驶。

我们首先要想清楚怎么做自动驾驶。刚才已经说得很清楚，要让系统自己迭代、自己提升，越开越像人类驾驶。

只有用这种方式，才可能做到自动驾驶。

所以现在 L2 的延长，无论从场景、技术还是本质上，都做不了自动驾驶。

L4 虽然很好、很性感，也很完美，但不可能有一天突然告诉大家，全国都能 L4，这不现实。

我们会慢慢做 L4。

第一步，一定要把全场景的能力走通。

什么叫全场景？简单说就是车位到车位。

听起来很简单，但车位到车位涵盖很多事情：园区内道路、封闭道路、城市道路、高速道路都要覆盖。

高速上的闸机、ETC 要通过，下高速后的匝道也要处理。

到城市里，还有潮汐车道、红绿灯等各种奇奇怪怪的情况，都要处理。

我说的是它能够处理，不是它见过。没见过也要能处理。

再回到泊车，也就是 AVP。

首先，它要有全场景都能开的能力。但在能力和性能没有达到一定水平之前，需要人监督。

这个监督就像驾校教练。新手司机在开车，我坐在旁边看着，需要帮助时我帮助，不需要帮助时就让它继续开。

过程中，我们还会给它输入很多数据，让它持续迭代，能力越来越好。

等有一天，能力迭代到一定程度，在某些路段，驾校教练就可以不管了。

我知道它在大直路上肯定开得很好，车流不多时也能处理好。我们相信它没问题。

学车也是这种感觉。但遇到复杂情况，可以叫教练：“教练，你帮我看看这条路该怎么开？”

放到车上的产品功能里，就是提醒车主：“你需要监督一下这个车。”

接下来产品形态可能就是这样：现在是完全有监督的状态，但车位到车位的全场景已经打通。

性能不断提升之后，无监督的路段会越来越多、越来越长。

最后从 A 点到 B 点、从车位到车位，全都是无监督，那就是 L4。

你们的 L2、L3、L4，我理解是一起做的，因为 L3 是 L4 的先导。那辅助驾驶、L3 和 L4，是两个团队做吗？

不用。它们的技术和产品关联度非常高。

辅助驾驶和 L3、L4 是两个团队吗？

未来我们就没有辅助驾驶了，直接都到 L3。过去的车型都可以升级到 L3，相当于上升了一个维度。

今年的端到端是在辅助驾驶上使用的，但它其实是升维技术、降维打击。

如果只做辅助驾驶，使用高精地图、有图、无图、轻图都可以。

但这样做，我们拼不过华为几千人的团队，也拼不过楼天城或者楼教主这样的天才少年。

我们的优势是什么？有足够多的数据和算力。

我们要发挥这个优势，也看到了未来技术的本质。如果把自动驾驶当成人工智能，那就要用做能力的方式，而不是做功能或者软件 1.0 的方式。

既然看准了，就赶紧去做。

这一年下来，从去年开始预研，到今年把端到端交付，整个过程遵循的就是这个本质原理：用数据驱动的方式去做自动驾驶能力。

这个能力向下降维，可以理解成辅助驾驶，但我们叫有监督驾驶。

所有路段都是监督路段，就像导航一打开，发现全是红色，从家里的车位堵到目的地车位，你都要自己开，只是监督它开。

接下来要做的事情，就是把红色路段里逐渐加一些绿色路段，绿色的比例要达到一定程度才能开放。

如果都是一点点、断断续续的绿色，我觉得没有意义。

所以这里有一个关键指标，叫 MPI，也就是接管率。

经过测算，两百公里接管一次，就可以推出 L3 的有监督自动驾驶功能。

两百公里接管一次，大概等于多少小时接管一次？

这个没法直接换算，因为速度不一样。

但我可以告诉你一个比例：高速大概 350 公里接管一次，城市大概 50 公里接管一次。

高速到 350 公里以上，城市到 50 公里以上，综合起来就是 200 公里接管一次。因为按照我们过去高速和城市的驾驶比例，综合下来是这个数字。

每天如果只开四五十公里，200 公里接管一次，大概一周接管一次。

而且这次接管不见得是出于安全性，只是觉得开得不舒服，所以接管。

但安全性要求更高，我们要求达到人类驾驶安全性的 10 倍。

我觉得这很有意思。刚才我们一开始聊自动驾驶发展史的三个关键点，其他小事都不用提。你看这三个点，后面两个都是特斯拉把人工智能的某种架构用进来了，一个是 Transformer，一个是把大模型用进自动驾驶，做端到端。

为什么只有特斯拉有这种意识，其他公司没有？

你问得特别好。

我觉得特斯拉对技术前沿的把握非常好。第二，它对产品本质的思考也特别好。

首先我得知道，能量和质量可以转换，我要想办法让它转换。如果不用这种质能转换，可能就获取不到更大的能量。

但它对技术前沿掌握得很好，知道有爱因斯坦的质能转换方程，知道铀-235、铀-238 可以做核裂变，所以它还能实现。

很多人如果空想，早就想到，自动驾驶应该跟人一样，具备思考能力。以前遇到过的情况可以开好，遇到没见过的情况，要用人类思考的方式去推理、判断，决定怎么避障。

想法很好，但自己做不了，因为他不知道系统一、系统二，也不知道《思考，快与慢》这本书，不知道已经有很多团队在研究这些技术。

从去年下半年开始，李想的说法其实还比较保守。自动驾驶团队里，很多员工自己非常热爱技术。就算不让他们做，他们也会跟进技术前沿和最新工作。

去年下半年我们也和李想聊，因为有人工智能研讨会，每周都会开，李想主持。

我们第一次向他介绍系统一、系统二的理念。

其实从去年下半年开始，我们就用特斯拉的方式做自动驾驶。这里说的不是技术方式，而是思考方式。

第一，我需要理解自动驾驶这个产品现在的问题在哪里，问题本质是什么；第二，我的机会点是什么。

以前我们的分析方式就是这样。

现在自动驾驶的本质是开得不好、不像人。

它为什么开得不好？因为我们用做功能的方式去设计、研发，本身就有很大问题。场景分不过来，问题也解决不好，还需要大量人工。

即便投入大量人工，也还是不行。

机会点就是，现在人工智能技术在迭代，我们是不是可以用更像人的方式解决问题，用人类智能的方式解决问题。

系统一和系统二相互配合，很可能是一个好的解决方案。

系统一是行为智能，可以快速决策。通过之前一些 case 和场景的学习，得到接近人类行为的驾驶体验。

当遇到没见过的场景，或者需要思考的场景，就用系统二这样的 VLM 模型处理，再回到系统一，和系统一一起做出更好的行为决策和规划。

这是很朴素的思路，大家都能想得到。只是有人想到前半部分，有人看到后半部分的技术，但没有人真正把它们连在一起。

就算有人想到并且能连起来，恰好天时、地利、人和在我们这里都具备，所以我们今年能做成这件事，并不是因为郎咸朋这些人多聪明、多优秀、多努力。

没有资源，再努力也没用。

我们过去其实一直很痛苦，用户体验被大家诟病，人员也没有别人多。我们还要怎么赢？不可能坐以待毙。

我们一直在学习特斯拉。大家以为我们学习的是特斯拉的技术和做法，但更多是学习它的思考方式。

辉哥他们做战略的能力越来越强，我们也被带得越来越强。

我们要以终为始考虑问题：本质是什么，问题在哪里，机会点是什么。

现在可能还有一套更好的方法论，叫 BRM，比较复杂就不展开了，大致也是这个意思：一定要看问题的本质。

如果你在同一个维度和别人竞争，可能没有优势，也可能打不过别人。

后来者想打败别人，一定要用升维的方式。可以升维打，也可以降维打，但首先要自己升维，既有技术升维，也有认知升维。

你们从什么时候开始研究端到端？2022 年底大语言模型出现，对端到端有推进作用。你们又是在什么情况下开始重度研究端到端的？

这不是一个维度的事情。

端到端更像是刚才说的本质思考和理念问题，而大模型更像是落地的技术方案。

端到端的思路是，原来感知做感知、决策做决策、规划做规划，三个模块拼在一起形成自动驾驶方案。

现在统一成一个 model。原因是中间这些规则和决策，人去设计是穷尽不了、也设计不好的。

端到端的意思是，输入原始传感器信息，直接输出最终决策和规划，所有思考和计算过程由中间一个环节解决。

这就是端到端。

你看，感知先做一部分工作之后，剩下的就是感知结果。这个结果可能对，也可能错，里面可能有信息丢失，也可能掺杂错误。

带着这样一个有瑕疵的信息进入下游的决策和规划模块，收到的已经不是一手信息，而是可能有错误的信息。

用这种信息做行为或路线规划，规划出来的东西也可能有问题。规划本身有瑕疵，错误还可能叠加。

再带着二次瑕疵的规划结果生成行驶路线，可能又有误差。

先不说错误，就说误差。这个模块偏 5 厘米，那个模块偏 5 厘米，最后叠加成偏 15 厘米。

15 厘米是什么概念？路上的白线可能就是 15 厘米。原来车辆应该在车道这边，最后可能跑到另一边，或者压着线开。

有没有办法让所有模块都无损使用一手信息，直接做出最终驾驶路线和决策？

端到端就是这个思路：让输入和输出之间尽量减少过程，所有模块都用一手信息生成最终驾驶路线和行为。

这首先是理念，不是技术实现方案。

但这个方案恰好可以用大模型实现。

它最大的好处是能力很强。我们之前为什么用 Transformer？因为 Transformer 可以把很多东西向量化、编码。

以前我们理解的主要是图像信息可以编码，但实际上除了图像，其他东西也可以编码。

导航信息能不能编码？其他输入能不能编码？都可以用 tokenizer 向量化。编码之后，就可以进入模型学习。

如果最早看伊利亚关于 tokenizer、embedding 的论文，其实它解决了一个问题：万事万物皆可编码。

以前做深度学习，总觉得图像、语言、文字很难学习，原因是没法把它们表达成便于学习和训练的形式。

但用这种方式之后，一些原本不相干、认为不可能用数学或计算机语言描述的东西，现在也可以描述。

只要能描述，就可能被学习。

比如现在描述一个人的性格，怎么用计算机分析？以前做不到，所以才出现算命师傅、占星大师。

我觉得他们有自己内在的训练机制，收集了大量星座、命理数据，形成了一套逻辑。只不过这个东西可能只可意会、不可言传。

伊利亚他们的模型里也可能有自己的逻辑，但普通人接触不到。

对他们来说，编码机制可以让所有知识向量化、编码化。只要编成 token，就可以用训练的方式学习。

我说得比较简单，这方面技术很深，具体可以让技术人员讲得更好。

有了这种方式，大模型就出现了。

之前为什么要把感知、决策、规划分开？因为图像信息、激光雷达信息和很多其他信息完全不一样，必须后处理。

为什么有前融合、后融合？图像之间还可以拼接，但图像和激光雷达怎么拼接？一个是激光点云，一个是 RGB 像素，完全不一样。

用编码的方式，可以把它们都编码成向量空间里的特征。特征和特征是可以对齐的。

用了大模型之后，可以让所有知识都在里面训练，后来生成路线也可以在里面进行输入输出训练。

简而言之，之前大家有端到端的思路，但不知道怎么执行。大模型出来之后，大家知道原来可以做。

就像有人可能想到物质和能量可以转换，但没找到方法。爱因斯坦说，原来可以用质能方程转换，就是这种感觉。

找到方法后，E=mc² 这个事情可以成立，就可以继续寻找更多把物质转化成能量的方式：裂变还是聚变，铀-235 还是铀-238。

这边也是一样。模型参数可以调，用 7B 还是 70B，可以实验。数据量怎么给，先预训练，再做 RLHF，还是一开始就给高质量数据，都是技术层面的事情。

谁先想到把所有知识对齐，用模型训练，我觉得伊利亚在这里贡献了最本质的东西。

他贡献完之后，后面的人都是在他的贡献上迭代。当然有些迭代，他自己可能也没想到可以这么用。

就像爱因斯坦推导出公式后，也不知道后来会有这么多方式去制造核武器。所有制造核武器的人都来自他的思想，但他不可能把所有细节都考虑到。

所以很多人都是在他的肩膀上乘凉。扯远了。

端到端是一个非常好的思路，是核心的本质理念。只有用这种方式，信息才能尽量无损传输，学习也更像人。

中间少了很多人为设计的步骤，少了人工设计的算法。

能不能把最原始的人类驾驶信号，比如刹车、油门，以及其他驾驶信号，都一起输入进去学习？

学习之后，我看到这样一张图，应该怎么踩刹车、油门、怎么开车。

可能说得极致一点，但也可以是路线规划信息。

我看到一张图，直接生成规划，而不是先把图翻译成“这里有人、这里有车、这里有道路、这里有道路边界”，再根据这些内容翻译成决策：超车、跟车、变道，还是其他动作；再根据行为决定具体路线。

现在不是这么做了。我看到这张图，经过模型，直接输出我要怎么开。

端到端就是从传感器端直接输入，得到驾驶行为。

那你为什么要这么开？以前可能还能解释，因为我看到这里有人，所以规划要超过他，超过他所以走到这里。

现在其实我们真不知道模型是怎么想的。

就像人开车时，旁边有人问你为什么这么开，你可能只会说，我就想这么开。

来不及解释，天然反应就是这样。

比如前面有辆车，两边都没车，往哪边超都可以。你不需要解释得特别清楚，说是因为两公里之外还有什么事。

人也没想那么多，模型可能也是一样。

人都没想那么多，为什么还要让模型解释得那么清楚？

但模型一定学到了某些东西，只是我们不知道它学到了什么。

那你们怎么把这个架构拼起来？为什么要把端到端、VLM 和世界模型拼在一起？

端到端是我们解决问题的一种方式。

VLM 是为了解决它遇到没见过的场景怎么办。

端到端可以在已知数据集上把车开好，也有一定泛化能力，但还是会遇到没见过的场景。

比如可变车道需要推理；路边有个牌子，写着 9 点到 17 点公交车道可以使用，其他时间不能使用。这些东西，单靠端到端可能无法处理。

所以我们需要外挂一个 VLM，类似于模仿人类大脑的东西，去识别和理解场景里与驾驶相关的元素。

理解之后，把内容给到端到端作为输入，再由端到端输出，联合形成最终决策。

这就是我们现在的做法。

世界模型是用于测试这套系统的。

我刚才看到你们图里的世界模型是在车端。

对，这两个都在车上。

世界模型是因为现在有一个问题：端到端系统很好，但怎么测试这套系统？

系统已经从功能迭代变成能力迭代了，那么我们也应该有评价能力的东西。

过去的测试方式是衡量功能好坏，判断功能是否达到设计标准。

比如产品定义说，车辆可以开到 120 公里每小时，测试就按照产品设计去测。

但现在没有原来的产品设计了，或者产品设计已经不是原来那回事。你还用过去的方式评价，就评不出能力。

这就像拿清朝的剑斩明朝的官，斩不动。

所以我们需要一套能力评价机制。

这套机制没有完全照搬谁的东西，主要是我们自己想出来的，当然也参考了特斯拉的一些做法。

我们先想，人是怎么考察能力的。

我们考试，并不是把所有课后题都背一遍，也不是把课文全背一遍。学了那么多东西，只能通过考试评估大概达到什么水平。

考试试卷的制作是有技巧的，有简单题、中等题、拔高题，还要覆盖范围。

考数学，有几何、代数、数论等不同题型，每个考点都考一遍。

所以我们参考人类能力测试的方式，来评价自动驾驶。

驾校考试也是一样，有理论考试、交规考试，还有实际驾驶考试。

现在我们的考试试卷来自很多方面，大概分成几个类别：安全、合规、舒适、导航、效率等，总共有 5 个维度。

就像考试大纲里的代数、几何、数论，每个维度里都有基础题、难题。

每个版本的模型或功能出来后，我们就过一遍考试题。

这次可能考 80 分，哪一题错了会告诉你。下一次可能考 85 分。

每个题都有最低标准。比如安全分必须全部拿到才可以，舒适、效率等维度可以少几分，这没关系。

但每次考试都要看到成长，不能这个版本比上个版本分数低。比上个版本低，版本就不能发布。

我们用这种方式考试。

但考试还有一个问题：试卷怎么生成？

试卷本质上就是一个个场景。但不能永远考同一套题，万一模型把答案背过了呢？

所以每次都有基础题、真题，也有模拟题和生成题。

我们有重建和生成两种技术。

重建使用 3DGS，也就是 3D Gaussian Splatting，高斯重建技术。

生成使用 Transformer Diffusion，可以理解成类似 Sora 的视频生成技术，只不过我们生成的内容更加真实，也更符合要求。

这样既有通过真实场景重建出来的真题，也有模拟题。

比如一个右转、车辆比较多的场景，我们稍微生成一下，表面上和原来不一样，但考试内容是一样的。

两种题目共同组成每次考试。

所以世界模型可以理解成一个实时生成试卷的驾校？

对，它是生成考题用的，所以叫世界模型。

昨天李想说，以后都是 AI 去考驾校，人不用考驾校了，是这个意思吗？

大概是这个意思。

他说端到端自动驾驶是最典型的强化学习，端到端加 VLM 加世界模型，是完整的 RL 架构。这是什么意思？

强化学习强调闭环。

车不在世界模型里时，要进入真实世界，先要到这里考试。考试有题目限制，分数通过之后才能出去。

出去之后在真实世界运行，会遇到一些问题。这些问题会回到世界模型里，作为以后测试和评价的内容。

它遇到问题会得到惩罚，考得好会得到奖励，这就是强化学习。

强化学习最主要的是 reward 模型的设计。

在真实世界里出现问题，在世界模型里也会有相应的惩罚措施。

自动驾驶的 reward 相对比较好设计，涉及几个维度。

一个是安全，撞车肯定不安全。

一个是舒适，如果用户觉得需要接管，就可能是舒适性问题，但也要分析，这次接管到底是因为舒适性不足，还是安全性不足。

这个判断有一定难度，所以我们专门设计了一套模型来判断。

李想说，第一次看到端到端模型跑通，是他过去一年人工智能经历中的 aha moment。你们是什么时候跑通第一版的？

试车是在今年 6 月。

他之前没有预期，对吧？他没想到端到端能这么快跑通。

大家预期能跑通，但没想到会这么快。他可能觉得我们还需要花一些时间。

特斯拉也做了很长时间，其他人可能也在研究。

但我还是那句话，不是我们比别人聪明，也不是别人笨，而是我们当时用了正确的方式做这件事，别人当时还没有。

第二，我们拥有的资源确实比别人好。

这里说的资源不是人，虽然人也很好，但数量可能没有别人多，质量还可以。

我们拥有人工智能领域的优质资源比别人多，一个是数据，一个是算力，都比别人多很多。

你们 6 月 8 日去的重庆？

对。5 月底，5 月 20 多号，好像就第一次让李想上车。

那天我也不知道为什么，他带了一个人上车。以前他说过，他第一次试车时都是自己开。

他那天带了经纬的张颖坐副驾，说没事，一起来开。

就在我们楼 A 区门口，大概开了一个多小时，中间接管了一两次。

有一次是李想不小心碰着接管了，另外一次是一个非常难的丁字路口。我当时觉得不接管其实也行，但他比较害怕，比较保守。

除此之外，刚开始他可能觉得还正常，但越开越兴奋。

他兴奋之后就开始讲话，开始说：“这个好啊。”也和我们、和张颖聊人工智能、端到端、数据这些东西。

你可以理解成，他进入了比较兴奋的状态。

开完一圈，我觉得李想心里已经完全接受了，也认可了。

他说的确实是实话。他原来就觉得人工智能、AI、端到端、大模型的方向没有问题。

但他和所有人一样，不知道这东西到底是什么效果，也不知道成长速度和能力究竟会怎么样。

当时给他的版本是不到 100 万 KPS 的模型，现在已经几百万了。

当时第一版可能是 60 万或者 80 万 KPS，我记不太清楚。

第一版模型训练出来后，他上车的感受就是，已经超过了我们以往所有非端到端模型的效果。

那时候团队规模也比较小。

后来团队有多大？

最开始人比较少，后来增长到去年年底，做轻图和无图方案时，团队大概有 1,000 人。

李想那时候是不是下了死命令？

对。他说，郎博，今年必须扭转这个局面。

什么时候下的？

去年底，准确说是今年初，3 月份的战略会上。

你们当时是不是被骂了？

对，应该就是李想。他的意思是，9 月之前必须搞定。

我当时跟他说，我们一定要用模型、端到端或者大模型的思路做这件事。这是我看到的唯一解决方案。

3 月结束之后，我们就把原来研发预研的工作，尽快转到端到端交付上。

4 月 15 日，我们在中关村开始封闭开发。180 个人全部放到中关村，7 月份才回来。

那李想第一次试车是什么时候？才一个多月？

对，所有人都觉得不可能，包括我自己也觉得不太可能。

但前期预研肯定还是有的。

正式搬到中关村是 4 月 15 日，到我觉得这件事有戏，大概是五一期间，也就半个多月。

我当时开了一条路，很简单：从中关村地铁站附近，我们大厦的位置，开到北京交通大学。

不知道为什么，随便定了北京交通大学这个点。

结果竟然能开起来。

才一个月时间，我可以完全确定，里面没有用一行规则，训练成什么样就是什么样。

简单形象地说，我们之前无图或轻图版本的代码有 200 万行，现在只剩不到 20 万行，缩减了 90% 的代码。

这是一个形象比喻。数据量其实也还好，大概几十万 clips 的数据，训练完之后竟然能开过去。

有一个地方让我非常惊讶。

在有图和无图版本上，我们怎么调都调不出特别完美的纵向加减速。

纵向加速不是前面有辆车，我跟着停下来就完了。刹车太狠，用户觉得不舒服；刹车太慢，又有撞上的风险。

怎么调都调不到和人一样。

人开车是缓缓刹停的感觉，有时候前面快、后面慢，最后还要稍微抬一下刹车。这个东西可能不太好形容。

但第一次上车，我发现它的纵向控制竟然比我以前开过的所有自动驾驶车都好，包括竞品和我们自己的车。

我就问旁边的夏老师、贾老师他们，是不是用了规则，或者怎么调的。

他说：“郎博，我们真没调。”

我说：“那就是学出来的？”

他说：“对，学出来的。”

那一刻我就觉得，这下远超预期了。才半个月，就能把以前所有人类写的规则打败。

我当时非常有信心，因为后面还有那么长时间。

3 月份李想发了很大的火。最大的问题是觉得自动驾驶表现还不如业界头部水平，对吧？

对。第一可能拖累我们自己的形象和销量。

当时自动驾驶团队有些同学还不太服气，说从指标来看，我们和华为、小鹏很接近。

我觉得他说的是事实，但作为后来追赶的企业，作为追赶者，你和别人做得差不多，是追不上的。

必须比别人好很多，才有可能扭转局面。

第二也有历史原因。我们当时还在追赶别人的轻图、无图方案，该补的课还是要补。

无论是真实水平还是舆论感觉，当时我们确实不如别人。

李想的说法就是，现在这个版本我们还是很差。

当时我们是无图版本，或者有图、无图里的一个版本。他的意思是，这个版本没法和别人竞争。

他当时是拍桌子、暴躁，还是都有？

都有。

我当时想的不是怎么争辩，因为我很理解李想。他想要什么，我能理解。

去年下半年，团队里面有两种不同声音，但没有达成一致。

到了今年上半年，反而到了悬崖边上：如果还用原来的方式，可能打不过别人，必须升维。

所以回来之后，我就跟李想说，要成立一个专项小组，做端到端的落地和升级。

成立小组后，也得到了战委会和李想等人的支持。他们说，你们大胆去做，公司全力支持。

这给我的感觉，有点像 2021 年我们做“蔚城”项目的时候，也是一个着急上线、比较危险的事情。

2021 年，我们希望年底推出理想 ONE 的升级款。

但车的外形不可能几个月内全部换掉，所以只能在智能方面做很大的突破和升级。

更难受的是，我们之前的 ADAS 供应商知道要做升级后，提出了条件。

不仅要给它支付昂贵的开发费用，我们还要求供应商白盒交付，也就是代码全部交给我们，以后方便修改。

但供应商不愿意白盒交付，甚至提出附加条件：理想以后把自动驾驶研发全部交给他们做，并且解散自己的自动驾驶团队。

哇塞，这么强势。他就觉得你那时候一定要跪下来求他。

对，因为那时候已经没有时间了。

我特别喜欢李想的一点就是，老子就算死也要站着死，不可能跪下来求饶。

所以那时候我觉得挺好。很多时候这些矛盾和冲突反而是好事。

当时公司里还有很多声音说，要不还是保守一点、稳妥一点，继续用供应商做。

但现在既然对方提出了不平等条约，甚至可以说是丧权辱国的条约，我怎么可能这么做？

反而因为这个冲突，帮我们排除了很多不支持的声音。

一月底，我们认真讨论这件事：要不不用供应商了，我们自己做。

李想也再三跟我确认。我那时候主动找他，说我们不能被别人牵着鼻子走。你要相信我们，我们就自己做。

大年初一，李想突然给我打电话。我想，我还没给他拜年，他先给我拜年了。

他说：“郎博，你这事儿有决心没有？”

我说：“我来这儿三年，就等这个时候了，就等这一刻了。如果真做不出来，我就引咎辞职。我肯定好好做，一定要把这件事情做成。”

他说：“只要你有信心，我就支持你。”

放下电话之后，他马上拉了一个微信群，所有合伙人都在。

他宣布了一个决定：自动驾驶这次一定要自研，郎博负责，有什么需要大家都支持，让我放心大胆地干。

过完年初七，我们和李想他们说了计划方案，然后开始全公司找资源。

招人来不及，当然也在招，但先看全公司有没有人可以协作。

最后七七八八凑了一百多人。

2 月 26 日，我们开了一个誓师大会。誓师大会的录像有机会可以给你看，非常感人。

我问一个问题。2018 年到 2021 年，这三年为什么不好好做自动驾驶？为什么一定要等到被供应商逼得不行了，才决定自研？这三年在干什么？小鹏他们进展也很快。

我 2018 年就是这么跟李想说的。

李想跟我说，郎博，我们现在最主要的任务是把车交付出去，没有那么多钱，钱必须花在最重要的地方。

但自动驾驶这件事，小鹏从第一天开始，一直到现在，一直都说自动驾驶是智能电动车最重要的事情。

李想说，郎博，我们战略是有节奏的，我们有自己的打法。

他最好的一点是，不会用一些话安慰你。他会告诉你他的思考、想法、方法论、战略设计和节奏。

他认为，如果你是一个有理解能力的人，就应该知道他在讲什么，而不是用低维的方式来安抚你。

大概 2019 年上半年，我慢慢理解了怎么做一个公司，理解李想是怎么做公司，他的战略思考和系统方法论是什么。

你当时有想过职业生涯是不是要继续留在这里吗？

肯定有过这种念头，会想这怎么弄。

但李想从头到尾都会把他的思考过程和逻辑告诉你。

他当时跟我说：“郎博，你看，我们一共就这么多钱。你要做那些东西，肯定是需要做的，但我现在车造不出来，什么都是空谈。

我要造车、铺销售网络、开门店、做生产制造，这些都要花钱。

一年可能只能给自动驾驶这么多钱。我们要用有限的钱，先把这辆车交付给用户。自动驾驶只是其中一个部分，辅助驾驶也是其中一个部分。

只要做出超过市面水平的产品，在这个价位、这类车上，比 BBA 好很多，先把交付做好，之后再有更多钱投入自动驾驶。”

现在回头看，这件事实现了。

这几年我们一点点执行出来，今年投入了几十亿元做自动驾驶，才有了今天的扭转。

很多人不理解，为什么突然就行了。其实是过去几年积累到现在。

现在听起来端到端像神药、灵丹妙药。那为什么一定要等到今年 3 月才开始用？去年特斯拉就上了。

有时候虽然认知到了，但该补的课还是要补。

我们知道微积分、高等数学好，但现在可能只会加减乘除。上来就做微积分，里面的坑我们可能不知道。

我们要先从四则运算升级。

过去一年，我们把有图、轻图、无图三代都做完，才知道这里面有哪些问题、哪些坑。

很多人会觉得，既然知道最佳解决方案，为什么不上来就做最佳方案？

我觉得那反而是最笨的方法。

看起来笨的方法，可能才是最捷径的，因为前面吃过的苦、经历过的东西，你必须经历一遍，才知道为什么会一步步走到现在。

我们不是第一天就能把特斯拉的本质讲得这么好，而是一步点点做过特斯拉的 BEV，也做过轻图、无图。

特斯拉其实也做轻图，只是它不这么说。它在百度要过很多地图信息，说白了就是要过很多轻图的信息。

我们当时也知道它要这些信息，但不知道它为什么要，也不知道背后的本质是什么。

所以必须自己做一遍。

这个过程既是团队理解的过程，也是整个公司理解的过程。

理想的做法是，哪怕大家都在骂轻图不好，比如天津两条路，我们也先把它做完、交付。

交付之后再做无图。

做无图的过程中，李想已经骂成那样了，说无图怎么还做不好。

虽然我们已经有团队在做端到端，但交付团队还是在 7 月份把无图全量交付了。

用户使用无图，一定要比上一代轻图好；使用轻图，一定要比上一代重图好。

重图没有城市，因为城市没有高精地图。所以我们还是一步步踏实去做，哪怕顶着骂、顶着质疑。

为什么一定要交付？不交付怎么知道问题？

第一，交付一定要对用户产生价值。

轻图版本一定比重图版本好，无图版本一定比轻图版本好。这里说的是产品力要好，让用户实实在在用到产品，提升我们的竞争力。

我知道还有很多问题，但至少这一代产品比上一代好，能提升自动驾驶产品力，让销售和交付得到一定提升。

第二，只有做过这些事情，才知道特斯拉当时为什么这么想，才能更好地理解技术发展。

第三，也让大家理解这件事到底是怎么回事。不能只在嘴上说。

很多人跟风说端到端特别好，但我问你，你用过端到端的产品吗？先不说知不知道端到端的技术。

真正的端到端产品，现在世界上就两家：特斯拉和理想。

智能驾驶的拐点是什么时候来的？智能驾驶开始影响卖车，是哪一年？

以前大家觉得自动驾驶可能排在第八、第九位，对卖车影响不大。

我觉得就是今年。

然后你们今年就交卷了，今年就做出来了。天时地利人和，也是幸运，也是巧合。

去年我们的自动驾驶也不是特别好，但车卖得还是很好。

今年大家开始比较自动驾驶，这成为一个很重要的比较点。

今年销售丢单很多。上半年 3 月左右，李想诟病我们的一个原因，就是销售丢单很大程度上是因为客户进了对面的问界。

去看问界的车了。

对，说人家的自动驾驶比我们开得好。

去年我们也投了一些自动驾驶资源，但主要是补充之前的方案。

今年大手笔投入很多，特别是训练资源。大家看到的是人员优化，其实那部分成本可以忽略不计，真正投入的训练卡资源增长了好几倍。

现在自动驾驶团队有多少人？

现在 800 多人。

特斯拉是多少人？

两三百人吧。

从你的视角看，李想什么时候第一次在内部会上提出，要做一家人工智能企业？你觉得突兀或者惊讶吗？

我一点不惊讶。

有些人可能会觉得奇怪，因为我们的自动驾驶投入一直是最慢的。

最慢怎么理解？

2018 年到 2021 年一直没什么投入，还在用供应商。小鹏已经开始做了，所以我们是最晚的。

明白。

我个人一点不惊讶，但团队同学或者外面的人可能会惊讶，甚至不相信。

外面的人会想，你说自己是人工智能企业，但自动驾驶做得不好，AI 投入也比较少。

但李想做事有自己的逻辑和节奏，不会被外界带动和干扰，这是我欣赏他的一点。

所以他如果说我们是一家人工智能企业，我一点都不稀奇。

反而如果他说我们一直在做车，我会觉得这个公司前景可能没那么好。

人工智能也要分节奏。先把车上的智能做好。

我觉得现在自动驾驶团队和理想同学可能已经摸到一个边，接下来几年，很可能先把车上的智能做成业内最佳实践，再在这个基础上把智能做得更好。

刚开始我问你基座模型的问题，这其实也是你们最近和李想聊得很多的事情。

对。比如从去年开始，我们一直在跟李想说，可能需要做自己的基座大模型、多模态大模型。

现在大家已经习以为常了，就像当年质疑为什么要做自动驾驶一样。

已经有 GPT、通义千问、文心一言等这么多大模型可以用，为什么理想还要自己做基座模型？

很多人觉得不用做基座模型，因为既费力又费钱，投入巨大，而且大公司已经在做，理想也做不过。

我觉得李想可能有这么几点考虑。我没有和他对过，但我认为有两个关键词：必要性和可行性。

首先是必要性。如果以后想在人工智能领域长期发展，基座模型是必须的。

这相当于你要做一个建筑商，但自己没有建筑工人，肯定不行。你光靠外包，哪天工人不给你干了，你就什么都没有。

做模型就像地基和基石。如果没有基座模型，上面盖再漂亮的房子也是空中楼阁。

哪天基座模型不给你用了，这是共有风险。

第二，通用基座模型可能和你的要求不一致。它不会完全按照你的要求服务，因为它有很多客户，会针对所有人优化，而不是针对你一个人优化。

如果这样，你就很难在人工智能领域获得头部位置。

第三，别看现在有人说要做模型服务所有人。等它真的做得很好，就会成为头部企业，我们这些人可能都给它打工。

它一旦形成垄断，人工智能企业可能不会百花齐放，而是集中在少数真正有基座大模型能力的企业手里。

那智能驾驶和理想同学这两件事，怎么合并在一起？

我觉得，理想同学、自动驾驶，甚至后面的智能工业，理想相关的所有智能产品，都是基座模型上的应用体现。

我有一个基座模型，这个模型具备理解世界的能力，也有很多知识基础。在这个基础上做智能驾驶、理想同学、智能工业都可以。

举自动驾驶的例子，我们将来要做 VLA。

这个“将来”是多远？

现在已经开始预研，一到三年之内大家会看到。

VLA 是不是终局，我不知道，但一切都需要基座模型作为基础。

它代表企业的核心能力，也就是你对世界的理解和对知识的掌握程度。

在这个基础上，再去学习怎么开车、怎么做对话、怎么做机器人。

我需要这样一个基座模型，协助我做自动驾驶、理想同学，而不是分别训练一个专门服务理想同学的模型。

将来的人工智能不能这么初级。

比如我训练一个自动驾驶 VLM，它可能只会自动驾驶，换个场景就不行了。

未来的智能一定要触类旁通，是一个非常全面的智能。

假设自动驾驶遇到一个井盖被掀开、露出窟窿的场景。

如果现在用自动驾驶的方式训练，就要收集很多井盖和窟窿的数据来训练。

但如果有基座模型，它对物理世界有基本理解，就知道这是井盖、这是窟窿、这是危险区域。

它是你刚才画的世界模型吗？

不是，不是。它还不是世界模型，是一个完整的大模型。

我刚才说的是 VLA，也就是端到端和 VLM 合在一起的模型。

世界模型只是其中一部分，给它们提供知识。

你们能不能再画一下？基座模型在最底下？

对，在最底下。

这是我们的基座大模型，Mind GPT。在它上面长出很多东西。

其中一个是自动驾驶，自动驾驶里面可以是 VLA，加一个世界模型，或者其他模型。

还有理想同学、智能商业、智能工业。

现在我们是每个人都在分别训练自己的东西。这样的话，各个领域之间的知识不互通。

我们希望有一个统一的基座大模型，什么都知道。

比如井盖，它不用再专门教，这是井盖、这是窟窿、这是危险区域，因为模型本身已经有这方面的知识。

我们用基座模型的能力，再做自动驾驶。

公司所有的知识，包括自动驾驶数据、座舱数据、工厂数据、互联网数据，都统一放进 Mind GPT 这个超大模型里，把它训练成一个具有综合知识和理解能力的模型。

自动驾驶是一个应用，理想同学是一个应用，后面还有智能商业、智能工业。所有智能产品都可以在上面长出来。

现在 Mind GPT 还不够 ready，对吧？

对，现在还非常早期。

它要强大到什么程度，才能成为所有业务的基座？

首先，所有数据都要进来。

它必须是多模态的，既有视频、声音、文字、图像，也要能处理各种多模态数据。

其次，要涵盖所有领域。

自动驾驶领域过去十年有很多纷争。为什么会这样？比如百度系出来的人、各种官司、创业公司内部矛盾。

其他领域也有。OpenAI 也走了不少人。

所有技术领域都是这样。技术没有得到验证之前，大家会有很多分歧。

你现在记住的是莱特兄弟研发了飞机，但同时还有另一个做飞机试验的人，你不知道是谁。

你只记住第一，不知道第二。

听说另一个人当时获得的资助更多，好像还是洛克菲勒资助的。

最后留下来的技术就是这样。

交流电和直流电的纷争也很激烈。特斯拉和爱迪生之间，爱迪生可能还用了些不太好的手段。

他想推进直流电，就找记者来，说交流电能把人电死，所以直流电最安全。

这些技术纷争不是今天自动驾驶或 AI 才有，从古至今都是这样。

我们不能只看负面，也要看正面：它会督促大家更快迭代、提升能力，真正改变人们的生活体验。

最后谁改变得最好，谁的技术可能就占上风。

你的职业生涯很有意思，前面在百度，后面在理想。你为什么当时会来理想？

你会觉得百度代表的、想做 L4 平台的公司，能 work 吗？

这可能不完全和公司有关，和我个人有很大关系。

我 2013 年 4 月去百度，差不多待了 5 年。

你问我，这 5 年做了这么多事情，哪一件最兴奋、最有意思？

我觉得还是刚去做街景的时候。

虽然很累，但做完街景之后，我能感觉到这是一个真正的产品。

当时我特别兴奋，就跟同学、朋友、家里人说：“你赶紧打开百度地图，点到这个界面，再点开，这就是我的工作。”

现在我还很自豪地说，百度地图打开街景，里面所有图片都是用我当年写的代码处理的。

这和给我多少钱、职位高低没关系，这是我最喜欢的一点。

后来成立 L3 事业部，定位是服务车厂，和车厂联合做 L3 研发。

我从百度出来，是希望自己的技术能作为产品落地，为千家万户使用。

当时在百度看，这些车厂肯定不行。但如果百度自己造车，我觉得可能还行。

但那时百度没有造车，所以我就出来看车厂。

现在某种意义上，我来理想的目的达到了。

至少市面上有 100 万辆车，使用的是我这个团队做的自动驾驶。

当时我从百度出来，只找车厂。国外市场我不太想去，因为去了国外，核心研发也在国外。

国内传统车企当时又不太行，最后只能看新势力。

新势力里面也就几家，所以当时既好选，也不好选。和李想聊一次就可以了。

现在至少算及格。前面的优秀、良好，接下来就看 L3、L4 做得怎么样。

为什么你能在理想待这么久？别的公司基本都换过两三茬了。

而且你们一直像是一个落后生，你又待了这么久。

还是要看你相不相信公司的战略和眼光。

我和李想聊得最多的，就是先定好自动驾驶的思路和战略。

我们不是一上来就怎么样，而是有节奏、有打法。

这是第一，我觉得我在这里还有很多事情要做，还没有做完。

第二，这家公司对我的个人成长也非常有帮助。

来理想之前，我觉得自己是一个看起来还不错的研发人员，或者技术工作者。

虽然在百度时也有总监、技术总监、经理之类的头衔，但那时候其实还不懂管理。

不懂管理不是说不懂技术，而是不懂怎么成为一个好的管理者。

首先要学会定战略，战略之后才是业务打法，有了业务打法之后，才知道怎么构建组织，完成战术执行。

这是一整套管理思路和理念，我是在理想完成学习和迭代的。

现在跟着理想继续往后走，我个人还在持续成长和进步。

所以去别的地方，不一定有这样的机会。

李想最好的一点是，他会把自己的思路、想法、战略和战术知识毫无保留地和你交流。

如果你给他反馈和建议，他也愿意倾听和理解。

当然，肯定还是我从他那里学到的更多。

所以我个人的思路和成长有了很大提升。

刚来的时候，我的能力肯定还比较低。现在也不敢说能力高，只能说相对自己而言成长了很多，特别是在管理思路上。

他今年为什么开始这么认真地学 AI？是今年开始的吗？

应该是今年。

我觉得有两个契机。

第一个是我们在端到端上的突破和成功，使他更加重视人工智能。

他原来就觉得人工智能非常重要，但 OpenAI 那边的进展，距离他自己的业务可能还比较远。

但他身边有一个端到端加 VLM 的东西。那天试驾完之后，我觉得他也非常震惊。

另外一个是整个行业都进入人工智能时代，行业发展非常快。

这两个方面促进了他，一个是身边业务的成长，一个是整个行业的成长。

今年智能相关的东西，确实发展得非常快。