撰文 | 张祥威 编辑｜马青竹

何小鹏又在为端到端摇人，这次是劝L4公司尽早加入。

“今天很多L4公司的技术路线，还是算法+小AI模型组合，都在痛苦犹豫，是否应该转入端到端。我个人的建议是：别犹豫，赶紧改，后面那个才是大家伙。”他最近在个人社交平台上表示。

不少车企、自动驾驶公司正对端到端摩拳擦掌，仓促中甚至有些忙乱。

几个月前，在被问到是否会用端到端做AEB时，一位国内智驾公司高管直言：

“所谓AEB端到端，可能这些同行没有理解AI 2.0，才会出现这些很搞笑的东西。”

即便如此，最近行业中仍有公司将基于端到端的AEB，通过OTA上了车。

“AEB技术比较成熟，未必需要端到端去做。”商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚近日告诉《出行百人会/AutocarMax》，端到端擅长解决复杂场景。

相比经不起推敲的端到端AEB，更多玩家在忙着梳理端到端架构。不过同样发力过猛，一些喊话值得商榷。

反正无论是吹牛还是PPT，或是论文，2024年第一梯队，就要搞端到端，才够City。

需要注意，端到端在C端反响一般，有网友竟然说，因为特斯拉推迟了新一届AI Day，国内车企没有新作业可抄了。

端到端是手段，最终还要看智驾体验好不好。抛开PPT，端到端优越性目前的真实证据，只有马斯克的证词。

此前被删掉的30万行C++代码，被媒体和同行盘包浆了。期待下个月特斯拉AI DAY带来新素材。

结局如何，目前不明朗。但要入局，门票也摆在那里，需要有千亿级到参数，几十万用户使用数据，以及“一张网”。

遍地端到端，皆是“分段式”

国内，端到端硝烟起于上半年。今年初，小鹏汽车喊话将上马端到端，其它如蔚来、理想等也开始行动起来。

严格来讲，华为、小鹏、理想今天推出的所谓端到端，更准确地叫法，其实是“分段式端到端”，或叫“模块化端到端”。

4月，余大嘴号称“改写行业”的华为乾崑ADS 3.0杀至。采用全新架构，号称“端到端架构 体验更类人”。这一架构，感知环节去掉BEV，只保留一张GOD网络，决策、规划合为一张PDP网络。

又过一个月，小鹏宣布端到端大模型国内首个上车。其中，XBrain侧重于整个场景认知， XNet侧重于感知和语义。

再后来是理想。本月，理想汽车2024智能驾驶夏季发布会上，理想汽车智驾技术研发负责人贾鹏介绍道：

“第二代架构就是刚刚发布的无图NOA，这一代架构模块少了很多，只有两个模型，感知和规划，中间用规则串在一起。”

这三家，将感知网络、规划网络分开，即是分段式端到端。

现实不够，PPT凑。理想推出“行业首个双系统量产方案”，号称可以构建一张网One Model。不过，这一端到端架构更多在端侧，仍需证明云端大模型质量。

相比一张网的激进，分段式端到端，更适应智能汽车电子电器架构的硬件演变，集成度由低到高，同时具有很高的解释性。

一家较早布局端到端的智驾公司技术高管，曾在一次自动驾驶内容分享课中表示，“在云端落地端到端过程中，虽然效果很好，但可解释性非常差。所以，要分阶段，先把感知大模型做好，再结合实地行为对驾驶决策做出解释。”

基于此，再来看国内那些令人眼花缭乱的“首个”。

“国内首个量产上车”

“行业首个双系统量产方案”

“国内首个端到端一体化模型”

“业内首个应用端到端技术的AEB”

“第一梯队”已有些烂大街，谁都想挤进来，现在卷一下新词，本来挺好。只不过现在要么玩转定语，要么讲一个未来式的东西，并不准确。

与分段式端到端不同，行业还有“一张网”，如特斯拉FSD、商汤绝影UniAD。一张网，是将实现感知、决策规控一张神经网络，这是真正的端到端自动驾驶。

这一路线认为，分段式端到端从感知模型，到规控模型，中间会出现信息丢失。一张网解决了这些问题，并且可以减少训练成本。

王晓刚解释，实现一张网端到端需要多方面积累，尤其在模型训练方面。

“端到端之前，分模块主要由人工手写规则来定义，每个模块有大量信息损失，现在，分段式，感知、决策规划各用一个模型，当感知传到决策规划时，信息量已非常少，用于做决策规划模型的体量比感知模型小几倍，无法称作大模型。”他表示。

技术终局究竟如何，《出行百人会/AutocarMax》从多位车企、自动驾驶公司人士处了解到，分段式大概率会向“一张网”发展。只不过，那是一个浩大的工程，需要特斯拉那般的大手笔。

一位自动驾驶公司产品负责人表示，“分段式会向一段式发展，代价是，需要进行更多数据处理，以及更多训练资源。从分段式到一张网，需要很长时间，要看有没有足够的钱。目前，端到端自动驾驶在小范围都能跑，之后能不能做，得看实际效果。要几十万用户用起来，那是另一个故事。”

不过，也有观点认为，分段式不需要发展成一张网。

上海AI实验室青年科学家李弘扬博士告诉《出行百人会/AutocarMax》，“分段式端到端架构中有一些显示设计，未尝不是一种可以长期坚持的方式。而一张网做端到端，如何确保安全性；以及发生问题后，神经网络里是否需要有一些检测结果等，均面临挑战。”

决策优化之争，大模型之争

端到端仅仅是开始，踏入此门，也就进入了AI 2.0时代，这将是一场涉及算力、算法、数据的多维竞赛。

算力之争，更多是投钱买GPU训练卡；数据之争，在于多卖车，让用户把智能驾驶功能跑起来，积累更多数据，然后筛出优质数据。

更具挑战的，是算法之争。

清华AIR助理研究员/助理教授詹仙园博士曾指出，“所有端到端驾驶模型，可以看成一个很大的决策模型，需要用到决策优化算法。”

两类算法被广泛使用，一是模仿学习，包括行为克隆等，可以直接模仿人的行为，做监督模仿。在智驾领域，就是拿来更多驾驶数据，用监督学习方法，直接从数据里训出来映射。

另一种是强化学习。更为复杂。由于要应用激光雷达点云信息，所以会引入主机厂，会引入多模态大语言模型。

布局端到端后，算法层面的竞争将主要围绕上面两大类展开。

华为、小鹏尚未公布端到端架构更多细节，倒是理想，详细介绍了自家下一代一张网端到端架构。

那套 “行业首个双系统量产方案”，是由快系统和慢系统组成4D One Model 端到端架构，名字唬人，拆开看，是“端到端模型（系统1）+VLM视觉语言模型（系统2）。

系统1，端到端模型直接输出驾驶轨迹，应对95%左右的普通驾驶场景；

系统2，VLM视觉语言模型具备系统1无法解决的未知场景的理解能力，输出决策信息给到系统1，且这一模型部署在车端芯片上（Orin-X），目前达22亿参数量。

一位自动驾驶规控研发人士向《出行百人会/AutocarMax》分析，“理想的双系统是一套并联架构，一些复杂决策或宏观决策，可以通过大模型这条线给出。一些偏宏观的决策对实时性要求不高，比如导航变道、速度调节之类。”

还有观点认为，理想那套方案并非两个系统，而是一个系统专门给端到端系统打补丁。目的是节省端到端的算力和数据，因为消耗不起。毕竟谁能像马斯克那么阔气地买卡，和开发超级计算机呢？

但是，如果用VLM模型给端到端打补丁或指手画脚，这符合端到端的底层逻辑吗？

车端还是云端，也是个大问题。据理想官方透露，为了把VLM模型部署到Orin-X上，费了不少功夫。

通常，数据训练的方法是，把海量数据上传到云端，训练完大模型后，再通过剪枝、蒸馏，最终将小模型应用到车端。

理想的端到端架构，看上去将决策优化的重点放在了车端。好处是，实时性高，迭代效率快。不过，这一架构绕不开云端的竞争。

理想智能驾驶技术负责人贾鹏在NVIDIA GTC 2024上也提到，“理想还需要一个巨大的云端试点模型，它的主要作用是去训练快慢系统跟物理世界去做交互，从中不断地去学习。”

王晓刚告诉《出行百人会/AutocarMax》，“通过传感器直接输入的视频信息去预测轨迹，需要几十亿参数。不过，要得到高质量的几十亿参数，前提是需要有一个百亿千亿级的大模型。”

大家终究会在云端遭遇，比算力、数据规模，以及算法的先进性，也会面临决策优化的各种算法问题。

据詹仙园博士介绍，模仿学习面临的最大挑战是，数据匮乏带来的误差累积和泛化问题。

由于模仿学习是从数据中学得模仿策略，在数据里面见过的地方知道怎么开，一旦行驶到没见过的地方就不知道如何开。误差逐渐累积，策略就会崩掉，在没有数据的地方，很难做合理泛化。

解决这一问题，行业给出的思路是，世界模型。从一个大规模数据里训练出预测模型，预测自动驾驶环境里面的动态变化关系，这同样离不开海量数据和超大算力。

不过，世界模型的问题是，虽然可以对原始数据做一个有益的补充，但不能保证100%准确。所以，它还需要再训练一个判别器，判别数据的生成来源。最后，将模仿策略、判别器数据模型等一起训练。

解决这些复杂问题，放在云端可以，放在车端，够呛。

结语

无论如何，端到端已然成为智能驾驶村里的新秀才。

不过，它也很贵。训练一个千亿参数的大模型，一次实验，需要几千张GPU卡跑两三个月，投入上亿元。行业人为此笑称，一个按钮按下去就是1个亿。

「第一梯队」也是跟得紧，小鹏摇旗，理想写论文，蔚来也宣布组建大模型团队。

有上头的，有跟风的，有炒作的。短期的定心丸，还要看看马斯克8月的AI DAY，还有FSD V12.5的威力。

而在激情创新的另一面，消息称，近日武汉网约车和出租司机联名起诉萝卜快跑，控诉被砸饭碗。

知名财经大V跨界点评：“我们当前的经济和就业情况，无人驾驶应该谨慎大规模应用。”

有人期待AI技术能够引领出新康波，救全世界于水火。智能驾驶的跑通自然将是重要的一环。也有人说，AI不同于以往的技术革命，只增进了产品和服务，不增进就业和消费能力，无法创造大繁荣。