微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 自动驾驶的车,到底是靠"看得清"赢,还是靠"想得明白"赢?

自动驾驶的车,到底是靠"看得清"赢,还是靠"想得明白"赢?

2026-11-19 12:08
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-19 12:08 • 科技行者

你可能以为,给自动驾驶系统换一副更好的"眼睛",它就能开得更稳。

这个直觉大概率是对的,但最近一篇论文发现了一件挺颠覆的事:同样一副"好眼睛",装在不同的车上,效果能差出一倍还多。有的车用了顶级视觉模型反而没怎么进步,有的车用了普通视觉模型却突飞猛进。这到底是怎么回事?

**问题出在哪**

先说说背景。现在的端到端自动驾驶系统,说白了就是一个"看图做决策"的大脑。摄像头拍下路况,模型提取特征,然后直接输出一条行驶轨迹,不需要人工拆分成"先识别车道线、再识别车辆、再规划路径"这种传统流程。

端到端自动驾驶*:指直接从摄像头等传感器输入到方向盘、油门输出的一体化驾驶系统,不经过人工设计的中间模块。

这些年,学术界冒出了一堆视觉基础模型,比如DINOv3、VGGT、SAM3,它们在图像分割、三维几何理解这些任务上表现极其出色。于是很多研究者动了心思:把这些强大的视觉模型的"知识"搬到驾驶系统里,是不是就能让车开得更好?

视觉基础模型(VFM)*:在海量图像数据上预训练、具备强大通用视觉理解能力的大模型,类似于语言领域的大语言模型,只不过处理的是图片而不是文字。

这个想法听起来理所当然,但问题是:此前几乎所有研究都是"一个驾驶模型配一个视觉模型"的单点验证。今天这篇论文用DINOv3试了试自己的系统,效果不错,就发论文了;明天那篇论文用了VGGT,效果也不错,也发了。没有人做过系统性的横向对比:换一个视觉模型,到底是稳定提升,还是看运气?换一个驾驶模型架构,结论还成立吗?

这就好比你听说"吃燕麦有助于减肥",但从来没人告诉你,这个结论是在什么人群、什么饮食习惯、搭配什么运动量的前提下成立的。没有对照组的经验,经不起推敲。

**ViRA:一个只在"训练时"起作用的实验框架**

研究团队设计了一个叫ViRA的框架来做这件事。它的核心思路很巧妙:不改变驾驶模型最终部署的架构,也不增加任何推理成本,只是在训练阶段,让驾驶模型的中间特征去"模仿"一个冻结不动的视觉基础模型的特征。

具体来说,训练时,同一张图片会同时喂给驾驶模型的编码器和一个参数完全冻结的视觉基础模型,两边各自提取出一套特征。然后用两种对齐损失,让驾驶模型的特征逐渐向视觉基础模型的特征靠拢。等训练结束,这个视觉基础模型就被一脚踢开,推理时完全用不上它,驾驶系统该多快还是多快,该多小还是多小。

表征对齐*:让一个模型的内部特征表示去模仿另一个(通常更强)模型的特征表示,从而间接获得后者的知识,但不需要在推理阶段真正用上那个更强的模型。

这个设计其实解决了一个很现实的矛盾:视觉基础模型通常又大又慢,像DINOv3-L这种级别的模型有3.5亿参数,推理一次要65毫秒,而一辆真实行驶的车,决策必须在几十毫秒内完成,根本等不起这种延迟。

打个比方,这就像请一位顶级建筑大师给工地新人上一对一培训课,大师讲完课就走人,之后盖房子还是新人自己动手。如果不这样安排,而是要求大师亲自全程盯着每一块砖怎么砌,那工程进度肯定被拖垮,工地根本养不起这么贵的人全天候在场。ViRA做的就是"请大师来上课,但不留下来干活"这件事。它用的具体对齐方式有两种,一种叫空间依赖对齐(SDA),让驾驶模型学会视觉大模型关注图像哪些区域之间有关联;另一种叫场景语义对齐(SSA),让两边对同一个场景的整体理解更接近。

**实验结果:好处是真的,但没有想象中那么简单**

研究者在三种代表性的驾驶模型架构上做了测试,分别是基于回归的TransFuser、基于扩散模型的DiffusionDrive,以及基于打分机制的Rap*。测试用的评测体系叫NAVSIM v2,核心指标叫EPDMS(扩展预测驾驶模型分数),分数越高代表开得越安全越流畅。

结果是:三种架构全部提升了。TransFuser从83.6分涨到89.0分,DiffusionDrive从84.5分涨到91.9分,Rap*从72.8分直接飙到83.7分,涨了近11分。在更难的navhard测试集上,Rap*的提升更夸张,从32.8分涨到49.2分,涨了16.4分。

更有说服力的是,这些车从来没在HUGSIM这个闭环仿真平台上训练过,直接拿去做"零样本"测试(也就是没见过这种场景就直接上路),表现依然全面提升,整体HD-Score平均涨了4分。这说明提升不是训练集"刷分"刷出来的假象,而是真的学到了更泛化的驾驶能力。

研究者还做了一个很严谨的对照实验:如果把视觉基础模型换成一个随机初始化、完全没学过任何东西的"假模型",用同样的对齐方法训练,会发生什么?答案是:不但没提升,反而掉分。TransFuser掉了1.6分,Rap*掉了1.7分。这证明了效果真的来自视觉基础模型里蕴含的预训练知识,而不是对齐损失这个训练技巧本身带来的某种正则化副作用。

**选错"老师",提升能差出5倍**

接下来是整篇论文最有意思的发现。同样是Rap*这个架构,换上五个不同的视觉基础模型做对齐目标,提升幅度从6.6分到12.1分不等,差了5.5分之多。其中DINOv3效果最好,VGGT效果相对较弱。

更反直觉的是下一个实验:研究者干脆把Rap*的主干网络直接换成DINOv3-L(也就是说这车自己已经用上了这个"好老师"),然后再让它去对齐VGGT这个专注三维几何的视觉模型。按理说,主干已经很强了,再加一层对齐应该边际效益很低吧?结果EPDMS又涨了2.5分,从83.8涨到86.3。

这说明一件事:不同视觉基础模型学到的东西其实是互补的,而不是谁更强谁就该一统天下。DINOv3学的是通用语义理解,VGGT学的是三维空间几何,两种知识拼在一起才更完整。

这就像一个学生已经有了很厉害的语文老师,你以为语文已经学到头了,但再请一位数学老师来补课,成绩照样能往上涨,因为两门课教的根本不是一回事。如果只盯着"哪个老师更厉害"去选,而不考虑"这个老师补的是不是我缺的那块",很可能请错人,白费功夫。

**辅助感知监督:抹平差距的隐藏变量**

但故事到这里还没完。研究者发现,上面说的"选错老师差5倍"这个现象,只在Rap*这种"无感知监督"的架构上特别明显。而TransFuser和DiffusionDrive这两个用了辅助感知监督的架构,换哪个视觉模型做对齐目标,分数差距都特别小,只有0.5到0.6分。

辅助感知监督*:在训练驾驶模型主任务(预测轨迹)的同时,额外加入一些"副业"任务来帮助模型学习,比如让模型顺便预测鸟瞰图上的车道线分割、车辆检测框位置等,这些任务本身不是最终目标,但能倒逼模型学到更扎实的视觉理解。

为了验证这到底是不是辅助感知监督在起作用,研究者专门拿TransFuser做了一次对照:把它的辅助感知监督关掉,再去测试五个不同视觉模型对齐的效果。结果显示,去掉监督之后,分数差距从0.5分一下子拉大到2.7分。更细致地看,最高分几乎没变(89.3变89.1),但最低分大幅下跌(88.8跌到86.4)。

这说明辅助感知监督的作用,主要不是把所有目标都拉高,而是在"兜底",当你选到一个相对不太合适的视觉模型时,辅助监督能帮你把损失补回来。

这个现象让我想到一个场景:一个学生如果平时有扎实的基础课训练(相当于辅助感知监督),那不管后来请到的补习老师水平高低,差距都不会太大,因为地基已经打牢了。但如果这个学生平时完全靠自学摸索(没有辅助监督),那遇到好老师和遇到普通老师,结果就会天差地别。如果不打好地基就随便选老师,运气不好就要承担后果;地基打牢了,才有资本去容错。

**不换"大脑",照样能跑得更远**

有人可能会问:既然要对齐视觉基础模型,为什么不干脆直接把驾驶模型的主干网络换成这个大模型,省得还要搞一套对齐训练?

论文专门算了这笔账。直接把主干换成DINOv3-L,EPDMS能到83.8分,但推理延迟从20毫秒飙升到65毫秒,参数量从6900万暴涨到3.51亿。而用ViRA对齐DVGT这个视觉模型,EPDMS能到83.7分,几乎打平,但延迟和参数量完全没变,还是20毫秒和6900万参数。

这个对比说明,ViRA这种"训练时蹭知识、推理时不带包袱"的策略,在真实部署场景里非常划算。毕竟一辆车不可能为了多那1毫米的决策精度,多背3亿参数在身上一路跑,这就像为了多记住几道题,专门背着一整套百科全书去考场,考试时间根本等不起你翻书。

**ViRA-Diffusion:把发现落到实处**

基于以上这些发现,研究团队干了一件挺有底气的事:既然辅助感知监督主要是用来兜底的,那如果选对了视觉模型,是不是可以干脆不用辅助感知监督,照样能跑出好成绩?

他们训练了一个叫ViRA-Diffusion的模型,底子是DiffusionDrive,不加任何辅助感知监督,只用DINOv3做对齐目标。结果这个"轻装上阵"的模型跑出了92.3分的EPDMS,比论文里对比的所有近期方法都高,领先第二名至少1.9分。

这个结果挺打脸常规直觉的:大家一般默认,加的辅助任务越多,模型学得越扎实,分数应该越高。但这篇论文证明了,只要"老师"选对了,不加辅助任务反而可能跑得更干净、更高分。这背后的逻辑或许是,辅助感知任务本身也会跟主任务抢训练资源和模型容量,当对齐目标已经足够好的时候,这些辅助任务反而成了累赘。

**写在后面**

这篇论文最打动我的地方,其实不是那些漂亮的分数提升,而是它暴露出了一个被整个领域长期忽略的问题:大家总觉得"用了更强的模型"就等于"做得更好",却很少去问,强在哪里、和谁搭配、有没有别的东西在悄悄补位。

辅助感知监督能抹平视觉模型选择差异这件事,其实是个挺微妙的发现。它意味着,很多论文里报告的"我们用了某某先进视觉模型,效果显著提升",背后可能藏着一个没被提及的变量,如果这篇论文本身用了辅助监督,那换成随便哪个视觉模型可能都差不多,提升未必真的来自那个"先进"模型本身的优越性。这对读论文的人来说是个挺重要的提醒:看到一个漂亮的对比实验,先问问它有没有控制住其他变量。

另外一个让我反复琢磨的点是,VGGT这个专注三维几何的模型,单独用效果一般,但叠加在已经用了DINOv3的模型上却能继续涨分。这说明"更强"从来不是一个单一维度的排行榜,语义理解和空间几何理解可能是两条互不替代的能力线。以后看到视觉模型排行榜的时候,大概要多留个心眼:排名第一的那个,不一定是最适合你当前系统缺的那块拼图。

车到底需要看得多清楚,才算够用?这个问题恐怕没有标准答案,取决于它身边还有没有别的东西在帮它兜底。

Q&A

Q1:ViRA是什么?

A:ViRA是一种训练时的表征对齐框架,让自动驾驶模型的中间特征去模仿一个冻结的视觉基础模型的特征,从而提升驾驶性能,但推理阶段完全不使用视觉基础模型,不增加任何计算成本和延迟。

Q2:视觉基础模型的选择会影响自动驾驶效果吗?

A:会,而且影响很大。论文发现同一架构换不同视觉基础模型,EPDMS分数能差出5.5分,DINOv3在多数情况下效果最好,但如果主干已经用了DINOv3,再对齐专注三维几何的VGGT还能继续提升2.5分。

Q3:辅助感知监督对自动驾驶模型有什么作用?

A:辅助感知监督(如车道线分割、车辆检测等副任务)能显著降低模型对视觉基础模型选择的敏感度,把不同目标间的分数差距从2.7分压缩到0.5分,主要起到给较弱视觉目标兜底的作用。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-