
有一天,一辆自动驾驶测试车在路口想象自己向左变道会发生什么。它可以模拟出一条轨迹,算法打分也不错,可问题是:没有人真的开车走过这条路,也就没有真实影像能告诉它,变道之后眼前的世界会变成什么样。
这听起来像是个小问题,但它其实卡住了整个自动驾驶训练流程里一个很关键的环节。
先说说背景。现在比较先进的自动驾驶系统,很多都属于一种叫"世界-动作模型"的东西。
**世界-动作模型(WAM)**:一种同时学习预测未来画面和规划行驶轨迹的AI系统,训练时靠真实行车记录里"过去发生了什么、后来怎么走的"这类配对数据来学习。
这类模型的训练逻辑其实很朴素:给它看一段过去的行车录像,再告诉它"后来车是这么走的,走完之后眼前的画面是这样的",模型就把轨迹和画面的对应关系学下来。这套逻辑听起来没毛病,问题出在后续的优化阶段。
训练完成之后,工程师们通常想用强化学习让模型变得更聪明,让它不只是模仿人类司机,还能主动尝试一些替代方案,再靠奖励信号挑出更好的轨迹。
**强化学习后训练**:模型先完成一轮基础训练,之后再用试错加打分的方式继续优化,让它尝试训练数据里没有的新选择,而不只是重复模仿。
可这里出现了一个逻辑漏洞。假设模型想象出十条候选轨迹,其中一条是直行,另外九条是各种转弯、变道、减速。行车记录里只有直行那条路对应着真实拍下的后续画面,因为车确实是这么开的。那九条"假设性"轨迹呢?没人真的开过,自然也没有真实视频能证明走完这些路之后眼前会是什么样子。
如果训练时硬要把直行那段真实视频安在转弯轨迹上,等于是在教模型一件错误的事:转弯之后看到的画面,其实是直行的画面。这显然是胡说八道。可如果干脆不给这些候选轨迹配视频监督,又等于让模型自己瞎想,完全没有外部参照去检验它想象得对不对。
这篇来自上海创新研究院、香港大学OpenDriveLab等机构的论文,提出了一个叫SimVTA的框架,专门来补上这个缺口。
核心思路说起来不复杂:既然没有真实视频,那就想办法"造"一个足够逼真的视频出来,给那些模型自己想象出的轨迹配上对应的未来画面。
问题到底难在哪
先把这件事的难度感受一下。
自动驾驶的训练数据,本质上是人类司机开车留下的"行车日志":摄像头拍的视频、车辆的轨迹、路况信息,这些都是真实世界里实际发生过的事情。可强化学习要求模型主动探索"没发生过的事情",这两者天生就互相矛盾。
类比一下:这就像你想训练一个棋手,棋谱里只记录了每盘棋实际走出来的那一条路,可你希望棋手学会"如果我这步走别的地方会怎样"。棋谱没法告诉你,如果某一步走了别的地方,棋局后面会怎么发展,因为那一步根本没发生过。如果你强行把"走了这步"和"原棋谱后续走法"拼在一起当训练素材,棋手学到的因果关系就是错的,它会误以为某种走法必然导向某种结局,而实际上这个结局是另一种走法造成的。如果干脆不管这些假设性的走法,棋手确实能走不同的招,但完全不知道每一招后面会怎样,只能靠裁判事后打个分,却看不到棋局画面本身,学习效率和理解深度都会打折扣。
之前的一些方法要么选择干脆放弃视频监督,只靠打分来引导轨迹优化,要么就是把video prediction(视频预测)这个环节简化掉,推理时直接预测轨迹不再生成画面。这些做法某种程度上绕开了问题,但也丢掉了视频预测原本带来的好处,那就是:预测未来画面这件事,本身能帮模型学到更丰富、更贴近真实世界物理规律的内部表示。
**PDMS(Predictive Driving Model Score)**:NAVSIM基准上用来综合评估自动驾驶规划质量的一个分数,涵盖了是否撞车、是否压线出界、刹车反应时间、舒适度、行驶进度等多个维度,分数越高说明开得越稳妥。
论文里提到,在改进之前,初始模型的PDMS是86.2,这是一个相对不错但还有提升空间的水平。而经过SimVTA处理之后,这个分数提升到了91.3,涨了整整5.1分。放在自动驾驶这个对精度要求极高的领域,这个提升幅度是相当可观的。
用3D重建世界来"补拍"视频
SimVTA解决问题的第一步,是找到一个能够"补拍"视频的办法,而不是硬编造。
这里用到的技术叫World Engine,背后依靠的是一种叫3D高斯溅射的三维重建技术。
**World Engine**:一个基于真实行车场景重建的仿真渲染系统,可以根据给定的相机位置和路径,渲染出对应视角下的逼真画面。
**3D Gaussian Splatting(3DGS)**:一种三维场景重建技术,把现实世界的场景用大量三维高斯分布来表示,重建完成后,可以从任意一个新的相机角度渲染出这个场景看起来是什么样子,渲染速度快、画质也比较真实。
简单说,这项技术先把某一段真实道路场景,用大量真实拍摄的图像重建成一个三维数字模型,这个模型里记录了场景里物体的位置、形状、颜色等信息。重建完成之后,你可以指定任意一个虚拟摄像机的位置和朝向,系统就能告诉你,从这个位置看过去,画面应该长什么样。
这就解决了最核心的问题:即使车辆实际上没有开过那条变道的路,只要你知道变道之后摄像机应该出现在场景里的哪个位置,World Engine就能渲染出"如果真的这么开,眼前应该是什么画面",这个画面是基于真实场景几何结构计算出来的,不是模型凭空想象的。
打个比方,这有点像你有了一座城市的完整数字沙盘模型,沙盘里每栋楼、每棵树、每条路的位置和形状都和真实世界一一对应。你想知道"如果我沿着这条没走过的小路开车会看到什么",不需要真的开车去一趟,只要在沙盘里把摄像机摆到对应位置,就能看到逼真的画面。如果没有这个沙盘,你要么得真的开一趟车去拍(成本极高,而且路线组合是无穷的),要么只能靠脑补,脑补出来的画面很可能和现实差之千里。
论文里专门测了这套渲染系统的可信度,用FID和FVD两个指标。
**FID(Fréchet Inception Distance)、FVD(Fréchet Video Distance)**:两个常用来衡量生成图像或视频与真实图像、视频之间差异程度的指标,数值越小说明生成结果越接近真实。
结果显示,World Engine沿着真实记录的轨迹渲染出的画面,FID只有7.6,FVD只有21.8,说明这套渲染系统本身的保真度相当高,足以作为训练的"标准答案"来使用。
不是所有轨迹都值得渲染
这里有个现实约束绕不开:渲染视频是要花算力和时间的,不可能给模型想出来的每一条候选轨迹都配一段视频。
研究团队设计了一套两步筛选机制。
第一步,先把候选轨迹按照它们在仿真执行后获得的驾驶奖励排序,优先渲染那些表现较好、更有可能被模型选中执行的高分轨迹。这一步的逻辑是:既然渲染资源有限,就先保证那些真正重要、真正可能影响最终决策的轨迹能拿到视频监督。
第二步更微妙一些,也是这篇论文里我觉得挺有意思的设计。在已经渲染好的那些高分轨迹里,再进一步筛选出模型自己预测得"最不准"的那些,优先拿这些来做监督训练。
**教师强制误差(Teacher-Forced Error)**:一种衡量模型视频预测准确性的方法,给模型提供真实的历史画面作为参照,再看它预测出来的下一帧画面和真实渲染画面之间差多少,差得越多说明模型在这类场景下预测能力越弱。
这套筛选逻辑分成四个象限:高奖励高误差、高奖励低误差、低奖励低误差、低奖励高误差。论文把这四类分别叫Q1到Q4,其中Q2(高奖励、高误差)是重点训练对象。
为什么挑"预测得最差"的来练?这个逻辑其实很直觉。如果模型在某类场景下已经预测得挺准了,再花力气去监督它意义不大,边际收益很低。反倒是那些模型还搞不清楚的场景,比如一个复杂路口的变道结果,这才是真正值得砸资源去纠正的地方。
这就像你请家教补课,老师的时间是有限的,总不能每道题都从头讲一遍。聪明的老师会先看你哪些题型明明已经会做了,没必要浪费时间,再挑出你做错最多、最薄弱的那几类重点攻克。如果不做这种挑选,眉毛胡子一把抓,看似公平,实际上效率极低,花了同样的时间,提升效果可能连一半都不到。
论文里的消融实验印证了这个判断。只用Q2监督的版本(实验组Exp2)拿到了91.3的PDMS,而把监督范围扩大到Q1加Q2(实验组Exp5)反而只有91.0,比Q2单独监督还略低一点。这说明单纯堆更多视频监督数据不一定管用,关键是要挑对训练目标。
另外论文还测试了把渲染预算从4条候选翻倍到8条会怎样,结果PDMS几乎没有变化(91.2 对 91.3),说明在当前设置下,渲染更多候选轨迹带来的边际收益已经很有限,真正起作用的是"挑得准"而不是"渲得多"。
视频监督要真正影响模型的"大脑"
这是整篇论文里我觉得最值得单独拎出来说的一个发现。
模型内部有一个共享的表示层,这部分负责把摄像头画面和车辆运动历史压缩成一个内部的特征表达,轨迹规划和视频预测这两个任务都要用到这同一套表示。训练时如果让视频预测产生的误差信号(梯度)只用来更新专门负责生成画面的那部分网络,而不允许它往回传递、影响这个共享表示层,结果会怎样?
论文做了这个对照实验。只更新视频生成专用网络的版本(Exp1),PDMS是89.1,这个数字和完全不做视频监督的版本(Exp0,同样89.1)几乎一模一样。换句话说,如果视频监督的信号传不到共享表示层,那这部分额外训练基本是白做的,规划能力没有任何提升。
而当允许视频预测的误差信号同时更新共享表示层(Exp2),PDMS一下跳到91.3,涨了2.2分。
这说明视频监督真正起作用的机制,不是"模型多了一个画面生成的本事",而是"预测画面这件事反过来重塑了模型理解世界的方式"。
这有点像你想提高一个人的驾驶判断力,光让他反复练习"画出路况草图"这个单独技能没什么用,如果这个画图训练没有真正改变他大脑里对路况、物理规律、车辆行为的理解,画得再多也不会让他开车更稳。真正有效的是让"画图"这个过程倒逼他对路况的理解变得更深刻,而这份更深的理解,恰好也是开车决策时要用到的同一套认知。如果不让两者共享底层认知,两件事就是两条互不相干的平行线,练哪个都不会帮到另一个。
轨迹优化怎么做
视频监督负责"看见未来",轨迹优化这部分负责"做出更好的选择",论文用的是GRPO。
**GRPO(Group Relative Policy Optimization,组相对策略优化)**:一种强化学习训练方法,核心思路是让模型针对同一个场景采样出一组候选方案,比较这组方案彼此之间的相对表现好坏,表现相对更好的方案在训练中获得更强的正向信号,不需要额外训练一个独立的价值评估网络。
具体到这篇论文,模型对每个观测场景采样出32条候选轨迹,每条轨迹都放到PDM执行器里跑一遍,算出对应的驾驶奖励,这个奖励综合考虑了安全性、舒适度、行驶进度、碰撞时间等因素。然后把这组轨迹的奖励做归一化,相对表现更好的轨迹获得更强的优化信号。
同时,为了避免模型在探索新轨迹的过程中"学坏"、偏离合理的驾驶行为太远,论文还加了一个行为克隆的约束项,让模型始终对照一个固定不变的初始策略网络,保证它不会完全脱离人类司机的驾驶常识。
整个训练目标是三部分加权求和:轨迹损失、精选视频目标上的视频损失、行为克隆正则项。三者缺一不可,轨迹损失负责方向感,视频损失负责让模型理解选择背后的真实后果,行为克隆负责兜底防止跑偏。
实验结果说了什么
论文在三个基准上都做了测试。
在NAVSIM v1上,从初始模型的86.2分提升到91.3分,涨幅5.1分。细看各项子指标,行驶进度(EP)从80.3涨到86.7,碰撞时间合规度(TTC)从93.9涨到97.0,可行驶区域合规度(DAC)从95.0涨到97.2,几乎每一项都在稳步提升。
在NAVSIM v2上,评测维度更全面,加入了交通灯遵守、车道保持等更细致的指标,EPDMS从85.0涨到88.2,涨了3.2分。
在HUGSIM这个闭环仿真测试上,SimVTA拿到了平均51.5的路线完成率(RC)和38.8的HD-Score,超过了此前表现最好的对照方法DrivoR(49.8和35.7),尤其是在"困难"难度的场景里领先优势明显。
另外论文还专门拿Epona(没经过SimVTA改造的初始模型)和SimVTA做了画面质量对比,用FID和FVD衡量模型预测的视频和真实视频之间的差距。只做轨迹GRPO、没有视频监督的版本,FID是20.4,FVD是105.4;加入SimVTA完整训练流程后,FID降到13.1,FVD降到46.3。这组数字说明,SimVTA不只是让轨迹规划更准,顺带也让模型对未来画面的想象变得更贴近真实世界。
论文里有张对比图挺能说明问题,同一个路口场景,初始模型Epona的轨迹预测出现了碰撞,而SimVTA成功避开了碰撞并保持在可行驶区域内。另外一张图显示,Epona在预测未来画面时凭空"幻想"出一辆右侧并不存在的车辆,而这辆车既没有出现在鸟瞰图里,也没有出现在World Engine渲染的对应画面里,属于典型的模型"脑补出错",而SimVTA在同样场景下避免了这种失真。
几个容易被忽视但很关键的细节
论文还做了几组对照实验,值得专门说一下。
第一个是打乱轨迹和视频的对应关系会怎样。研究人员故意把渲染好的视频在同一个场景里随机打乱,让轨迹A配上了本该属于轨迹B的画面,结果PDMS从91.3暴跌到83.1。这个结果其实挺重要,它说明整个方法真正起作用的核心,不是"多给了视频数据"这件事本身,而是视频和轨迹之间精确对应这件事。如果对应关系是错的,相当于又回到了论文开头提出的那个问题,给模型喂了一堆因果关系错误的训练素材,效果反而比不给还差。
第二个是在线渲染和离线缓存的对比。训练过程中模型的策略是不断变化的,如果提前渲染一批视频存起来,后面反复用这批旧视频做监督(离线缓存),会怎样?结果是90.4分,比完全不做视频监督的89.1分略好,但明显不如每轮都重新渲染当前策略对应视频的在线方式(91.3分)。这说明随着模型策略的更新,它探索的轨迹分布也在变,固定不变的旧视频渐渐就和新轨迹对不上了,持续刷新渲染目标才能跟得上策略的演进。
第三个是直接用视频生成质量来做强化学习打分(视频GRPO),而不是经过筛选再用传统的流匹配损失来训练。这个对照组(Exp8)拿到91.0分,比SimVTA采用的筛选加流匹配方案(91.3分)略低,说明"先挑出真正有价值的训练目标,再认真学"这套思路,确实比"眉毛胡子一把抓再靠打分筛选"更有效率。
写在后面
读完这篇论文,有一个点让我反复琢磨:视频生成和轨迹规划,看起来是两个独立的任务,一个是"画画",一个是"做决策",但论文里那个共享表示层的实验结果说明,这两件事在模型内部其实共用同一套对世界的理解。如果切断两者之间的联系,单独练哪一个都不会让另一个变强。
这多少颠覆了我对"多任务训练"这件事的直觉。通常我们会觉得,给模型加一个辅助任务,无非是让它多学一点东西,好坏参半,有可能分散注意力。但这篇论文给出的证据是,如果辅助任务(视频预测)和主任务(轨迹规划)共享底层认知,辅助任务反而能倒逼主任务变得更准,前提是你得让梯度真的流回共享层,而不是把辅助任务孤立起来练。
还有一个细节值得记一笔:论文特意测试了把渲染预算翻倍,结果几乎没有提升。这说明在训练资源有限的现实约束下,"挑得准"比"渲得多"重要得多。这其实是个挺朴素的道理,但在工程实践里经常被忽略,大家第一反应往往是加数据、加算力,而不是先想清楚哪部分数据才是真正稀缺、真正值得花钱的。
论文最后也坦承了几个没解决的问题:3D重建在遮挡严重或者视角偏离记录轨迹太远的情况下,画面质量会打折扣;观测历史本身仍然来自真实行车日志,车辆看到的"过去"和它现在探索出来的"未来"之间,终究存在一种根基上的不对称。这个问题要彻底解决,恐怕还得等到仿真场景的覆盖范围和真实度,能够完全撑起整个决策链条的那一天。
一个自动驾驶系统能不能真正理解"如果我这样开,会发生什么",这个问题的答案,可能比我们想象中更依赖于它有没有机会"亲眼看见"那些从未真正发生过的未来。
Q&A
Q1:SimVTA是什么?
A:SimVTA是一个面向自动驾驶世界-动作模型的后训练框架,它用3D高斯溅射重建的真实场景渲染仿真视频,为强化学习探索出的候选轨迹补上真实画面监督,解决了传统方法里"只有记录轨迹有对应视频、其他候选轨迹没有视觉参照"的问题。
Q2:SimVTA相比原始模型能带来多大的性能提升?
A:在NAVSIM v1基准上,SimVTA把PDMS从86.2分提升到91.3分,提升了5.1分;在NAVSIM v2上EPDMS从85.0提升到88.2;在HUGSIM闭环仿真测试中平均HD-Score达到38.8,超过了此前最好的对照方法。
Q3:为什么不是所有候选轨迹的视频都要用来训练?
A:因为渲染视频成本高,SimVTA先挑选出驾驶奖励较高的候选轨迹进行渲染,再从这些轨迹里挑出模型预测误差最大的那部分(称为Q2)重点训练,实验显示这种精选方式比全量训练或扩大监督范围效果更好。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。