2026年的某一天,一辆自动驾驶测试车在弯道前做了一件很神奇的事:它先在脑子里"想象"出了接下来四秒钟的画面,然后根据这个想象出的未来,决定方向盘该往哪打。
这听起来像科幻电影里的情节,但这正是当下自动驾驶研究最火的方向之一,叫做世界动作模型。
你可能会觉得,既然车都能"预见未来"了,那开起车来肯定稳如老司机吧?
研究者们做了一个更狠的实验来验证这件事。他们不让模型自己去想象未来,而是直接把摄像机录下来的、真实发生的未来画面喂给模型,相当于开了天眼,告诉模型接下来到底发生了什么。按理说,这种情况下模型复原出的行驶轨迹应该和真实轨迹严丝合缝。
结果呢?在NAVSIM这个自动驾驶仿真平台的全部1.8万个验证场景里,哪怕拿到了真实的未来画面,模型重建出的轨迹依然和真实轨迹平均相差123.6毫米,最远的点甚至差了221.6毫米。
这个发现有点反直觉。
如果说模型因为"猜不准未来"而开不准车,那还算合理,但现在连未来都给它看了,它依然差了十几厘米,这说明问题根本不出在"预测能力"上,而是出在更底层的地方:视觉画面里的运动信息,本身就不包含足够的精度来还原一条精确的行驶轨迹。
这就是本文要讲的论文VITAL的起点。它的全名是"Vision-Induced Tokens for Action Learning",视觉诱导的动作学习令牌。这篇由地平线机器人、上海创新研究院、复旦大学、新加坡国立大学等机构联合完成的研究,试图回答一个听起来简单却被长期忽视的问题:当我们想让AI"从看见的画面里学会怎么开车"时,视觉信息到底能提供多少精度,剩下的精度缺口又该怎么补?
视觉能看到大方向,但看不清厘米级的细节
要理解VITAL的做法,得先理解当下主流方法在干什么。
世界动作模型*:一类试图把"预测世界将如何演变"和"决定该采取什么动作"结合起来的AI系统。在自动驾驶里,这类模型通常先用一个"视频专家"去预测接下来几秒的画面会怎么变化,再用一个"动作专家"根据这些预测生成具体的行驶轨迹。
问题在于,这两个专家虽然互相"交流",用的却是两套完全不同的语言。视频专家学的是如何预测画面像素的变化,动作专家学的是如何直接拟合人类司机留下的轨迹坐标。它们靠一种叫注意力机制的东西互相传递信息,但本质上?自描述着同一个物理世界的运动,用的却是两套各自构建、互不相通的表达方式。
这就好比两个人在合作翻译一本书,一个人只懂图像,一个人只懂数字坐标,中间靠一个翻译官来回传话。翻译官传得再勤快,信息在两种语言之间转换时也难免丢失细节。如果不解决这个"两套语言"的根本问题,无论视频专家预测得多准,动作专家拿到的依然是一份经过转译、打了折扣的信息。
研究者们于是想了一个更直接的办法:能不能让动作目标干脆就从视觉运动里直接"长"出来,而不是分开学两套东西?
这个想法并不新鲜,机器人控制领域已经有类似的探索。比如RepWAM和LingBot-VA 2.0这些工作,都尝试从视觉画面的变化中直接提取出"潜在动作"。但这些方法有一个共同的局限:它们是在视觉特征空间里做重建,而自动驾驶需要的是实打实的、米制单位下的物理轨迹精度,这完全是另一回事。
于是VITAL的研究者们做了前面提到的那个"开天眼"实验:给模型当前画面和未来的真实画面,让它直接重建轨迹,彻底排除"预测未来"这一步可能带来的误差,纯粹看视觉运动本身能还原出多精确的轨迹。
答案是:能抓住大方向,抓不住细节。
论文里有一个很说明问题的分析。研究者把重建出的轨迹拆解成速度信号,再用频谱分析的方法看这个信号里有多少"高频成分",也就是那些快速的、细微的变化。结果发现,纯视觉重建出来的轨迹,高频能量占比只有0.1%。
高频能量占比*:指一段运动信号里,快速变化部分所占的能量比例。占比越低,说明这段运动越平滑、越"笨重",缺乏精细的局部调整。
0.1%意味着什么?意味着视觉给出的轨迹几乎是一条被熨平的、失去了所有褶皱的路径,它知道车大概要往左转还是往右转,但不知道该在哪一厘米处微调方向盘来避开一个路牙石。而自动驾驶恰恰最怕这种"大方向对、细节错"的情况,因为很多交通违规判定,比如压线、偏出可行驶区域,往往就卡在几厘米的差距上。
把运动拆成"骨架"和"误差补丁"
既然视觉信息能给出大方向但给不出细节,VITAL的解法听起来很朴素:把这两件事分开处理,分别给它们各自的学习目标。
研究者把这套方案叫做视觉运动脚手架加配对的度量残差。
视觉运动脚手架*:由视觉编码器从录制的图像序列里提取出的运动摘要,经过解码后能还原出一条粗略但方向正确的行驶轨迹。可以理解成轨迹的"骨架"。
具体来说,系统先用一个视觉编码器处理五帧画面(当前帧加上未来四秒内均匀采样的四帧),提炼出四个64维的"运动令牌",这些令牌经过解码器之后变成一条完整的轨迹,这就是脚手架。但脚手架和真实轨迹之间必然有差距,这个差距就是"骨架"没能覆盖到的那部分误差。
接下来是关键一步:研究者没有把这个误差直接扔给模型去死记硬背,而是用一种叫PCA的统计方法,把误差压缩成一组只有48维的"残差令牌",并且给这组数字做了标准化处理,让它们拥有自己独立的学习尺度。
PCA*:主成分分析,一种常见的降维方法,能把一堆看似复杂的数据,用更少的几个关键方向来概括,同时尽量不丢失太多信息。
为什么要专门给误差做标准化?因为脚手架的运动幅度动辄几米,而误差往往只有几厘米甚至几毫米,如果把两者混在一起直接训练,模型几乎注定会忽略那些数值很小的误差信号,就像让你同时记住一个人的身高和体重,你大概率会优先记住身高差异,因为它数字更大更显眼,哪怕体重的细微差别对健康判断更重要。给误差单独开一条"学习车道",让它不必和主干运动抢注意力,才是这套设计真正起作用的地方。
效果立竿见影。配上从真实轨迹编码出的残差后,重建误差从123.6毫米骤降到0.3毫米,终点误差从221.6毫米降到0.5毫米,而且残差部分的高频能量占比从0.1%飙升到61.4%,恰好印证了它承担的正是"捕捉快速局部变化"这个角色。仿真评分PDMS也从92.1分提升到94.7分。
PDMS*:NAVSIM平台用来综合评估自动驾驶轨迹的指标,涵盖碰撞规避、道路合规、行驶进度、舒适度等多个维度,满分100分。
这里有一个很值得琢磨的类比。想象你在给一份地图做导航标注,先用粗笔画出"从A到B大致要走哪条路",这是骨架,决定了不会走反方向;然后再用细笔在骨架旁边补上"这里要绕开一个水坑,那里要贴着墙根走",这是残差,决定了走得精不精细。如果你试图用同一支笔、同一种力度同时完成这两件事,粗线会画得啰嗦,细节又会画不准,这正是过去那些把所有轨迹信息混在一起训练的方法所面临的困境。分开用两支笔,各管一摊,才是VITAL的解法。
一步到位:不用反复"想象"就能出结果
光有精确的目标表示还不够,因为这套残差分解是在"已知未来画面"的前提下做的,而真正开车的时候,车是看不到未来的。
于是VITAL的第二个核心贡献,是训练一个动作专家,让它只凭当前的一帧画面、车辆自身状态和导航指令,就同时预测出脚手架令牌和残差令牌,完全不需要在推理时先生成一段未来视频再倒推动作。
这里用到的技术叫流匹配。
流匹配*:一种生成模型训练方法,核心思路是学习一个"速度场",把随机噪声逐步引导成目标数据,经过若干步数值积分就能从噪声还原出结果,和扩散模型有些相似但计算效率通常更高。
流匹配通常需要多步迭代才能从噪声生成清晰结果,这也是过去很多生成式规划模型推理慢的原因:每多一步迭代,就多一次完整的神经网络前向计算,对于需要实时响应的自动驾驶系统来说,这个延迟是致命的。VITAL做了一个大胆的尝试:只用一步欧拉更新,直接从噪声跳到结果。
实验结果显示,这一步到位的策略几乎没有损失精度。在NAVSIM v1测试集上,VITAL只用一次去噪步骤就拿到了90.8分的PDMS,而用十步迭代也只多了0.13分,达到90.9分左右。但推理速度呢?一步版本的端到端延迟是149毫秒,十步版本要490毫秒,整整快了3.29倍。
这就好比一个熟练的老司机和一个还在反复确认路况的新手司机,新手每次变道前都要前后左右看好几遍才敢动,老司机凭经验一眼扫过去就知道该怎么打方向盘。如果非要让老司机也像新手一样反复确认,看似更"稳妥",实际上只是在浪费时间,因为他脑子里早就把路况和动作的对应关系学扎实了。VITAL的一步推理,本质上就是把"反复确认"这个成本,提前消化到了训练阶段的目标设计里。
残差空间里的"微调手术":不换骨架只补细节
模仿学习训练出的策略终究是在模仿人类司机的平均行为,而不是在针对具体场景做最优决策。于是VITAL还加了第三道工序,叫结构保持的残差策略精炼。
这一步的核心思路是:训练完成后,把动作生成器和解码器全部冻结,只在残差这个狭小的坐标空间里,学一个很小的"修正演员",让它根据当前上下文输出一个有限幅度的修正量。
研究者设计了六个方向模板,涵盖纵向和横向的运动扰动,再经过几何白化处理,组成一个六维的修正空间。系统还给这个修正加了一个"安全阀":无论修正演员输出什么,最终的位置偏移不能超过1米,航向偏移不能超过0.2弧度,残差令牌的整体幅度也有上限。
训练这个修正演员用的是强化学习,但方式很克制:把训练场景分成"表现差的难例"和"表现好的锚点"两组,难例负责探索改进空间,锚点负责约束修正演员不要乱动,相当于给它定了规矩,表现已经不错的场景就别瞎折腾了,专心去啃那些容易出问题的场景。
这个设计思路很像给一位已经开了多年车的老司机配一个"副驾驶教练"。教练不会去夺过方向盘重新规划整条路线,那是驾驶员自己的判断,教练能做的,是在老司机已经决定往左并线的前提下,轻声提醒"再往右挪半米,别压线"。如果教练的权限大到可以直接接管方向盘重新选路,那风险反而会变大,因为教练的训练场景有限,万一遇到没见过的复杂路况,贸然接管可能比不管更危险。把修正权限死死限制在"已有计划附近的小范围内",恰恰是为了避免这种失控。
残差精炼带来的收益是实打实的:一步推理下PDMS从90.2提升到90.8,十步推理下从90.3提升到91.0。论文里还给出了几个具体案例,比如一个场景中轨迹原本因为压出了可行驶区域边界导致DAC评分归零、PDMS直接判零分,经过最大仅7.9厘米的微调后,PDMS从0分飙升到100分。还有一个场景里,通过微调绕开另一位道路使用者,时间碰撞余量评分从0分恢复到100分,PDMS从55.3涨到97.4。
但这套机制也有清醒的自我认知。论文在反应式连续场景navhard的测试里发现,残差精炼能提升第一阶段的表现(从82.3到83.3),却会让第二阶段的表现略微下降(从47.1到46.2),两者相乘后综合分数基本没变。这说明局部修正能优化"怎么把已有的路线走得更精确",但没办法替代"当场景彻底变了、需要换一条完全不同的路线"这种更本质的决策。这就好比教练能帮你把并线动作做得更丝滑,但如果前方突然出现施工路障需要你整个改道,教练这点修正权限根本帮不上忙,这时候就需要骨架本身,也就是脚手架预测,重新做出判断。
数据说话:这套方案到底强在哪
论文给出了一系列对比实验,用来证明这套"骨架加残差"的设计确实比单纯学轨迹坐标更有效,而不只是换了个花哨的名字。
在一个公平对比实验中,研究者让三种方法,分别是直接预测原始轨迹坐标、用一个纯轨迹自编码器学习的编码、以及VITAL的视觉残差编码,在完全相同的训练预算(一轮完整训练,4256次更新)下竞争。结果显示,原始轨迹方法只拿到55.0分PDMS,纯轨迹自编码器拿到64.9分,而VITAL拿到70.1分,领先纯轨迹方法整整5.1分。
这个对比很关键,因为它排除了"VITAL只是因为用了更多训练数据或更强的基础模型"这种可能性,在完全一样的起跑线上,仅仅是因为动作目标的构造方式不同,分数就能拉开5个百分点的差距。
更有意思的是分数的构成。论文做了一个拆解分析,发现纯轨迹自编码器的高分很大程度上来自"舒适度"这一项,达到99.6分(满分100),而VITAL的舒适度只有51.6分。但VITAL在碰撞规避、道路合规、行驶进度、碰撞时间余量这些更关乎"开得对不对"的指标上全面领先。研究者还用数学方式证明,哪怕把舒适度的理论最高贡献算上,VITAL靠舒适度能拿到的加分上限也低于自编码器实际拿到的加分,这意味着VITAL真正的优势来自更难的指标,而不是靠"开得慢开得稳"这种讨巧的方式刷分。
另外还有一组冻结特征探针实验,验证视觉信息对预测目标的帮助到底有多实在。研究者只给模型喂车辆状态和导航指令(不含视觉),再额外加入匹配的当前帧视觉特征对比,结果VITAL的目标在加入视觉后,平均位移误差从1.62米降到0.72米,PDMS从56.4涨到79.4。而如果故意把视觉特征打乱(让它和场景对不上),PDMS又跌回52.3分,这个对照清楚地说明,分数的提升确实来自视觉信息和场景的真实对应关系,而不是单纯因为多塞了一些数字进去。
在主要基准测试里,VITAL用一步推理拿到90.8分PDMS,在NAVSIM v2 navtest上不需要重新训练就拿到91.1分EPDMS,在更难的反应式navhard测试上拿到38.6分,这几个数字都超过了同期公开的SUV、SimWAM、Metis等多个对比模型在十步推理下的成绩。
有一个具体场景很直观地展示了精度差异:一辆车在弯道中,DiffusionDrive(两步推理)的平均位移误差是1.13米、终点误差2.60米,评分21.4;SUV(十步)误差1.65米和4.36米,评分58.3;SimWAM(十步)误差1.35米和3.77米,评分58.3;而VITAL只用一步推理,误差只有0.67米和1.82米,评分直接拉满到100.0。
写在后面
读完这篇论文最让我反复回味的一点,是那个"开天眼都测不准"的实验。
它其实在提醒一件容易被忽视的事情:我们常常把"模型预测不准"归咎于"看不到未来",但VITAL的实验证明,哪怕未来已经摆在眼前,视觉信息本身承载的精度上限也是有天花板的。这个天花板不是算力不够、模型不够大造成的,而是视觉这种信息载体本身的属性决定的。画面能告诉你"车往哪个方向偏",但很难直接告诉你"偏了几厘米"。这对所有想用纯视觉做精细决策的系统,都是一个值得警惕的信号。
还有一处细节让我觉得挺巧妙,就是那个高频能量占比的分析。研究者没有凭感觉说"残差捕捉的是细节",而是真的用频谱分析把这件事量化出来,0.1%对61.4%,一个数字就讲清楚了骨架和残差各自在干什么活。这种用信号处理的老方法去解释深度学习模型内部分工的思路,比单纯堆参数量更有说服力。
论文结尾也坦白承认了局限:残差精炼能微调已有的路线,但没法在场景剧变时重新选路。这个诚实的自我限定反而让我更信任这篇论文的结论,它没有把"局部修正"包装成"万能方案"。
那么下一步的问题是,如果反应式场景需要的不只是局部修正,而是整条骨架的重新生成,那这套残差机制是否也能扩展出一个"何时该扔掉旧骨架、重新来一次"的判断机制?这大概是留给后续研究者的一个有意思的接力棒。
Q&A
Q1:VITAL论文提出的核心方法解决了什么问题?
A:它解决了自动驾驶中视频预测和动作生成"各说各话"的问题,通过把行驶轨迹拆成视觉运动脚手架和度量残差两部分,让动作目标直接从视觉运动中提取,同时用残差弥补视觉重建留下的厘米级误差,兼顾大方向正确和局部精度。
Q2:VITAL为什么只用一步推理就能达到很高的精度?
A:因为它用流匹配训练了一个能直接从噪声预测出完整动作令牌的网络,一次欧拉更新就能生成可执行轨迹,实验显示一步推理的PDMS只比十步推理低0.1到0.2分,但推理速度快了3.29倍,证明多步迭代带来的边际收益非常有限。
Q3:VITAL里的残差强化学习精炼起到什么作用?
A:它在冻结的动作生成器基础上,只在一个六维的有限修正空间里训练一个小型修正演员,用来微调局部执行细节,比如把压出可行驶区域的轨迹拉回来,但它不能替代重新规划整条路线,论文实验也证实了这个局限。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。