
2018年前后,自动驾驶行业有一件挺拧巴的事。
工程师们发现,大语言模型懂得越来越多的世界知识,能看懂路牌文字、能理解复杂的交通场景、甚至能像人一样"推理"出一个陌生路口该怎么走。可一旦真要把这种"聪明"装进车里,麻烦就来了:这些模型想得越多,反应就越慢。
这不是一个小问题。开车这件事,慢一拍可能就是追尾和避让之间的区别。
于是整个行业陷入了一个两难:要么选一个反应快但"脑子空"的模型,要么选一个博学但反应慢半拍的模型。鱼和熊掌,好像真的不能兼得。
这篇来自北京大学、小鹏汽车和复旦大学团队的论文,提出了一个叫AUGUstus的方案,试图同时要鱼和熊掌。它在NAVSIM这个行业权威测试集上拿到了94.6分的PDMS成绩,离人类驾驶员的94.8分只差0.2分,而且推理速度能做到12赫兹的实时运行,已经在真车上跑过路测。
这个成绩是怎么来的,值得好好拆解一下。
这件事到底难在哪
VLA
:全称Vision-Language-Action,视觉语言动作模型,简单说就是一个既能看懂画面、听懂语言,又能直接输出驾驶动作(往哪开、开多快)的AI模型
目前市面上主流的自动驾驶VLA模型,大致分成三条路子,每条路子都有自己的死穴。
第一条路叫回归式方法,比如PWM这类模型。它的做法是直接从画面里"回归"出一个具体的方向盘转角和油门刹车数值。这种方法确实快,但它本质上绕开了语言模型的"理解"能力,模型看了一眼画面,直接甩出一个动作,中间不经过任何类似人类思考的过程。论文里说这类方法"缺乏显式的VLM知识",翻译过来就是:这车好像没真正看懂路况,它只是记住了类似场景该怎么打方向盘。
第二条路是用扩散模型或者流匹配技术来生成动作,代表是ReCogDrive。这条路解决了一个工程问题,就是让动作有了"分布",方便后续用强化学习去优化。但问题同样存在:生成动作的那个扩散模块跟负责理解画面的语言模型是分开的两套系统,语言模型看懂的东西,传不到动作模块那里去,等于白看了。
第三条路最老实,叫自回归式,像AutoVLA和AutoDrive-P3。这类模型会先生成一段思维链
CoT
:全称Chain-of-Thought,思维链,指模型在给出最终答案前,先用文字一步步推理的过程,类似人在做数学题时打草稿
,把"我看到了什么、这些车会往哪开、我该怎么应对"这些推理过程用文字写出来,然后再基于这段推理生成动作。这种做法确实把语言模型的理解力用上了,但代价是推理链条变得又长又慢。论文附录里提了一个具体数字:生成一段166个词的解释性文字,在H800显卡上要花4.5秒,而纯动作输出只要不到100毫秒。4.5秒是什么概念?一辆60公里时速的车,4.5秒能开出75米,足够发生好几次危险情况了。
三条路都走不通,问题出在哪?研究团队的判断是:大家把"理解"和"动作生成"当成了两个独立的阶段,一个负责想,一个负责做,中间用一道墙隔开。要么干脆不想(回归式、扩散式),要么想完了再做(自回归式)。而这篇论文想做的,是把这道墙拆掉,让理解这件事从一开始就服务于动作,而不是作为一个独立环节存在。
这就好比一个急诊室医生,如果让他先把病人的全部病史、化验单、影像报告写成一篇完整的病例分析,写完了再决定怎么抢救,那病人可能等不到那一刻。但如果医生完全凭经验直接下手,不看任何检查结果,又可能误诊。真正靠谱的做法,是医生在动手处理的同时,脑子里已经把关键信息过了一遍,这个过程不需要写成文字,但确实发生了,而且直接决定了他的下一步动作。AUGUstus想做的,就是让"思考"这件事以这种隐性但确实在起作用的方式,融入到动作生成里。
核心设计一:把生成和理解塞进同一个大脑
AUGUstus的第一个关键决定,是把两种原本分离的技术,强行统一进一个Transformer
Transformer*:一种目前主流的神经网络架构,大语言模型几乎都基于它搭建,核心能力是处理序列信息并让不同位置的信息相互"注意"到彼此
网络里。
一边是基于扩散的连续动作生成,模型直接预测出未来几秒钟的行驶轨迹坐标;另一边是自回归的CoT理解,模型用文字描述路上有哪些关键物体、它们接下来可能往哪走。这两件事过去是分开训练、分开运行的两套系统,现在被塞进了同一套参数里,共享同一个表征空间。
这里有个关键的技术细节值得展开说说。论文用的是一种叫"流匹配"
流匹配
:Flow Matching,一种生成模型技术,通过学习如何把一个随机噪声逐步转化成目标数据(这里是轨迹)来实现生成,和扩散模型是同类技术,但训练和采样效率通常更高
的技术来生成轨迹,具体做法是让模型直接预测"干净"的目标轨迹,而不是像传统扩散模型那样预测每一步要去除多少噪声。这个选择的好处是,当模型足够自信时,理论上一步去噪就能拿到最终答案,不需要像传统扩散模型那样反复迭代几十步。这直接决定了后面能不能做到实时部署。
有意思的是,模型同时还在学着生成一段文字描述,这段文字说的不是"我该怎么开",而是"周围的车和行人大概会出现在什么位置"。团队测试了好几种不同内容的CoT(纯感知描述、纯规划描述、感知加预测的混合描述、极度压缩的描述),结果发现,专门描述其他交通参与者未来位置的这种"预测型CoT"效果最好,PDMS从不加CoT的89.2分提升到90.6分,而且提升主要体现在"不压线行驶"这个安全指标上,从96.8分跳到97.9分。
反而是把感知、预测、规划全部塞进一段文字里的"大杂烩"CoT表现更差,只有89.6分。更极端的是,团队还试过一种极度精简的编码方式,把每个场景的描述压缩到大约14个词,结果PDMS反而跌到89.1分,比完全不用CoT还差。这说明CoT这东西不是越多越好,也不是越短越好,关键是内容要对准"动作需要什么信息"这件事,而不是对准"怎么把场景描述得全面"。
这就像一个老司机开车时脑子里过的念头。他不会在脑子里完整复述"前方那辆白色轿车车牌是什么、它的具体坐标是多少",那种细节描述对开车没什么帮助。他脑子里真正在跑的是"那辆车接下来要并道了"这种预判。如果让他把所有能看到的细节都写成报告,那是浪费时间;如果什么都不想,直接凭反射动作,又容易出事。AUGUstus的做法本质上就是在学这种老司机式的"够用就好"的隐性判断,而不是写一篇面面俱到的交通事故分析报告。
核心设计二:颠倒顺序,让思考不拖后腿
光是把理解和生成塞进同一个模型还不够,因为如果还是按照"先想后做"的顺序来运行,推理速度照样慢。
这里就是AUGUstus整篇论文里最巧妙的一步棋,团队管它叫AUGUstus-mode
AUGUstus-mode*:论文提出的核心训练与推理范式,核心思路是训练时让动作在前、CoT思维链在后,但CoT的监督信号会反向影响动作的生成质量;推理部署时则直接跳过CoT,只输出动作,从而兼顾训练阶段的理解深度和推理阶段的速度
。
具体做法是,在训练阶段,把输出顺序倒过来:先让模型生成动作,再让模型基于已经生成的动作去生成CoT文字。注意力机制上也做了配合,动作部分是双向注意力(能看到前后所有上下文),CoT部分是单向的因果注意力,而且CoT能"回头看"已经生成的动作,但动作永远看不到CoT。
这个顺序颠倒带来的效果是,CoT的监督信号虽然在"动作之后"才产生,但训练时的梯度会反向传播,重新塑造动作部分的内部表征。换句话说,模型在生成动作的那一刻,虽然还没有显式写出推理文字,但因为训练时被要求事后要对着这个动作去描述周围风险物体的位置,模型内部已经被迫把这些关键信息编码进了动作表征里。到了实际部署的时候,CoT这一步直接跳过不生成,只输出动作,速度就上来了。
论文里的消融实验数据很能说明问题。三种设置对比:完全不用CoT训练,PDMS是89.2分;CoT放在动作前面(也就是传统的先想后做),PDMS是90.6分,但推理耗时高达4587毫秒;AUGUstus-mode把顺序倒过来,PDMS同样是90.6分,推理耗时却只要73.6毫秒。
这组数字说明了一件很违反直觉的事:思考的顺序其实不影响最终学到的东西好不好用,但严重影响使用这个东西要花多久。这就好比两个人准备同一场考试,一个人是先做题再对着错题写反思笔记,另一个人是先把整本参考书的重点抄一遍笔记再开始做题。如果最终考试成绩是一样的,那显然第一种方式更划算,因为真正上考场的时候,没人会给你时间先抄笔记。AUGUstus-mode本质上就是把"写反思笔记"这件费时间的事,压缩到了训练阶段去完成,考试(也就是实际开车)的时候只需要凭训练出来的直觉做题。
论文还做了一个很直观的可视化实验来验证这一点。研究者对比了有没有经过CoT训练的模型,在生成动作时注意力到底落在了画面的哪些区域。结果显示,没有CoT训练的模型,注意力高度集中在正前方跟随的那辆车上,对周围车道的车辆几乎视而不见;而经过CoT训练的模型,注意力会分散到更大范围的相关物体上,包括侧面车辆、行人和骑车人。论文里给出一个具体数字,在一个场景里,经过CoT训练的模型有46%的注意力落在了一个靠近的风险物体的框内,而没有经过CoT训练的模型这个比例是0%。这直接导致了具体的行为差异:在论文展示的几个碰撞案例里,没有CoT训练的模型会直接撞上去,而有CoT训练的模型会提前识别风险并绕开。
核心设计三:用强化学习给模型做"路考"
有了架构和训练顺序这两步,团队还做了第三件事,就是用强化学习继续打磨模型,这部分叫AUGUstus-GRPO
GRPO*:全称Group Relative Policy Optimization,组相对策略优化,一种强化学习算法,核心思路是让模型针对同一个问题生成多个候选答案,然后根据这组答案里谁相对更好来调整模型,不需要额外训练一个专门打分的价值网络
。
这里的技术挑战在于,GRPO原本是为离散的文字token设计的算法,怎么把它用到连续的动作轨迹上,并不是一件显而易见的事。团队推导出了一套叫JaT-GRPO
JaT-GRPO*:论文提出的针对连续流匹配动作的GRPO变体,核心贡献是推导出一个封闭形式的重要性采样比率和KL散度计算公式,让GRPO这种原本用于离散文本的算法可以直接套用到连续轨迹生成上
的数学方法,核心是证明了在这种特定的流匹配去噪过程里,重要性采样比率和KL散度都能写成一个干净的解析式,不需要近似计算。这个数学推导保证了GRPO可以稳定地用在只需要一步或几步去噪的场景里,这对实时部署非常关键,因为如果强化学习只能在几十步去噪的场景下生效,那训练出来的模型压根没法直接拿去跑单步推理。
训练策略上,团队用了一个两阶段的流程,灵感来自之前的"先跑后走"调度思想。第一阶段叫"跑"阶段,奖励信号直接用行业标准的PDMS分数,目的是让模型先学会大胆地往前开,别畏手畏脚。第二阶段叫"走"阶段,奖励信号换成了终点精度加安全性,目的是在保持进度的基础上把动作磨得更稳更安全。
为什么要分两阶段,而不是一开始就把安全性塞进奖励里?团队给出的解释很实在:到了训练后期,一组候选轨迹的PDMS分数会变得几乎一样(标准差只有0.02左右),这时候继续用PDMS当奖励信号,噪声比信号还大,模型根本学不到东西。而且直接优化PDMS这个综合指标,会出现顾此失彼的情况,比如为了拼进度分,悄悄牺牲一点点安全裕度。所以第二阶段换成了更细粒度的终点误差和安全性奖励,这样奖励信号在组内才有足够的区分度。
消融实验的数字很清楚地展示了两阶段各自的贡献:从监督微调后的90.6分,第一阶段强化学习把PDMS拉到94.0分,提升了3.4分;第二阶段再往上拱到94.6分。而如果去掉CoT相关的奖励,只用JaT-GRPO优化动作本身,PDMS会掉到92.6分,少了2分。这说明让CoT也参与到强化学习的优化里,而不是只优化动作本身,确实是有实打实的收益的。
这个两阶段设计让我想起学车的过程。刚开始学倒车入库,教练不会一上来就纠正你方向盘打了几圈,而是先让你把车开进库里再说,哪怕歪歪扭扭。等你能稳定开进去了,教练才开始抠细节,比如压线了没有、速度是不是太快。如果一开始就同时纠正进度和细节,学员大概率会手忙脚乱,什么都学不好。AUGUstus的两阶段训练本质上是同样的道理,先解决"能不能到"的问题,再解决"到得好不好"的问题。
成绩单:这套方案到底行不行
说了这么多设计思路,最终还是要看成绩单。
在NAVSIM v1这个测试集上,AUGUstus只用一步去噪就拿到了94.0分的PDMS,用三步去噪能到94.6分,而人类驾驶员的参考分数是94.8分。更值得注意的是,这个成绩是在不需要额外打分模块的情况下拿到的,模型只生成一条轨迹,不像有些方案需要生成几十条候选轨迹再挑一条最好的。
对比一下同期的其他方案:AutoVLA是89.1分,ReCogDrive是90.6分,AutoDrive-P3是90.2分。AUGUstus比这些方案都高出好几分,这个差距在自动驾驶这种对安全极度敏感的领域里,分量不小。
在升级版的NAVSIM v2测试集上,AUGUstus拿到了90.7分的EPDMS(加人类惩罚过滤后),同样是公开报告里的最好成绩。而在另一个常用的nuScenes测试集上,AUGUstus的平均轨迹误差是0.27米,平均碰撞率是0.05%,两项指标都是对比方法里最好的。0.05%的碰撞率意味着什么?大概是每开2000次类似场景,才会出现一次碰撞风险,相比之下排名靠后的一些方法碰撞率能到0.48%,差了快10倍。
除了公开测试集,团队还做了一件挺实在的事,就是真的拉了512块H800显卡,花了大约两天时间在自己的内部数据集上训练模型,然后在内部一个1000公里的测试集上做评估,最后还把模型部署到了真车上,在广州做了初步路测。测试结果显示,AUGUstus在安全性、舒适性和效率这三项上都优于对比的回归式和流匹配式基线,尤其是安全性和舒适性两项差距最大。推理速度方面,本地单卡跑到了13.6赫兹,装车之后考虑到传感器延迟等因素,实际跑到了12赫兹。
12赫兹意味着什么?意味着车辆每秒钟能重新评估和规划12次,大约每83毫秒刷新一次决策。对比之下,前面提到的那种需要生成多条候选轨迹再打分的方案,如果要生成32到64条候选轨迹,耗时会随着候选数量线性增加,根本没法做到这个速度,这也是为什么论文反复强调"不需要打分模块"这件事的价值。
这篇论文和此前的几个工作有直接的继承关系,值得单独说一说。AutoDrive-P3这篇论文(同一批作者里有重合)之前提出了"感知-预测-规划"统一思维链的思路,用强化微调的方式训练模型,这次AUGUstus在CoT内容设计上延续了这个框架里"预测型CoT"的定义,并通过实验验证了这确实是效果最好的一种CoT形式。另外,AUGUstus-GRPO里的两阶段训练策略,直接借鉴了团队自己此前提出的"先跑后走"调度方法,这个方法原本是用来解决强化学习训练早期和后期需求不一致的问题,这次被直接搬过来用在了动作和CoT的联合优化上。
写在后面
读完这篇论文,有个地方让我反复琢磨了很久,就是那个"思维链放在动作之后"的设计。
这个顺序颠倒听起来像个小技巧,但它背后其实在回答一个更根本的问题:我们到底需要AI"说出"它的推理过程,还是只需要它"用上"这个推理过程就够了?
在很多人的直觉里,这两件事应该是一回事,一个模型要是真的理解了场景,它应该能说清楚自己为什么这么判断,说不清楚就等于没理解。但AUGUstus这个实验结果说明,至少在自动驾驶这个场景里,"说出来"和"用上"是可以拆开的,模型完全可以在不生成任何解释文字的情况下,把本该通过解释文字才能学到的那种判断力,内化进自己的直觉反应里。
这让我想起一个反直觉的类比。一个经验丰富的翻译,口译的时候脑子转得飞快,根本来不及把每句话的语法结构在脑子里完整分析一遍再开口,但他依然能准确翻译,因为那种语法判断力早就在日复一日的刻意练习里变成了肌肉记忆。而刚入行的新手翻译,可能需要在脑子里把句子结构完整拆解一遍才敢开口,所以总是慢半拍。AUGUstus-mode某种程度上是在用训练的方式,把模型从"新手翻译"状态,逼成"老手翻译"状态。
还有一点值得单独拿出来说,就是团队测试CoT内容时那个反常识的发现:把所有信息塞进一段CoT里(感知+预测+规划),效果反而不如只保留预测这一项。这说明对AI来说,信息过载和信息不足一样有害,多塞进去的那些"感知细节"和"规划语言",不仅没帮上忙,反而稀释了真正有用的"预测"信号。这件事放在人类学习上同样成立,一份信息密度过高、什么都想讲全的学习资料,往往不如一份只讲清楚一个重点的资料有效。
这篇论文没有解决的问题也挺明显的,比如CoT虽然在训练时起了作用,但部署时完全不生成,这意味着出了事故之后,这辆车没法像自回归方案那样给出一段"我当时是这么想的"的文字解释,这对事后追责和系统调试可能是个麻烦。如果有一天出了事故,但系统没法解释自己做了什么判断,这事该怎么办?
Q&A
Q1:AUGUstus是什么?
A:AUGUstus是北京大学、小鹏汽车和复旦大学团队提出的自动驾驶VLA模型,核心创新是把扩散式动作生成和自回归思维链理解统一进同一个Transformer网络,既能利用语言模型的理解能力生成更安全的轨迹,又能做到实时低延迟部署。
Q2:AUGUstus-mode是怎么解决速度和理解力矛盾的?
A:它把传统"先思考再行动"的顺序倒过来,训练时让动作先生成、思维链后生成,但思维链的监督信号会反向塑造动作的内部表征;实际部署时直接跳过思维链生成环节,只输出动作,这样既保留了训练阶段的深度理解,又把推理耗时从4587毫秒压缩到73.6毫秒。
Q3:AUGUstus在实际测试中表现如何?
A:在NAVSIM v1上拿到94.6分PDMS,接近人类驾驶员的94.8分;在nuScenes上平均轨迹误差0.27米、碰撞率0.05%,均为同类方法最优;团队还在真车上实现了12赫兹的实时运行,并在1000公里内部数据集上验证了安全性、舒适性和效率的优势。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。