华科大与地平线联手：让自动驾驶汽车像老司机一样学会"趋利避害"

这项由华中科技大学与地平线机器人公司联合开展的研究，发表于2026年4月，论文编号为arXiv:2604.15308，有兴趣深入了解的读者可以通过该编号查询完整论文。

**研究概要：当自动驾驶遇上"只会模仿、不会思考"的困境**

每次坐上出租车，你大概都不会希望司机只是在机械地复现驾校教练的动作，而是希望他能真正理解路况、预判风险、灵活应对。然而，当前很多自动驾驶系统恰恰面临这样的尴尬：它们接受了大量人类驾驶录像的"培训"，学会了模仿人类的操作，却缺乏真正的判断力。遇到新情况，它们要么过于保守，要么莫名其妙地冒险，甚至会出现教科书式的"翻车"——在教科书里从未见过的场景面前茫然失措。

华科大与地平线的研究团队正是盯上了这个痛点。他们提出了一套叫做"RAD-2"的系统，核心思路是把自动驾驶的规划过程拆成两个互相配合的角色：一个负责"出主意"的"提案员"，以及一个负责"拍板定案"的"审核员"。提案员用一种叫做扩散模型（diffusion model）的技术，源源不断地生成各种可能的行驶路线；审核员则通过强化学习，在模拟的道路环境中不断试错、积累经验，最终练就一双能识别哪条路线更安全、更高效的慧眼。两者相互促进，共同推动驾驶策略向更优的方向演化。

实验结果显示，与目前主流的扩散模型规划器相比，RAD-2将碰撞率降低了超过56%，而且在真实道路测试中，乘客感受到的安全感和驾驶平顺性也明显提升。

---

**一、为什么"只靠模仿"的自动驾驶会出问题**

回想一下你学游泳的经历。教练在岸上示范标准动作，你在水里照着做——这种"模仿学习"能让你掌握基本姿势，但遇到逆流或者其他人突然冲过来，你就只能靠自己临场反应了。自动驾驶领域的"模仿学习"（Imitation Learning，简称IL）也是同样的逻辑：用真人驾驶数据训练模型，让车辆学着人类的样子开车。

这种方式有几个天然的弱点。真实道路的驾驶数据并不均匀，危险场景本来就少，导致模型对这些关键情形的学习不够充分，偶尔会吐出一些奇怪的、不安全的轨迹。更深层的问题在于，模仿学习只告诉模型"什么是对的"，却从来不告诉它"什么是错的"——没有负面反馈，模型就无法真正理解危险的边界在哪里。此外，模仿学习是在离线数据上训练的，而真实驾驶是一个持续交互的过程：你的行为会改变路况，路况又反过来影响你的决策。脱离了这种闭环，模型一旦偏离训练数据的分布，错误就会像滚雪球一样越滚越大。

**二、扩散模型：让车辆学会"异想天开"**

为了突破模仿学习的局限，研究者引入了扩散模型作为轨迹生成的基础。扩散模型的工作原理可以用做雕塑来理解：从一块随机形状的泥土出发，通过一步一步精细打磨，最终雕出一个具体的形状。对应到驾驶规划里，就是从一条随机噪声轨迹出发，反复"去噪"，最终生成一条符合当前路况的行驶路线。

扩散模型的优势在于，它天生就能生成多条各不相同的轨迹候选——就像一个头脑风暴会议上，与会者能提出各种不同的方案，而不是只给出一个标准答案。这对自动驾驶非常重要，因为真实路况下往往存在多种合理的应对策略：你可以减速等待，也可以换道超车，还可以调整间距跟随。拥有多样化的候选方案，才有可能从中选出最优的一条。

然而，扩散模型本身并不能评判哪条轨迹更好。它的职责只是"出主意"，至于哪个主意真正可行，它并不在行。这就引出了RAD-2框架的核心设计：需要另一个角色来做"审核员"。

**三、强化学习驱动的"审核员"：在虚拟世界里磨砺判断力**

审核员在RAD-2中被称为"判别器"（Discriminator）。它的任务是接收扩散模型提案员提供的一批候选轨迹，然后给每条轨迹打一个0到1之间的分数，分数越高代表这条轨迹越安全、越高效。最终，系统选出得分最高的那条轨迹去执行。

判别器的训练方式与提案员完全不同，用的是强化学习（Reinforcement Learning，简称RL）。强化学习的逻辑类似于训练宠物：做对了给奖励，做错了受惩罚，通过无数次试错，慢慢积累出正确的行为模式。在自动驾驶场景里，"奖励"对应的是行驶全程没有碰撞、保持合理速度、顺利完成导航；"惩罚"则对应危险行为或效率低下。

这里有一个关键的工程难点：强化学习给出的"奖励"是一个简单的数字（比如"这段行驶得了0.96分"），而车辆的行驶轨迹是一串复杂的坐标序列，包含时间维度、空间维度、速度、加速度等大量信息。直接用一个简单数字去优化如此复杂的高维输出，就像用一句"感觉不错"来指导一个雕塑家修改一件复杂的艺术品——反馈太模糊，优化效率极低，甚至会让优化过程陷入混乱。RAD-2的聪明之处在于，它不让强化学习直接优化轨迹本身，而是只用它来优化判别器——判别器的输出只是一个0到1之间的分数，维度低、结构简单，与奖励信号天然对齐，优化起来稳定得多。

**四、提案员也不能躺平：纵向优化的精妙设计**

只有判别器进步还不够。如果提案员生成的候选轨迹质量太差，判别器再厉害，也只是在一堆烂苹果里挑最好的那个。因此，RAD-2同时对提案员进行了优化，使用了一种叫做"在线策略生成器优化"（On-policy Generator Optimization，简称OGO）的方法。

OGO的思路是把来自模拟环境的反馈信号，转化成对轨迹的"纵向"（longitudinal）调整建议，再用这些建议来微调提案员。所谓"纵向"，指的是沿着行驶方向的速度和加速度控制，而不是横向的转向方向。这个区分非常重要：横向方向决定了路线的形状（走哪条路、怎么转弯），纵向方向决定了路线上每一段走多快。OGO的做法是保持路线形状不变，只调整速度节奏。

具体来说，当模拟中发现车辆距离前方障碍物的时间余量（即"碰撞时间"TTC）过短时，系统会自动对原始轨迹施加"减速压缩"——在同样的时间内少走一些距离，相当于降速。反过来，当车辆明显落后于参考轨迹、且周围空旷安全时，系统会施加"加速延伸"——在同样的时间内多走一些距离，提升行驶效率。这些经过调整的轨迹被收集起来，作为新的训练数据，让提案员逐渐向这些"更好的轨迹"靠近。

这种方式有一个重要的好处：调整是在一个低维度（速度/加速度）上进行的，不会破坏轨迹的整体形状，因此优化过程非常稳定，不会让提案员产生"人格分裂"式的剧烈变化。

**五、时间一致性：解决"功劳该记在谁头上"的难题**

在强化学习中，有一个经典难题叫做"信用分配问题"（credit assignment problem）。简单说就是：这次行驶得了高分，但究竟是哪个时刻的哪个决策造就了这个好结果？

对于自动驾驶来说，这个问题尤其棘手。车辆在行驶过程中每隔一小段时间就要重新规划一次轨迹，如果每次规划都在不同的候选轨迹之间随机跳跃，那么行为就会显得杂乱无章，也很难判断某个具体决策对最终结果的贡献有多大。这就像你在一局棋的每一步都随机地换一种风格下棋，最后复盘时根本搞不清楚到底是哪几步导致了输赢。

RAD-2通过"轨迹复用机制"来解决这个问题。每次选出一条最优轨迹后，系统不会在下一时刻立刻重新规划，而是把这条轨迹"锁定"执行一段固定的时间（研究发现锁定8个时间步效果最好）。这样一来，一段时间内的驾驶行为就具有了连贯性，好比你下棋时连续几步都遵循同一个战略构想，复盘时就能清晰地评估这个构想的效果。

在此基础上，研究团队提出了"时间一致性群组相对策略优化"（Temporally Consistent Group Relative Policy Optimization，简称TC-GRPO）。这个方法在每次优化时，把从同一个初始状态出发的多条轨迹（比如4条）作为一组，计算它们各自的奖励，然后用组内的平均值和标准差来归一化每条轨迹的"优势"（即这条轨迹比组内平均水平好多少或差多少）。这种相对比较的方式，让优化信号更加清晰准确，有效避免了奖励信号被噪音稀释的问题。

**六、BEV-Warp：打造高效的虚拟训练场**

强化学习需要大量的交互数据，这就意味着需要一个能够高速运行的模拟环境。现有的模拟器各有各的短板：游戏引擎（如CARLA）的虚拟场景与真实世界差距较大，重建式模拟器（如基于3D高斯泼溅技术的系统）对每个场景都需要单独重建，成本极高；生成式世界模型计算量庞大，长时间运行会累积误差。

RAD-2团队设计了一种全新的模拟环境，叫做"BEV-Warp"。BEV（Bird's-Eye View，鸟瞰图）是自动驾驶常用的一种场景表示方式，把传感器捕捉到的周围环境信息投影到一张从上往下看的平面特征图上。BEV-Warp的核心技巧是：当车辆因为采用了不同于原始录像的轨迹而偏离了原本的位置时，不去重新生成整个场景，而是直接对已有的BEV特征图做一个几何变换（空间扭曲）来模拟新视角下的场景。

这种方式的依据是BEV特征图具备"空间等变性"——通俗地说就是，场景里的物体（比如一辆车或一条车道线）在BEV特征图上的位置，与它在现实空间中的位置严格对应。当车辆向前移动了10米、转向了1度，BEV特征图上对应物体的位置也会做出相应的几何偏移，而不会产生混乱。研究团队用实验验证了这一点：对特征图施加空间扭曲后，用预训练的感知模块解析出的3D目标框位置，与真实世界中的物体位置完美对应。

这种方法彻底绕开了昂贵的图像渲染过程，速度极快，能够支撑大规模的强化学习训练。

**七、从实验数据看成效**

研究团队在两套评估环境中对RAD-2进行了全面测试。第一套是基于BEV-Warp的封闭环仿真，共收集了5万段真实驾驶片段，筛选出各1万段安全导向和效率导向的场景用于训练，各512段用于评估。第二套是基于3D高斯泼溅（3DGS）的照片级真实感仿真，使用了另一项研究（Senna-2）提供的基准数据集。

在BEV-Warp环境的安全导向场景评估中，以当前最强的扩散模型规划器ResAD为基准，碰撞率从0.533降到了0.234，降幅超过56%；责任碰撞率（即车辆自身决策失误导致的碰撞）从0.264降到了0.092；在1秒和2秒安全裕量指标（Safety@1/Safety@2）上，数值从0.418/0.281提升到了0.730/0.596。在效率导向场景中，行程完成率（EP@1.0，即完成100%导航目标的场景比例）从0.516跃升至0.736，90%完成率指标（EP@0.9）则从0.894提升至0.984。

在照片级真实感的3DGS环境中，RAD-2同样拿到了最低碰撞率（0.250）和最高安全裕量指标（Safety@1为0.723，Safety@2为0.644），超过了此前在该基准上表现最好的Senna-2系统。

此外，研究团队还在开环（open-loop）基准测试中验证了轨迹预测的精准度。开环测试不涉及实时交互，只是把模型预测的轨迹与人类驾驶的实际轨迹做比较。RAD-2在六种典型驾驶场景（车辆跟车启动、跟车刹停、换道、路口、弯道、急刹车）上，将平均位移误差（ADE）降至0.208米、最终位移误差（FDE）降至0.553米，碰撞率也降到了0.142%，均优于此前所有对比方法。

**八、深入拆解：每个设计选择背后的逻辑**

研究团队做了大量消融实验，逐一验证各个设计选择的必要性。

关于轨迹复用的时间步数，实验发现，步数设为2时，模式切换过于频繁，强化信号噪声大，安全表现最差；步数增大到8时，安全和效率达到最佳平衡；步数继续增大到16时，虽然效率数字略有提升，但安全指标下滑，因为过长的锁定时间降低了车辆对突发情况的反应能力。

关于训练片段的筛选机制，研究发现如果保留所有片段（包括那些多次运行结果几乎相同的"无聊片段"），训练过程会出现明显的震荡和不稳定；而丢弃这些"奖励方差过低"的片段，仅保留结果差异明显的高信息量片段，训练曲线会更加平稳，效率指标也有显著提升。

关于判别器的初始化方式，实验对比了随机初始化和从预训练规划头（planning head）迁移权重两种方案。结果显示，随机初始化的判别器在安全指标上明显落后，这是因为预训练的规划头已经积累了对场景和轨迹的基本理解，迁移过来能为判别器提供一个良好的起点。

关于TC-GRPO的组大小，组大小为4时综合表现最佳；增大到8时效率数字略有提升，但安全指标下降。研究者认为，过大的组会引入更多的组内噪声，反而稀释了奖励信号的准确性。

关于熵正则化（entropy regularization），这是一种防止判别器对所有轨迹都给出极端分数（要么全是0分、要么全是1分）的机制。实验显示，没有熵正则化时，判别器的分数分布会迅速坍缩，导致多样性丧失，安全指标也随之下降；加入熵正则化后，分数分布保持健康的多样性，优化过程更加稳定。

关于训练场景的组合，纯安全导向的训练会让车辆过于保守，效率极差；纯效率导向的训练会让车辆在高风险场景中表现危险；只有混合两种场景，才能让车辆学会在安全与效率之间灵活权衡。

**九、训练规模越大，效果越好**

研究团队还专门分析了不同训练策略在"用同样多的训练数据（环境交互步数）能取得多好的效果"这一维度上的差异，以考察各方案的数据效率。

对比了三种策略：只训练判别器（提案员固定不动）、先训练提案员再训练判别器的两阶段流程，以及同时优化两者的联合训练方案。结果表明，只训练判别器的收益十分有限，因为提案员不改进，候选轨迹的质量天花板也不会提升；两阶段方案有所进步，但由于两个阶段的数据是分离的，数据利用率不高；联合训练方案不仅最终效果最好，而且同样的训练数据量下收益曲线上升最陡，即用更少的数据就能达到更好的效果。这一发现意味着，随着训练数据的进一步扩大，RAD-2的提升空间依然很大。

**十、推理时的"多想一想"也有奇效**

RAD-2还具备一种不需要重新训练就能进一步提升性能的能力：在推理时生成更多的候选轨迹。模型训练时默认生成32条候选轨迹，但在实际使用时，可以把这个数字调高。

实验显示，候选数量从8增加到128，路线完成率（EP@1.0）从0.667稳步提升至0.814，碰撞率也基本维持在较低水平。这意味着，只要有更多的计算资源，系统就能在更大的方案空间里搜索，找到质量更高的轨迹，而不需要重新训练任何模型。这种特性在工业界被称为"推理时扩展"（inference-time scaling），在大语言模型领域已经被广泛验证，RAD-2将其成功迁移到了自动驾驶轨迹规划领域。

---

说到底，RAD-2做的事情可以用一句话概括：把"凭感觉模仿"的自动驾驶，升级成了"在实践中学习判断力"的自动驾驶。提案员负责脑洞大开、广撒网；审核员负责在虚拟世界里磨砺经验、精挑细选；两者互相促进，形成一个持续进化的闭环。这种设计思路不仅在当前的实验数据上取得了显著成效，更重要的是，它提供了一条清晰的通向更高安全性的工程路径：只要训练数据更多、模拟环境更真实、推理时算力更充足，系统的表现就能水涨船高。

对于每一位未来的自动驾驶车辆乘客而言，这项研究的意义在于，我们距离那个"车辆像老司机一样懂得见机行事"的未来，又近了一步。不过，研究者也坦诚地指出了当前的局限：BEV-Warp的高效性建立在BEV特征图的空间等变性上，对于不依赖BEV结构的架构并不适用；而生成式世界模型虽然灵活性更强、保真度更高，目前仍面临计算开销大、长时间运行误差累积等挑战，这些都是未来需要继续突破的方向。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2604.15308获取完整论文。

---

**Q&A**

Q1：RAD-2中的"扩散模型"是用来做什么的？

A：在RAD-2里，扩散模型充当"提案员"的角色，负责从随机噪声出发、经过多步去噪，生成多条各不相同的候选行驶轨迹。它的优势在于能产生覆盖多种可能行为的多样化方案，比如减速等待、换道超车或保持跟随，为后续的判别器提供丰富的选择空间。

Q2：BEV-Warp模拟环境为什么能比其他模拟器更快？

A：BEV-Warp不需要重新渲染图像。它利用鸟瞰图特征具有空间等变性这一特点，直接对已有的特征图做几何变换来模拟车辆移动后的新视角，彻底绕开了耗时的图像生成过程，因此速度极快，能支撑大规模强化学习训练。

Q3：RAD-2的碰撞率降低56%是在什么条件下测出来的？

A：这一数据来自BEV-Warp仿真环境中的安全导向场景评估，基准对比方法是扩散模型规划器ResAD，其碰撞率为0.533，RAD-2将其降低至0.234，降幅超过56%。测试使用了512个专门筛选的高风险交通场景，这些场景在正常驾驶中出现的频率较低但危险性较高。