当自动驾驶的"群演"既要演技在线又要戏路宽广，NAVER LABS的研究团队做出了这样的选择

这项由韩国NAVER LABS公司研究团队完成的论文于2026年7月8日发布在预印本平台arXiv上，论文编号为arXiv:2607.06957v1，研究方向属于机器人学与计算机视觉交叉领域，目前已提交至IEEE等待正式发表。

要理解这项研究解决的是什么问题，不妨先把自动驾驶汽车的开发过程想象成一场大型电影拍摄。自动驾驶系统是主角，而路上其他的车辆、骑行者、行人则是无数配角——或者说"群演"。在真正上路之前，开发团队需要在摄影棚里用仿真环境反复排练。问题是，这些仿真的"群演"必须表现得足够真实，才能让主角（也就是自动驾驶系统）得到有效的训练；而且这些群演还必须足够多样，能演出各种剧情，比如突然变道、行人横穿马路、骑行者急转弯，这样主角才不会在遇到意外时手足无措。

然而，目前业界主流的仿真系统在这两个目标之间陷入了两难困境：要么演得太单调（只会走直线，缺乏多样性），要么演得不像真人（动作夸张失真，缺乏真实感）。NAVER LABS的研究团队针对这个困境，提出了一套名为**Flow-ERD**的新型多智能体交通仿真框架，目标就是让这些仿真"群演"同时做到演技在线与戏路宽广。

这项研究在业界最权威的自动驾驶仿真评测——Waymo开放仿真智能体挑战赛（WOSAC）——的2025年测试榜单上拿到了真实感第一名，同时在多样性评测上也遥遥领先所有可复现的对比方案，是一个在两个维度上同时突破的工作。

一、仿真"群演"的两大考验：演技与戏路

在正式介绍这个新方案之前，有必要先说清楚，为什么这件事比表面看起来要难得多。

在自动驾驶仿真领域，研究人员用"真实感"来衡量仿真中的交通参与者行为是否贴近真实世界的数据记录，用"多样性"来衡量同一个初始场景在多次模拟时能不能产生各种不同的演化走向。一个理想的仿真系统，应该在每次运行时都能生成真实可信、同时又各不相同的场景，这样才能全面测试自动驾驶系统在面对各种突发情况时的表现。

目前主流的仿真方案大致可以分为两类，分别对应着两种不同的表演方式。第一类方法叫做"下一个词预测"，可以把它想象成演员只能从一个事先准备好的台词本里挑台词来说。这些台词（也叫"动作词汇表"）是从真实驾驶数据中提炼出来的，所以演员说出来的话通常听起来非常自然可信，而且不同类型的角色（汽车、自行车、行人）会有不同的台词本，不会出现"汽车演出行人的台步"这种穿帮。但问题在于，台词本的数量是有限的，演员永远只能从这几百个台词里选，永远无法说出台词本以外的话，这就从根本上限制了多样性。

第二类方法叫做"连续生成模型"，尤其是近年来大火的扩散模型（Diffusion Model），它不给演员准备台词本，而是让演员自由发挥。这种方式消除了台词本的束缚，理论上能产生无限多样的行为。但自由发挥也带来了风险：演员可能会说出一些违反物理规律或者不符合自己角色特性的台词，比如让汽车像行人一样横向滑移，或者产生其他奇怪的动作。更麻烦的是，在仿真运行过程中，这一步的"穿帮"会被下一步的预测当作输入，错误越积越多，最终导致整个仿真场景崩溃。

这两类方法的对立，在学术界被称为"真实感与多样性的权衡"。Flow-ERD想要做的，就是打破这个权衡，把两种优点结合到一起。

二、给"群演"装上类型感知的身体动作系统

Flow-ERD的第一个核心组件叫做**Agent-Type Aware Flow Matching（AFM，智能体类型感知流匹配）**。要理解它的设计逻辑，先来聊聊它的两个灵感来源。

流匹配（Flow Matching）是一种先进的连续生成方法，属于扩散模型的"近亲"。可以这样理解它的工作原理：把噪音想象成一团随机乱飞的雪花，流匹配的任务是训练出一套"风场"，让这团雪花在"风"的引导下，逐渐汇聚成有意义的运动轨迹。由于雪花的初始状态是随机的，每次汇聚的路径都略有不同，最终的结果也就各有差异——这是多样性的来源。流匹配的优点在于它用连续的数学空间来描述运动，不受台词本的限制，理论上可以产生任意细腻的行为差异。

然而，前面提到，纯粹的连续生成方法会产生"穿帮"动作。这里AFM的第二个设计灵感就发挥作用了——它为不同类型的交通参与者设计了专属的"身体运动系统"。在真实世界里，不同类型的交通参与者遵循完全不同的运动规律。行人可以随意朝任何方向迈步，无论是向前走、向后退还是横向侧步，这在物理学上叫做"完整约束运动"（Holonomic Motion）；而汽车和自行车因为有轮子，转弯必须依靠前进同时调整方向，不能像行人一样直接横向平移，这叫做"非完整约束运动"（Non-holonomic Motion），也就是常见的自行车运动学模型。

AFM把流匹配产生的"连续动作"，先变换成一个统一的格式——每一步的纵向位移、横向位移和方向变化，然后根据智能体的类型，把这个动作"翻译"成符合物理规律的实际位移。对于汽车和自行车，它使用了自行车运动学模型来计算下一个位置，横向位移的分量在这里并不直接参与位移计算（但仍保留在统一的动作格式中，方便模型学习），而是通过一个"无滑移点偏移量"来精确描述车身中心随转弯产生的摆动；对于行人，则允许纵向和横向位移同时生效，给予更大的自由度。

这样一来，无论流匹配生成的原始动作有多"奔放"，在执行层面都会被过滤成符合该类型角色物理规律的动作，送回下一步预测时的历史记录里永远只有合法的姿态，不会引发错误的连锁反应。这就好比给所有演员装了一套"自动纠错身体"——不管他们脑子里想做什么动作，实际执行出来的永远符合自己角色类型的运动规律。

在训练这个模型时，还有一个精巧的细节需要处理：数据集里记录的是真实交通的位置坐标，而AFM需要的是符合自行车模型的动作序列。要从位置坐标反推出自行车模型下的动作，就需要知道每辆车的"无滑移点偏移量"，而这个参数在数据集里并没有直接记录。研究团队用了一个聪明的方法：只在车辆转弯时（直行时这个参数无法被观测）从轨迹数据里统计估算这个偏移量的比例系数，并对车辆和自行车两类分别估算一个稳健的统计值。此外，为了缩小训练和推理之间的差距，训练时并不是直接用真实位置作为监督目标，而是先模拟推理时的"逐步执行"过程，把每一步执行完的位置作为下一步的起点，这样模型学到的是真正"可执行"的动作序列，而不是与实际推理过程脱节的理想化目标。

在实际运行时，AFM采用了"滚动视野"的工作方式：每次预测未来H步的完整动作序列，但只实际执行前B步（B小于H），然后把这B步执行结果加入历史记录，再预测下一个H步序列，如此循环直到完成整个仿真时段。这种方式兼顾了长期规划的视野和短期反馈的灵活性。

AFM的神经网络架构建立在SMART模型的场景编码器基础上，同时对历史运动特征的编码方式做了改进，用连续的运动特征（而非离散的运动词元）来描述历史轨迹，与整个连续动作空间的设计一脉相承。解码端采用了DiT风格（一种用于扩散/流匹配模型的Transformer架构）的chunk式注意力机制，先把预测序列分成B步长的块，在块级别做自注意力，再在块内做精细化处理，最后通过MLP输出动作速度场。

三、防止仿真"群演"只会走直线：熵正则化蒸馏

即便有了AFM这个强大的骨干模型，在实际闭环仿真中还存在一个顽固的问题：训练时模型看的是真实数据，推理时却要基于自己的输出不断滚动前进，两者之间存在分布差异，这就是所谓的"协变量漂移"（Covariate Shift）。一个不太形象的比喻：就像一个跟着GPS导航开车的司机，平时练习时GPS给的都是正确路线，但正式上路后GPS开始基于他之前的驾驶轨迹来重新计算路线，一旦他某步走偏了，GPS就用偏了的位置继续算，误差越来越大。

解决这个问题的自然想法是在闭环仿真下继续微调模型，让它适应"自己的输出作为输入"这种情形。理论上，可以最小化闭环生成的轨迹分布与真实数据分布之间的KL散度（一种衡量两个概率分布差异的指标）。然而这里有个坑：用"反向KL散度"（Reverse-KL）来做这件事有一个已知的副作用——它是"寻模式"的，也就是说它倾向于把概率质量堆积到数据中最常见的几个模式上，而忽视那些出现频率较低的少数派模式。

回到"群演"的比喻：这就相当于微调之后，所有演员为了降低"出戏"的风险，都只会走直线，因为走直线是最常见、最"安全"的行为，而各种复杂的转弯、超车、让行都因为太少见而被放弃了。这样虽然每次看都很"正常"，但所有场景都长得一模一样，完全失去了测试的价值。

Flow-ERD的第二个核心组件**Entropy-Regularized Distillation（ERD，熵正则化蒸馏）**专门用来解决这个问题。它在反向KL散度的目标函数里加入了一个"熵正则化项"——简单说，就是额外给一个奖励，让模型的输出分布尽量"散开"，不要过于集中。这个奖励的强度由一个叫做"温度系数β"的参数控制，β等于1时就退化回普通的反向KL（没有熵奖励），β越小，奖励越强，分布越平，少数派模式得到的权重越大。

从数学上来看，加入熵正则化后的目标函数，等价于让模型去拟合一个"温度调制版本"的数据分布，记作β次方的数据分布。当β小于1时，这个调制版本的分布相比原始数据分布更平坦，各种不常见的行为模式被"人为放大"，模型在训练时就不会因为少数派模式的权重太低而忽视它们。

在具体实现上，ERD采用了分布匹配蒸馏（Distribution Matching Distillation，DMD）的框架，这个框架借鉴了近期在视频扩散领域发展起来的Self-Forcing技术思路。由于闭环流匹配模型的对数似然无法直接计算，ERD转而通过比较"真实数据的分数函数"和"闭环模型自己生成的动作序列的分数函数"来计算梯度。分数函数可以理解为：在某个动作序列位置上，往哪个方向调整这个动作，才能让它更符合某个分布？ERD用冻结的预训练模型（开环训练得到的AFM）作为真实数据分数函数的代理，用一个不断跟随当前策略更新的"假分数"模型来追踪闭环生成的动作分数，两者之差就是推动策略改进的信号。温度系数β直接作用于真实数据分数函数的缩放，实现了对目标分布的调制。

整个ERD微调过程分两个交替阶段进行。第一个阶段只更新"假分数"模型，让它追上当前策略下的闭环动作分布；第二个阶段同时更新假分数模型和生成策略，生成策略按照固定的间隔（每隔若干步）收到一次来自分数差值的梯度信号。这个过程通过当前策略的B步提交来滚动生成真实的闭环轨迹，保证了对协变量漂移问题的针对性修正。

四、评测结果：在竞技场上的实际表现

研究团队在Waymo开放仿真智能体挑战赛（WOSAC）的2025年测试集和验证集上全面评测了Flow-ERD。WOSAC是目前业界公认最权威的多智能体交通仿真评测平台，它的核心指标叫做"真实感元指标"（Realism Meta Metric，RMM），这个指标会综合评估仿真轨迹在运动学特征、交互行为和地图遵从性三个维度上与真实日志数据的分布相似程度，分数越高说明仿真越贴近真实。

然而，研究团队发现RMM有一个根本性的盲点：它是把仿真轨迹与单条真实日志对比，这意味着一个只会"跟踪日志"的系统也能拿高分，而一个能生成各种合理但与日志不同的轨迹的系统反而可能被低估。换句话说，RMM无法区分"只会走同一条路的僵硬系统"和"能走出各种合理路线的灵活系统"。

为此，研究团队提出了一个全新的多样性评测指标——**Cross-Pair Diversity（CPD，跨样本多样性）**。这个指标的思路很直观：对同一个初始场景生成K条不同的仿真轨迹，然后计算这K条轨迹两两之间的平均距离，距离越大说明系统能产生越丰富的不同未来。为了避免不同类型的智能体（汽车、自行车、行人）因为运动速度不同而带来的尺度差异，计算时会对每种类型的位置差异用各自的统计标准差归一化。这个指标完全不依赖真实日志数据，是一个纯粹衡量仿真系统"戏路宽广程度"的指标。

研究团队特别强调，CPD不能孤立地看，因为一个系统可能通过产生各种不靠谱的随机乱动来获得虚假的高CPD分数。正确的做法是在相近的RMM水平下比较各系统的CPD，这样才能反映"在同样真实的前提下，哪个系统更多样"。

在WOSAC 2025测试集上，单独的AFM骨干模型（不加ERD微调）在所有对比的骨干模型中取得了最高的运动学分数，这直接印证了类型感知运动学约束的效果——它是所有指标（包括专门优化过的微调模型）中运动学表现最好的方案。在完整的Flow-ERD方案（AFM加上ERD微调，β=1.0）上，真实感元指标（RMM）取得了测试集第一名，达到0.7878，超越了包括SMART-R1（0.7858）、DecompGAIL（0.7864）在内的所有微调方案，也显著高于所有骨干模型基线。

在多样性方面，验证集上的对比更能说明问题。研究团队对所有对比方案都进行了公平的超参数扫描：对于基于词元预测的方法（如SMART、TrajTok）和UniMM，扫描的是"top-k"解码中的k值；对于AFM，扫描的是流匹配采样时的噪声强度。结果显示，AFM的真实感-多样性曲线始终处于右上角，也就是说在相同的真实感水平下，AFM的多样性始终高于所有对比方案，其他方案无论如何调整超参数都无法达到AFM的帕累托前沿。与运动学分数最接近的TrajTok相比，AFM在RMM相当的情况下，CPD高出了一大截，证明这不是"因为真实感较低所以乱跑出来的虚假多样性"，而是真实的行为分布更宽。

消融实验进一步验证了类型感知的重要性。如果把所有智能体都换成完整约束运动（全部用行人模型），原始CPD确实最高，但运动学分数最低——汽车和自行车可以随意侧向滑移，这种"多样性"是不合法的自由带来的。如果把所有智能体都换成非完整约束运动（全部用自行车模型），行人被过度约束，整体RMM和CPD都下降。AFM的分类型策略在两个维度上都优于这两个极端方案，证明类型匹配是同时实现高真实感和高多样性的关键。

在ERD微调的多样性影响上，验证集数据显示一个有趣的规律。即使是β=1.0（没有熵正则化）的Flow-ERD，其CPD也高于所有其他微调基线（CAT-K、RoaD、RLFTSim、DecompGAIL），这说明ERD的多样性保持不仅仅依赖于熵正则化，还来自于它在AFM宽广行为分布的基础上进行微调，而不是像其他方案那样从更窄的SMART骨干模型出发。β=1.0时相比预训练AFM的CPD下降了0.0174，符合反向KL的寻模式预期；而β=0.99时，这个差距缩小到0.003，同时仍然保持了显著的真实感提升，做到了"两全其美"。其他所有微调方案的CPD降幅都在0.007以上。图4展示了β从0.98到1.0的完整扫描曲线，随着β降低，RMM小幅下降而CPD持续上升，当β降到0.95时RMM已经低于预训练骨干模型，失去了微调的意义，因此0.99是一个合理的推荐值。

五、多样性有没有"意义"：意图层面的验证

研究团队还进一步验证了一个关键问题：CPD的提升到底是真实的行为多样性，还是只是某种随机漂移带来的数字上的"分散"？

为此，他们从1048个验证场景中各采样64条闭环轨迹，并按照Waymo开放运动数据集（WOMD）的轨迹类型规则，对每条轨迹的"主车意图"进行分类，分成直行、左转、右转、停车等类别。然后计算每个场景下意图的香农熵——熵越高，说明同一场景下产生的不同意图越均衡，也就是说系统真的在探索不同的行为选择，而不是只会做一件事。

结果非常清楚：SMART在定性示例中几乎把所有概率质量都堆在"直行"这一种意图上（64次里有60次是直行），而Flow-ERD（β=1.0）已经明显提升了意图的多样性（同样64次中只有49次直行，出现了9次左转和6次停车）。把β降低到0.99后，甚至偶尔恢复了少见的U型掉头，场景中的意图熵进一步提升。从平均意图熵的量化结果来看，三者分别是0.400、0.425和0.477，逐步提升。

这些不同意图的轨迹并不是随机乱跑，而是在同一个真实场景的地图约束和初始条件下，产生了语义上有区别的、物理上合理的驾驶决策选择。这说明Flow-ERD保留的多样性是有实际意义的——它让仿真系统真正探索了"这个路口本来可能发生的各种情况"，而不仅仅是在最常见的那一种情况附近打转。

正是因为RMM只对标单条真实日志，那些少见但合理的意图（比如偶发的U型掉头）在RMM上可能并不会拿高分，但它们对于全面测试自动驾驶系统的鲁棒性来说至关重要。这也从另一个角度说明了为什么仅靠RMM来评价仿真系统是不够的。

说到底，Flow-ERD做的这件事，是把两种看似矛盾的需求——"像真的一样"和"各种各样"——用一套精心设计的技术体系拼在了一起。AFM这个骨干让仿真中的每一个"群演"都能在物理上合法地自由发挥，而不是被塞进有限的台词本里；ERD这个微调步骤则像是一个专业的导演，帮助这些演员在保持真实感的同时，不把所有戏份都交给最保险的直线行走，而是真的去探索每个场景里本来可能发生的各种剧情走向。

这对自动驾驶开发来说意味着什么？更丰富的仿真场景意味着可以在虚拟环境中覆盖更多的边缘情况，让自动驾驶系统在真正上路之前就见过"行人突然停下来掉头"或者"旁边的车辆在路口迟迟不走"这类不常见但真实存在的情形，从而在遇到这些情况时不至于措手不及。与此同时，这项研究也给整个领域留下了一个值得深思的问题：如果评测指标只衡量"像日志一样"，会不会反而激励系统变得越来越单一、越来越保守？研究团队提出的CPD指标，或许是朝着更全面评价仿真系统迈出的一步。感兴趣深入了解技术细节的读者，可以通过arXiv编号2607.06957查询完整论文。

Q&A

Q1：Flow-ERD的真实感和多样性是如何同时提升的？

A：Flow-ERD通过两个模块协同实现这一目标。AFM骨干使用流匹配在连续动作空间生成多样行为，同时通过类型感知运动学约束（汽车和自行车用自行车模型，行人用自由运动模型）确保动作物理合法，从而保证真实感。ERD微调阶段则在闭环仿真下用带熵正则化的反向KL目标优化模型，温度系数β控制多样性与真实感的平衡，避免微调过程中陷入只会走直线的"单一模式"。

Q2：CPD指标和WOSAC的RMM指标有什么区别？

A：RMM通过把仿真轨迹与单条真实日志对比来打分，能衡量仿真是否贴近记录的那一条真实轨迹，但无法区分系统是真的多样还是只会跟踪那条日志。CPD完全不依赖真实日志，而是计算同一场景多次仿真轨迹之间的平均距离，直接衡量系统能否产生各不相同的合理未来。两个指标互补，单独看任何一个都不够全面。

Q3：ERD微调中的温度系数β应该怎么选？

A：β等于1时退化为普通反向KL微调，真实感最高但多样性损失最大；β越小多样性越高但真实感代价也越大。实验中β等于0.99是一个较好的平衡点，相比β等于1.0只损失极少真实感，却几乎恢复了预训练骨干的全部多样性，同时整体真实感仍高于所有对比微调基线。当β降到0.95时真实感已低于未微调的骨干模型，失去了微调的意义。