小米造车团队打造的自动驾驶"预知未来"系统：当汽车能看见自己的每一个决定会带来什么结果

这项研究来自小米汽车（Xiaomi EV）旗下的研究团队，论文以arXiv预印本形式于2026年6月4日公开发布，论文编号为arXiv:2606.05645v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

自动驾驶汽车面临的最大难题，从来不是"看清路上有什么"，而是"搞清楚自己下一步该怎么走，以及这一步会带来什么后果"。绝大多数现有的自动驾驶系统，其实更像一个训练有素的"反射弧"——摄像头拍到什么，就按照训练好的习惯输出一个方向盘转角或油门指令，中间没有任何"思考未来"的过程。这种方式在常见路况下表现不错，但一旦遇到复杂交叉路口、突然插入的行人或者罕见的极端情况，就容易出现判断失误。

小米汽车的研究团队希望从根本上改变这一局面。他们提出了一个叫做"Discrete-WAM"的全新框架，核心思想可以用一句话概括：让汽车学会"脑补未来"，并且把对未来的预测和当下的驾驶决策捆绑在一起，作为一个统一的整体来训练和优化。这个系统不只是告诉汽车"现在该向左转"，而是让汽车能够理解"如果我向左转，接下来的画面会变成什么样，这条路线安全吗？如果我向右转呢？"

这套思路的新颖之处，在于把"看到的画面"和"计划的动作"转换成同一种语言——离散的词汇符号，就像把视觉信息和驾驶指令都翻译成同一套字母表里的字母，然后用一个统一的引擎来同时生成和推敲它们。下面我们就来一步步拆解这套系统背后的逻辑。

一、为什么现有的自动驾驶系统总有一块"盲区"

驾驶本质上是一种需要预判的活动。有经验的老司机在绿灯刚亮的瞬间，脑子里已经在推演：对面那辆车会不会抢黄灯？右侧的行人会不会突然横穿？如果我现在加速，五秒后我会在哪个位置？这种对未来的实时模拟，是安全驾驶的核心能力之一。

然而，当前主流的端到端自动驾驶系统（即直接从摄像头画面输出方向盘和油门指令的系统）本质上是在做"统计相关性学习"。系统见过大量数据，知道"在这种画面下通常应该这样操作"，但它并没有真正理解"这个操作会导致世界变成什么样"。这就像一个只会背答案的学生，遇到课本里没出现过的题型就会手足无措。

另一类被称为"世界模型"的系统走了另一个方向：专门训练一个模型来预测未来画面，比如"如果汽车向左加速，未来两秒的摄像头画面会是什么"。这类系统确实能理解动作和世界变化之间的因果关系，但它们通常工作在一种叫做"连续潜在空间"的抽象数学环境中——这个空间里的信息高度纠缠在一起，很难区分哪些维度代表"车道位置"，哪些代表"周围车辆状态"，更难以对"如果我做了另一个决定"这类反事实问题进行清晰的推理。

更大的问题在于，绝大多数系统把"预测未来"和"做出决策"当作两个独立的模块来训练，两者之间的联系是松散的。这就好比一个团队里，负责预报天气的人和负责安排户外活动的人从不开会沟通——预报员说明天有雨，活动策划人却仍然安排了露营。Discrete-WAM的出发点，就是把这两个角色合并成一个人，让同一套大脑同时负责预测未来和做出决策。

二、用"同一种语言"来描述画面和动作

Discrete-WAM最核心的创新，是把摄像头画面和驾驶动作都转换成"离散符号"，也就是从一个有限词汇表里选出的编号。

对于视觉信息，研究团队沿用了一种叫做VQ-VAE的技术（可以把它理解为一种"图像压缩翻译器"）。这个翻译器把摄像头拍到的连续图像切分成一个个小方块，然后把每个小方块对应到一个编号，就像把一幅画分解成一个个乐高积木块，每块都有自己的编号。原始图像被压缩成一串数字编号序列，大幅减少了信息量，同时保留了场景的语义结构。研究中使用的词汇表大小为16384个条目，每张图像被切分成16×16个方块。

对于驾驶动作，研究团队设计了一套基于"加速度"的编码方案。未来的驾驶轨迹首先被拟合成一条平滑曲线，然后从曲线上计算出每个时刻的纵向加速度（刹车/油门方向）和横向加速度（转向方向），接着把这个二维加速度映射到一个60×60的网格词汇表上，共3600个加速度原型。换句话说，每一步驾驶动作都被翻译成一个从3600个预设动作模式中选出的编号。

这套设计有一个精妙之处：研究团队没有用"最近邻硬分配"的方式把连续加速度粗暴地归到最近的格子里（这会引入固定的量化误差），而是用"软标签插值"的方式，让每个连续加速度值由它周围四个相邻格子的加权组合来表示。数学上可以证明，只要模型的预测足够准确，就能从这四个相邻格子的权重中精确还原出原始的连续加速度值，量化误差为零。这样一来，离散符号的简洁性和连续控制信号的精确性就得到了完美的统一。

当视觉画面和驾驶动作都被翻译成同一种"符号语言"之后，一个大型Transformer（可以理解为类似ChatGPT背后使用的那种大型语言模型架构）就可以把它们放在同一个序列里进行处理，就像处理一段话的不同词语一样。

三、三种"学习姿态"：世界建模、策略建模、联合建模

有了统一的符号表示之后，Discrete-WAM用三种不同的学习任务来训练同一个模型，三种任务共享同一套参数，但各自关注不同的因果关系。

第一种叫做"世界建模"。在这个任务里，模型拿到当前的场景信息以及一段给定的未来动作序列，需要预测出对应的未来画面序列。这就像告诉一个人"接下来的十步棋我都走这里"，然后让他推演出棋局会变成什么样。这个任务训练模型理解动作和世界变化之间的因果关系。

第二种叫做"策略建模"，进一步分为高层决策和低层动作两个阶段。高层决策是指首先预测出一个稀疏的"驾驶意图"——比如"向左变道并保持中速"或者"直行并减速"。研究团队构建了一个由400个决策原型组成的决策词汇表（20种横向路径×20种纵向速度模式），每个原型代表一种粗粒度的驾驶行为。在拿到了高层决策之后，低层的动作预测任务再负责生成具体的、时间步级别的加速度序列。这种层次化设计的好处在于：复杂的多模态驾驶选择（向左还是向右？加速还是减速？）被"外包"给了高层决策，低层模型只需要在给定意图的前提下生成平滑、时间一致的轨迹，不需要同时承担"选择模式"和"执行细节"两个相互干扰的任务。

第三种叫做"联合世界-策略建模"，是最复杂的任务。模型同时预测未来的动作序列和对应的未来画面序列，两者交错排列成一个长序列：第一步动作、第一步画面、第二步动作、第二步画面……如此循环。这个任务让模型学会在脑海中同时推演"我要怎么动"和"这么动之后世界会变成什么样"，两条线索相互印证、相互约束。

这三种任务共用同一套Transformer骨干网络，但通过不同的"注意力掩码"（可以理解为控制信息流向的阀门）来区分各自的因果关系。在世界建模任务中，未来动作是已知的条件输入，模型只需要从画面侧学习预测；在策略建模任务中，动作是预测目标，历史观测是条件；在联合建模任务中，两者都是预测目标，需要在时间轴上相互配合。

四、为什么要有"高层决策"这个中间层

关于高层决策的必要性，研究团队给出了一套严谨的信息论分析，这里我们用更直观的方式来理解。

考虑一个十字路口的场景：汽车需要决定是直行、左转还是右转，同时要决定速度快慢，还要处理与周围车辆的交互。如果直接要求模型输出40步（对应4秒驾驶的时间分辨率）的具体加速度序列，模型面临的是一个巨大的多模态分布——左转的轨迹和右转的轨迹在数学上是完全不兼容的，如果模型不能明确选择其中一种，就会输出一个"平均值"，而这个平均值可能对应着开进路牙子里这种灾难性的操作。

引入高层决策相当于先回答"这次要左转"，然后再问"左转的具体曲率和速度应该是多少"。在第一个问题的答案确定之后，第二个问题的答案空间就大幅缩减，不同时间步的加速度之间的依赖关系也变得更加局部化，整个预测任务变得更容易。

研究团队用"条件总相关性"这个信息论概念来精确刻画这一点：在已知高层决策的条件下，不同时间步的动作符号之间的统计依赖程度会显著降低。他们还推导出了一个KL散度上界，说明当高层决策预测得越准确、决策引入的冗余增益越大时，整个系统的生成误差就越小。这些数学保证为分层架构的合理性提供了理论支撑。

五、离散扩散：像填字谜一样迭代优化轨迹

确定了符号化表示和任务框架之后，Discrete-WAM采用了一种叫做"离散扩散"的生成机制来实际产生预测结果。

普通语言模型（如GPT）的生成方式是从左到右逐个输出词语：先输出第一个词，再基于第一个词输出第二个词，以此类推。这种方式有个缺点：一旦早期出现了不太合适的选择，后续很难纠正，而且每次只能处理一个位置，效率较低。

离散扩散的方式更像做填字谜。一开始，所有待填的格子都被随机噪声（来自词汇表的随机符号）填充。然后，模型同时观察所有格子的当前状态，根据整体语境判断哪些格子的当前填写是可信的、哪些需要修改，并对所有格子同时进行更新。这个过程反复迭代多轮，每轮都让整体序列更加自洽和合理。

在具体实现中，研究团队设计了四种不同的"调度策略"来决定每轮更新哪些符号位置。最简单的策略是每轮全部替换（full_replace），但实验发现这会导致早期已经预测得不错的位置被反复干扰，反而越改越差。更好的策略是基于"置信度"来选择性更新（replace_confidence）：只有当模型对某个位置的预测置信度低于阈值时，才在下一轮对该位置进行更新；已经很确定的位置就保留不动。还有基于"JS散度"（衡量两轮之间分布变化程度）和"熵值"（衡量不确定性）的组合策略，以及一旦某个位置连续多轮保持稳定就将其"冻结"的策略。

实验结果显示，基于置信度的选择性更新是最优方案之一。在一个具体的左转场景中，研究者可以观察到：第一轮之后，轨迹末端的动作符号（时间较远、不确定性高）置信度低、熵值高；随着迭代进行，这些高不确定性位置的预测逐渐稳定下来，熵值下降，置信度提升；而早期就确定的位置（如起步阶段的动作）则从第一轮起就基本保持不变。这种"有的放矢"的更新策略，既节省了计算资源，又避免了对已有合理预测的破坏。

从计算效率来看，离散扩散相比自回归生成（逐步输出）有一个天然优势：每一轮更新时，所有待更新的位置可以并行处理，不需要等待前一个位置完成才能处理下一个位置。实验表明，在使用3-5轮迭代的情况下，离散扩散解码的延迟远低于等效的自回归解码器。当然，这里有一个需要诚实说明的地方：自回归解码器可以借助KV缓存等工程加速技巧大幅提速，而离散扩散目前还没有同等的工程优化手段，所以这个对比更多反映的是两种机制的理论特性而非部署层面的完整对比。

六、强化学习微调：从"模仿高手"到"自我超越"

仅靠行为克隆（模仿人类驾驶数据）来训练自动驾驶系统存在一个根本性的天花板：人类驾驶数据覆盖的场景有限，尤其是那些极端情况和安全关键场景数量稀少，模型很难从中学到足够多的知识。

为了突破这个天花板，Discrete-WAM在预训练之后还进行了一个基于强化学习的后训练阶段，具体采用了一种叫做GRPO（分组相对策略优化）的方法。可以把这个过程理解为：预训练之后，汽车已经学会了"驾校标准驾驶"；后训练阶段则是让汽车在各种场景中自己多试几条路，然后用EPDMS评分（这是NAVSIM基准测试中的综合评分，综合考量安全性、舒适性、路线遵从性、行驶进度等多个维度）来判断哪条路更好，并强化那些获得高分的决策和轨迹。

在实现细节上，每个场景会生成一批候选轨迹，每条轨迹都经过多轮离散扩散生成。对于高层决策部分，有两种采样策略：一种是始终从最高概率的决策出发生成多条轨迹，另一种是从完整的决策分布中采样多种决策、每种决策再生成一批轨迹。后者的好处是可以同时优化高层决策的选择和低层轨迹的执行，而不只是在固定决策下优化轨迹细节。实验表明，这一后训练阶段在舒适性和安全性指标上都有显著提升，EPDMS从90.0分进一步提升到90.4分。

七、实验成绩：在自动驾驶标准考卷上拿了多少分

研究团队在两个自动驾驶规划基准测试上评估了Discrete-WAM的表现：NAVSIM-v1和NAVSIM-v2。这两个测试相当于自动驾驶系统的"标准化考试"，提供大量真实驾驶场景，要求系统预测4秒的驾驶轨迹，然后用一套综合评分指标（包括无事故率、可行驶区域符合率、行驶方向符合率、红绿灯符合率、行驶进度、碰撞预警时间、车道保持、舒适度等）来评判轨迹质量。

在NAVSIM-v2上，Discrete-WAM达到了90.4分的EPDMS综合评分，在所有参与对比的方法中位居前列。具体来看，它比同样结合了世界模型的WAM-Flow高出2.7分，比基于潜在空间世界模型的Epona高出6.2%，比另一个潜在世界模型系统DreamerAD高出3.1%，比结合了强化认知规划的ReCogDrive高出4.1%。在NAVSIM-v1上，Discrete-WAM达到了92.2分的PDMS，同样名列前茅，比WAM-Flow高出1.9分，比世界模型方法Epona高出7.0分。

在视觉生成质量方面，研究团队用FID（衡量生成图像与真实图像的分布差距，越低越好）和FVD（衡量生成视频与真实视频的分布差距，越低越好）来评估。Discrete-WAM在短时域（4秒/8帧）的生成上达到了FID 6.6、FVD 80.0的成绩，优于Vista（FID 6.9，FVD 89.4）、DrivingWorld（FID 7.4，FVD 90.9）等专注于视频生成的系统，尽管后两者支持更长的生成时长（15秒和40秒）。这说明统一的世界-策略建模框架不仅没有牺牲视觉生成质量，反而因为更强的语义对齐而获得了更好的生成效果。

消融实验进一步分解了各个设计选择的贡献。引入高层决策（Dt）这一设计使EPDMS从84.7提升到87.2，说明分层架构对规划性能有显著的正向贡献。使用LoRA轻量适配（在预训练权重基础上只微调少量参数）比全量微调效果更好（90.0分 vs 89.7分），这说明预训练阶段学到的视觉-动作对应关系是宝贵的，全量微调反而会破坏这些知识。后训练强化学习阶段则在监督微调的基础上进一步贡献了0.4分的提升，同时在舒适性和安全性指标上都有改善。

八、能"假设如果"的驾驶系统：反事实推理能力

Discrete-WAM还有一个特别值得关注的能力：它可以进行反事实推理，也就是回答"如果汽车做了不同的决定，世界会变成什么样"这类问题。

为了验证这一能力，研究团队设计了一个"惊异值"实验。他们让世界模型在两种条件下生成未来画面：一种是输入真实的驾驶动作序列，另一种是输入经过横向扰动（逐渐偏离正确轨迹）的反事实动作序列。然后用KL散度来衡量两种条件下生成的未来画面分布之间的差异——这个差异就是"惊异值"，衡量模型对反事实行为的感知程度。

结果显示了一个清晰的规律：当反事实扰动较小、对应的驾驶轨迹仍然合理安全时，惊异值保持较低水平；随着扰动增大，轨迹开始越出车道、接近障碍物，惊异值急剧攀升；而当PDMS评分降至零（发生碰撞或驶出可行驶区域）时，惊异值出现显著的跳跃式上升。与此同时，像素级L1距离（简单衡量画面像素差异的指标）的变化则要平缓得多，无法有效区分安全和危险的反事实场景。

这个结果说明，Discrete-WAM的世界模型不只是在学习"画面像素怎么变化"，而是真正学到了动作和场景安全性之间的因果关联。这种能力为未来把世界模型的"惊异值"直接用作风险感知信号、辅助安全决策提供了可能性。

九、模型的"视觉注意力"：它在看哪里

研究团队还分析了Discrete-WAM在做驾驶决策时"目光"落在哪里，也就是策略解码器的注意力分布。他们发现，模型的注意力主要集中在驾驶相关的语义区域：车道线、路边边界、周围车辆、交通标志、红绿灯等。这说明模型确实是在理解场景语义而非只是记忆像素模式。

然而有一个有趣的现象：模型对天空区域也表现出相当高的注意力，尤其是在前视摄像头图像中。研究者对此的解读是：天空区域在视觉上非常稳定（纹理少、变化小），可能被模型当作了"隐性的全局参考锚点"——类似于一些视觉Transformer里的[CLS]全局标记，用来聚合整体场景信息，比如光线、天气、视野开阔程度等弱全局语义。

为了验证这一假设，研究团队做了一个消融实验：分别测试三种设置下的规划精度——完整图像、遮蔽上三分之一（近似天空区域）、只保留上三分之一。结果显示，遮蔽天空后精度轻微下降，只保留天空时精度明显下降，但仍能产生基本合理的轨迹。这个结果印证了假设：天空区域确实提供了一定的全局上下文信息，但驾驶决策的主要依据仍来自画面下半部分的局部驾驶语义，天空并不是因果性的关键驾驶线索，更多是模型自发形成的"注意力汇聚点"行为。

说到底，Discrete-WAM代表了一种对自动驾驶思维方式的重要转变。不再是"看到场景就反射输出动作"，而是"把对世界的理解和对自身行为的规划放在同一个思维框架里，让它们相互印证、共同演化"。这种设计让系统不仅能做出当下的决策，还能评估这个决策的后果，甚至推演"如果换一种选择会发生什么"。

从普通人的角度来看，这意味着未来的自动驾驶系统有望变得更加可解释——不只是输出一个方向盘转角，而是能够"解释"为什么选择这条路线、预见到了哪些风险、考虑过哪些备选方案。这对于建立公众对自动驾驶技术的信任，以及在发生事故时进行责任分析，都有重要的现实意义。当然，从实验室论文到大规模量产落地，还有很长的工程化路要走。但这项研究提供的系统性框架和扎实的实验验证，为这条路铺设了一块重要的奠基石。对这一研究感兴趣的读者，可以通过arXiv:2606.05645v1获取完整论文。

Q&A

Q1：Discrete-WAM和普通自动驾驶系统有什么本质区别？

A：普通自动驾驶系统通常直接从摄像头画面预测驾驶指令，中间没有"推演后果"的过程。Discrete-WAM的核心区别是把未来场景预测和驾驶动作规划统一成同一个模型来处理，并且都用离散符号来表示，让模型能够同时思考"该怎么动"和"这么动之后世界会变成什么样"，两者相互印证。

Q2：离散扩散生成轨迹的速度够快吗，能满足实时驾驶需求？

A：研究表明，在3到5轮迭代的条件下，离散扩散解码的延迟明显低于同等配置的自回归解码器，原因是每轮更新时所有位置可以并行处理。不过研究者也坦承，自回归解码器可以借助KV缓存等工程技巧大幅提速，所以这个对比主要反映机制特性而非最终部署速度，实际落地还需要进一步工程优化。

Q3：Discrete-WAM的反事实推理能力有什么实际用途？

A：反事实推理能力意味着系统可以评估"如果做了另一个决定后果会怎样"，在实践中可以用来做风险评估——如果系统判断某个备选轨迹会让世界模型产生高"惊异值"（意外程度大），就说明那条路线可能导致危险情况，应当规避。此外，这种能力也有助于自动驾驶系统的可解释性分析和事后事故复盘。