当机器人的"眼睛"骗了它自己的"大脑"：一场关于AI导航的隐秘故障

你有没有想过这样一个场景：一个机器人明明能准确说出"这是苹果""这是杯子""这是桌子"，却在伸手去拿苹果的时候,一次又一次地抓向了空气？

这听起来很荒谬。既然它认识这些东西，为什么做不到？但2026年这篇来自Simple AI团队的研究,恰恰揪住了这个看似不可能的矛盾,并且给出了一个让人意外的答案：认识东西和用得上这些认识,是两件完全不同的事。

机器人怎么"看世界"

先说说背景。现在训练机器人做抓取、推动这类操作任务，一个很流行的思路叫做世界模型。

世界模型：一种AI系统，它不直接在像素级别理解世界，而是把摄像头拍到的画面压缩成一串数字（叫做"潜在向量"），然后在这个压缩后的数字空间里预测"如果我这样做，接下来会发生什么"。

打个比方，这就像你闭着眼睛也能在自己家里走动。你的大脑里存的不是家里每一个角落的照片,而是一张简化的心理地图,墙在哪儿、桌子在哪儿、门在哪儿。你靠着这张地图规划路线,不需要每一步都睁眼确认。世界模型干的就是类似的事,它把真实世界压缩成一张"心理地图",然后在这张地图上做规划。

具体到这篇论文用的架构，叫做JEPA。

JEPA（联合嵌入预测架构）：一种不需要还原原始画面、只在压缩后的抽象空间里做预测的自监督学习方法，由Meta的Yann LeCun团队提出。

论文里用的具体世界模型叫LeWM，它靠一个视觉Transformer把画面变成一个192维的向量，再用一个预测器猜接下来会发生什么。整个训练过程用了一个叫SIGReg的正则化技巧。

SIGReg（稀疏各向同性高斯正则化）：一种训练技巧，目的是防止所有输入都被压缩成几乎一样的向量（这种情况叫"表征坍缩"），做法是逼着这些向量的整体分布看起来像一个标准的高斯分布。

有了这个"心理地图"之后，机器人要怎么决定下一步动作呢？答案是一种叫做MPC的规划方法。

MPC（模型预测控制）：一种决策方法，机器人先在脑子里（也就是世界模型里）试跑很多套可能的动作方案，挑出预测效果最好的那一套，执行第一步，然后重新规划。

具体执行时用的搜索算法叫CEM。

CEM（交叉熵方法）：一种从一堆随机候选方案里，逐步筛选出表现最好的那批，再围着这批表现好的方案继续采样、继续筛选，像滚雪球一样收敛到最优解的搜索算法。

那么问题来了,机器人怎么知道哪套动作方案"效果好"?论文里说,通常做法极其简单粗暴,直接算这套动作执行完之后,预测出来的最终状态的向量,和目标状态的向量之间的欧几里得距离。距离越小，说明这套动作越接近目标，分数就越高。

这个设计乍一看很聪明，因为它完全不需要人工设计一个奖励函数。你不用告诉机器人"抓住苹果加10分,碰倒杯子扣5分",你只需要给它看一张目标画面，让它自己往那个方向靠近。

认得出和排得对，是两件事

但这篇论文的核心发现是：这套"欧几里得距离当裁判"的做法，藏着一个致命的隐患。

研究者们观察到一个非常诡异的现象：只对训练目标做很小的调整，机器人在真实环境里完成任务的成功率会发生巨大甚至反直觉的变化，但如果你用探针去检测这个"心理地图"里到底存了什么信息，比如机器人的位置、动作、奖励、价值,这些探针检测出来的结果几乎一模一样。

也就是说,"心理地图"存的信息内容没变,但机器人的行为表现却天差地别。

这就是整篇论文最关键的一个概念区分,论文管这两个东西叫信息充分性和决策度量对齐。

信息充分性：指的是从这个压缩后的向量里，能不能用一个简单的探针（比如一个线性回归器）准确地解码出任务相关的信息，比如物体的位置、动作是什么。

决策度量对齐：指的是这个向量空间里计算出来的距离，是否能正确地给不同的候选动作方案排序，让"真实世界里效果更好的方案"在这个距离尺度下也显得"更近、更好"。

论文给出了一个特别形象的例子来解释这两者为什么可能脱节。假设有五个候选动作方案围在目标点周围，如果这个向量空间的几何结构是对的，那么真实世界里离目标更近的方案，在这个压缩空间里也应该显得更近，这时候两种排序完全一致。

但如果几何结构是扭曲的呢？可能出现这种情况：候选方案1在真实世界里其实效果最好，最接近目标，但在压缩空间里却被放得离目标很远；而候选方案3效果明明比较差，却被压缩空间"错误地"放在了离目标很近的位置。

这时候,即便你还是能从这个向量里精确解码出"这是候选方案1""这是候选方案3"（信息充分性没问题），但当机器人拿欧几里得距离去排序、去选择最优方案时，它会挑错，它会觉得候选方案3更值得执行，尽管候选方案3实际上更烂。

这就像什么呢？想象你去买房子，中介给你一份小区地图，地图上准确标出了每栋楼的编号、朝向、楼层，这些信息全部正确,你拿这份地图去问"3号楼在哪个方向"，绝对能问出正确答案。但如果这份地图上标注距离的比例尺是错的，实际上离地铁站5公里的房子，在地图上却被画得比实际只有1公里远的房子更近，那么你靠着"哪个看起来离地铁站近"来做购房决策,就会一直选错。地图上的信息没有错,但地图的度量标准,坏了。如果你从不检查这个比例尺是否准确，你会一直以为自己选对了房子，直到真正搬进去才发现每天通勤多花四十分钟。

这正是这篇论文想要揪出来的隐患：一个AI系统可能"什么都知道"，但"知道的东西排不对顺序"，而排序恰恰是决策所依赖的一切。

怎么把这个隐患揪出来

既然发现了问题,论文接下来要做的是把这个模糊的"感觉不对"变成可以测量的数字。他们提出了两个诊断指标。

第一个叫做Plan-Real Spearman。

Plan-Real Spearman：从训练数据里随机挑选一批"起点-目标"配对，针对每一对，随机生成64套候选动作方案，分别用压缩空间里的距离和真实环境里的实际距离给这64套方案打分排名，然后计算这两种排名之间的斯皮尔曼等级相关系数，最后对30组配对取平均。

斯皮尔曼相关系数的取值范围是从负1到正1。正1代表两种排序完全一致，0代表两种排序毫无关联，负1代表两种排序完全反着来。

第二个叫CEM-stage Spearman，它比第一个更狡猾一点。CEM在实际搜索过程中不是永远随机撒网的，它会随着搜索的推进逐渐把候选方案聚拢到"看起来不错"的区域附近。研究者们抓住了CEM搜索的三个阶段,刚开始随机撒网的阶段、搜索到一半的中期阶段、以及最终收敛出来的精英候选方案阶段,分别测这三个阶段里两种排序的一致程度。

为什么要这么麻烦地分三阶段测？因为一个压缩空间在"随便撒网时排序还挺准"，不代表它在"候选方案已经很接近、彼此差异很微小时还能分得清谁更好"。这就像你让一群人评价100个明显有差距的选手，大家的判断可能都差不多准；但当你让他们去评价10个实力极其接近的顶尖选手时，评判标准里任何微小的偏差都会被放大，导致排序完全乱套。CEM恰恰就是不断在把候选方案往"实力接近"的方向收拢，所以越到搜索后期，排序准确性的考验就越严苛。

论文做了一个理论分析,试图搞清楚到底什么因素在控制这个排序准确性。他们提出了两个假设作为分析基础。

第一个假设叫终端推演一致性,意思是世界模型预测出来的最终状态,跟"真的把这套动作执行完再拿去编码"得到的结果,误差不能太大。第二个假设叫编码器双Lipschitz性质,意思是这个把真实状态压缩成向量的编码器,不能太扭曲,真实世界里两个状态离得越远，压缩后的向量距离也应该跟着按比例变远,不能一会儿夸张一会儿压缩。

基于这两个假设，论文推出了一个数学结论:压缩空间里的距离，会被夹在真实距离的两个界限之间,一个下界和一个上界，中间那道缝的宽度，由编码器的扭曲程度和终端推演误差共同决定。缝越窄，说明压缩空间越忠实地反映了真实世界的排序；缝越宽，排序出错的风险就越大。

论文进一步指出，只要两个候选方案在真实世界里的差距（论文管这个叫"候选间隔"）足够大，超过了这道缝的宽度，那么压缩空间里的排序就一定不会出错。但反过来说，如果候选方案彼此挨得特别近（正是CEM搜索到后期精英候选方案的典型状态），这个间隔就会缩小，排序出错的概率就会飙升。

这解释了为什么CEM越到后期，排序准确性越难保证,不是因为算法变差了，而是因为候选方案本身越来越像，任何度量上的瑕疵都会被放大成排序错误。

SIGReg 是保命符，但保的不是这条命

论文做的第一个实验特别有意思，它先验证了一件"常识"：如果整个表征坍缩了，会发生什么。

他们把SIGReg这个正则化项直接从训练目标里去掉,做了个叫No-SIGReg的对照组。结果整个压缩空间的"区分度"直接崩了。原来一批随机候选方案的最大成本和最小成本之间能差3到30倍，去掉SIGReg之后这个比值直接萎缩到大约1.005倍。

这意味着什么？意味着不管你给机器人看哪一套动作方案，它算出来的成本几乎都长得一样。这就好比一个尺子，原本1厘米到30厘米都能分辨清楚，现在整根尺子上的刻度全挤在了1.005厘米这么窄的一个范围里，你压根没法用它量出任何有意义的差别。

对应的后果非常直接：在PushT任务（一个推动物块到目标位置的模拟任务）上，成功率从49.3%暴跌到2.0%；TwoRoom任务（一个双房间导航任务）从98.0%跌到41.3%；Reacher任务（一个机械臂到达指定位置的经典控制任务）从82.0%跌到10.7%。与此同时，Plan-Real Spearman也几乎归零。

这个实验证明了一件事：SIGReg确实很重要，它防住了表征坍缩这个最基本的灾难。但这只是保住了"底线"，不代表它解决了论文真正关心的问题。

因为紧接着,论文做了第二个更精细的实验,专门比较"没有坍缩、但训练目标略有不同"的几个变体。这一次，探针检测到的信息量几乎完全一样，state（状态）探针、action（动作）探针、goal-action（目标导向动作）探针的准确率差异都不超过0.03，但Plan-Real Spearman却从基线LeWM的+0.280一路涨到+0.410到+0.420,在线成功率也从49.3%跳到92.7%,足足43个百分点的差距。

这个对比才是整篇论文的灵魂所在:同样"聪明"的大脑（信息量一样），因为思考问题的"几何习惯"不同，行为表现能差出天壤之别。

给世界模型加两个"外挂"，它突然就变聪明了

发现了问题之后，论文提出了具体的解决方案，叫DA-LeWM，全称是决策对齐的LeWM。

DA-LeWM的做法其实很朴素：在原来LeWM的训练目标基础上，多加两个辅助的监督信号,一个叫逆动力学头，一个叫目标导向动作头。

逆动力学头：一个小型神经网络（两层MLP），输入是前后两个时刻的压缩向量，任务是猜出这两个时刻之间机器人到底执行了什么动作。

目标导向动作头：另一个小型神经网络，输入是当前状态的向量和目标状态的向量，任务是猜出"要从当前状态走到目标状态，应该执行什么动作"，这个监督信号来自人类演示数据。

这两个辅助头训练完之后就被扔掉了，实际部署时机器人还是只靠原来那套欧几里得距离做规划,论文特意强调了这一点。也就是说，DA-LeWM并没有改变机器人在线运行时的计算量或者决策方式，它改变的是训练阶段"逼"出来的表征几何结构。

为什么加一个"猜动作"的任务能改善几何结构？论文给出的解释是这样的：如果你逼着一个向量空间里"两个时间点之间的位移"必须能反推出"发生了什么动作"，那这个位移就不能是随便乱来的，它必须和动作的方向、幅度产生某种系统性的对应关系。这种对应关系恰恰是排序准确性所需要的那种"规矩"。

论文测了一个具体的现象来验证这个机制：他们统计了"压缩空间里位移的大小"和"实际动作的大小"之间的全局相关性。在原始LeWM里，这个相关性是-0.03，基本等于没关系。加了逆动力学监督之后，这个相关性直接跳到+0.38；再加上目标导向动作监督（也就是完整的DA-LeWM）之后，涨到+0.43。而如果去掉SIGReg，这个相关性反而会变成-0.13，进一步恶化。

这个实验特别有说服力，因为它直接在"位移-动作"这个具体维度上，展示了辅助监督信号是怎么一步步把混乱的几何结构"捋直"的。

这里可以做一个类比。假设你在训练一个新员工写工作周报，如果你只告诉他"把这周做的事情写下来"，他很可能写得又长又乱，重点和细枝末节混在一起，你根本看不出他这周到底完成了多少实质工作。但如果你额外要求他"每写完一段，必须能让别人反推出你具体用了多少工时、产出了什么成果"，这个额外的约束会逼着他把叙述结构变得更有规律,重要的事情会自然地占据更显眼的位置，工时和成果之间会形成清晰的对应关系。逆动力学监督干的就是类似的事，它逼着"状态变化的记录方式"必须能反推出"动作是什么"，这个反推的压力会自然地把记录方式捋顺。如果没有这个额外的要求，周报（也就是压缩空间里的表征）可能内容一样详实，但排列方式完全不讲逻辑，你没法从中快速判断哪件事更重要。

数字说话：DA-LeWM到底强在哪

论文在四个环境上做了系统的对比：PushT（推动物块）、Reacher（机械臂到达）、Cube（接触密集的立方体操作，来自OGBench基准）、TwoRoom（视觉导航）。

在匹配的一轮训练预算下，短程对比结果显示，DA-LeWM在PushT上达到92.7%的成功率，远超基线LeWM的49.3%，也超过了只加逆动力学头的Inverse-only变体（64.0%）。在Cube任务上，DA-LeWM达到73.3%，同样超过LeWM的62.7%。Reacher任务上差距不大，DA-LeWM的84.0%和LeWM的82.0%基本在同一水平线上,论文对此的解释是Reacher本身的基线排序一致性就已经很高（Plan-Real Spearman高达+0.504），提升空间本来就有限。

如果把训练预算拉长到十个训练周期，结果更能说明问题。DA-LeWM不仅最终成功率更高，而且进入"高成功率区间"的速度明显更快。论文报告了四个环境下DA-LeWM相对LeWM的平均提升幅度：PushT上平均高出11.8个百分点，Reacher上平均高出4.7个百分点，Cube上平均高出8.6个百分点，TwoRoom上平均高出9.5个百分点。

这说明DA-LeWM带来的不是"某个偶然幸运的检查点"，而是持续贯穿整个训练过程的加速效应。

最后，论文把DA-LeWM拿去跟几个已发表的公开基线方法对比，包括PLDM和DINO-WM。在PushT上DA-LeWM拿到98.7%，排名第一；Reacher上87.3%，同样排名第一；Cube上80.7%，超过PLDM的65%，比DINO-WM的86%略低5.3个百分点；TwoRoom上96.0%，比PLDM的97%低1个百分点，比DINO-WM的100%低4个百分点，但比原始LeWM的87%高出9个百分点。

综合来看，DA-LeWM在四个环境里没有一次是垫底的，多数情况下名列前茅，同时相比自己的直接基线LeWM有稳定且显著的提升。

这套方法有没有边界

论文非常坦诚地讨论了自己的局限性，这一点值得单独说一下。

首先，Cube任务上根本没法算出有意义的Plan-Real Spearman数值。原因是这个任务接触密集，随机生成的候选动作方案往往连物体都碰不到，导致大量候选方案的真实成本完全相同（论文提到有的64个候选里63个成本完全一样），这种情况下斯皮尔曼相关系数根本没法算，或者算出来的数值统计意义很弱。这提醒我们，这套诊断工具本身也有适用边界，在接触稀疏、大量候选方案"什么都没发生"的场景里失效。

其次，论文测试了辅助监督权重的敏感性。目标导向动作头的权重β设为0.1时效果最好，PushT成功率92.7%；权重调到0.3时反而略降到89.3%；权重调得太小（0.03）时更差，只有63.3%。有意思的是，在Reacher任务上，β=0.3反而让成功率从84.0%降到78.0%，比基线LeWM的82.0%还低。这说明辅助监督不是"越多越好"，存在一个跨环境都相对稳健的折中点，论文最终选择β=0.1作为跨环境的默认值。

第三，论文里提到了一个"探索性"的all-heads检查点，除了逆动力学头和目标导向动作头之外，还加了奖励代理头和价值代理头。但论文非常诚实地指出，这两个代理头用的奖励和价值目标是基于状态坐标手工构造的近似值，并不是环境真正的奖励函数，而且在PushT的具体实现中，这些坐标甚至没有对准正确的物块位姿字段。所以这个all-heads检查点只能作为一个实现层面的探索性对比，不能用来判断"正确设计的奖励感知训练"到底是好是坏。

这种坦诚其实很难得。很多论文会把这类不完美的探索性结果包装成"我们还做了额外实验证明泛化性"，但这篇论文选择明确指出这个局限，不夸大结论。

最后，论文也承认整体证据范围有限,只在四个短时程的模拟任务上验证过，用的是特定的ViT-Tiny骨干网络、欧几里得目标成本和CEM搜索算法。每个配置只跑了一次训练，意味着报告的不确定性只覆盖了评估阶段的随机性，没有覆盖"如果换一个随机种子重新训练一遍会怎样"这层不确定性。真实机器人、部分可观测场景、更大的骨干网络、其他规划算法、学习出来的奖励函数,这些能不能同样受益于这套诊断和方法，论文明确说"仍是开放问题"。

写在后面

读完这篇论文，最让我意外的一点是：探针检测和实际决策能力之间的脱节居然可以这么大。43个百分点的成功率差距，探针却测不出来任何区别,这种"隐形故障"如果发生在真实的机器人产品上，工程师大概会抓狂很久都找不到原因，因为所有常规的"表征质量检测手段"全都显示一切正常。

另一个值得琢磨的细节是，论文里那个"精英候选方案阶段排序准确性趋近于零"的发现。所有变体，不管加不加辅助监督，到了CEM搜索的最后阶段都出现了局部排序失效。这暗示着一个更深的问题：也许不是"训练目标没设计好"，而是"欧几里得距离"这种度量方式本身，在候选方案高度相似的局部区域里，天生就缺乏足够的分辨力。这比论文正文讨论的问题更底层，也更难解决，DA-LeWM解决的是全局排序的问题，局部精细排序这道坎，目前似乎谁都没跨过去。

如果精英阶段的排序注定要失效，那CEM搜索到底是靠什么在后期还能收敛到好方案的？是不是说明真正起作用的是前中期的粗略排序，而后期看似精细的筛选，其实只是在一堆"差不多好"的选项里随便选一个？这个问题，论文没有回答。

Q&A

Q1：Plan-Real Spearman是什么？

A：Plan-Real Spearman是一种诊断指标，用来测量机器人世界模型里计算出的距离排序，和真实环境中实际效果的排序是否一致。它通过给同一批候选动作方案分别打两种分数（模型内部的距离分数和环境实测的真实成本），再计算这两组分数之间的斯皮尔曼等级相关系数得到，数值越接近1说明排序越准确。

Q2：DA-LeWM相比原始LeWM到底改进了什么？

A：DA-LeWM在LeWM的基础上增加了两个辅助训练头,逆动力学头和目标导向动作头,这两个头只在训练阶段起作用，部署时不会增加计算量。它们逼着世界模型的内部表征具备更好的几何结构，使得欧几里得距离排序候选方案时更准确。实验显示DA-LeWM在四个测试环境中都比LeWM收敛更快、在线成功率更高，比如PushT任务上成功率从49.3%提升到92.7%。

Q3：为什么探针检测显示信息一样，但机器人表现却差很多？

A：因为探针只能检测这个压缩后的向量里"存不存在"某些任务相关信息（比如位置、动作），但探针不检测这些信息在向量空间里是怎么排列的。论文把前者叫信息充分性,把后者叫决策度量对齐。一个模型可能完美记住了所有信息，但因为几何结构混乱，导致基于距离的决策排序错误，从而在实际执行中频繁选错方案。