机器人世界模型学会"说真话"：当它预测抓空了，就不再凭空让物体飞起来

你有没有想过，一个AI要是闭着眼睛做白日梦，会梦到什么？

大概率是自己想看到的样子吧。机器人世界模型就有这个毛病。你让它预测"机械臂伸过去抓这个杯子会发生什么"，如果训练数据里全是抓取成功的案例，它就会一厢情愿地告诉你：杯子稳稳地被抓起来了。哪怕实际上这次抓取角度不对，手爪根本没碰到杯子，它也会在脑子里把杯子P上去，让它跟着手爪一起飘起来。

这不是段子，是中科院自动化所和阿里高德联合团队在论文里实打实指出的问题。他们给这个毛病起了个名字，叫"幻觉"，预测模型把失败的动作脑补成了成功的结果。这事儿听起来好笑，但后果很严重：如果你拿这种会说谎的世界模型去评估机器人策略好不好用，它会告诉你一个虚高的成功率，让你误以为某个策略很靠谱，结果一上真机器人就扑街。

世界模型*：一种能够根据当前场景和一系列动作指令，预测未来会发生什么的AI系统，常被用作机器人训练和测试的虚拟沙盘，免去每次都要在真实世界里反复试错的成本。

这篇论文的主角叫DreamTrue，中文可以意译成"梦境求真"。它想解决的，正是这种会说谎的世界模型问题，同时还顺手解决了另一个更基础的毛病：动作和画面对不上。团队把这个系统送去打了2026年AgiBot World Challenge的世界模型赛道，拿了第一名。

这件事值得说道说道。

动作和画面对不上，是个被忽视的老问题

先说第一个问题，听起来有点技术，但其实特别好理解。

机器人世界模型要根据"动作指令"去预测"接下来的视频画面"，这就要求你把动作用某种方式"喂"给模型，让它知道机械臂要往哪儿伸、手爪要怎么合。比较直接的办法，是把机械臂的三维模型按照动作轨迹渲染出来，叠加到画面上，相当于给模型打了个可视化的提示："看，机械臂下一步要动到这个位置。"

这个办法本身没毛病，问题出在"渲染"这一步依赖摄像头的精确标定。

摄像头标定*：确定摄像头在三维空间中的具体位置、朝向和内部光学参数的过程，相当于告诉系统"摄像头是从哪个角度在看这个世界"。

机器人数据集通常是多个团队、多个时间段采集的，标定参数经常存在误差，有的甚至压根没做过专门的标定流程。误差一旦存在，渲染出来的虚拟机械臂和视频里真实机械臂的位置就对不上，一个在左边一个在右边，模型学的时候就会被这种"错位的标签"带偏，学出来的动作跟随能力自然就差。

这就好比你让一个新手厨师照着菜谱做菜，但菜谱上写的克数单位全错了，写的是克实际上是两。厨师再认真学，做出来的菜也不可能对味。如果不修正这个单位错误，厨师永远在学一份错误的对应关系，练得越久错得越系统。

团队的解法叫离线几何标定，思路挺巧妙：不需要专门拍一段标定视频，而是直接利用已有的机器人录像来反推摄像头参数。具体来说，先用机器人的URDF模型（相当于机械臂的数字骨架）配合已记录的关节角度，把机械臂渲染到画面里，然后找渲染结果和真实画面里机械臂的像素对应关系，再加上背景在不同时间、不同视角之间的静态对应关系，联合起来反推出真正准确的摄像头内参、外参，甚至机械臂安装偏移量。

URDF模型*：机器人统一描述格式，是一种标准化的文件格式，用数学方式精确描述机器人每个关节、每根连杆的尺寸和连接关系，相当于机器人的"身体说明书"。

这个标定方法的效果立竿见影。在AgiBot数据集上，团队把标定结果和原始标定做对比，用渲染结果与真实分割掩膜的重合度来衡量准确性，结果97.1%的回合（也就是机器人完成一次任务的完整录像片段）上，新标定都比原来的更准，平均重合度提升了0.228。DROID数据集上提升了0.212，91.6%的回合变得更准。更有意思的是，他们还对比了另一个同类方法PointWorld，后者需要依赖立体深度相机才能工作，而团队这个方法只用普通RGB图像，照样在75.5%的情况下表现更好。

这事儿的价值不只是体现在一个IoU数字上。团队做了个消融实验，发现只在推理阶段用新标定（不重新训练模型），各项指标就已经全面提升；如果训练阶段也用上新标定，提升更明显，AgiBot上的PSNR（一种衡量画面清晰度和准确度的指标）提升了1.28分贝，DROID上提升1.30分贝。这说明标定误差这个问题，一直在悄悄拖累整个训练过程，而且是那种"你看不见但它一直在那儿捣乱"的隐形损耗。

团队干了件挺厚道的事，直接把153,666个回合、超过1660小时的标定结果开源出来了，覆盖了AgiBot、DROID和RoboMIND三个数据集。这意味着后面的研究者不用再从头折腾这个麻烦事。

既然训练数据全是成功案例，那就自己造失败案例

解决了"动作画面对不上"的问题后，团队面对的是个更棘手的事：数据偏见。

公开的机器人数据集几乎都是精心挑选的成功演示，很少有人会专门去录一堆"机械臂没抓住杯子"或者"东西从手里滑掉了"的失败案例。毕竟谁会故意收集失败数据呢？但问题是，世界模型如果只见过成功案例，它就学不会"失败长什么样"，于是就出现了开头说的那种幻觉：抓空了也要让物体飞起来。

收集新的失败案例数据，理论上当然可行，但代价太大了，得专门安排机器人反复尝试各种会失败的抓取角度，耗时耗力。团队想了个取巧的办法：既然没有失败数据，那就把成功的轨迹改造成可能失败的轨迹。

具体做法是反事实后训练。拿一条已经录好的、成功完成任务的动作轨迹，对它末端执行器的位置施加一个空间扰动（专业说法叫SE(3)扰动，通俗讲就是让机械臂最终停的位置稍微偏一点），然后用逆运动学把这条新的终点轨迹转换成一整套可执行的关节动作。这样一来，原本会稳稳抓住物体的轨迹，可能就变成了"差一点点没抓到"的轨迹。

反事实*：字面意思是"与已发生事实相反的情况"，在这里指的是通过修改真实发生过的动作轨迹，构造出一条"原本没有发生，但有可能发生"的替代动作，用来测试模型在新情境下的表现。

逆运动学*：已知机械臂末端要到达的目标位置，反推出每个关节应该转动多少角度才能实现，是机器人控制里的经典问题。

这个思路挺有意思的地方在于，它不需要真的让机器人去失败一百次，而是在计算机里"篡改"已有的成功案例，凭空造出一堆失败场景。好比你想训练一个保安识别可疑行为，但现场没有小偷愿意配合演练，于是你就把正常顾客走路的录像稍微改改，故意让某几步走得鬼鬼祟祟，用这种"改造过的正常录像"来训练保安的眼力。如果不这么做，保安就永远只见过正常行为，一旦真遇到可疑人物，可能根本认不出来。

但新问题又来了：你造出了失败场景的动作条件，让模型去预测对应的未来视频，可是这种失败场景根本没有真实的"未来录像"可以对照。模型预测得对不对，没有标准答案能打分，那怎么判断预测质量，又怎么拿这些预测去训练模型呢？

人工标注的"穿帮镜头"，教会AI分辨什么叫"演砸了"

这就是整篇论文最有意思的一步。

团队想明白了一件事：虽然没有"标准答案视频"，但有些预测错误是肉眼就能一眼看穿的，根本不需要对照组。

举个例子，物体明明没被抓住，却跟着机械臂飘在半空中，这种画面本身就违反常识，谁看了都知道不对劲。再比如物体凭空消失了，或者凭空多出来一个一模一样的，这些都是观众一眼能发现的穿帮镜头，不需要知道"正确答案应该是什么样"，只需要判断"这画面本身合不合理"。

基于这个思路，团队招了标注员，对多个世界模型生成的视频（包括真实轨迹和反事实轨迹）打标签，标注三个维度的缺陷：机器人本体缺陷（比如手爪模糊、结构变形）、物体一致性缺陷（物体凭空出现消失、形变）、交互合理性缺陷（物体没接触却自己动了，或者该掉下去的东西悬在半空）。

这份标注数据集规模不小，覆盖了4.49万个视频，产出了3.04万条缺陷标注。用这些标注，团队训练了一个视频语言模型做裁判，叫embodied video reward model，中文可以叫具身视频奖励模型，专门负责给新生成的视频打分，判断它在三个维度上有没有穿帮。

embodied video reward model（具身视频奖励模型）*：一个经过人工标注数据微调的视觉语言模型，接收一段生成的视频后，能够输出这段视频在机器人本体、物体一致性、交互合理性三个方面出现缺陷的概率，分数越低代表画面越可信。

这个裁判模型的靠谱程度怎么样？团队在4893段没见过的测试视频上验证，机器人本体缺陷识别准确率达到96.69%，物体一致性缺陷79.24%，交互合理性缺陷83.08%，平均准确率86.33%。这个数字说明，AI裁判虽然不完美，但确实学会了人类标注员那套"一眼看出穿帮"的判断逻辑。

有了裁判，接下来就是让生成模型根据裁判的打分去自我修正，这个过程用的是强化学习，具体技术叫DiffusionNFT。模型针对每条动作条件生成一组候选视频，裁判给每个候选打分，分数高的视频对应的生成路径会被强化，分数低的会被弱化，这样反复迭代，模型就会越来越倾向于生成不穿帮的画面。

这套组合拳打下来，效果相当扎实。在AgiBot基准测试上，物体一致性缺陷率从31.88%降到了3.12%，交互合理性缺陷率从48.12%降到了6.25%。更关键的是，这种改进并没有以牺牲动作跟随能力为代价，衡量动作跟随精度的nDTW指标不但没掉，反而还从0.8711涨到了0.8831。

这就好比一个演员原本演什么角色都能一秒入戏，但有点用力过猛，不管剧情需要不需要都演得很完美，后来经过导演反复纠正（也就是裁判模型的反馈），学会了"该哭就哭该笑就笑"，演技更贴近剧本要求了，同时台词功底（动作跟随能力）还没退步。如果没有这个纠偏过程，模型会一直停留在"为了画面好看而撒谎"的阶段，永远学不会诚实地呈现失败。

当世界模型学会说真话，机器人策略评估才靠谱

光是生成的视频好看、动作跟得准，其实还不是终点。真正能检验这套系统价值的，是它能不能准确反映机器人策略的真实水平。

团队设计了一个挺扎实的验证实验。他们挑了RoboTwin 2.0仿真环境里三个双臂操作任务，让四种不同的视觉语言动作策略（也就是控制机器人怎么动的AI模型）各自执行任务，世界模型根据这些策略给出的动作轨迹去预测结果视频，再由人工标注判断预测的视频里任务到底成没成功，最后拿这个结果和仿真器里的真实成功率做对比。

结果非常直观。对照组Ctrl-World的预测结果整体系统性偏高，真实成功率和预测成功率的平均误差达到12.92个百分点，而且偏差方向很一致，都是往"更成功"的方向偏，这就是典型的幻觉现象，失败被预测成了成功。DreamTrue把这个误差压到了7.08个百分点，几乎只有对照组的一半，而且偏差方向几乎没有系统性倾向，只有0.42个百分点的轻微正偏。

换成一个更直观的说法：对照组每做10次失败的抓取预测，平均会把其中1到2次错判成成功；而DreamTrue把这个误判率压到了对照组的一半左右，相当于识破了更多"假装成功"的戏码。

这个结果说明了一件很关键的事：一个会说真话的世界模型，才有资格被拿来当机器人策略的"模拟考官"。你可以想象，如果一个模拟考试的监考老师总是手下留情，把答错的题目悄悄批成对的，那这场模拟考试的意义就彻底没了，学生拿着虚高的分数去真实考场，照样会翻车。DreamTrue做的，就是把这个"手下留情"的监考老师，训练成了一个铁面无私、不偏不倚的真考官。

跨机器人、跨场景，这套模型见过没见过的世界都能预测

除了前面两个核心创新，DreamTrue还有个值得一提的特点：它不是只针对某一种机器人训练出来的专用模型，而是一个跨机器人本体、跨数据集的统一模型。

团队用AgiBotWorld-Beta、DROID、RoboMIND 2.0、RoboTwin 2.0四个数据集联合训练，覆盖了五种不同的机械臂类型，筛选后训练数据总量达到2232小时。这个统一模型用同一套参数，就能在真实世界和仿真环境里，针对不同的机械臂本体给出合理预测。

更有意思的是，这个模型还展现出了不错的泛化能力。团队专门测试了两种"没见过"的情况：一种是把训练数据里完全没出现过的WidowX250机械臂引入到RoboTwin仿真环境里，另一种是用团队自己采集的Piper机械臂录像，放到训练数据里完全没出现过的真实场景里。结果显示，即便没有针对性微调，模型照样能给出合理的预测画面。

这件事其实挺说明问题的。如果一个模型只能死记硬背训练时见过的机器人和场景，那它的实用价值就非常有限，每换一个新机器人就得重新训练一遍，成本高得吓人。而DreamTrue展现出的这种迁移能力，意味着底层学到的是某种更通用的"物理世界怎么运作"的规律，而不只是某个特定机械臂的运动轨迹记忆。这就好比一个真正学会开车的人，换一辆没开过的车型，稍微适应一下也能上路，而不是只会开自己那一辆练习车。

写在后面

读完这篇论文，最触动我的其实不是具体的技术细节，而是这篇论文解决问题的方式本身带有一种"不走寻常路"的巧劲。

没有新数据怎么办，去造假数据：把成功的轨迹改造成失败的轨迹，这个思路挺大胆的，相当于主动制造反例去补全训练数据的缺口，而不是干等着真实世界的失败案例慢慢积累。

没有标准答案怎么评估怎么办，换个评估维度：既然没有"正确答案视频"可以比对，那就换个判断角度，不看结果对不对，而看画面本身合不合常理。这个转向其实挺有启发性的，它绕开了"没有真值就没法监督"这个看似无解的死结，找到了一条侧路。

还有一点值得单独说一说，就是论文里提到的那个幻觉问题的根源。机器人世界模型的幻觉，和大语言模型瞎编答案的幻觉，本质上是同一类问题：训练数据的分布偏差导致模型学会了"迎合期待"而不是"忠于事实"。语言模型因为训练语料里"自信满满的回答"远多于"诚实的不知道"，所以倾向于编造；机器人世界模型因为训练数据里成功案例远多于失败案例，所以倾向于让任务看起来总是成功的。这两类问题的解法思路其实也有相通之处，都需要额外引入某种"说真话"的激励机制，而不能指望模型靠海量数据自己悟出诚实的重要性。

这篇论文没有解决的问题，倒也挺明确：论文自己也承认，整个框架的动作表示、视频生成、裁判打分都发生在图像空间，一旦出现遮挡或者视角受限，模型照样可能生成看起来合理、实际上物理错误的画面。换句话说，这套"说真话"的机制，建立在"能看见"的前提之上，如果连看都看不清楚，再诚实的模型也没法凭空变出真相。

一个连看都看不清的诚实模型，和一个看得清但会撒谎的模型，哪个更危险？

Q&A

Q1：DreamTrue是什么？

A：DreamTrue是中科院自动化所和阿里高德联合团队提出的多视角、跨机器人本体的机器人世界模型，专门用于预测动作执行后会发生什么，核心目标是让动作跟随更准确、物体交互预测更符合物理规律。

Q2：DreamTrue怎么解决世界模型"幻觉"问题的？

A：团队先用反事实后训练，把成功的动作轨迹改造成可能失败的轨迹来扩充训练覆盖范围，再训练一个具身视频奖励模型根据人工标注的穿帮画面给生成视频打分，用强化学习引导模型减少不合理预测，把交互缺陷率从48.12%降到了6.25%。

Q3：DreamTrue取得了哪些具体成绩？

A：DreamTrue在AgiBot基准上的动作跟随指标nDTW达到0.8772，排名所有对比方法中最高，并在2026年AgiBot World Challenge世界模型赛道获得第一名，同时用策略评估实验证明它能更准确反映机器人真实成功率，误差仅为对照方法的一半左右。