澳门大学等机构揭秘：让AI既会"脑补"未来，又能看真实画面，效果提升超10%

这项由澳门大学、LIGHTSPEED及独立研究者联合开展的研究，以预印本形式发布于2026年6月，论文编号为arXiv:2606.03603v1，研究方向归属于计算机视觉领域。有兴趣深入了解的读者可以通过该编号在arXiv平台查阅完整论文。

**一、一张照片，能看见未来吗**

假设你站在一间厨房门口，看到炉子上有一锅水刚刚开始沸腾，旁边摆着一盒鸡蛋。这时候有人问你：五分钟后，鸡蛋会在哪里？是进了锅里、还是还在台上？你八成能猜出来——不是因为你看见了未来，而是因为你的大脑能根据眼前的情景，自动推演接下来最可能发生的事。

这种能力，AI至今仍在努力学习。当一张静止的图片摆在AI面前，要预测接下来会发生什么，难度相当之大。现有的AI系统有两种截然不同的策略：一种是"语言推理派"，也就是多模态大语言模型（MLLM），它们擅长把规则、目标和问题用语言组织起来，像一位经验丰富的顾问，靠知识和逻辑推断；另一种是"视觉模拟派"，也就是视频世界模型，它们能直接生成一段未来的视频画面，像一台能预演未来的摄影机。

两种方式各有所长，也各有缺陷。语言推理派有时候太过依赖抽象知识，看不见具体细节；视觉模拟派生成的视频画面虽然逼真，却未必和任务本身相关——就像一台预演摄影机拍出的画面可能很漂亮，但拍的根本不是你想看的那场戏。

研究团队认为，真正的突破在于让这两种能力协同工作，而不是各行其是。这篇论文正是要解决这个问题：如何训练一个AI，让它既懂得什么时候该"看视频"来推断未来，又懂得判断这段视频是否可信，并将视频内容合理地纳入自己的最终判断中。

**二、两个出人意料的失败案例**

研究团队在正式提出解决方案之前，先做了一个小实验，结果发现了两个有趣的失败模式，它们就像是两种性格截然相反的学生。

第一种失败，研究团队称之为"模拟惯性"。给AI配备了一台可以生成未来视频的世界模型，并告诉它：遇到复杂的空间推理问题时，可以调用这台摄影机来帮忙。然而，两个被测试的AI——谷歌的Gemini-3-Flash和另一个Qwen3.5-9B——在96%到98%的情况下，根本不去调用这台摄影机，自顾自地靠语言推理作答。这就好比给一个学生配了计算器，结果他宁愿在脑子里心算，也不伸手拿那个计算器。

第二种失败，研究团队称之为"强制模拟悖论"。这次研究人员换了策略：强制要求AI每道题都必须先生成一段未来视频再作答。结果更出乎意料——加入视频之后，AI的答题正确率不升反降。在VRQABench测试集上，从33.2%下降到32.6%；在OpenWorldQA测试集上，从39.8%下降到38.6%。原因很简单：世界模型生成的视频画面可能在视觉上非常流畅、合理，但内容上是错的——就像一位说谎高手，话说得头头是道，但信息全是假的。AI把这些错误视频当成了可靠的线索，反而被带偏了。

这两个失败案例说明，问题的核心不在于"AI有没有视频看"，而在于"AI知不知道什么时候该看视频、看完之后该不该信"。

**三、两套专门设计的考题**

为了系统研究这个问题，研究团队自己动手设计了两套测试题库，并且每道题都经过人工验证，确保质量。这两套题库代表了两种截然不同的场景，就像用两种不同类型的菜肴来检验一位厨师的综合厨艺。

第一套叫VRQABench，专门考察有明确规则的空间推理能力。题目来自迷宫导航、不规则迷宫路径追踪和推箱子（Sokoban）这三类益智游戏。研究团队先用程序化的算法求解器得到每道题的精确答案——比如走迷宫最短路径会拐几次弯、推箱子至少需要推多少步——然后用语言模型把这些精确答案包装成自然语言选择题，再让人工标注员逐一检查，确保每道题的图片内容、选项合理性和答案有效性都没有问题。最终形成了4000道训练题和636道评测题，涵盖拐弯次数计数、拐弯方向判断、推箱子步数、方向步数计数和推送方向计数五个类别。

第二套叫OpenWorldQA，专门考察对真实世界物理事件的预测能力。题目来自真实世界的短视频，但AI在测试时只能看到事件发生前的一帧"锚定帧"，不能看到后续画面。研究团队为了构建这套题库，设计了一条五阶段流水线：先由场景分析模块挑选出既包含足够初始信息、又不会泄露结果的锚定帧；再由问题设计模块写出需要一到三步物理推理才能回答的问题；接着由干扰项生成模块制造几个"看起来有道理但其实是错的"选项；然后用一个小型AI模型把太容易的题筛掉；最后还要通过人工审核，确认锚定帧有效、答案唯一、选项合理。最终形成了3904道训练题和500道评测题，覆盖12个物理推理类别，包括间隙拟合、空间关系、容纳情况、支撑稳定性、摩擦力、惯性、流动性、形变、工具使用、连锁反应、过程竞速和多体运动，以及顺序判断、计数、首次接触、中间状态、失败预测和反事实六种问题形式。

**四、一套像侦探破案一样思考的训练方法**

研究团队提出的解决方案叫做"特权未来在线自我蒸馏"，简称PF-OPSD。这个名字听起来复杂，但背后的思路其实就像是培养一位优秀的侦探。

侦探破案有三个关键步骤：第一，判断什么时候需要去现场取证，而不是仅凭逻辑推理；第二，评估取回的证据是否真实可靠，而不是照单全收；第三，根据证据的可靠程度决定它在最终推断中占多大权重。PF-OPSD训练的AI系统，正是要具备这三种侦探思维。

具体来说，AI系统在处理每道题时，会按照一条固定的行动链条进行推理。首先，它要做一个"是否出动"的决定：这道题仅凭静态图片和逻辑推理就够了吗？还是必须调用世界模型来生成一段未来视频？如果决定出动，它就会自己写一段提示词，告诉世界模型需要展示哪些关键的运动轨迹、物体接触或场景变化，然后世界模型根据这段提示词生成一段视频。拿到视频之后，AI并不急着使用，而是先做一个验证：这段视频和原始图片的内容是否一致？画面是否合理？和要回答的问题是否相关？验证结果分为"接受"、"拒绝"或"不确定"三种。如果拒绝，AI可以重写提示词再试一次，最多尝试三次。完成这个过程之后，AI还要决定"依赖程度"：是全盘采用视频中的信息、打折扣地参考、还是完全放弃视频转而依靠纯粹的逻辑推理？最后才给出A、B、C、D中的一个答案。

训练这套系统分两个阶段，就像培训一位侦探先要学规范、再要学实战判断。

第一阶段叫"协议监督微调"，也就是规范训练阶段。研究团队用一个拥有特权的老师——Gemini-3.1-Pro加上一套代理工作流——生成一批示范轨迹。这位老师在生成示范时，可以看到真实的未来视频和正确答案，所以它能做出非常精准的示范，告诉学生在各种情况下应该走哪条行动链条。这些示范数据经过筛选之后，用来训练学生AI，让它掌握正确的行动格式。

第二阶段叫"特权未来在线自我蒸馏"，也就是实战校准阶段。这一阶段的核心思想是：学生AI先在不看真实未来视频的条件下，自己生成一套行动轨迹，就像侦探在没有完整案卷的情况下自主推理；然后，一个有特权的评估者——Qwen3.6-27B——拿着真实的未来视频和正确答案，回头看学生的每一个关键决策，评估它到底做得对不对。评估者会在每个决策节点逐一打分：调用世界模型的决定合不合理？写的提示词够不够好？对视频的验证结论准不准确？最后给出的答案对不对？评估者还会给出自己的"教师视角偏好"，也就是如果换成它来做这个决策会怎么选。把学生自己走过的路和教师的打分结合起来，就能计算出每个决策的"优势值"——这个决策比平均水平好多少、或者差多少。然后用这些优势值来调整学生的参数，让它在未来遇到类似情况时，能做出更好的决策。

这种设计的精妙之处在于：真实的未来视频只在训练期间用作打分依据，绝不出现在测试阶段。学生AI上岗之后，完全依靠自己的判断力行动，没有任何"作弊"成分。

**五、比较的结果：学会判断比看更多视频更重要**

研究团队把PF-OPSD与多种对比方案放在一起测试，结果相当清晰。

在VRQABench上，直接调用谷歌Gemini-3-Flash的零样本成绩是45.9%，OpenAI GPT-5.4是43.2%，另一家的HY3是38.2%，规模更小的Qwen3.6-27B是33.0%，Qwen3.5-9B是33.2%，更早版本的Qwen2.5-VL-7B是32.7%。如果把Qwen3.5-9B配上世界模型但不做任何训练，直接用提示词工程的方式让它调用视频，成绩是32.6%，不升反降。如果只做第一阶段的规范监督微调，成绩跳升到61.8%。再加上GRPO（一种强化学习方法）是63.5%。而完整的PF-OPSD达到72.4%，比仅做监督微调提高了10.6个百分点。

在OpenWorldQA上，格局类似。Gemini-3-Flash零样本是48.2%，GPT-5.4是53.4%，HY3是35.0%，Qwen3.6-27B是41.4%，Qwen3.5-9B是39.8%，Qwen2.5-VL-7B是14.2%。带视频但无训练的工作流方案是38.6%。仅监督微调是59.6%，加GRPO是61.2%，完整PF-OPSD达到70.5%，比仅做监督微调提高了10.9个百分点。

这些数字背后有一个关键细节值得关注：PF-OPSD并没有对所有题目都调用世界模型。平均下来，只有42.5%的题目被触发了视频生成，每道题平均调用0.45次。相比之下，强制对所有题目都调用视频（即"永远出动"策略）的成绩，在VRQABench上是68.5%，在OpenWorldQA上是67.2%，都低于PF-OPSD。这说明，学会"什么时候不该出动"和"什么时候该出动"同样重要。

研究团队还额外测试了换用另一个世界模型Wan 2.2来生成视频时的表现。Wan 2.2的视频质量更好，但速度更慢。结果发现，无论使用Helios还是Wan 2.2，PF-OPSD始终比"永远调用视频"的方案表现更好。换句话说，世界模型质量的提升固然有帮助，但它无法替代学会选择性地使用视频这一能力。

**六、像优秀侦探一样处理可疑证据**

研究团队还专门设计了一系列受控实验，来测试AI对视频质量的判断能力，就像测试一位侦探能否识别假证据。

实验中，研究人员人为地给AI提供了不同质量的视频：高质量的真实相关视频、低质量的含糊视频、完全损坏的视频、与原始图片内容冲突的视频、遗漏了关键交互的视频，以及包含物理不合理内容的视频。结果显示，PF-OPSD对高质量视频的接受率高达92.5%，但面对低质量视频时接受率骤降至18.4%，面对损坏视频时更跌至5.2%。而且即便接受了低质量或有问题的视频，最终答题准确率也只是从88.5%适度下降到62%至65%的区间，并没有发生断崖式崩溃——这说明AI在把不可靠的视频纳入推理时，会自动打折扣，而不是全盘照信。

面对视频与静态图片逻辑冲突的情况，AI的表现也很有区分度。当静态推理是错的、但视频是对的时候，AI有82.5%的概率选择跟随视频的结论；当静态推理是对的、但视频是具有误导性的错误信息时，AI有78.4%的概率拒绝视频；当视频里出现了"幻觉"（即视频内容根本是凭空捏造的情节）时，AI有85.2%的概率拒绝该视频；当静态图片和视频各自提供了互补的信息时，AI有69.4%的概率选择将两者融合使用。

这组数据构成了一幅生动的图景：训练后的AI不再是一个盲目信任或盲目怀疑的模型，而是像一位有经验的侦探那样，根据证据本身的可靠性灵活调整自己的判断策略。

**七、细节里的规律：越难的题，侦探越需要多次出动**

研究团队还观察了AI在实际测试中调用视频的次数分布。57.5%的题目被AI判定为无需调用视频，靠纯逻辑推理作答；40.5%的题目调用了一次视频就接受了；1.5%的题目经历了两次视频生成才停下；只有0.5%的题目用到了三次（最大上限）。

有趣的是，需要多次尝试的题目，往往也是最终答题准确率最低的题目，同时错误判断率也最高。这并不令人意外——对于侦探来说，一次就找到可靠证据的案子本来就相对简单；需要反复调查才拿到的证据，案子本身往往也更复杂、更容易出错。这说明AI的多次重试行为，是它自动将"困难案件"路由到更深度调查路径的体现，而不是训练的副作用。

**八、消融实验：哪个环节最不能少**

研究团队还一一拆解了PF-OPSD的各个组成部分，测试每个环节对最终成绩的贡献。

去掉"是否调用视频"的决策门控，强制每道题都调用，两个测试集的准确率分别降至68.5%和67.2%。去掉"视频验证"环节，准确率降至65.2%和64.8%。去掉"依赖程度判断"环节，降至67.8%和66.5%。去掉"优势加权"机制（即用教师打分来加权更新），降至66.4%和65.2%。如果只用最终答案来蒸馏，而不对中间每个决策节点进行校准，降至64.5%和63.8%。最基准的监督微调是61.8%和59.6%。而完整的PF-OPSD是72.4%和70.5%。

每一个环节的缺失都带来了不同程度的下降，其中视频验证和优势加权这两个环节的影响最为显著。这告诉我们，整个系统的提升，来自于对中间推理步骤的精细校准，而不仅仅是把视频加进来这么简单。

**九、这套方法的边界在哪里**

研究团队也诚实地讨论了这项工作的局限。PF-OPSD目前最适合的场景，是世界模型生成的视频至少在某种程度上与输入场景和问题相关——如果世界模型生成的视频完全是驴唇不对马嘴，PF-OPSD的作用是让AI减少对这类视频的依赖，而不能凭空修补世界模型本身的质量问题。

此外，研究只在两套测试集上验证了结论，无法覆盖所有物理推理场景。对于更专业的领域、更长时间跨度的预测，或者需要与环境互动的情景，可能需要额外的测试集和更针对性的提示策略。训练过程中使用真实未来视频作为监督信号，意味着如果想把这套方法迁移到没有配套视频数据的新领域，需要额外的数据收集工作。研究团队也指出，如何在训练信号更弱、更隐式的情况下完成类似的校准，是一个值得继续探索的方向。

归根结底，这项研究回答了一个实际问题：当我们把一台"未来摄影机"交给AI用，它需要学会的不仅是如何拍摄未来，更是如何判断拍出来的画面值不值得信。就像一位厨师不只要学会看食谱，还要学会辨别哪本食谱可靠、哪本可能有错，才能真正做出一道好菜。

研究团队训练出的AI，在两套测试集上都比仅做监督微调的版本高出约10个百分点，比直接调用世界模型但不做任何训练的版本高出更多。更重要的是，它变得更加"审慎"：只在真正需要的时候出动，只在视频可靠的时候信任，在视频不可靠时懂得用自己的逻辑兜底。这或许是未来AI系统走向实用化的一个重要方向：不是给它更多工具，而是教它更聪明地使用工具。如果你对这套方法感兴趣，可以通过arXiv:2606.03603查阅完整论文，研究团队的代码和数据集也已公开。

Q&A

Q1：PF-OPSD是什么，和普通AI训练有什么区别？

A：PF-OPSD是"特权未来在线自我蒸馏"的简称，是研究团队提出的一种训练方法。普通AI训练通常只看最终答案对不对，而PF-OPSD会在训练期间让一个"有特权"的评估者拿着真实的未来视频，逐一检查AI在每个中间决策步骤的表现——比如该不该调用视频、该不该信任视频——然后用这些细粒度的反馈来校准AI的判断力。测试阶段真实未来视频不再出现，AI完全靠自己的判断行动。

Q2：为什么强制让AI看视频反而会让答题准确率下降？

A：因为世界模型生成的视频并非总是可靠的。这些视频在视觉上可能很流畅，但内容可能与实际情况不符——该出现的关键细节没有出现，或者干脆展示了一个错误的未来场景。如果AI没有经过专门训练，无法判断视频是否可信，就会把错误信息当作线索，反而干扰了它原本正确的逻辑推理。在VRQABench和OpenWorldQA两个测试集上，强制看视频后准确率都出现了下降，印证了这一点。

Q3：VRQABench和OpenWorldQA这两套测试集有什么区别，分别在测什么？

A：VRQABench主要测试有明确规则的空间推理能力，题目来自迷宫导航和推箱子等益智游戏，问题有精确的程序化答案，考察AI能否推演路径、拐弯次数等结构化信息。OpenWorldQA则测试对真实世界物理事件的预测，AI只能看到事件发生前的一帧图像，需要判断接下来会发生什么物理变化，涵盖摩擦、惯性、形变、连锁反应等12个类别，更接近日常生活场景。