AI模型为什么总是看不懂"下一秒会发生什么"

你有没有试过这样一个场景：给AI看一张厨房的照片，告诉它"有人正在把手伸向炉子上的锅"，然后问它接下来会看到什么。

答案似乎很简单，锅会被端起来，或者手会碰到锅柄。但一个叫GPT-5.4的顶尖AI模型在这类问题上的准确率只有65.8%，而随手找三个普通人来做同样的测试，准确率是92.3%。

这不是GPT-5.4特别差。研究者测试了38个目前最强的多模态大语言模型，包括Qwen3-VL、Llama-4、Gemini等各个厂商的旗舰产品，结果出奇地一致：没有一个模型能接近人类水平，而且这个差距不会随着模型变大就自动消失。

**多模态大语言模型**（MLLM）：能同时理解图像和文字的AI模型，比如你给它一张照片加一段提问，它能看懂图里的内容并用文字回答。

这篇来自西北大学、卡内基梅隆大学、北卡罗来纳大学教堂山分校和亚马逊的联合研究，想弄清楚一件事：这些AI在空间推理、物理常识、具身控制、时间顺序判断上反复出错，到底是四个互不相关的毛病，还是同一个病根长出来的四个症状。

一个被拆分了太久的问题

先说说现状有多碎片化。

如果你去读关于AI空间推理的论文，会看到MindCube、VLM4D、3DSRBench这些基准测试，专门考AI能不能理解相机转动后画面会怎么变。如果你去读物理常识方面的论文,会看到IntPhys 2、PhysBench，专门考AI懂不懂东西不会无缘无故消失、支撑物拿走了上面的东西会掉下来这类常识。再去看具身智能方向，会看到OpenEQA、EmbodiedBench，专门考AI能不能在虚拟房间里完成拿杯子这样的任务。时间推理方向又有TemporalBench、TOMATO，专门考AI能不能排出视频里几个画面的正确顺序。

这些测试各自为战，各用各的打分方式，各挑各的干扰项设计。读完一堆论文，你会发现AI在这四个方向上都表现糟糕，但没有人告诉你，这四种糟糕之间有没有关系。

研究团队提出了一个假设：这四类任务表面不同，底层其实在问同一件事,给定一个场景的初始状态，加上一个动作，AI能不能推出动作之后的状态会变成什么样。

用更简洁的方式写出来，就是一个三元组：（初始状态，动作，结果状态），论文里简写成(s, a, s′)。

**(s, a, s′)**：描述一次场景变化的三元组，s是动作发生前的样子，a是发生了什么动作，s′是动作发生后的样子。预测结果状态、反推是什么动作、判断动作前后顺序，这些看似不同的问题，其实都是在这个三元组上做不同方向的推理。

空间推理问的是，相机做了a这个动作（比如向左转45度），画面从s变成s′，这个s′是什么样。物理常识问的是，一个球离开了支撑面（这是a），接下来s′会是什么。具身智能问的是，要达成某个目标状态s′，应该做什么动作a。时间推理问的是，给几张打乱的照片，哪个在前哪个在后，这其实是在推测它们背后那个隐藏的动作序列。

四个看起来毫不相干的任务，拆开来看，都是同一个三元组的不同提问方式。这就像你去医院检查，耳鸣、头晕、视力模糊看起来是三个独立症状，但如果医生告诉你这三者背后都是颈椎压迫同一条血管造成的，你突然就明白了为什么治好颈椎,这三个毛病会一起消失。研究者想验证的，正是这种"同根同源"的猜想：如果真的存在这样一种共通的"视觉转变推理"能力，那么针对它单独训练，是不是能同时改善看起来毫不相关的多个下游任务？如果不存在，那单独训练一类任务应该只对这类任务有用，对其他任务没有效果,甚至产生负面效果。

怎么造一套能做对照实验的数据

光有假设不够，得有数据能验证。

研究者给自己提了一个要求：这套数据必须能让"场景类型"、"动作类型"、"推理类型"这三个维度独立变化。换句话说，同一个厨房场景，可以搭配不同的动作（相机转动、有人拿起东西、球自己滚落）；同一个动作类型，可以用在不同场景（厨房里转相机、公园里转相机）；同一个推理类型，可以配不同的动作和场景。

这个要求听起来简单，实现起来却是个大难题。真实视频里的动作是什么、下一秒会怎样，都是已经发生、不可逆的既定事实，你没法让同一个初始画面在"相机向左转"和"相机向右转"两种情况下各拍一遍，看它们分别会变成什么样。而传统的游戏引擎仿真环境，虽然能做到这种可控性，但场景和物体种类有限，看起来一眼假,跟真实世界的视觉风格差太远。

研究团队的解法是用视频生成模型来造数据。他们选用了阿里的Wan2.2-I2V-A14B模型,一个专门做"图像转视频"的生成模型。给它一张起始画面和一句动作描述，它就能生成接下来几秒钟的视频。

这个思路有点像你小时候玩的"假如重来一次"的游戏。假设你站在岔路口，往左走和往右走的风景肯定不一样，但现实里你只能选一条路，没法同时体验两种结果去对比。而视频生成模型相当于给了研究者一台"平行宇宙模拟器"：同一个初始画面，喂给它"向左转"的指令生成一段视频，再喂给它"向右转"的指令生成另一段视频,两段视频的起点完全一样，只是走的分支不同。有了这种可控的"假如"能力，才能造出大量真正可以做对照实验的素材。

研究者围绕这台模拟器，搭了一套三轴分类体系。

场景类型有20种，一半是室内（厨房、卧室、教室等），一半是室外（公园、十字路口、农场等），其中餐厅和沙滩被单独留出来，不出现在训练数据里，专门用来测试AI能不能把学到的能力迁移到没见过的新场景。

动作类型分五种。一种是"外源性"，指的是不是人为造成的、物体自己发生的物理事件，比如球从桌子边缘滚落、杯子倒了水洒出来，这背后对应8种常见的物理原理（比如重力、支撑、惯性、碰撞、物体不会凌空消失等）。另外四种是"内源性"，也就是有行动主体在做事：相机自己移动（perceptive）、相机绕某个物体转动来观察它（inspective）、在场景里走到某个目标点（navigative）、用手去操纵某个物体（manipulative）。

**内源性/外源性动作**：外源性指的是物体自己发生变化，没有谁去主动操作它，比如苹果自然落地；内源性指的是有一个行动主体（人、机器人或相机）主动做了什么，比如伸手去拿苹果。

推理类型则对应八种具体的提问方式，归并成四大类。因果动力学类里有"正向推理"（给定起点和动作，推结果）和"逆向推理"（给定起点和结果，推是什么动作造成的）。反事实推理类里有"移除反事实"（如果这个动作没有发生，场景会是什么样）和"替换反事实"（如果换成另一个动作，结果会怎样）。物理建模类里有"后果预测"（给定一个自然物理事件，猜结果）和"有提示的预测"（额外告诉AI这背后的物理原理是什么，再猜结果）。时间连贯性类里有"排序"（给几张乱序照片排正确顺序）和"邻接判断"（判断某张照片前后紧挨着的是哪两张）。

这三个维度两两组合，再配上八种精心设计的干扰项（比如方向搞反的、违反物理常识的、顺序错位的），最终凑出了36076道四选一的题目，分成训练集、验证集，以及三种不同难度的测试集:标准测试、换了没见过的新场景的测试、还有对初始画面做了微调（比如换个颜色、挪动一下位置）的"扰动"测试,专门检验AI是不是真正理解了场景本身，而不是单纯记住了某种套路化的答题模式。

顶尖AI到底差在哪

有了这套测试，研究者先把38个主流模型拉过来考了一遍。

结果最厉害的GPT-5.4也只拿到65.8%，排第二的Intern-S1-Pro是63.2%，而人类的平均成绩是92.3%。更让人意外的是，这个差距不是随便哪个模型的个例问题，而是跨越了几乎所有模型家族，不管是闭源的GPT系列、开源的Qwen系列，还是其他厂商的产品，都出现了相似的失败模式。

有几个具体的失败模式值得单独说说。

时间邻接判断比时间排序难得多。GPT-5.4在"给乱序照片排正确顺序"这类题上能拿到57.1%，但换成"判断某张照片紧挨着的前后两张是哪个",准确率直接掉到27.0%，几乎跟瞎猜（25%）没区别。这说明模型能看出一个大致的先后关系，但判断谁跟谁紧挨着这种精细时间分辨能力几乎是空白。

反事实移除比反事实替换更难。"如果这个动作没发生会怎样"这种问题，模型答得比"如果换个动作会怎样"差得多。研究者猜测，想象一个动作完全没发生，需要在脑子里凭空"擦除"一段已经看到的变化，这比想象换个不同的动作走向更抽象。

几何变化比外观变化更难适应。如果你把场景里一个物体的位置或朝向改一改（几何扰动），模型准确率会大跌；但如果你只是换个颜色或换个灯光（外观扰动），模型基本不受影响。这个差异在模型越做越大的过程中还在拉大,外观鲁棒性每增加十倍参数能提升约40个百分点，而几何鲁棒性只能提升约11个百分点，差了接近4倍。

这组数据背后透着一种让人略感不安的信号：堆更多参数、用更大算力，解决的是"认出这是什么颜色、这是什么材质"这类相对表层的问题，但对"这个东西的空间关系变了会怎样"这种更底层的结构性理解，扩大规模的边际收益非常有限。

训练能学会吗

既然诊断出了病，下一步自然要问：这病能治吗？

研究团队拿Qwen2.5-VL-3B这个30亿参数的小模型做实验，先用全部训练集（22728道题）对它做了监督微调。

**监督微调（SFT）**：拿一批标注好正确答案的题目去训练模型，让它调整内部参数以更好地匹配这些答案，是让模型学会特定技能最直接的办法。

结果相当惊人。训练前，这个小模型在标准测试上的准确率是26.4%，基本等于瞎猜；训练后，直接飙到89.3%，哪怕是放到没见过的新场景（餐厅、沙滩）里测试，也能拿到88.2%。

更关键的问题来了：这种训练出来的能力，只是在死记硬背题库套路，还是真正学到了一种通用的"视觉转变推理"能力？

研究者设计了一组对照实验来回答这个问题。他们把训练数据切成11份，每份只对应一种具体的（动作类型，推理家族）组合,比如只练"相机动作+因果推理"这一份，叫perc_causal，大约2000道题。

**控制子集（controlled subset）**：从完整训练集里切出来的一个小份数据，每份只包含某一种动作类型和某一种推理家族的组合，大小约2000道题，用于做精细的对照实验。

结果每一份子集单独训练后，不仅在自己训练覆盖的那个动作类型上有提升，在没有训练过的其他动作类型上也有提升。比方说，光用"相机动作+因果推理"训练出来的模型，在"物体操纵"这个完全没训练过的动作类型上，准确率也从28.82%涨到了64.67%。这说明不同来源的监督数据，最终都在教同一种底层能力，而不是各自在教一套孤立的小技巧。

这就像教一个孩子理解"如果我把这杯水往左倒，水会往左边流"这个道理。如果孩子真正理解的是重力和倾斜角度之间的关系，那他应该也能推断出把杯子往右倒水会往右流，哪怕你从没特意教过这个具体场景。但如果孩子只是记住了"往左倒水往左流"这句话本身，换个方向他就答不出来了。这11份子集互相都能迁移，说明模型学到的更接近前者。

训练带来的提升不止留在WOVEN自己的测试集里。研究者又拿训练好的模型，拿去跑了26个完全独立的外部基准测试，涵盖空间推理、具身智能、物理推理、时间推理等各个方向。

用全部训练数据训练后，26个外部测试里有12个出现了明显提升（提升超过2个百分点算数），其中SAT这个空间推理测试提升了24个百分点。而用那11份更小的子集（每份才2000道题）分别训练，再从中挑出每个测试表现最好的那一份，覆盖范围一下扩大到22个,也就是26个测试里，几乎所有涉及"状态变化"的任务都受益了,涨幅最高达到27.3个百分点。

唯一没有受益的，是4个考察"静态感知"（比如单张图里有几个物体）和一般视频问答能力的测试。不管用什么子集训练，这四个测试的表现都没有明显变化。这恰好印证了研究者最初的假设边界：这种训练只对涉及"状态转变"的任务有用，对不需要推理变化、只需要识别当下画面内容的任务，没有特别帮助。

还有一个更直接的因果验证。研究者固定一个2000道题的训练预算，让WOVEN数据逐步替换掉某个外部任务（比如SAT）自己原本的训练题，替换比例从0%一路加到100%。

结果显示，替换掉30%到50%的原始训练题，用WOVEN数据顶上去，最终准确率跟完全不替换几乎一样，甚至在SAT这个任务上，全部换成WOVEN数据反而效果最好。这就好比一个学生要准备考试，原本计划刷100道专项习题，但如果换成50道专项习题加50道"通用解题思路"训练题，最后考出来的分数不比原计划差，甚至更高,这说明那部分"通用思路"训练确实替代了部分专项练习该起的作用，而不是两种毫不相干的东西凑在一起。

怎么挑训练数据才最有效

证明了这种能力存在、能被训练出来之后，研究团队又往前推了一步：既然不同的训练数据会产生不同的迁移效果，那有没有一套规律，能提前判断"这份训练数据会对哪些下游任务有帮助"？

答案出乎意料。决定迁移效果的，不是训练数据表现了什么动作、发生在什么场景、属于什么应用领域，而是它教的是哪一种推理操作。

研究者把11份子集两两比较它们的"迁移指纹",也就是它们各自在26个外部测试上的提升幅度构成的一个向量。按"推理家族"（因果/反事实/物理/时间）分组，同一组内的子集，迁移指纹的相关性平均是+0.32；而按"动作类型"（相机/物体操纵/导航等）分组，同一组内的相关性反而是-0.22，跟完全不相关的组别没有差别。

这个发现有点反直觉。你可能会以为，教模型"相机转动"相关的题，应该对所有跟相机动作有关的下游任务都有帮助。但事实是，哪怕两份训练数据都用的是相机动作，只要它们教的推理操作不一样（一个教"正向推理"，一个教"排序"），它们带来的下游收益模式完全不像。反过来，哪怕两份训练数据用的动作完全不同（一个是相机转动，一个是用手操纵物体），只要它们都在教"因果推理"这个操作，它们带来的下游收益模式却很像。

这就好比你去健身房练肌肉。你可能以为，专练"举杠铃"的训练计划，应该对所有需要用到手臂力量的运动都有帮助，不管这项运动是打网球还是搬家。但其实决定迁移效果的，往往不是你练的时候手上拿的是什么器械，而是你练的是哪一类肌肉发力模式,是爆发力训练还是耐力训练。两个用同样器械但训练模式完全不同的计划，效果可能天差地别；而两个用不同器械但训练同一种发力模式的计划，效果反而相近。

基于这个发现，研究团队总结出了一套训练配方，一共四条。

第一条，选训练数据要看它教的推理操作，而不是它表现的动作、场景或领域。想提升某个下游任务，先搞清楚这个任务本质上在考哪种推理操作（是因果？反事实？排序？），再去找教同一种推理操作的训练数据，哪怕动作和场景完全不搭。

第二条，想要模型更鲁棒，优先选场景变化幅度更大的训练数据。研究者比较了同属因果推理家族的几份子集，发现用"物体操纵"训练出来的鲁棒性提升（+23.2个百分点）远超用"相机动作"训练的（+1.7个百分点），用外源性物理事件训练的鲁棒性提升最大（+29.9），这些都是场景变化幅度更大的动作类型。

第三条，时间推理和"有行动主体参与"的推理，得专门单独训练，不能指望从别处迁移过来。时间排序和时间邻接这两个推理类型之间几乎没有迁移,练会了排序不代表学会了邻接判断。外源性的物理事件（没有行动主体参与）训练出来的模型，在需要理解"某个主体做了什么动作"的下游任务上，反而出现了负迁移。比如用纯外源性物理事件训练的模型，在ActionEQA（考验理解行动主体动作的测试）上准确率下降了1.7个百分点，在WorldPrediction上更是下降了10.2个百分点。

第四条，对于那些根本不涉及"状态转变"的任务，比如纯静态感知，这套训练帮不上忙，得靠专门的监督数据。

为了验证这套配方不是事后硬凑出来的规律，研究团队又做了一次"预先下注"式的实验。他们先按配方设计好一套训练数据组合，再拿到几个完全没参与过配方推导的全新外部测试集上验证,包括MMSI-Bench、VLM4D、PhysBench、SPAR-Bench、MVBench、IntPhys 2、CameraBench。

结果五项对照实验全部印证了配方的预判。在"考验理解行动主体动作"的题目上，按配方设计的训练组合比"按动作类型匹配"的组合高出4.7个百分点，比"选错推理操作"的组合高出3.5个百分点；在"考验相机运动理解"的题目上，哪怕对照组用了更多"看起来更匹配"的相机动作训练数据，按配方设计的组合依然略胜一筹；而在"考验被动物理事件理解"的题目上，这次轮到"侧重外源性物理事件"的组合反超，这恰好符合配方第三条预测的方向。

写在后面

读完这篇论文,最让我意外的不是"AI在空间推理上很差"这个结论,这件事大家心里多少有预期。真正让人愣住的是那组迁移指纹的相关性数据：同一动作类型的子集之间相关性是-0.22，而同一推理家族的子集之间是+0.32。研究者没有停留在"模型表现不好"这个表层描述，而是用一套可量化的实验，把"决定AI能力迁移方向的到底是什么"这个一直停留在直觉和猜测层面的问题，变成了一个有数据支撑的答案。

还有一个细节值得单独拎出来说。研究者只用了大约7个小时生成的视频素材，就让一个30亿参数的小模型在空间推理测试上的提升超过了另一个用125000小时真实视频做预训练的模型。这个对比太夸张了,7小时对125000小时，差了四个数量级，但效果反而更好。这背后透出的信号是，监督数据的"结构"可能比"数量"更重要:精心设计的、能覆盖(状态,动作,结果)这个三元组各种组合的少量数据，可能比海量但没有针对性的数据更有效。这跟深度学习圈子里常年挂在嘴边的"数据越多越好"的直觉，有点对不上。

这篇论文也留了一个没有彻底回答的问题。它证明了"视觉转变推理"这个能力存在、可以训练、能迁移，但没有深入解释,为什么时间排序和时间邻接这两种明明都是"时间推理"的能力，彼此之间却几乎学不会对方？是因为这两种任务用到的是完全不同的神经网络内部表示，还是仅仅因为训练数据设计得不够巧妙，没能把两者的共性暴露出来？这个问题留给了后续研究者。

Q&A

Q1：WOVEN是什么？

A：WOVEN是一套专门用来研究AI视觉转变推理能力的训练数据和测试基准，包含36076道题目，覆盖20种场景、5种动作类型和8种推理类型，由视频生成模型造出大量可控的"假如"场景来支持对照实验。

Q2：为什么顶尖AI模型在视觉转变推理上表现这么差？

A：38个主流模型测试显示，最强的GPT-5.4也只有65.8%准确率，而人类平均是92.3%，这个差距跨越几乎所有模型家族，而且不会随模型变大自动消失，说明这是一个结构性的能力缺陷，不是单个模型的偶然问题。

Q3：怎么判断一份训练数据对哪些下游任务有用？

A：研究发现决定迁移效果的关键是训练数据教的推理操作类型，而不是它涉及的具体动作或场景，教同一种推理操作（比如因果推理）的数据，即使动作完全不同，迁移效果也更相似。