AI能看懂视频里的物理世界吗？一篇让大模型集体现形的测试

你有没有想过，一个能写诗、能编程、能和你聊哲学的AI，可能连"球从斜坡滚下来会不会越滚越快"这种小孩都懂的常识都说不清楚？

这不是危言耸听。2026年初，一群来自中国科学技术大学、字节跳动和香港城市大学的研究者做了一件事：他们把市面上几乎所有顶尖的视觉语言模型拉出来，用一套叫PhysVista的测试体系狠狠考了一遍，结果发现这些号称"多模态智能"的AI，在理解物理世界这件事上，普遍不及格。

这事儿值得说道说道。

**一、问题出在哪：AI评委靠不靠谱

现在的视频生成模型一茬接一茬地冒出来，Sora、可灵、即梦，个个都号称能生成逼真的视频。但生成出来的视频到底符不符合物理规律，谁来判断？

人工一帧帧看肯定不现实，所以行业里普遍的做法是请VLM（Vision-Language Model，视觉语言模型，就是那种既能看图像视频又能理解和生成文字的AI，比如GPT、Gemini这类）来当裁判，让它给视频打分、挑毛病。

问题来了：如果这个裁判自己都看不懂物理，它打的分还有意义吗？

这就好比请一个色盲去当美术比赛的评委，他可能还是能说出构图好不好、线条美不美，但要他判断"这幅画的色彩搭配是否协调"，那就是强人所难了。VLM在语言和表层视觉识别上确实厉害，可它是不是真的理解"水往低处流""重的东西下落更快"这些物理规律，之前没人系统地测过。

研究者们发现，已有的测试方式都有点残缺。比如PhysBench这个基准只测"感知"，也就是AI能不能看出画面里有什么、东西之间什么关系，但不测它会不会推理因果。CausalVQA、MVP Bench这些测因果推理的基准，又只关心"这件事发不发生"，不关心"发生到什么程度"。最新的PAI-Bench往前走了一步，把感知和推理都测了，但还是缺了最后一环：对整段视频的物理合理性做综合打分和比较。

这就像拼图缺了几块，每个基准看到的都是局部真相。

**二、把人类认知过程搬过来当标尺

人是怎么理解物理世界的？

仔细想想，这其实是个闭环：先看（观察当前有什么状态），再想（推理背后发生了什么、接下来会怎样），最后判断（这整件事合不合理）。

PhysVista*：全称是一个叫作"感知-推理-评估"闭环的物理智能测试基准，由感知、推理、评估三大阶段组成，用来系统性地考察AI对物理世界的理解能力。

研究者就是照着这个人类认知的闭环，把测试拆成了三个阶段："看"（物理状态感知）、"想"（物理动态推理）、"判断"（物理合理性评估）。三段环环相扣，缺一不可，这也是PhysVista和之前所有基准最大的不同。

**三、第一关：看得准不准

感知这一关测的是最基础的东西：AI能不能从视频画面里准确读出物理状态。这里面拆成了五个小项。

空间状态感知，就是考AI认不认得清"谁在谁左边""什么东西碰到了什么东西""地面是什么材质""这个物体能不能塞进那个空间里"。听起来简单，但细分成了关系、交互、场景语境、空间可行性四个子类，每一类都是不同维度的空间认知能力。

时间违例定位，这个任务有意思，它要求AI在一段视频里精确指出"哪一秒到哪一秒"出现了违反物理规律的画面，而不是笼统地说"这段视频有点问题"。这是一种精确到秒级的时间定位，比以前那种"全视频打分"要难得多。

镜头运动识别，就是考AI能不能分清摄像机是在平移、旋转、还是环绕拍摄。以前的研究对镜头运动的分类很粗糙，这次研究者定义了十种标准镜头运动类型，比如"弧线左移""俯仰上抬""纯静止"等等，每一种都有清晰的几何定义。

定量尺度估计，这项任务要求AI不能只说"这个比那个大一点"，而要给出具体的比例数字，比如"黑色方块的长度是红色方块的4/5"。

量化的意义在哪？如果只问"哪个大"，AI可能靠蒙都能对一半，但要求给出精确分数值，就能看出它是不是真的理解空间尺度，而不是猜答案。

物理不确定性感知*：这是一个以前几乎没人测过的能力，分成两种。一种叫参数不确定性感知，考AI知不知道"有些物理参数比如摩擦系数，光靠看视频是判断不出来的"；另一种叫结果不确定性感知，考AI知不知道"有些事情的后续发展本身就是不可预测的"。

这项感知听起来有点绕，但其实特别重要。设想一下，一个总是信誓旦旦给出确定答案的朋友，和一个会说"这个我真不确定"的朋友，哪个更靠谱？如果AI永远觉得自己什么都能算出来，哪怕是压根没法从画面推断的摩擦系数都要给个确切数字，那它其实是在不懂装懂。一个真正理解物理的系统，应该知道自己知识的边界在哪里。

**四、第二关：想得深不深

感知只是第一步，真正的难点在推理。这一关测的是AI能不能从"看到什么"推断出"为什么会这样""接下来会怎样"。

这里面又拆成了时间推理和因果推理两条线。

时间顺序重建是时间推理的代表任务，给AI几张从视频里随机抽出来、顺序打乱的画面，让它排出正确的时间顺序。这个任务考的是AI对"事情发展先后逻辑"的基本物理常识，是不是能靠直觉判断出哪个画面在前哪个在后。

因果推理则被拆成了五个子任务，一个比一个难。

物理机制推理，要求AI说出一个现象背后的真正物理原因，而不是简单描述"球飞起来了"这种表面现象，而要说出"为什么球会飞起来"。

物理原理违背推理，要求AI找出视频里违反了哪些基本物理定律，比如动量守恒、重力定律等等，而且可能同时违反多条。

物理动态预测，这个任务只给AI看视频的前半段，让它预测接下来会发生什么，而且要求预测既要"事件对"（预测的事情类型要对），又要"尺度准"（细节上的精确程度也要对，比如球是刚好停在参照点，还是提前就停了）。

反事实物理推理，这是难度最高的一档，要求AI想象"如果把冰面换成石子路，滑冰的人会怎样"这种假设情境下的物理后果。

物理违例批判，要求AI不仅找出视频里哪里不合理，还要提出"怎么改才能让它变得合理"的具体修改建议。

实验结果显示，这一关是整个基准里最难的。时间顺序重建相对简单，因为靠基本常识就能蒙对个大概，但物理动态预测和反事实推理的正确率普遍偏低，有些模型甚至只有二三十分（满分100）。

这揭示了一个挺扎心的事实：AI可以说出"冰面摩擦力小"这种知识，但真要它推演"摩擦力变小之后，物体会多滑多远、什么时候停下来"，它就露馅了。知道规则和会用规则去精确计算后果，是两码事。这就像你知道"下雨路滑"这个常识，但要你估算"下雨天刹车距离会增加多少米"，那就是另一个难度层级的问题了。

**五、第三关：判得公不公

这是整个闭环里最后，也是以前所有基准都没做到位的一环：让AI像裁判一样，对整段视频的物理合理性下一个综合判断。

这里面有两个任务。

物理合理性打分，要求AI给一段视频打1到5分，分数要跟违规的严重程度挂钩，而不是简单的"合理/不合理"二选一。

物理合理性比较，给AI两段视频，让它判断哪一段更符合物理规律。这里又细分成三种配对：真实视频对真实视频、真实视频对生成视频、生成视频对生成视频。

为什么要分这三种？因为难度完全不一样。真实视频对生成视频是最简单的，因为生成视频的破绽往往比较明显，一眼假；生成视频对生成视频是最难的，因为两段视频可能都有点小问题，谁更假需要很细腻的判断力；而真实视频对真实视频理论上应该让AI说"打平"，但实验发现很多模型会强行选出一个"更好"的，哪怕两个都没问题。

这个"强行选边"的毛病说明了什么？说明这些AI缺少一种"认输"或者说"认为相等"的能力。想想生活里，如果有个朋友，不管你问他什么比较题，哪怕两个选项根本分不出高下，他也非要装模作样地给你一个确定答案，你会觉得这个人是不是有点不懂装懂、死要面子？AI在这里暴露的，恰恰是类似的毛病。

打分任务里还发现一个更有意思的现象，叫做"分数坍缩"。有些模型，不管给它看真实视频还是生成视频，都疯狂打最高分，好像它压根分不出好坏，干脆来个"一视同仁"的敷衍了事；另一些模型反着来，默认给最低分，导致真实视频也被冤枉成"不合理"。真正靠谱的模型，应该是看到真实视频就给高分扎堆，看到生成视频的分数能明显往低分散开，这种"分布分离"的特征，才说明它是真的在认真判断，而不是在耍滑头。

**六、横向对比：谁更强，为什么会有落差

研究者测试了包括GPT-6 Sol、GPT-5.2、Claude Opus 5.5、Gemini 3.1 Pro、Doubao Seed 2.0 Pro、Kimi K2.5、Qwen3.5系列在内的十几个主流模型。

结果出现了一个很反常识的现象：在"感知"这一关排名靠前的模型，到了"推理"这一关名次可能大幅下滑；在"推理"这一关表现出色的模型，到了"评估"这一关又可能掉队。

比如GPT-5.2和Kimi K2.5在感知任务里排到了第三、第四名，但到了动态推理榜单上，名次明显往下掉。Gemini 3.1 Pro和Doubao Seed 2.0 Pro在动态推理任务里排进前四，可一到物理合理性评估，表现又不如人意。

这说明什么？说明这三种能力并不是简单的"强者恒强"，它们之间存在明显的能力割裂。一个模型能看清楚画面里有什么，不代表它能推理出背后发生了什么；一个模型能正确推理出违反了哪条物理定律，也不代表它能给整段视频一个恰当的、符合违规严重程度的分数。

这就好比考试里，有的学生擅长选择题（认知识别），但到了需要写推导过程的大题（逻辑推理）就抓瞎；也有的学生推导过程写得头头是道，可一旦要求他对整篇解题思路的优劣做个综合评价，又说不出个所以然。能力是分层的，而且层与层之间的迁移远没有想象中那么顺畅。

**七、真实视频VS生成视频：AI更容易在哪里露馅

研究团队还专门对比了模型在真实视频和AI生成视频上的表现差异，发现了一个清晰的规律：几乎所有任务上，模型在真实视频上表现都更好，这个差距在"物理不确定性感知"和"物理动态预测"这两项上尤其明显。

为什么会这样？研究者推测，这类任务要求模型对细微的物理合理性做出敏感判断，而生成视频里的物理违规往往是悄无声息、不那么夸张的，不像真实视频里的物理规律那样"自然而然"。这说明当前的AI很大程度上是在"记忆常见的真实世界模式"，一旦画面里混入了细微的违规，它们很难在推理过程中把这种不协调感真正识别和消化掉。

不过也有例外，在定量尺度估计这项任务上，模型在生成视频上的表现居然比真实视频还好一点。原因可能是生成视频里的几何布局通常更干净、物体摆放更规整，没有真实场景里那些杂乱背景和遮挡干扰，反而让尺度估计变得容易了。这个小细节提醒我们，AI的"擅长"和"不擅长"并不总是遵循"真实更简单"这种直觉，具体问题还得具体分析。

**八、这套测试到底测出了什么

把三关串起来看，PhysVista测出的核心结论很直白：现在的顶尖视觉语言模型，视觉识别能力和语言表达能力已经相当成熟，但对物理世界的深层理解，还处在一个相当初级的阶段。

它们可以描述画面，可以复述物理定律的名字，甚至可以煞有介事地讲出一套看似合理的因果解释，但一旦要求精确预测、假设推演、分级判断，漏洞就暴露无遗。

这个发现对正在蓬勃发展的视频生成行业尤其重要。如果大家都指望用VLM来自动化评估生成视频的物理真实性，那么这篇研究提醒我们：这个评估体系本身可能就不靠谱，评委自己都没有真正理解物理，它打出的分数只能参考，不能全信。

写在后面

读完这篇论文，我最意外的一点其实是"分数坍缩"这个现象。我原本以为AI在不确定的时候至少会给出一个居中的、模棱两可的回答，结果发现有些模型反而会走极端，要么全打五分，要么全打一分。这种行为模式让我想起考试里那种"蒙都不会好好蒙"的学生，宁可全选C，也不愿意真的去读题。这背后或许反映了这些模型在训练过程中对某些分数词汇形成的路径依赖，一旦遇到难以判断的情况，就会不自觉地滑向它最熟悉的那个答案，而不是诚实地表达"我不确定"。

另一个让我反复琢磨的细节是"真实视频对真实视频"这个对照组的设计。研究者故意放了两段都合理的真实视频让AI去比较，目的就是看它会不会强行分出高下。这个设计特别巧妙，因为它测的不是AI懂不懂物理，而是AI会不会"装懂"。一个真正可靠的判断系统，应该有勇气说"这两个差不多"，而不是为了显得自己很厉害，硬凑一个答案出来。这或许是一个更普遍的问题：我们现在的AI评测体系，太习惯用"选出一个最优答案"这种单一标准去衡量智能，却很少去测试它敢不敢承认"不相上下"或者"我不知道"。

物理世界不会因为一个AI说错了而改变运行规则，球该怎么滚还是怎么滚，水该往哪流还是往哪流。但如果我们越来越依赖AI去替我们判断什么是真实、什么是合理，那么这个判断系统本身有没有被真正校准过，可能比我们想象的更重要。

Q&A

Q1：PhysVista是什么？

A：PhysVista是由中国科学技术大学、字节跳动和香港城市大学的研究者提出的一套物理智能测试基准，它通过感知、推理、评估三个闭环阶段，系统考察视觉语言模型对物理世界的理解能力，同时涵盖真实视频和AI生成视频两类数据。

Q2：为什么现有的视觉语言模型在物理理解上表现不好？

A：研究发现这些模型在感知、推理、评估三个能力阶段存在明显割裂，一个模型在某一阶段表现好不代表其他阶段也好，尤其在物理动态预测、反事实推理和精细化的合理性打分上普遍得分较低，暴露出它们更多依赖记忆常见模式而非真正的物理推演。

Q3：AI生成的视频和真实视频，模型在理解上有什么差异？

A：大多数任务上模型在真实视频上表现更好，尤其在物理不确定性感知和动态预测方面差距明显，因为生成视频里的物理违规往往比较细微，模型难以察觉；但在定量尺度估计任务上，由于生成视频画面更规整干净，模型反而表现略好。