伊利诺伊大学厄巴纳-香槟分校揭秘：AI生成的"物理世界"是真理解还是死记硬背？

这项由伊利诺伊大学厄巴纳-香槟分校（UIUC）联合斯坦福大学与哥伦比亚大学共同开展的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.24256。研究团队构建了一个名为TailOR的评测基准，专门用来检验当下最先进的图像与视频生成模型，究竟是真正"懂得"物理世界的运作规律，还是只是把训练数据里见过的画面拼拼凑凑地重新输出。

说到底，这件事比它听起来更令人值得深思。每天都有无数人使用AI工具生成图像和视频，这些工具看起来无所不能——它们能画出精美的场景，能模拟流水、火焰、物体碰撞。但如果有一天，你要求它们模拟一个从未在训练数据里大量出现过的场景，比如用一枚硬币拧松螺丝钉，或者用一本厚厚的精装书砸开核桃，它们还能应付自如吗？这正是TailOR想要回答的核心问题。

---

一、为什么AI的"世界常识"值得被怀疑

现实世界里的物理互动并不是平均分布的。以工具使用为例，人们绝大多数时候用锤子钉钉子、用剪刀剪纸、用螺丝刀拧螺丝——这些场景大量地出现在各种图片、视频和文字描述中，构成了所谓的"高频交互"。而另一面，还存在着海量的"低频交互"：用硬币代替螺丝刀、用厚书代替锤子、用棉花糖去试图击碎核桃——这些场景虽然在日常生活中偶尔也会发生，但在训练数据里几乎找不到直接对应的案例。

研究团队把高频交互称为"头部场景"，把那些罕见但物理上完全可行（或明显不可行）的互动称为"长尾场景"。问题的关键在于：一个AI模型在头部场景表现出色，并不能证明它真的理解了物理规律，因为它完全可以通过"死记硬背"训练数据中的模式来取得好成绩。正如一个学生背熟了教材上所有的例题，并不代表他真的掌握了解题的思路——一旦换一道从来没见过的题，他就可能完全不知所措。

研究人员注意到，当前主流的图像和视频生成模型在现有基准测试上表现亮眼。以OpenAI的Sora-2为例，在一个叫做MMGR的评测数据集上，它能达到86%的物理准确度和92%的视觉真实感。但这些基准测试几乎全部聚焦在那些"常见场景"上——正是那些AI最容易通过记忆模式来应对的场景。于是，一个关键问题浮出水面：这些模型是真的理解了物体如何互动，还是只是在复现训练数据里的统计规律？

---

二、TailOR的三层考试：从平常到反常再到不可能

TailOR的设计思路可以用一场递进式的考试来理解。这场考试分为三个难度层次，每一层都比前一层更能揭示模型的真实能力。

第一层叫"常规场景"。这相当于考试里的基础题——给AI一个常见的工具-任务配对，比如用螺丝刀拧螺丝、用锤子砸核桃。这类场景在训练数据里大量出现，模型只需要"回忆"就能应付。这一层的目的是确认模型的基本能力，相当于考试前先热热身。

第二层叫"非常规场景"。这里，研究团队把标准工具换成了一个功能上可以胜任但日常不会这么用的替代品。比如，把螺丝刀换成硬币——因为硬币有足够的硬度和扁平的边缘，理论上也能插进螺丝槽、传递扭力；把锤子换成一本厚重的精装书——因为书有足够的质量和硬度，可以砸碎核桃壳。这类场景要求模型不只是"认出"工具，还要真正理解工具的物理属性，然后判断这些属性在新情境下是否依然有效。这才是真正考验理解力的地方。

第三层叫"不可能场景"。这里，研究团队换上了物理上根本无法完成任务的工具。比如，用一根干意大利面条去拧螺丝——干面条既没有必要的硬度，也无法传递扭力，一碰就断；用一块棉花糖去砸核桃——棉花糖软到根本无法将力传导到坚硬的核桃壳上。这类场景要求模型能够"识别失败"——它应该生成一张图或一段视频，清楚地展示工具彻底无效的结局，而不是一厢情愿地生成一个成功的结果。

这三层测试形成了一套完整的诊断体系：常规场景测试模型的基础记忆能力，非常规场景测试它的属性推理能力，不可能场景测试它的约束意识。

除了这三种场景之外，TailOR还为每种场景设计了两种不同的提示方式，进一步拆解模型的能力。第一种叫"预测式生成"：不告诉模型结果会怎样，只描述操作过程，让模型自己推断并生成相应的图像或视频。比如，只说"一个人用棉花糖去砸核桃，会发生什么？"，模型需要自己判断结果。第二种叫"描述式生成"：把结果直接告诉模型，要求它根据这个描述生成对应的内容。比如，明确说"生成一张图，展示棉花糖被压扁在核桃上，而核桃壳完好无损的场景"，模型只需要按图索骥，忠实呈现这个描述。

这两种提示方式分别测试了两种不同的能力：前者测试模型有没有内在的物理推理能力，后者测试模型能不能精确执行明确的指令、实现特定的物理状态。

---

三、数据集是怎么造出来的：一个精心设计的流水线

构建TailOR并不是简单地随机收集一些图片或视频，而是经历了一套完整的、从无到有的数据生成流程。

整个流程从一个叫HICO-DET的人体-物体交互数据集出发，提取出了一批人类与物体互动的动作类别，研究团队从中筛选出了18种具有代表性的动作，比如阻挡、打破、搬运、切割、锤击、拧松等。每种动作都配有详细的描述，包括动作本身的含义、背后的物理原理以及完成该动作所需的工具属性。

在此基础上，研究人员借助大型语言模型（具体使用的是GPT-5）为每种动作生成了一系列具体的工具使用任务，每个任务都包含任务目标、原始工具、预期结果以及完成任务所需的工具属性。接着，同样通过GPT-5，团队为每个任务生成了一批"非常规替代工具"——这些工具满足相同的物理属性要求，但并非通常的选择。与此同时，团队还生成了"不可能工具"，方法是先将关键属性反转（比如把"坚硬"变成"柔软"），再在知识图谱ConceptNet中寻找满足这些反转属性的物体。

所有自动生成的内容都经过了两轮人工审核。第一轮，四位人类标注员（包括计算机科学专业的研究生和一名物理专业的本科生）审查任务的合理性，确认非常规工具在物理上确实可行，确认不可能工具在物理上确实无法完成任务，并剔除模糊或视觉上难以呈现的案例。第二轮，标注员进一步审核生成的提示词和评估细则，修正不清晰或不一致的地方。

最终，TailOR包含了80个核心工具使用任务，每个任务配有5个工具变体（1个常规工具、2个非常规工具、2个不可能工具），每个变体生成4种提示（预测式图像、描述式图像、预测式视频、描述式视频），共计1600个评测提示。这些任务覆盖了室内和室外两种环境，其中室内场景占61.3%，室外场景占38.8%，场景多样性相当丰富。

---

四、怎么打分：四把不同的尺子

评估AI生成内容的质量是一件微妙的事情，研究团队为TailOR设计了四个互补的评估维度，每一个维度都关注不同方面的表现。

第一个维度叫"指令遵从度"，用百分比衡量，测试生成内容是否正确呈现了任务所需的所有要素。这个大维度进一步拆分为三个子维度：实体完整性（场景里该有的东西是不是都出现了，比如工具、目标物体、背景环境），属性准确性（工具是否具备正确的物理属性，比如该硬的东西看起来是不是真的硬），以及场景合理性（各个物体的空间位置和相对比例是否合理，整个场景是否在物理上可以发生）。

第二个维度叫"交互准确度"，同样用百分比衡量，测试互动过程的结果是否正确。它的子维度包括状态变化正确性（互动结束后，物体是否处于正确的状态，比如核桃壳是否裂开、螺丝是否松动），功能对应性（工具是否通过正确的部位施加力量，与物体的接触方式是否符合物体的几何和材料特性），以及运动合理性（这个子维度只适用于视频，测试动作的运动轨迹是否连贯、物理过程是否自然）。

第三个维度叫"物理真实感"，用0到5分的评分量表衡量，评估生成内容是否符合基本的物理规律，包括重力、接触力学、材料约束和因果关系。0分代表明显违反物理定律，5分代表与真实物理完全一致。

第四个维度叫"感知质量"，同样用0到5分衡量，评估视觉呈现的清晰度、渲染质量和整体视觉效果。对于视频来说，这个维度还额外考察跨帧的一致性，也就是视频里的物体是否在每一帧都保持稳定的外观。

在评测方式上，团队同时采用了两种并行的方案。人工评测方面，共招募了9名有视觉内容评估经验的标注员（包括4名博士生、3名本科生和2名硕士生），每个样本由至少3名标注员独立评分后取平均值。自动评测方面，使用Gemini-2.5-Pro作为评判模型，输入与人工评测完全相同的问题清单和评分标准，让模型先给出推理过程再给出最终评分。研究人员验证了自动评测与人工评测之间的一致性——两者在模型排名上高度吻合，说明自动评测的结果是可靠的。

---

五、八大模型上场：结果令人深思

研究团队选取了当前业界最具代表性的图像和视频生成模型进行测试。图像生成模型方面，测试了Z-Image、Qwen-Image、GPT-Image-1和Nano-Banana-2（即谷歌Gemini系列的图像生成模型）。视频生成模型方面，测试了HunyuanVideo-1.5、Wan-2.2、Sora-2和Veo-3.1。

测试结果呈现出三个清晰的规律，值得逐一展开来看。

第一个规律：所有模型从常规场景到非常规场景再到不可能场景，性能都出现了系统性的下滑。以指令遵从度为例，表现最好的图像模型Nano-Banana-2在常规场景预测式生成中能达到69%（自动评测），但到了非常规场景就降到了46%，不可能场景进一步降到42%。视频模型的下滑更为明显，Sora-2在常规场景能达到66%，但到了非常规场景只有44%，不可能场景39%。物理真实感这一维度的下滑尤为剧烈，Sora-2从常规场景的3.1分（满分5分）跌到非常规场景的2.3分，再跌到不可能场景的2.2分。这种系统性的下坡趋势在所有模型、所有维度、所有评测方式（无论是自动还是人工）上都同步出现，说明这不是个别模型的偶然缺陷，而是整个领域的普遍限制。

第二个规律：视频模型比图像模型更难应对长尾场景。这并不难理解——生成一张静态图像，模型只需要在某一个时间点上呈现一个合理的状态；而生成视频，模型还必须维持物体在连续多帧之间的一致性，模拟力的传播过程、物体的变形过程以及状态的变化过程。正因如此，视频模型的错误往往是"级联式"的：第一帧出现了一个小错误，之后每一帧都会在这个错误的基础上继续发展，最终导致整段视频的物理逻辑完全崩溃。研究团队发现，视频模型尤其倾向于把不可能场景处理成好像工具有效一样——换句话说，即便告诉模型"一根干面条去拧螺丝"，它也可能生成螺丝被拧松的结果，完全无视了干面条缺乏必要物理属性这一事实。

第三个规律：自动评测与人工评测的结果高度一致，特别是在模型排名方面。无论哪种评测方式，都一致地选出Sora-2作为最优视频模型，Nano-Banana-2作为最优图像模型。这一发现证明了TailOR的自动评测体系是可靠的，可以大规模、低成本地用于评估新模型。

---

六、失败的解剖：模型到底在哪里出了问题

仅仅知道模型的分数不够高并不能帮助改进它，研究团队进一步分析了模型在不同场景下的典型失败模式，试图找出根本原因。

对于图像生成模型而言，在常规场景下，最常见的两种失败是结果错误（该发生的事情没有发生）和属性不准确（物体的尺寸、形状或材质不对）。比如，一张锤子敲钉子的图里，锤子位置摆对了，但钉子没有被敲入，同时锤子本身的比例看起来有些奇怪，甚至与钉子的接触位置出现了不符合物理的"相互穿插"。在非常规场景下，最主要的问题变成了功能对应性错误——模型可能认出了那本厚书是硬的，却没有用书的平面去施力，或者让书在接触时不合理地弯曲了。在不可能场景下，最主要的问题是指令遵从失败：模型直接无视了"用软海绵切胡萝卜"这样的约束，在生成内容里把海绵处理成了一个有效的切割工具，彻底违背了物理规律。

对于视频生成模型而言，在常规场景下，最大的问题是运动不合理——锤子可能突然出现在钉子旁边，没有完整的挥动动作，或者每次敲击之间出现奇怪的抖动。在非常规场景下，功能对应性错误最为突出：一本书用来砸钉子，起初可能看起来像一个击打动作，但随后书开始像软垫一样变形，最终无法将钉子钉入。在不可能场景下，跨帧不一致问题最为严重：核桃可能在没有任何明显力量施加的情况下突然出现裂缝，或者软工具与核桃接触时没有发生任何形变，前后帧之间的因果关系完全断裂。

---

七、告诉模型答案，问题就解决了吗？

这是TailOR揭示的另一个重要发现，也是令人颇感意外的地方。

按理说，描述式生成应该比预测式生成更容易——毕竟模型已经被告知了最终结果是什么，只需要按照指令呈现就好，不需要自己推理。然而实验结果表明，对于视频模型而言，描述式生成的得分往往反而低于预测式生成。也就是说，明确告诉模型"棉花糖被压在核桃上，核桃完好无损"，它反而比不告诉它结果时生成得更差。

这个现象背后的原因非常耐人寻味。研究团队认为，这是因为视频模型在生成过程中对训练数据里的常见模式有很强的"惯性"。一旦模型在第一帧中"看到"了核桃，它就会自动沿着训练数据中最常见的路径走下去——也就是让核桃被砸碎。这种惯性非常强大，强大到即便明确的描述性指令告诉它"核桃不应该碎"，模型依然难以抵抗去生成一个它更"熟悉"的结果。后续的每一帧都在第一帧的基础上生成，于是整个视频就沿着"错误但熟悉"的轨迹一路滑下去，完全无视了指令里描述的预期状态。

图像模型的情况稍好一些。描述式生成在图像模型上确实带来了一定的提升，尤其是在实体完整性和场景合理性上——明确指定物体和状态有助于模型更准确地放置正确的元素。但即便如此，图像模型在属性准确性方面的改善仍然有限，说明即使有了明确的指令，模型依然很难正确呈现工具的物理属性。

这一发现指向了一个根本性的结论：当前的生成模型失败，不只是因为缺乏物理推理能力（这会导致预测式生成失败），更是因为它们存在强烈的"视觉模式偏好"（这会导致即便有明确描述的情况下也无法忠实执行），两种失败机制共同作用，限制了这些模型作为真正"世界模拟器"的能力。

---

八、为什么会这样：训练方式的根本局限

看完这些失败现象，自然会问：问题出在哪里？

研究团队给出了一个清晰的诊断。现有的图像和视频生成模型在训练时，主要目标是让生成内容在视觉上足够逼真、在感知上足够与训练数据相似。为了实现这个目标，模型学会了把大量常见的工具-任务配对当作整体模板来记忆：锤子-钉子是一套模板，刀-蔬菜是一套模板，螺丝刀-螺丝是一套模板。在处理常见场景时，直接调用这些模板就够用了，既高效又准确。

但这种方式没有让模型真正理解这些模板背后的物理逻辑——为什么锤子能钉钉子？因为它有足够的质量、足够的硬度，并且可以通过撞击传递力量。一旦换成硬书，这些属性大部分依然成立，所以应该能成功；一旦换成棉花糖，这些属性全部失效，所以必然失败。要做出这种区分，模型需要的不是对"锤子+钉子"模板的记忆，而是对"质量"、"硬度"、"力传导"这些底层物理属性的抽象理解，以及在新情境下组合运用这些属性进行推理的能力。

这就像一个只会背公式却不理解公式推导过程的学生，遇到原题能对答如流，换一个角度提问就立刻迷失方向。当前的生成模型正是处于这个阶段——它们记住了大量的"视觉公式"，但还没有真正建立起"物理直觉"。

---

归根结底，TailOR做的事情是把一把更精准的尺子放在了AI生成模型面前，而这把尺子测量的不是"图片好不好看"或"视频流不流畅"，而是"模型有没有真正理解这个世界"。

测量的结果表明，当前最先进的模型在"好看"和"流畅"方面已经相当出色，但在"真正理解"方面仍然存在显著的缺口。每当任务偏离常见模式，模型的表现就会系统性地下滑；每当需要用属性推理来判断一个陌生工具是否能胜任某项任务，模型往往依赖于视觉模式的惯性而非物理逻辑；甚至在明确告知结果的情况下，模型也常常无法抵抗训练数据中熟悉模式的"吸引力"，回到它更"习惯"的结果上去。

这对普通用户意味着什么？如果你使用AI视频工具来模拟一些常见的物理场景，它大概率能给你一个看起来不错的结果。但如果你需要它模拟一些不那么常见的物理互动，或者需要它正确地呈现"某件事为什么不会成功"，就需要对结果保持谨慎。

研究团队提出了几个值得关注的未来方向。一方面，需要在训练过程中引入更强的物理属性归纳偏置，让模型学习可复用的物理原语（比如"硬度"、"几何形状"、"力的传导方向"），而不仅仅是整体的视觉模板。另一方面，视频生成模型需要更好的长程状态追踪、力传导一致性建模和约束感知的时间规划机制。更长远来看，这类基准测试的框架还可以扩展到更复杂的具身场景，比如多步操作、多物体因果链，乃至更复杂的环境动力学。

对于这个研究感兴趣的读者，可以通过arXiv编号2606.24256查阅完整论文，项目主页也可以在tailor-bench.github.io找到更多信息。

---

Q&A

Q1：TailOR基准测试和普通的AI生成模型评测有什么区别？

A：普通评测通常只考察AI在常见场景下表现如何，比如用锤子钉钉子、用刀切菜这类训练数据里大量出现的互动。TailOR专门测试AI在"长尾场景"下的表现，包括用功能上可行但不常见的替代工具（比如用硬币代替螺丝刀），以及用物理上完全不可行的工具（比如用棉花糖砸核桃），以此判断模型是真正理解了物理规律，还是只会复现训练数据里的熟悉模式。

Q2：为什么告诉AI视频模型最终结果应该是什么，它反而生成得更差？

A：这是因为视频模型在生成时对训练数据中的常见模式有很强的惯性。一旦模型在第一帧确立了某个物体的存在，就会自动沿着最熟悉的轨迹往下走，比如看到核桃就倾向于让它碎掉。这种惯性非常强，即便明确的指令要求呈现不同的结果，模型也很难抵抗"熟悉感"的吸引，导致描述式提示反而拖累了生成质量。

Q3：TailOR测试了哪些AI模型，哪个表现最好？

A：测试涵盖了8个当前主流模型，其中图像生成模型包括Z-Image、Qwen-Image、GPT-Image-1和Nano-Banana-2，视频生成模型包括HunyuanVideo-1.5、Wan-2.2、Sora-2和Veo-3.1。无论是自动评测还是人工评测，结果都一致地显示Nano-Banana-2在图像生成模型中表现最好，Sora-2在视频生成模型中表现最好，但所有模型在长尾场景下的性能都出现了显著下滑。