上交大最新研究：AI看视频时为何总"猜"错位置？让它"看两遍"就够了

这项由上海交通大学合作媒体网络创新中心与同济大学联合完成的研究，发表于2026年第43届国际机器学习大会（ICML 2026），论文编号为arXiv:2606.11683。

你有没有试过在一个陌生的房间里找东西？当你站在门口往里看，沙发后面那把椅子根本看不见，桌子另一侧的台灯你也判断不了距离。这时候你自然而然会走进房间，换个角度再看一眼——然后恍然大悟，"哦原来椅子在这！"

现代的人工智能，尤其是那些能看视频、回答问题的"多模态大语言模型"（你可以把它理解为一种能同时看图、看视频、又能说话聊天的AI），其实也面临同样的困境。给它看一段房间里拍摄的视频，问它"这个房间里有几把椅子"，它只能依据镜头扫过的那条固定路线来判断。摄像机没走到的地方，它就看不见。就像一个人被蒙着眼睛在房间里转了一圈，然后被要求画出整个房间的平面图——能画个大概，但必然会漏掉很多细节。

上海交通大学的研究团队发现，现有的AI在处理这类空间推理问题时，有一个根本性的缺陷：它们只"看"一遍，然后就给出答案。这种"一次定终身"的方式，导致AI经常靠"猜"来填补那些摄像机没扫到的角落，而猜出来的结果往往跑偏。研究团队提出的解决方案听起来非常直觉——让AI"再看一遍"，只不过这第二遍，是从一个全新的、人工合成的视角来看同一个场景。这套方法被命名为**ReRe**，全称"Reason, then Re-reason"，中文可以理解为"先推理，再重新推理"。

---

一、当AI被迫"蒙眼猜测"：单次推理的根本缺陷

回到那个蒙眼找椅子的比喻。被记录下来的视频就像那条固定的行走路线——摄像机走到哪里，AI才能看到哪里。这在学术上叫做"自我中心视角视频"（egocentric video），简单说就是第一人称拍摄的视频，比如头戴摄像机记录的场景。

问题在于，摄像机的行走路线是随机的，不会专门绕到每个角落去确认每个细节。当AI需要回答"椅子在桌子的左边还是右边"这类空间问题时，如果那个角度恰好没被拍到，AI就只能靠自己"学过"的知识来猜——比如它见过很多书桌旁边放椅子的图片，就会默认椅子在某个常见位置。这种靠积累的"印象"来填补空白的行为，在AI领域叫做依赖"语义先验"，通俗来讲就是凭经验猜。

研究团队指出，凭经验猜的最大问题是，它给出的答案看起来很合理，但实际上可能完全错误。就像有人告诉你"这种餐厅一般把卫生间放在左边"，但这家餐厅偏偏把卫生间放在右边——靠通例猜的结果，在具体情况下经常翻车。

更麻烦的是，现有的AI模型并没有建立真正的三维空间感知能力。它们看视频时，更像是在翻一叠照片，而不是真的在脑子里构建一个立体的房间模型。帧与帧之间的空间关系，对它们来说是模糊的。正因如此，当视频里的证据不够充分时，这些AI给出的答案本质上是"临时拼凑"的，而非经过可靠验证的结论。

研究团队的核心洞察是：这种"临时拼凑"的答案其实可以被纠正——前提是给AI提供额外的视角。就像刑事调查里，一个目击证人的证词可能不够，但两个从不同角度观察的证人，往往能拼出更接近真相的图景。

---

二、核心思路：让AI拥有"第二双眼睛"

ReRe框架的运作方式，可以用一个"侦探办案"的场景来理解。

一位侦探来到案发现场，先按照通常的入口路线走了一遍，记录了他能看到的所有线索，形成了一个初步判断——"嫌疑人从窗户进入，作案工具放在桌子右边"。但他知道，这个判断是基于有限的观察得出的，可能有遗漏。于是，他安排无人机从高空拍摄了整个现场的俯视视频。对照这份新的视角，他发现窗户其实被锁上了，进入路线不可能是窗户，而俯视角度清楚地显示作案工具在桌子左边，而非右边。他重新调整了判断。

ReRe的工作流程完全对应这个过程。第一阶段叫做"推理阶段"（Reason Phase）：AI看原始的第一人称视频，按照结构化的思路先观察场景中的关键元素，再推断空间关系，最后给出一个暂定答案——这个答案被明确标记为"初步假设"，而非最终结论。第二阶段叫做"重新推理阶段"（Re-reason Phase）：AI接收到一段从全新视角拍摄的合成视频，将其与第一阶段形成的假设进行对比，判断原有结论是否需要修正，最终给出确定答案。

这两个阶段的关键区别在于：第二阶段不是从头开始的重新观察，而是带着"已有假设"去做定向验证。侦探不是再走一遍案发现场，而是专门用无人机去验证自己怀疑的那几个点。这种"假设驱动"的验证方式，效率远高于漫无目的地再看一遍。

---

三、那个新视角从哪里来？从点云到视频的奇妙转变

最有意思的问题来了：这段"全新视角的视频"是怎么生成的？现实中没有人去拍一个高空俯视的视频，AI只有那段原始的第一人称录像。

研究团队使用了一项近年来取得突破的技术：单目三维重建。这个技术听起来很复杂，但原理可以这样理解：你只需要一段普通视频，AI就能从中"脑补"出整个场景的三维结构——就像从一叠不同角度的照片中，拼出一个立体模型。

具体来说，研究团队使用了一个叫做VGGT（Visual Geometry Grounded Transformer）的工具，它能把视频中的每一帧信息融合起来，生成一个由大量三维坐标点组成的"点云"——这就像用无数个细小的彩色沙粒，堆出一个真实房间的三维缩微模型。有了这个三维模型，就可以在任意位置、任意角度"架设"一个虚拟摄像机，然后从那个角度渲染出视频画面。

但这里有一个关键问题：三维重建不可能完美无缺。有些角落的点云很稀疏，预测也不太可靠，直接拿来用会让AI看到奇怪的噪点或者幻影般的错误几何形状，反而干扰判断。研究团队因此设计了一套处理流程：首先用深度排序确保近处的物体正确遮挡远处的物体；其次过滤掉置信度低于0.5的不可靠点，让那些区域在画面中呈现为空白而非乱码——空白对AI来说意味着"这里我没有足够信息"，而乱码则可能被误解为真实物体；最后通过一种叫做"中值滤波"的图像处理手段，去掉画面中零散的噪点。经过这套处理，合成出来的视频虽然不如真实拍摄的画面精细，但足够让AI识别出空间布局和物体位置关系。

---

四、新视角该从哪个方向看？摄像机轨迹的设计学问

有了三维重建技术，下一个问题是：摄像机应该从哪个方向飞过去？

研究团队考虑了三种可能的飞行路径，这就像在设计一架无人机巡查房间的路线。

第一种是"水平穿越"（Mid-level Traverse）：无人机在与人眼差不多高的位置，水平地从房间一侧飞到另一侧。这条路线的问题是，高度和人站着没什么区别，依然会遇到沙发挡住椅子、柜子遮住床角之类的遮挡问题，对解决原始视频里的遮挡困境帮助有限。

第二种是"鸟瞰环绕"（Bird's-eye Orbit）：无人机升到很高的位置，俯视整个房间转一圈，就像从天花板正上方往下看。这个视角的问题是，AI在训练时见过的大量图片和视频都是从人类视角拍摄的，几乎没有完全竖直朝下看的场景。这种角度对AI来说太陌生了，它反而认不出很多物体，产生了"视角分布错位"的问题。

研究团队最终采用的是"斜角扫掠"（Oblique Sweep）：无人机从场景的一个角落出发，斜向飞越整个房间，落在对角的另一个角落，同时保持约45度的俯视角。这个路径就像一架飞机斜着飞过城市，既能从比人眼高的位置俯瞰全局、减少物体之间的遮挡，又不会高得离谱让AI完全认不出东西。摄像机始终朝一个固定方向看，飞行过程平稳流畅，不会产生令人困惑的急转弯。

从实验结果来看，斜角扫掠的效果明显优于另外两种方案。这个设计背后的逻辑很朴实：角度要足够高，以便减少遮挡；但又不能高到让AI迷失，需要保留足够多的"熟悉感"，让AI能够继续识别物体并理解空间关系。

---

五、为什么不能直接把两段视频拼在一起看？

一个很自然的想法是：既然原始视频和合成视频都有用，为什么不直接把它们拼成一段更长的视频，让AI一次性全看完？

研究团队对这个直觉进行了认真的测试，结果表明这种"简单拼接"的方式效果很差，甚至在某些指标上比只看原始视频还要糟糕。

原因在于，第一人称的室内漫游视频和斜角俯视的合成视频，在运动逻辑上是完全不同的两种东西。把它们拼在一起，就像把一部家庭录像带和一段航拍素材剪在一起——画面突然从"走廊里向前走"跳到"从天空俯视整个房间"，AI的内部表示会变得混乱，它会努力把这两段视频理解为"同一个人在同一个时间线上的行动"，但这显然讲不通，结果就是空间推理更加混乱。

研究团队还测试了另一种方案——"交替输入"：把两段视频分别输入，但在同一个对话回合里让AI同时参考两者。这比直接拼接稍好，但仍然存在问题：在没有经过专门训练的情况下，AI并不擅长在两段视角迥异的视频之间建立空间对应关系，它无法可靠地判断"这段合成视频里的那张桌子，和原始视频里那张桌子是同一张"，导致两段视频提供的信息互相冲突而无法整合。

相比之下，ReRe的两阶段设计巧妙地绕开了这些问题。第一阶段先把原始视频里的空间理解整理成一段文字化的"思考过程"和一个初步答案；第二阶段的AI接收的是这段文字假设加上合成视频，任务被明确界定为"对比新视角，验证或修正已有结论"。这种设定让第二阶段的AI不需要从头理解整个场景，只需要聚焦在"我之前的判断哪里可能有问题"这个更窄的问题上，大大降低了认知负担，使得纠错更加精准有效。

---

六、实验怎么说：数字背后的真实改进

研究团队在两个专门评测AI空间推理能力的数据集上进行了测试：VSI-Bench和STI-Bench。

VSI-Bench包含来自288段真实场景视频的5000多道题目，涵盖物体计数、绝对距离估算、物体尺寸、房间尺寸、相对距离、相对方向、路线规划和出现顺序等八类任务。STI-Bench的静态理解子集则专注于尺寸测量、空间关系判断和三维视频定位三类需要精确几何感知的任务。

研究团队在四个主流开源AI模型系列上测试了ReRe的效果：Qwen2.5-VL、Qwen3-VL、InternVL2.5和InternVL3，涵盖从2B到8B不同参数规模的版本。在VSI-Bench上，ReRe对几乎所有测试的模型都带来了可观的提升。以Qwen3-VL-4B为例，平均分从30.7提升到36.5，提升幅度达到5.8个百分点。更值得关注的是，经过ReRe加持的Qwen3-VL-4B——这是一个完全免费开源的模型——其表现达到了GPT-4o（OpenAI的旗舰商业模型）的水平，有效弥合了开源模型与商业模型之间的差距。

在分任务的细节上，提升最明显的是那些需要准确感知空间布局的任务：物体计数类任务提升显著，绝对距离估算和物体尺寸估算的改进也非常突出。相比之下，"出现顺序"这类依赖时间信息的任务提升幅度较小，这与ReRe的设计逻辑是一致的——合成的俯视视角对判断哪个物体先出现在视频里帮助有限，这类问题本来就需要依赖时间轴上的原始视频信息。

在STI-Bench的测试中，Qwen3-VL-2B这个最轻量的版本平均分提升了8.0分，其中空间关系判断这一子类别更是提升了惊人的18.5分。InternVL2.5-8B的平均分达到34.8，超越了GPT-4o（31.0分）、Claude-3.7-Sonnet（37.0分，接近）以及Gemini-2.0-Flash（36.9分）等顶级商业模型的部分对手。

值得一提的是，ReRe甚至对那些专门针对空间推理任务进行过训练优化的模型也有效：SpaceR-3B的得分从34.69提升到35.96，SpatialLadder-3B从44.84提升到45.58。这说明ReRe提供的是"让模型看到更好的信息"，而非替代模型本身的学习能力，两者可以叠加互补。

---

七、深挖实验：哪些设计真正起了作用？

研究团队设计了一系列消融实验，专门用来拆解ReRe的哪个部分在发挥关键作用。这就像拆解一道复杂菜肴，分别品尝每一种食材单独的味道。

第一个关键实验验证的是：如果第二阶段仍然用原始视频（而非合成的新视角视频），只是让AI"再想一遍"，结果会怎样？答案是：不仅没有改善，反而比只想一遍还要差。这个结果非常有力地说明，ReRe的提升来自于"看到了新的信息"，而不是"思考了更长时间"。单纯让AI反复看同一段视频并重新推理，反而可能强化原有的错误印象，放大初始的幻觉。核心瓶颈不是AI想得不够认真，而是它能看到的信息本身就不完整。

第二个实验验证的是：如果第二阶段只给AI看合成的新视角视频，不告诉它第一阶段的推理过程，效果如何？结果显示，仅靠合成视频的效果也不如完整的ReRe流程。合成视频能提供几何结构信息，但缺少原始视频里的颜色、纹理、物体外观等细节语义信息。最好的组合是：用原始视频的语义理解作为锚点，用合成视频的几何信息作为补充验证——两者缺一不可。

研究团队还分析了样本层面的"翻转情况"：在所有因为ReRe而改变答案的样本中，从"错误"变为"正确"的占71.6%，从"正确"变为"错误"的占28.4%，正负翻转比例约为2.52比1。换一种表述方式：在所有测试样本中，ReRe帮助纠正了11.21%的题目，同时引入了4.44%的新错误，净收益明显为正。这说明，尽管三维重建不完美，合成视频也有噪声，但从粗糙的几何信息中获得的有用信号，仍然足以压过噪声带来的干扰。

---

八、实际代价：多出来的计算时间值不值？

任何新方法都有代价，ReRe也不例外。研究团队在单块A100 GPU上对整个流程的耗时进行了细致统计。

对于一个问题，原来只看一遍视频大约需要1秒钟。加上ReRe之后，完整流程大约需要11秒：三维重建步骤（VGGT）约耗时9秒，渲染合成视频不到1秒，第二阶段AI推理约1秒。也就是说，大部分额外开销都来自三维重建这一步，而非推理本身。

研究团队还测试了一个减少计算量的版本：把输入给VGGT的视频帧数从默认的100帧减少到20帧，总耗时降到约4秒，但性能提升幅度从+5.2分降到+2.8分。对于很多应用场景来说，4秒换来接近3分的提升依然相当值得。

此外，研究团队指出，这11秒中的9秒（三维重建）是与具体推理任务无关的预处理步骤——在实际部署中，同一个场景可能需要回答多个问题，三维重建只需要做一次，后续的每个问题都可以复用同一个三维模型，平均到每个问题的额外成本会大幅降低。随着三维重建技术的持续进步，这9秒还有很大的压缩空间。

---

归根结底，这项研究提出的思路非常直接：当AI在有限的视角下做出了一个可能有误的判断，与其接受这个判断作为最终答案，不如让它"再看一眼"——从一个更高、更全面的角度重新审视自己的结论。这个过程不需要重新训练AI，不需要改动它的内部结构，只需要在回答问题的流程中增加一个"合成俯视视频→对比验证→修正答案"的环节。

这背后隐含着一个更普遍的道理：好的判断不仅仅需要聪明的大脑，还需要足够丰富的信息输入。当信息不完整时，暂缓下定论、主动寻找补充证据，是比强行猜测更可靠的策略。这个道理适用于侦探破案，适用于医生诊断，也同样适用于AI做空间推理。

对于普通用户来说，这项研究意味着，未来那些需要AI理解房间布局、帮助机器人导航、或者分析安防摄像头画面的应用，将可能因为这类"二次验证"机制变得更加准确可靠，而不必等待更大、更贵的模型被训练出来。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.11683查阅完整论文。

---

Q&A

Q1：ReRe框架为什么不直接把两段视频合并给AI看，而要分两个阶段？

A：因为直接把第一人称室内视频和斜角俯视的合成视频拼在一起，对AI来说在运动逻辑上完全说不通，会造成混乱。AI会试图把这两段视频理解为同一时间线上的连续行动，结果空间推理反而更差。分两个阶段则不同：第一阶段的推理结果被转化为文字假设，第二阶段的AI只需聚焦在"新视角能否验证或推翻已有结论"这个明确问题上，认知负担小得多，纠错也更精准。

Q2：三维重建产生的合成视频不够真实，AI看了会不会被误导？

A：研究团队专门设计了过滤机制来降低这个风险。置信度低的点会被直接删除，让不确定的区域呈现为空白而非错误的几何形状；AI遇到空白区域会理解为"这里信息不足"，而不会把它误认为真实物体。实验中的样本翻转分析也表明，正确纠错的比例约是引入新错误比例的2.5倍，说明粗糙几何信息提供的有用信号明显压过了噪声带来的干扰。

Q3：ReRe对所有类型的空间推理问题都有效吗？

A：不是所有类型都同等有效。对于需要判断物体数量、物体位置关系、空间距离这类依赖场景几何信息的问题，ReRe的提升非常显著。但对于"哪个物体先出现在视频里"这类依赖时间顺序的问题，提升幅度较小——因为合成的俯视视角本身不携带时间信息，对判断事件先后顺序帮助有限。研究团队在Re-reason阶段的提示词中也专门注明：如果问题涉及时间顺序，应优先参考第一阶段的答案。