南洋理工大学等机构联合研发：让AI像侦探一样"主动找证据"，空间推理能力大幅跃升

这项由南洋理工大学、清华大学、字节跳动及西北工业大学联合开展的研究，以预印本形式发布于2026年6月18日，论文编号为arXiv:2606.20515。有兴趣深入了解技术细节的读者可通过该编号在arXiv平台查询完整论文。

**当AI看视频，却像"瞎子摸象"**

假设你闭着眼睛走进一个陌生房间，每隔几秒钟才能睁眼看一眼，然后需要判断沙发左边还是右边放着电话机。这种体验大概能帮你理解当前大多数视觉语言模型（也就是能同时处理图像和文字的AI，下文简称VLM）在做空间推理时的处理方式：它们往往只盯着一帧或几帧画面，孤立地做判断，根本没有机会把不同时刻、不同角度看到的信息拼凑成一个完整的三维世界认知。

这个问题在现实中比我们想象的更普遍、更棘手。机器人要在真实房间里导航，AR/VR眼镜要理解你周围的三维空间，自动驾驶汽车要判断路上障碍物的远近方位——这些任务都要求AI能够像人类一样，把一系列零散的视觉观察"串"成一个持续演化的三维场景理解。而现有的VLM，哪怕是GPT-5.4这样的顶尖模型，在面对这类任务时也常常捉襟见肘。

问题的根源在于两个字：**被动**。现有模型的工作方式就像一个学生坐在考场上，只能死盯着试卷上那几张图片作答，没有办法主动站起来换个角度看、也没有办法记住自己之前已经发现了什么。这种"单帧预测"的模式，注定了模型在需要跨视角、跨时间整合空间证据的任务上表现不佳。

这正是S-Agent这项研究要攻克的核心难题。研究团队提出了一种全新的思路：与其让模型"背诵"更多空间知识、或者用更大的模型硬撑，不如改变模型的工作方式，让它像一位专业侦探一样，**主动出击，按需收集证据，把零散的线索拼成完整的案情**。

---

一、为什么现有的"聪明AI"在空间问题上屡屡翻车

要理解S-Agent的价值，得先搞清楚现有VLM到底在哪里摔了跟头。研究团队将这个问题称为"语义到几何的鸿沟"——模型在语言层面学了大量关于空间关系的词汇和模式，比如"左边"、"前面"、"更近"，但这些知识是通过阅读二维文字和图片获得的，根本没有真正的三维几何支撑。

打个比方：一个人可以读遍所有描述足球场的文字，知道球门在球场两端、中圈在正中间，但如果他从未真正站在球场上感受过三维空间，一旦有人把他蒙上眼睛带到球场某处，再摘下眼罩让他判断"球门在你的哪个方向"，他就很可能靠猜。

对于VLM来说，情况甚至更糟。它们处理的是二维图像，图像本身就是三维世界投影到平面的结果，这个过程不可避免地损失了深度信息。模型看到的是"桌上有个杯子，杯子左边有本书"，但它无法真正感知杯子离镜头多远、书又在多远处，更无法把视频里不同帧的信息整合成一个稳定的三维地图。

研究团队特别指出，现有的一些"升级版"方案——比如让模型调用工具、或者用Python程序来辅助三维推理——确实在静态图像上取得了不错的进展，但它们仍然停留在"一次性处理单张图片"的模式下。真实世界是**持续演化的**，三维世界在任何单个时刻都只有局部可见，要真正理解一个场景，你必须把不同时刻、不同角度看到的碎片证据一点点积累起来。这正是现有方法的致命短板，也是S-Agent要填补的空缺。

---

二、S-Agent的核心理念：把空间推理变成一场"主动侦查"

S-Agent（Spatial Agent，空间智能体）的核心设计哲学，可以用一句话概括：**不要让AI死盯着画面猜答案，要让它像侦探一样主动寻找、积累、整理证据，最后再做出有根据的判断。**

这个框架的运作方式是这样的：当系统收到一个问题（比如"视频里的椅子和书架，哪个离沙发更近？"）加上一段视频或多张图片时，它不会立刻给出答案，而是启动一个迭代式的证据搜集过程。系统的核心是一个被称为"语义规划器"的VLM，它负责思考"我现在需要什么证据"，然后调用各种空间工具去获取这些证据，把结果记录下来，再思考"我还缺什么"，如此循环，直到积累了足够的证据才作出最终判断。

在数学上，研究团队用两个状态来描述这个过程。第一个是"场景记忆状态"，记录的是关于这个场景本身的空间事实：这里有哪些物体、它们的位置坐标、彼此的空间关系等等。第二个是"智能体记忆状态"，记录的是推理过程本身：之前调用了哪些工具、得到了什么结果、哪些问题还没解决。每一轮推理，规划器都会基于当前的问题和这两份记忆，决定下一步要收集什么证据；工具执行完毕后，系统再把新获得的信息分别更新到两份记忆中。

这种设计有一个非常关键的好处：证据是可以**复用**的。如果在回答"椅子离沙发多远"时已经测量过沙发的位置，那么在回答"书架离沙发多远"时就不需要重新定位沙发，直接从场景记忆里读取就好。这就像一位侦探做案情笔记，不会每次分析时都把已知信息重新整理一遍。

---

三、三层工具体系：从"看到了什么"到"距离是多少"

S-Agent的工具体系分成三个层次，每一层处理的问题深度不同，三层加在一起，完成了从原始二维图像到高层次空间知识的完整转化。

第一层叫做"二维视觉证据获取"，解决的是最基础的问题：在这堆图片和视频里，我要找的东西在哪里？这一层包含了几个关键工具。首先是关键帧选择工具，专门用于视频场景：视频有时长达数分钟，包含成百上千帧，大量帧是重复或冗余的。这个工具会智能筛选出最有信息量的帧，就像侦探在翻录像时快进到最关键的片段，而不是逐秒细看。其次是物体检测工具，采用"开放词汇检测"技术——不是只能识别预先定义的几类物体，而是可以根据文字描述（比如"桌上的陶瓷花瓶"）找到对应的物体，并用方框标注出来。还有一个VLM辅助的物体定位工具，当检测器直接检测效果不理想时，会先让VLM判断目标物体最可能出现在哪几帧，再对那几帧做精细检测，相当于"先大范围排查，再重点勘察"。

第二层叫做"二维到三维几何提升"，解决的是深度问题：知道某样东西出现在画面上，但它离摄像头究竟有多远？实际上在三维空间里处于什么位置？这一层的核心工具是一个基于"Depth-Anything-3"构建的度量深度工具，它能从一张或多张图片中估算出每个点的真实物理距离，并推算出摄像机的姿态（即摄像机在三维空间里的朝向和位置）。有了这些信息，系统就能把从不同角度拍到的物体放到同一个三维坐标系里进行比较——这就好比把不同角度拍到的犯罪现场照片，都标注了真实的空间坐标，侦探就能在脑海中重建出现场的三维布局。

第三层叫做"空间知识聚合"，解决的是最高层次的问题：把收集到的几何数据整合成可以直接用来回答问题的空间知识。这一层包含五种专家工具，每种负责一类特定的空间推理任务。

度量测量专家负责计算具体的物理距离，比如摄像机到某物体的距离、两个物体之间的距离、某物体的物理尺寸。它的工作流程是先从第一层获取物体的二维检测框，再通过第二层的深度工具把检测框内的像素转化为三维空间中的点云，最后计算所需的距离或尺寸。

计数专家负责回答"场景里有几个X"这类问题。它会在视频的多帧图像上用检测工具分别找到所有候选物体，然后用非极大值抑制等技术剔除重复检测（比如同一个椅子从不同角度都检测到了，应该只算一次），最终给出去重后的准确数量。

视觉朝向专家负责判断物体本身的朝向，比如"这辆车朝哪个方向开"、"这个冰箱的门朝哪边开"。它不是用几何计算，而是通过分析物体的视觉特征——正面、背面、把手、屏幕、开口等——来判断朝向。

相对位置专家负责回答"A在B的哪个方向"这类问题。它先定位两个物体，再通过深度工具把它们提升到三维坐标系里，然后在正确的参考坐标系下（比如从人的视角看、还是从鸟瞰角度看）计算方向关系。

以物体为中心的视角专家处理一类特殊问题：当多张图片是从不同角度拍摄同一个物体时（比如对同一张椅子的正面照、侧面照、背面照），系统需要理解每张图片对应的是哪个视角，并据此推断被询问的空间关系。

---

四、双重记忆系统：不让侦探忘记自己发现了什么

S-Agent最有特色的设计之一，是它的双重记忆系统。这两种记忆分别解决两个不同的问题。

"场景记忆"相当于侦探的**案情笔记本**，记录的是关于这个场景本身的客观事实。它以物体为中心进行组织：每个被识别的物体都有自己的一页，上面记录了它的文字描述、它在哪些帧里被看到过、在这些帧里的检测框坐标、经过深度工具估算的三维坐标，以及由高层专家推断出的空间关系（比如"椅子在沙发右前方1.0米处"）。

场景记忆的关键价值在于**跨帧融合和去重**。在视频或多视角图片场景里，同一个物体可能在多帧中出现，用不同的角度、不同的称呼被提及。如果每次都独立处理，不仅浪费算力，还可能得出互相矛盾的结论。场景记忆就像一个中央档案室，确保每个物体只有一个档案夹，新收集的信息会被添加到已有档案里，而不是创建一个新的重复档案。

"智能体记忆"则相当于侦探的**工作日志**，记录的是推理过程本身：在第几轮调用了什么工具、工具返回了什么结果、哪些工具调用失败了、规划器是如何思考下一步的、到目前为止得出了哪些中间结论。

智能体记忆的存在解决了一个在迭代推理中非常常见但容易被忽视的问题：**推理系统很容易"忘记"自己做过什么，然后重复做同样的事情**。比如一个工具调用失败了，如果没有记录，下一轮规划器可能会再次尝试同样的调用，陷入无意义的循环。有了智能体记忆，规划器可以看到"上次用这个工具找'书架'失败了，也许可以试试'置物架'这个词"，从而做出更聪明的调整。

---

五、用"老师带徒弟"的方式，把大模型的能力传给小模型

S-Agent不仅是一个推理框架，研究团队还用它来生成训练数据，把它的能力蒸馏到一个小得多的模型里——这个过程就像一位经验丰富的老师（用GPT-5.4作为规划器的S-Agent）手把手带一个刚入门的学徒（Qwen3-VL-8B）。

具体流程分为三步。第一步是数据生成：研究团队从SenseNova-SI-800K这个大型空间理解数据集里筛选出10万道题目，用配备了GPT-5.4规划器的S-Agent为每道题生成完整的推理轨迹，包括规划器的每一次思考、调用了哪个工具、工具返回了什么、记忆状态如何更新，以及最终答案。在筛选题目时，团队特别优先选择那些对Qwen3-VL-8B来说比较难的题目——因为模型已经能轻松做对的题目，再训练一遍也没什么提升空间。

第二步是数据筛选：并非所有生成的轨迹都值得用于训练。团队只保留那些最终答案正确的轨迹，并根据题型制定了不同的判断标准。对于选择题，预测的选项必须与正确答案完全匹配。对于数值型问题（比如"这个物体有多大"），采用"平均相对精度"来衡量，只有精度达到0.6以上的才保留。对于文字型问题，则要求预测答案与标准答案完全匹配或包含标准答案。值得注意的是，判断标准只看最终答案是否正确，而不强制要求轨迹中一定使用了工具——如果规划器判断某道题不需要工具就能回答，这样的轨迹同样有价值。

第三步是数据分解：每一条筛选通过的轨迹，不是直接整条塞进训练集，而是被分解成三种不同粒度的训练样本。"完整答题轨迹"让模型学会端到端的完整推理过程；"轮次级轨迹"把每一次规划器的决策都拆成一个独立的训练样本，让模型在不同的中间推理状态下学会做决策；"专家工具轨迹"则专门针对特定工具的使用，让模型学会何时调用哪种工具，以及如何解读工具返回的结果。经过这个三层分解，一条原始轨迹可以产生多个覆盖不同学习目标的训练样本。

最终，10万道原始问题经过筛选和分解，产生了29.2万个有监督微调样本，研究团队将这个数据集命名为S-300K。用S-300K微调后的Qwen3-VL-8B就是S-Agent-8B，一个参数量只有80亿的紧凑型空间推理智能体。

---

六、实验结果：数字背后的真实含义

研究团队在四个专门测试空间推理能力的基准数据集上进行了评估，涵盖了多图理解和视频理解两大类任务。

在MMSI-Bench上，这个数据集专门测试模型能否整合来自同一场景多张图片的空间信息，涵盖位置关系、几何属性、运动感知和多步推理四个维度。以GPT-5.4搭配S-Agent框架的零样本版本（即不需要额外训练、直接使用现成大模型）取得了46.4%的平均准确率，不仅超过了同为顶级闭源模型的Gemini 3 Pro（45.2%）1.2个百分点，还超过了GPT-5.4单独使用时（41.9%）4.5个百分点。尤为突出的是运动感知相关的子任务：摄像机运动感知上达到46.0%，物体运动感知上达到48.7%，多步推理上达到44.4%，这三项都是所有参赛模型中的最高分。而训练版S-Agent-8B达到了41.6%，比基础Qwen3-VL-8B的31.1%提升了整整10.5个百分点。

在ViewSpatial-Bench上，这个数据集专门测试"站在某个特定视角看，某物体在哪里"这类问题，难点在于模型必须真正理解视角的概念，而不是靠模糊的语义猜测。S-Agent零样本版本达到了60.0%的平均准确率，比Gemini 3 Pro（50.4%）高出9.6个百分点，比GPT-5.4（45.6%）高出14.4个百分点。在"以相机视角判断物体朝向"这个最难的子任务上，S-Agent达到55.5%，而排名第二的模型只有38.7%，领先幅度超过16个百分点。S-Agent-8B在这个数据集上也达到了46.8%，明显优于基础模型的42.2%。

在ReVSI上，这是一个专注于从动态视频中推断三维空间关系的数据集，强调的是那些"光看单帧图片根本推断不出来"的空间关系。S-Agent取得了58.8分，排名所有参与评测的方法中第二位，仅次于Gemini 3 Pro（60.9分），但明显优于所有开源模型和空间专用模型。在相对方向和路径规划这两个子任务上，S-Agent拿到了最高分，这正是需要跨帧整合证据的任务类型，恰好契合了S-Agent的设计优势。

在VSI-SUPER的视频空间关系（VSR）子任务上，S-Agent的表现尤为亮眼，在极长视频（长达240分钟）的场景下，S-Agent达到77.2%，比最强对手Cambrian-S-7B-LFP（40.0%）高出37.2个百分点，研究团队将此归因于帧选择工具的有效性。

---

七、消融实验：每个零件都有用吗？

为了验证框架各个组件的实际贡献，研究团队做了一系列"拆零件"实验，用GPT-5.4作为规划器，在ViewSpatial-Bench上逐步添加各个组件，观察性能变化。

起点是"纯VLM"模式，也就是不用任何工具、直接让GPT-5.4看图回答，得到45.6%。加入第一层二维证据获取工具后，性能提升到49.0%，这说明显式的视觉定位对空间推理确实有帮助。再加入第二层三维几何提升工具，性能只微幅提升到49.8%，没有明显进步。研究团队分析，原因在于原始的三维几何数据——摄像机姿态、深度值、重建点云——对规划器来说太"硬核"了，这些密集的数字信息规划器不一定能消化，有时反而会分散注意力。

关键的提升来自第三层专家工具。加入专家工具后，性能跳升至56.7%，提升幅度高达7个百分点。这说明三维几何数据需要经过专家工具的"翻译"，转化为面向任务的结构化结论（比如"A在B右边1.2米"），规划器才能有效使用。原始几何数字对规划器来说就像看到了一堆火星文，而专家工具把它翻译成了人话。

在记忆系统上，场景记忆把性能从56.7%提升到58.2%，智能体记忆单独加入时提升到57.6%，两者合用时达到完整S-Agent的60.0%，每个组件都贡献了可测量的提升，证明双重记忆系统的设计是有效的。

---

八、真实案例：侦探如何破解"电话在书架哪个方向"

研究团队给出了一个生动的案例，展示了S-Agent和普通VLM在同一道题目上的不同表现。

题目是：一段第一人称视角的视频，在查看第二张图片时，书架相对于电话在哪个方向？选项有"左后方"、"右前方"、"左前方"、"右后方"。

GPT-5.4直接作答时的推理过程大致是：书架在图二里很难定位，电话只在右侧部分可见。既然书架看不清楚，就根据可见的场景布局估计它大概在电话的右前方。给出的答案是"右前方"——但这是错的。

S-Agent的推理过程则分为四轮。第一轮，规划器说"应该先把两个目标物体定位出来"，于是调用了VLM物体定位工具，同时找"书架"和"电话"——工具返回：两者在所有扫描帧里都没找到。第二轮，规划器判断"直接定位失败了，用检测工具在各帧里搜索候选物体"，调用了物体检测工具，成功在第一帧找到了书架，在第二帧找到了电话。第三轮，规划器说"现在用三维空间推理和度量深度来比较两个物体在三维空间里的位置"，调用了相对位置专家和三维深度工具，工具返回：书架的三维坐标约为(-0.52, 1.21)，电话的三维坐标约为(-0.34, 1.46)，由此推算书架在电话的左侧且略偏后方。第四轮，规划器根据这个几何证据给出最终答案"左后方"——正确。

这个案例清楚地展示了S-Agent相对于普通VLM的核心优势：当视觉证据不充分时，普通VLM要么放弃推理、要么靠"感觉"猜，而S-Agent会尝试不同策略（换个词汇检测、换帧检测），并最终依靠确凿的三维几何证据作出有根据的判断。

---

说到底，S-Agent做的事情并不神秘——它只是模仿了人类在面对空间问题时自然会用的思维方式：先看看各个角度的画面，记下有用的信息，用工具测量不确定的距离和方位，把所有证据汇总后再下结论。只不过，以前的AI模型被硬生生卡在了"只能看一眼"的限制里，而S-Agent把这道枷锁打开了。

这项研究有几个特别值得关注的地方。首先，它是一个"零样本友好"的框架——不需要重新训练GPT-5.4或Gemini，直接把框架套上去就能提升性能，这对于实际部署来说极为方便。其次，它证明了通过"老师带徒弟"的知识蒸馏，一个80亿参数的小模型可以达到接近顶级闭源大模型的空间推理水平，这对于资源有限的研究者和企业来说意义重大。

当然，这项研究也有其局限性。VSI-SUPER的部分评测结果可靠性受到了学界质疑，研究团队自己也坦承这一点，建议不要过度解读那部分结果。此外，框架的推理速度必然比直接预测慢得多，在对延迟敏感的应用场景里需要进一步优化。

对于我们普通人来说，这项研究最直接的潜在影响可能体现在几年后的消费级产品里：AR眼镜能更准确地告诉你"那件物品在你左边3米"，家用机器人能更可靠地找到你藏在角落里的遥控器，导航软件能在你走进陌生建筑时帮你规划室内路线。这些场景都需要AI真正理解三维空间，而不只是"看图猜谜"。

对这项研究感兴趣的读者，可以通过arXiv编号2606.20515查阅完整论文，也可以访问项目主页Ropedia/S-Agent获取更多技术细节和演示材料。

---

Q&A

Q1：S-Agent和普通视觉语言模型在处理空间问题时有什么本质区别？

A：普通视觉语言模型通常只能"看一眼"孤立的图片或视频帧就给出答案，依赖模型内化的语义经验来猜测空间关系。S-Agent则完全不同，它把空间推理变成一个主动证据搜集过程：先用工具定位物体，再用深度工具估算三维坐标，最后由专业空间专家计算关系。整个过程有记忆、有迭代，本质上是用确凿的几何证据取代模糊的语义猜测。

Q2：S-Agent-8B是怎么训练出来的，为什么小模型也能接近大模型的效果？

A：研究团队用配备GPT-5.4的S-Agent作为教师，让它在10万道空间推理题上生成完整的推理轨迹，包括每一步的思考过程、工具调用记录和最终答案。筛选出约5.16万条正确轨迹后，再把每条轨迹分解成近30万个不同粒度的训练样本，用这些样本微调Qwen3-VL-8B。小模型因此学会了何时调用工具、如何解读工具返回的几何数据，以及如何整合跨帧证据，而不只是学会了背答案，所以能在空间任务上接近大模型水平。

Q3：S-Agent框架中的三层工具体系各自负责什么任务？

A：第一层负责从视频或图片里找到目标物体，包括筛选有用帧、用开放词汇检测器找到物体的二维位置。第二层负责把二维位置信息转化为三维几何信息，主要是估算物体的真实物理距离和空间坐标。第三层由五种专家工具组成，负责把几何数据转化为可直接回答问题的空间知识，包括测距专家、计数专家、朝向专家、相对位置专家和以物体为中心的视角专家。