香港大学与上海AI实验室联手：让AI学会"闭眼想象"来理解空间关系

这项由香港大学、上海人工智能实验室、上海交通大学、复旦大学和北京航空航天大学联合开展的研究，以arXiv预印本形式于2026年6月4日发布，编号为arXiv:2606.06476。感兴趣的读者可以通过该编号查阅完整论文。

**当AI遇到"只看一面就要猜全局"的困境**

你有没有遇到过这样的经历：朋友发给你一张照片，问"你看这个柜子在沙发的哪个方向？"但照片只拍了沙发，柜子在画面之外。这时候你脑子里会自动补全——你会凭借对这个房间的了解，在脑海中旋转视角，想象如果走到另一个角度会看到什么。

这种能力，人类习以为常，但对于当今最先进的AI视觉系统来说，却是一道难以逾越的墙。目前大多数视觉语言模型（可以理解图片并回答问题的AI系统）都被困在一个局限里：它们只能分析"已经看到的画面"，无法在脑海中模拟"换个角度会是什么样子"。一旦某个空间关系的关键信息不在照片里，它们就会陷入猜测，甚至给出错误的答案。

正是针对这个问题，研究团队提出了一套全新的框架，叫做**Astra**。核心思路可以用一句话概括：给AI装上"想象力"，让它在推理时主动去"脑补"它没看到的视角，然后根据这些想象出来的画面继续思考。

---

一、AI的"空间盲区"：为什么聪明的AI也会迷路

要理解这项研究，先来看看问题到底出在哪里。

现代视觉语言模型已经非常强大。它们能识别照片里的物体、理解图片的大致布局，甚至能根据图片回答复杂问题。但有一类任务让它们头疼：**多视角空间推理**。

所谓多视角空间推理，就是给AI看几张从不同位置拍摄的同一场景照片，然后问它关于空间关系的问题，比如"从Image-1的角度看，Image-2是从哪个方向拍的？"或者"厨房里的吊灯相对于那张玻璃桌在哪个方向？"

这类问题的难点在于，答案往往需要你把多张照片在脑海中"拼合"成一个三维场景，然后从某个特定视角去看这个场景。人类能轻松做到，因为我们从小就在三维世界里生活，积累了丰富的空间直觉。但AI没有这种具身经验，它面对的只是一堆像素。

更麻烦的是，有时候关键的空间信息根本不在给定的照片里。也许那个关键角度的照片没拍，也许需要绕到物体背后才能确认方向。这时候，AI就像一个被蒙住眼睛、只通过几张静止照片了解房间的人——它没办法转身去看另一面。

研究团队在实验中发现，如果你直接把一个先进的开源视觉语言模型（比如Qwen3-VL）接上一个图像生成工具，让它"随便用"，不仅没有改善，有时候反而会让答案变得更差。原因很简单：模型不知道什么时候该用这个工具、该让工具生成什么角度的图、生成出来之后该怎么把这张新图纳入自己的推理过程。

这就引出了这项研究要解决的两个核心挑战：第一，生成出来的"想象图"必须足够可靠，真实反映相机移动后应该看到的样子；第二，AI必须学会"什么时候需要想象、想象什么、想象完了怎么用"。

---

二、Astra框架：一个会"主动观察"的AI侦探

研究团队把整个框架命名为Astra，它由两个核心部件组成，彼此配合，缺一不可。

第一个部件叫**Astra-VL**，这是负责推理和决策的"大脑"。它基于一个叫Qwen3-VL的视觉语言模型训练而来，负责看懂问题、分析现有图片、决定是否需要额外的视角信息、以及最终给出答案。

第二个部件叫**Astra-WM**，这是负责"想象"的"眼睛"。WM代表World Model（世界模型），它的作用是根据现有图片和一条用自然语言描述的相机运动指令，生成一张"如果相机按照这个方式移动，应该会看到什么"的新图片。它基于一个叫Bagel的多模态生成模型训练而来。

这两个部件的协作方式，可以用一个侦探调查案件的比喻来理解。

Astra-VL是那个坐在办公室里分析线索的侦探。它收到问题（案件），手里有几张现场照片（已观测的图像），开始推理。推理过程中，它发现有一个关键角度没有照片——比如，凶器可能藏在柜子背后，但没有人从那个角度拍过照。这时候，侦探不会瞎猜，而是派出一个特殊助手去"重建现场"：告诉助手"从当前位置向左旋转90度，看看能看到什么"。

这个助手就是Astra-WM。它根据侦探的指令，结合已有的现场照片，生成一张"如果从那个角度看应该是什么样子"的想象图。然后把这张图交还给侦探，侦探把这张想象出来的图纳入自己的分析，继续推理，直到能够给出确定的答案。

整个过程是动态的、交互的。侦探可以请助手多次生成不同角度的想象图，也可以在某个时刻判断"我已经有足够的信息了，不需要再想象了"，直接给出答案。

---

三、世界模型的训练：让"想象"变得可信

生成一张看起来漂亮的图很容易，但生成一张**空间上可靠**的图却很难。

研究团队把这个关键区别称为"视角一致性"（View Consistency）。一张空间上可靠的想象图，必须满足两个条件：第一，相机运动的方向和幅度要对——如果你说"向左旋转90度"，生成的图就不能是"向右旋转45度"的效果；第二，场景内容要保持连贯——原图里的桌子、椅子、灯，在新视角下该出现在哪里就要出现在哪里，不能凭空消失或者错位。

原始的Bagel模型在这两点上表现都不够好。研究团队测试发现，直接用Bagel生成的图像，姿态一致性得分只有9分（满分100），内容一致性得分也很低。这样的"想象图"给到推理模型，不仅帮不上忙，反而会把推理带偏。

为了解决这个问题，研究团队从头构建了一个高质量的训练数据集，专门用来训练Astra-WM。数据来源是现实世界中的室内场景扫描数据，包括ScanNet、ScanNet++、Matterport3D、ARKitScenes、DL3DV和IsaacSim等多个数据集，覆盖了11,292个场景。每个场景都有完整的RGB图像、深度图和精确的相机位姿信息。

数据构建过程有严格的筛选标准。研究团队从每个场景中挑选相机对，要求目标视角能被已有的上下文图像充分覆盖（覆盖率至少85%），同时要求各个视角之间有足够的差异性（位移至少1米，或者旋转角度至少30度），避免重复冗余的训练样本。

对于每一对相机组合，系统会计算出从一个视角到另一个视角的相对变换，并把这个变换分解成五个可解释的运动分量：左右平移（dx）、前后平移（dy）、垂直移动（dz）、左右旋转（yaw）和俯仰旋转（pitch）。这些运动分量再被转换成自然语言描述，比如"基于图像1的视角，向左移动1.5米"。最终，研究团队构建了共计544,197条高质量训练样本。

经过这套"视角一致性调优"（View Consistency Tuning）训练后，Astra-WM的姿态一致性得分从原来的9分跃升到69-72分，内容一致性也大幅提升。这意味着它生成的想象图真正做到了"方向对、内容也对"，可以作为可靠的视觉证据交给推理模型使用。

---

四、如何评估"想象图"的质量

研究团队设计了两套评估体系，分别衡量想象图在姿态和内容两个维度上的可靠性，这套评估方法本身也颇具创意。

姿态一致性的评估方式是这样的：既然Astra-WM只生成RGB图像，没有深度信息，那就先用一个深度估计模型（Depth Anything）来估算生成图像的深度，然后与已知的相机姿态信息对齐，反推出生成图像对应的相机位置。再把这个推算出来的相机位置与预期的目标相机位置做对比，看两者是否吻合。具体来说，系统会检查五个运动分量（dx、dy、dz、yaw、pitch）的预测方向是否正确，幅度误差是否在可接受范围内。

内容一致性的评估则更为精细。研究团队用一个视觉语言模型先识别出真实目标图像和生成图像中出现的所有关键物体类别，然后用一个叫GroundingDINO的目标检测模型在两张图中分别标注这些物体的位置，最后计算三个指标：生成图中有多少目标图应该有的物体（召回率）、生成图中有多少物体与目标图一致（精确率），以及物体之间的相对位置关系是否保持一致（空间拓扑一致性）。这三个指标综合在一起，就能衡量生成图在视觉内容层面的可信度。

---

五、强化学习的训练：让侦探学会何时该"出门侦查"

训练好了"想象助手"（Astra-WM），下一步是训练"侦探大脑"（Astra-VL），让它学会聪明地使用这个工具。

研究团队采用的方法叫**强化学习**（Reinforcement Learning），用一个通俗的比喻来理解：这就像培养一个实习侦探。你不告诉他每一步该怎么做，而是让他在真实案件中反复尝试，做对了给奖励，做错了给惩罚，让他自己摸索出最有效的工作方式。

训练分为两个阶段，这个设计本身就是一个重要贡献。

第一阶段叫"探索与工具习得"。这个阶段的目标不是让模型立刻学会完美地使用工具，而是防止它一开始就放弃使用工具。为什么会放弃？因为在训练初期，模型调用想象工具的方式还很生疏，生成出来的图往往没什么帮助，甚至帮了倒忙。如果这时候只根据最终答案的对错来给奖励，模型会很快发现"不用工具直接猜"的策略更划算，然后就再也不尝试用工具了。

为了避免这种"工具废弃"现象，研究团队在第一阶段的奖励中加入了一个"工具使用奖励"：只要模型调用了工具（哪怕调用得还不够好），就额外给一点奖励。但这个奖励设有上限，不能无限叠加——调用一次和调用一百次得到的额外奖励是一样的，这样既鼓励工具使用，又防止模型变成"工具滥用者"。

第二阶段叫"选择性想象"。经过第一阶段，模型已经学会了怎么调用工具，接下来要学的是"什么时候该调用工具，什么时候不需要"。这个阶段引入了一个非常巧妙的机制：对于每道训练题，系统会同时运行两个版本——一个版本允许模型调用工具，另一个版本禁止调用工具（强制直接作答）。然后比较两个版本的准确率差值，把这个差值叫做"工具诱发增益"（Tool-induced Gain）。

如果"用了工具的答案"比"不用工具的答案"更准确，模型就会得到额外奖励；如果用了工具反而答得更差，模型就会受到惩罚。这个机制让模型逐渐学会一个关键判断：这道题用工具有帮助吗？如果有帮助才去用，如果没帮助就直接答。

训练数据方面，研究团队从SenseNova-800K、VST-500K等多个空间推理数据集中精心筛选。筛选标准是"难题优先"：对每道题，用Qwen3-VL-8B-Instruct在高随机性设置下回答五次，如果五次里只有一次答对甚至全部答错，这道题才被保留用于训练。最终筛选出6,000条高质量的强化学习训练样本。

---

六、实验结果：数字背后的故事

研究团队在两个基准测试上验证了Astra的效果，分别是MMSI-Bench（包含1000道多视角空间推理题）和MindCube（在结构化三维环境中测试多视角空间推理）。

先来看看世界模型的质量如何影响最终表现。研究团队把谷歌的Gemini-3-Flash（一个表现强大的专有模型）与不同版本的世界模拟器配对，在强制使用工具两步的情况下测试准确率。结果非常清晰：直接用未经训练的Bagel作为世界模拟器，在MMSI-Bench上的总体准确率从45.1%微升到45.8%，改善微乎其微；换用训练了6万条数据的Astra-WM之后，准确率跃升到49.5%，提升幅度近4.4个百分点。这个对比有力证明：不是"有个图像生成工具"就够了，生成的图像必须在空间上是可靠的，才能真正帮到推理模型。

再来看看强化学习训练的效果。Qwen3-VL-8B-Instruct本身是一个相当强大的开源视觉语言模型，在MMSI-Bench上直接作答的准确率是29.8%，在MindCube上是36.8%。如果强制让它调用世界模拟器但不给它任何专门训练，准确率反而会下降（MMSI-Bench降到28.6%，MindCube降到27.6%）。这个"强制用工具反而更差"的结果，直观地说明了为什么单纯给模型配上工具是不够的。

经过完整的Astra训练之后，这个8B参数的小模型在MMSI-Bench上的准确率从29.8%提升到了38.8%，绝对提升9个百分点；在MindCube上从36.8%提升到42.7%，提升5.9个百分点。这个提升幅度已经超过了许多体量更大、但没有接受专门训练的开源模型，甚至超过了部分专有商业模型（比如GPT-4o在MMSI-Bench上只有30.3%，GLM-4.5V是33.8%）。

从不同类型的空间关系来看，Astra的优势也有分布规律。强制使用工具对"相机相关"的关系（比如从一个相机视角判断另一个相机在哪个方向）帮助最大，Cam.-Cam.类准确率从39.1%升至47.9%，Cam.-Obj.类从39.2%升至56.8%。但对"物体相对位置"或"区域相对位置"类的题目，强制用工具反而会降低准确率——因为这类题目不需要新视角，生成出来的想象图反而是干扰项。Astra的智慧在于，它学会了区分这两类情况，在需要新视角时调用工具，在不需要时直接作答，因此在所有类别上都能保持较好的表现。

---

七、两阶段训练的消融实验：每一步都有它的意义

研究团队还专门做了一组"消融实验"，就是把完整方法拆解成不同部分，分别测试每个部分的贡献。这类实验就像做饭时为了知道哪种调料最重要，分别试试不放盐、不放糖、不放醋的味道。

如果只用"工具增益奖励"而不加使用奖励（纯粹看用工具之后答案有没有变好），模型会快速"学会偷懒"——工具调用率只有4.9%，基本上是直接作答，MMSI-Bench总体准确率只有34.3%。原因是在训练初期，模型还不会好好用工具，用了工具基本上也没帮助，既然没帮助又不奖励用工具，那还不如不用。

如果只加使用奖励而不做两阶段区分，模型走向另一个极端：工具调用率高达98.1%，平均每题调用1.4次，几乎题题都用工具。虽然准确率提升到36.1%，但这种"无论需不需要都先想象一下"的策略效率低下，而且在不需要新视角的题目上浪费了计算资源，还可能引入噪声。

只用第一阶段训练（工具习得阶段）而不做第二阶段，工具调用率仍然高达98%，准确率是36.8%，比纯使用奖励好一些，但仍然没有做到选择性使用工具。

完整的两阶段训练最终达到了最佳平衡：工具调用率61.5%，平均每题调用0.78次，MMSI-Bench总体准确率38.8%。这说明模型确实学会了"只在需要时才想象"，而不是无脑地总是用或者总是不用。

---

八、成功案例与失败案例：侦探也会犯错

研究团队还分析了若干典型的成功和失败案例，这些案例让我们对Astra的能力边界有更具体的认识。

在成功案例中，模型面对一张沙发背面的照片和一张沙发正面的照片，需要判断"从Image-1的角度看，Image-2是从哪个方向拍的"。模型分析后认为Image-2可能是从沙发前方拍的，但对这个判断不够确定，于是调用工具，要求"基于Image-1的视角，向前移动1.5米"。生成出来的想象图与Image-2高度吻合，包括沙发正面的细节、旁边的书架和三脚架。模型看到这个确认后，自信地给出了"前方"的答案，且答案正确。这正是Astra设计初衷的完美体现。

失败案例则揭示了当前系统的局限。研究团队分析出四类失败模式。

第一类是"工具调用对了但动作选错了"：模型正确判断需要新视角，但选择的相机运动方向或幅度不合适，生成出来的图对回答问题没有帮助——就像侦探判断需要去案发现场，但跑错了地方。

第二类是"世界模拟器生成的图空间上不一致"：生成的图视觉上过得去，但物体位置不对、某些物体凭空消失或者莫名出现，让模型基于错误的图像得出错误结论。在一个洗衣房的案例中，模型初始推断错误，调用工具后得到的想象图恰好强化了它的错误判断，最终答了"前方"但实际应该是"后方"。

第三类是"有用的想象图被忽视或误用"：模拟器生成了一张有用的图，但模型没能正确理解它与原图的关系，或者混淆了原始图像和生成图像的编号，或者没有考虑相机运动的方向就直接解读图像内容。

第四类是"过度依赖生成图像"：模型拿到一张想象图之后，完全抛弃了原始图像中明确可见的信息，反而依赖质量较低的生成图像，导致准确率下降。

这些失败案例清晰地告诉我们，Astra虽然取得了显著进步，但"学会何时以及如何使用想象力"这个问题远比看起来复杂，仍有相当大的提升空间。

---

九、研究的局限与未来方向

研究团队对当前系统的局限性保持坦诚的态度，并明确指出了未来的改进方向。

当前系统在"选择性想象"上还不够稳健。探索力度不够时，模型会退化为直接作答；探索力度过大时，模型又会变成工具滥用者。世界模拟器有时候生成的图视觉上说得通，但对于所问的具体空间关系并没有帮助。模型有时候会把原始图像和生成图像的索引搞混，或者对第一张生成图不满意却不知道继续探索。现有的奖励机制基于精确匹配（答对得1分，答错得0分），这种稀疏的奖励信号可能无法捕捉到"部分有用"的工具调用。

未来的改进方向，研究团队认为应当从以下几个方面入手。更强的"需不需要想象"路由器，让模型在决定是否调用工具之前能更准确地评估自身的不确定性。能够优化"期望信息增益"的动作策略，也就是让相机运动指令的选择更加精准，朝着最能解答疑问的方向生成图像。在每次工具调用之后加入一步"验证推理"，让模型先评估生成的图是否有帮助，再决定下一步怎么做。以及构建对比学习数据，区分"有益的工具调用"和"有害的工具调用"，给模型提供更细粒度的学习信号。

---

说到底，Astra这项研究的核心贡献可以用一句话概括：**有效的想象力不只是有一个生成器，而是一套学会了"何时想象、想象什么、如何使用想象结果"的交互策略**。

这个结论看似简单，但背后隐藏的洞察相当深刻。在AI领域，工具的堆叠往往被过度乐观地期待，好像给模型加上一个外部工具就能立刻解决问题。但Astra的实验结果非常清楚地证明：不加训练地接入工具，往往会让性能变得更差，而不是更好。工具使用本身是一种需要学习的能力，而且这种学习的过程需要精心设计——就像培养一个侦探，不只是给他配备先进设备，更要训练他知道何时该去勘察现场、该往哪个方向追踪线索。

这对未来AI系统的设计有实际的参考价值。随着越来越多的AI系统开始配备外部工具（搜索引擎、代码执行器、图像生成器……），如何训练模型"聪明地"使用这些工具，而不是机械地调用或完全不调用，将成为一个关键课题。Astra在空间推理这个具体领域里给出了一套可行的解决方案，其中的设计思路——两阶段训练、工具增益奖励、在线强化学习——对其他领域的类似问题也有一定的借鉴意义。

如果你对这项研究的完整技术细节感兴趣，可以通过arXiv编号2606.06476查阅原始论文，或者访问研究团队的项目主页获取更多信息。

---

Q&A

Q1：Astra框架的世界模拟器生成的图片和普通AI画图有什么区别？

A：普通AI画图追求视觉好看，但Astra-WM的目标是"空间上正确"——它要确保生成图片中相机移动的方向和幅度准确，场景里物体的相对位置保持一致。普通AI画图模型原始版Bagel的姿态一致性只有9分，经过Astra-WM专门训练后提升到69-72分，这个差异决定了生成的图能不能作为可靠的空间推理依据。

Q2：为什么给视觉语言模型强制加上图像生成工具反而会让准确率下降？

A：因为模型没有经过训练，不知道什么时候该用工具、该生成什么角度、以及怎么把生成的图纳入推理。就像给一个从没用过望远镜的人配上高倍望远镜，他可能反而看得更乱。Qwen3-VL强制使用工具后，MMSI-Bench准确率从29.8%降到28.6%，正是这个原因。经过Astra的两阶段强化学习训练后，同一个模型的准确率才提升到38.8%。

Q3：Astra的两阶段强化学习训练解决了什么问题？

A：两个阶段解决两个不同的问题。第一阶段解决"模型太早放弃使用工具"的问题，通过加入工具使用奖励，鼓励模型保持探索。第二阶段解决"模型无论有没有必要都疯狂调用工具"的问题，通过比较"用工具"和"不用工具"的答案差异，只在工具真的有帮助时才给额外奖励，让模型学会选择性想象。