AI让大模型学会"换个角度看问题"：SpatialASM如何补上空间推理的最后一块拼图

你有没有试过这样一件事：坐在客厅里，突然被问"如果你站在厨房门口往回看，沙发在你左边还是右边"。

大多数人会闭上眼睛，在脑子里"走"到厨房门口，转个身，然后说出答案。这个过程快得你根本意识不到自己做了什么，但仔细想想，它其实相当复杂。你得在脑子里重新构建一个不存在的视角，想象从那个视角看到的画面，再基于这个想象出的画面做判断。

这个能力,人类几乎是与生俱来的。但当你把同样的问题抛给现在最先进的大型视觉语言模型（也就是能同时看图和聊天的那种AI）时，它们常常会卡壳,给出错误答案,甚至把左右方向直接说反。

这就是上海AI实验室和香港中文大学团队这篇论文要解决的问题。他们给这个人类与生俱来、但AI普遍缺失的能力起了个名字,叫主动空间心智化。

问题到底卡在哪里

先说清楚一件事:现在的LVLM（大型视觉语言模型,能同时理解图像和文字的AI系统）在很多视觉任务上已经表现得相当不错了。看图说话、简单的物体识别、基本的空间关系判断,这些它们大多能应付。

但一旦涉及到视角变换、跨图关联、推断看不见的区域,它们就开始露怯。论文里举了个例子:给模型两张办公室的照片,问"如果坐在黑色椅子上的人,把面朝的方向当作前方,那电脑在椅子的哪个方位"。这需要模型先在两张图里分别找到椅子和电脑,然后想象一个人坐在椅子上往前看时,整个房间在他眼里是什么样子,再判断电脑相对这个想象视角的位置。

研究团队测试了Qwen3-VL-8B这个模型,结果它直接说错了,因为它没法把两张图的信息串联起来,也没有主动去"脑补"那个关键视角下的画面。

这背后反映的是一个更根本的矛盾。现在训练这些AI模型用的空间数据集,大多只给"问题-答案"对,比如"A在B的什么方向,答案是左边",却从不解释得出这个答案需要经历怎样的思考过程。模型学到的是死记硬背式的模式匹配,而不是像人类那样主动规划视角、在脑子里构建画面、再推理判断的完整链条。

更麻烦的是,如果你直接让模型自己生成这种"该怎么想"的训练数据,它往往会编出错误的视角规划,甚至凭空想象出根本不存在的场景内容。这就好比让一个从没学过做饭的人写菜谱,他写出来的步骤可能听起来头头是道,实际操作起来全是坑。

研究团队把这种能力拆成两部分:一是视角规划,根据问题判断应该从哪个角度去观察场景才能找到答案;二是视角想象,在脑子里构建出那个角度下场景大概是什么样子。这两者合在一起,就是论文标题里的"主动空间心智化"。

一个核心问题是,业界此前也尝试过用外部工具辅助,比如调用一个世界模型在推理时实时生成新视角的图像。但这种做法有个明显的代价:每次推理都要调用外部渲染工具,速度慢,而且模型本身并没有学会这种思考方式,只是被动地消费工具提供的图片。论文测试发现,这种做法有时甚至会拖累表现,从52%掉到45.5%,因为额外塞进来的图片信息如果质量不够好,反而成了噪声干扰。

用生成模型当"训练时的模拟器",而不是推理时的拐杖

SpatialASM这篇论文的核心思路,是造一个叫做"允许中心视角生成器"的工具,在训练阶段帮模型"脑补"各种视角下的画面,等训练完成后,这个工具就功成身退,模型自己已经学会了怎么想象。

这个生成器的技术名字叫NVG，Novel-View Generator,新视角生成器,它的任务是:给定几张同一场景的照片,再给一个查询视角（在哪个位置、朝哪个方向看）,它就渲染出从那个视角看到的画面。

这里有个设计细节值得说清楚:传统的很多类似工具是"自我中心"的,意思是你得告诉它一连串动作指令,比如"往左转20度,往前走1.5米,再往右转20度",通过一系列相机运动指令才能到达目标视角。这种方式每次查询都要走一长串步骤,慢。

SpatialASM团队换了个思路,叫"允许中心"视角。简单说就是你直接在原图上标一个点,再告诉它朝哪个方向看,一步到位,不用绕圈子。

这就好比你问路,一种方式是让路人给你一连串指令:先往前走两个路口,再左转,再走三百米,再右转。另一种方式是你直接在地图上点一个位置说"我要去这里,面朝北"。后者显然更直接,出错概率也更低,因为不需要在每一步累积误差。如果用前一种自我中心的方式,每一步的小误差会累积放大,走的步骤越多,最终到达的视角就越偏离你真正想要的那个。

论文里有个很实在的对比实验支撑了这个判断。他们用同样的查询目标,分别让"自我中心"的SVC工具和自家的SpatialASM-NVG生成图像,结果SVC因为只能走小碎步,最后生成的画面和原图太像,信息量不够;而SpatialASM-NVG能一步到位实现更大幅度的视角变化,提供的新信息明显更丰富,即便用来衡量几何一致性的指标（后面会讲到）没有占优,最终推理准确率反而更高。

这说明一件事:不是生成的图片越"规规矩矩"越好,而是生成的图片得真正提供原本看不到的有效信息,这才是关键。

怎么判断生成的画面是不是在"胡编"

既然要用生成模型来造训练数据,一个绕不开的问题是:生成的画面靠不靠谱?万一AI凭空捏造出一些根本不该出现的物体,反而会把模型教坏。

传统评估图像生成质量的指标,比如PSNR、SSIM这些,主要是拿生成图和一张参考图逐像素比对相似度。但这些指标有个硬伤:它们在视角变化很大的情况下根本不适用,因为此时根本没有现成的"标准答案图"可以逐像素对比。

论文团队为此设计了一个新指标,叫GeoP，Geometry Perturbation,几何扰动度,衡量的思路很巧妙:先用原始的几张照片重建出一个3D点云（也就是用算法估算出场景的立体结构）,再把生成的新视角图片也加进去重新做一次3D重建,比较两次重建结果的差异。

如果生成的图片是靠谱的,那它理应能被解释成这个场景的"又一个真实观察角度",加进去之后3D结构基本不会变。但如果生成图片里有凭空捏造的内容,3D重建算法就会被迫调整整个场景结构来"迁就"这张假图,这种变化幅度就是GeoP要量化的东西。

这个设计思路让我想起一个生活中的类比:你请一个朋友帮你证明不在场证明,你给警察看三张不同时间地点的照片,如果这三张照片拼起来的时间线和空间逻辑能完美自洽,警察大概率会相信;但只要有一张照片和其他证据对不上,整个故事就会露馅,警察就得重新推敲整件事的逻辑。GeoP本质上就是在检测这种"故事是否自洽"。

有了这把尺子,团队设定了一个阈值,只有GeoP低于这个阈值的生成图像才会被纳入正式训练数据,高于阈值的会被直接丢弃。这一步过滤被证明相当重要,消融实验显示,加上这个过滤步骤后,在MindCube这个高难度空间推理基准上的表现从36.4%提升到38.7%,在ESI基准上从36.8%提升到40.2%。

怎么让模型学会"想而不看"

光有能生成新视角的工具还不够,真正的挑战在于怎么把这个工具的能力"教"进模型里,而且教完之后模型要能脱离这个工具独立运作。

这里论文设计了一套叫ASM轨迹合成的流程。整个过程分成几步:先拿来一批现成的空间问答数据,这些数据原本只有"问题-答案",没有思考过程;然后让一个LVLM先尝试直接回答,如果它答对了说明这题不需要额外视角辅助,直接跳过;如果答错了,就让它想想应该从哪个视角观察才能找到线索,输出一个视角规划；接着用前面讲的NVG把这个视角渲染出来,把渲染结果连同文字描述一起再喂给模型,让它重新回答一次。

这里有个精巧的设计:如果模型看了新视角之后答对了,说明这个视角规划是有价值的,这条数据就留下；如果看了新视角还是答错,或者视角生成的GeoP超标,这条数据就被丢弃。

最关键的一步在最后:生成的那张新视角图片,并不会直接出现在最终训练数据里,而是会被另一个模型转写成一段文字描述,这段文字专门描述物体的二维布局和相对位置关系,然后用这段文字替换掉原本的图片。

这个替换动作,正是整个方法的灵魂所在。

目的是让模型学会"用文字想象画面",而不是"依赖看到的图片"。等正式训练完成后,模型面对一个新问题时,不会再调用任何外部工具去真的渲染一张图,而是凭借训练中学到的能力,在脑子里直接推演出那个视角下大概是什么样子,然后基于这个想象出来的描述进行推理。

这就像学游泳的辅助工具,浮板能帮你在初学阶段体会到漂浮和划水的感觉,但真正学会游泳之后,你下水是不需要浮板的,你已经把那种平衡感内化成了身体记忆。SpatialASM-NVG生成的图片就是这块浮板,它只在训练阶段出现,帮模型建立起"视角想象"这种能力,一旦训练完成,这块浮板就被撤走了,模型靠自己也能游。

如果没有这一步替换会怎样?论文里专门做了对比实验:让模型在推理时持续调用外部NVG生成图片辅助推理,这种"外部ASM"的方式确实比完全不用任何辅助要好,但代价是推理速度明显变慢,而且有时候反而会因为引入冗余或低质量的视觉信息拖累表现。更关键的是,这种模式下模型本身并没有真正学会主动思考,只是被动地消费工具产出,一旦脱离工具,能力立刻打回原形。

强化学习补上"视角感知"这一课

除了上面讲的监督微调（SFT,用人工标注好答案的数据直接教模型模仿）环节,SpatialASM还设计了一个强化学习（RL,通过奖励机制让模型自己摸索出更好策略的训练方式）阶段,专门强化模型对视角和观察结果之间对应关系的敏感度。

GRPO，Group Relative Policy Optimization,一种强化学习算法,通过让模型对同一问题生成多个候选答案并比较相对好坏来优化策略,这是论文采用的具体RL算法。

具体做法是构造两类可以自动验证对错的选择题。第一类叫"生成视角定位",给模型一张原图,上面标了四个编号位置,再给一张从某个位置渲染出的新视角图片,让模型判断这张图是从哪个编号位置拍的。第二类叫"姿态条件视角选择",反过来,先用文字描述一个目标位置和朝向,让模型从四张候选图里选出最匹配的那张。

这两类任务互补,一类练的是"看图猜位置"的逆向映射能力,另一类练的是"凭描述想象画面"的正向映射能力。而且因为答案是靠GeoP自动判定的,不需要人工标注,这意味着这套数据可以近乎无限扩充,几乎不受标注成本的限制。

消融实验显示,单独做RL的话,对EmbSpa这种偏感知类的基准提升比较明显,从72.3%提到75.7%；而单独做SFT对MindCube这种需要复杂视角变换推理的任务提升更大,从33.9%提到36.4%(未过滤版本)。两者结合之后,在EmbSpa上达到76.5%,在MindCube上达到39.1%,比单独用哪一种都要好。这说明SFT主要教会模型"这件事该怎么一步步想",RL则是在打磨模型对视角和观察结果之间对应关系的直觉敏感度,二者分工不同,合力才能发挥最大效果。

实际效果:四个模型,七个基准,全线进步

说了这么多设计思路,最终还是要看数字说话。

研究团队在Qwen3-VL系列（4B、8B、30B-A3B三个规模）和Qwen3.5-9B总共四个不同规模的模型骨架上做了实验,评测覆盖七个空间推理基准和三个通用视觉问答基准。

| 模型 | MindCube | MMSI | Spatial457-6d | ViewSpa | 3DSR | EmbSpa | ESI | 空间推理均分 | 通用VQA均分 |

|---|---|---|---|---|---|---|---|---|---|

| Qwen3-VL-4B | 33.9 | 28.0 | 37.2 | 43.2 | 55.8 | 72.3 | 36.5 | 43.8 | 63.7 |

| SpatialASM-4B | **39.1** | **29.2** | **42.8** | **46.2** | **56.4** | **76.5** | **40.6** | **47.3** | 63.1 |

| Qwen3-VL-8B | 40.4 | 27.8 | 34.8 | 45.3 | 57.2 | 79.5 | 38.4 | 46.2 | 64.4 |

| SpatialASM-8B | **43.9** | **31.1** | **43.5** | **46.8** | **58.2** | **80.2** | **40.2** | **49.1** | **65.0** |

| Qwen3-VL-30B-A3B | 36.7 | 25.2 | 41.9 | 43.9 | 54.5 | 73.4 | 37.2 | 44.7 | **69.4** |

| SpatialASM-30B-A3B | **37.9** | **30.8** | 42.1 | **45.6** | **58.8** | **75.2** | **40.3** | **47.2** | 68.9 |

| Qwen3.5-9B | 50.8 | 33.5 | 41.4 | 47.3 | **64.4** | 81.4 | 39.1 | 51.1 | 78.1 |

| SpatialASM-9B | **54.7** | **35.2** | **43.5** | **47.9** | 63.5 | **82.3** | 39.2 | **52.3** | **78.5** |

从这张表能看出几个有意思的细节。最明显的提升出现在越是要求复杂空间推理的任务上,比如Spatial457-6d这个考验六维空间推理能力的基准,在8B模型上提升了8.7个百分点;MindCube在4B模型上提升了5.2个百分点。而相对偏感知层面的基准,比如3DSRBench,提升幅度就温和得多,大多在1个百分点左右。这个规律说明,SpatialASM真正加强的是模型在复杂空间推理场景下的主动规划和想象能力,而不是简单粗暴地往模型里塞更多数据。

更难得的是,通用视觉问答的表现几乎没有受损,四个模型骨架上的变化都控制在0.6个百分点以内,有的甚至还小幅提升了。这意味着这套训练方法没有让模型变成一个"偏科生",它在学会新技能的同时没有丢掉原有的能力。这一点其实不容易做到,很多针对特定任务做微调的方法,往往会在提升目标任务表现的同时损害模型的通用能力,这背后的权衡其实很微妙,SpatialASM在这方面做得相对干净。

和之前的"代表性空间模型"比怎么样

论文还拿SpatialASM-8B和几个此前比较有代表性的空间专项模型做了对比,包括SpaceR-7B、VST-RL-7B、HoliSpatial-8B和SenseNova-8B。

对比结果显示一个很有意思的现象:这些此前的专项模型往往在某一两个基准上表现突出,但在其他基准上会掉链子。比如SenseNova-8B在MindCube上提升明显,但在EmbSpa上反而比基线还要下降8.7个百分点。这说明它们的提升可能更多依赖于针对某种特定任务格式做了优化,泛化能力有限。

相比之下,SpatialASM-8B在七个基准上都有提升,这种"全面开花"的特性,恰恰印证了团队一开始的判断:他们要补的不是某个具体任务的知识,而是一种底层的、可迁移的思考方式。

这也呼应了论文开头提出的那个问题:AI缺的不是关于某个具体场景的知识,而是一种主动探索、主动想象的思维习惯。一旦这种习惯被真正内化,它就能在各种不同类型的空间推理任务里发挥作用,而不是只在某个特定考题格式下管用。

论文里还有一组实验很说明问题。研究团队专门测试了"外部ASM"模式(也就是推理时真的调用生成工具)对基线模型和训练后的SpatialASM-8B分别有什么影响。结果是基线模型在某些子任务上用了外部工具反而掉分,从52%掉到45.5%；而SpatialASM-8B无论用不用外部工具都比基线强,更有意思的是,把SpatialASM-8B内化的能力和外部工具结合起来用,效果比单独用哪一种都要好,在Around子任务上达到61.5%。这说明内化的推理能力和外部工具辅助之间不是互相替代的关系,而是互补的,就像一个人既练出了心算能力,又允许在复杂计算时用计算器,两者并不冲突。

Q&A

Q1：SpatialASM解决的核心问题是什么？

A：现有大型视觉语言模型在处理需要视角转换、跨图关联、推断未观测区域的复杂空间推理任务时表现不佳,因为它们缺乏主动规划观察视角并在脑海中想象对应画面的能力，SpatialASM通过训练时的空间模拟机制来内化这种能力。

Q2：SpatialASM-NVG生成的新视角图片最终会出现在模型推理过程中吗？

A：不会。这些渲染出的图片只在训练数据构造阶段作为临时支架使用，最终会被替换成文字描述，模型学会的是凭借原始输入图像在脑中构建和推理新视角，而不是依赖外部工具实时生成图片。

Q3：SpatialASM对模型原有的通用视觉能力有影响吗？

A：影响很小。在四个不同规模的模型骨架上测试，通用视觉问答基准的准确率变化都控制在0.6个百分点以内，说明模型在获得空间推理增益的同时基本保留了原有的通用视觉理解能力。