香港大学联合微软亚洲研究院造出了一台"空间理解流水线"——OpenSpatial如何让AI真正看懂三维世界

这项由香港大学、Joy Future Academy与莫纳什大学联合主导的研究，以预印本形式发布于arXiv平台（论文编号：arXiv:2504.07296），版本更新于2026年4月9日。有兴趣深入了解的读者可通过该编号在arXiv上查阅完整论文。

**空间感知，为什么是AI最难跨越的一道坎？**

先做一个小测验。闭上眼睛，回忆一下你卧室里的布局：床在哪边，柜子离门有多远，台灯是在床头的左侧还是右侧？大多数人能在几秒内回答清楚。这种"闭着眼睛也知道空间在哪里"的能力，就是所谓的空间感知——它是人类从婴儿期就开始磨练的本能。

然而，对于当今最先进的人工智能视觉语言模型（简单理解为：既能看图又能说话的AI）来说，这件事却出奇地困难。这些AI可以给你描述一张卧室照片里有什么家具、什么颜色，甚至帮你写一首关于这间卧室的诗，但如果你问它"床头柜距离门大概有多远"，或者"从另一个角度看，窗户还在左边吗"，它往往就会开始胡说八道。

研究团队把这种现象称为"空间近视"——AI模型能看见东西，却看不清东西在三维空间里真正的位置、大小和彼此关系。背后的原因并不神秘：这类AI在训练时接触的空间感知数据太少、太单一，而且很多高质量的空间训练数据都由各大公司私下掌握，从不公开，导致整个研究领域像是在各自为战，没有一套公认的、可重复使用的基础设施。

正是为了填补这个空缺，研究团队打造了OpenSpatial——一个完全开源的空间数据生产引擎，以及由它产出的三百万条高质量训练样本数据集OpenSpatial-3M。

**一、造数据工厂，而不只是生产数据**

理解OpenSpatial最直接的方式，是把它比作一座自动化工厂，而不是一个仓库。

过去的研究者通常的做法是：花大量时间制作一批训练数据，然后把这批数据发布出来，其他人直接用这些成品。这就像某家餐厅做了一批冷冻食品卖给你——你能吃，但你不知道怎么做，也没有任何调整的余地。而OpenSpatial的思路截然不同：它开放的是整条生产流水线，任何人都可以用这套流水线，根据自己的需求生产新的数据，调整配方，或者研究到底是哪道工序影响了最终的口味。

这种差异在实践中非常关键。当AI在某个任务上表现不好时，研究者需要知道究竟是数据太少了、数据质量不够好、还是数据覆盖的场景太单一？只有拥有开放的生产流水线，才能做这类"逐个排查"的诊断。封闭的数据集就像一个黑盒子，你拿到成品却完全不知道它是怎么来的，自然也无从改进。

**二、一切从"给物体套一个三维盒子"开始**

OpenSpatial这座工厂的核心原材料，是一种叫做"有向三维边界框"（可以简单理解为：给每个物体精准套上一个与它的实际方向吻合的三维长方体）的表示方式，论文里简称OBB。

为什么偏偏选择这个？把它和另外两种常见方式做个对比就清楚了。最简单的是二维边框——就是在图片上框出一个矩形，告诉AI"这里有张椅子"。但二维边框完全丢失了深度信息，不知道椅子离你多远，也不知道它朝哪个方向，换个拍摄角度就对不上了。另一个极端是完整的三维点云重建——扫描整个场景，生成数百万个带坐标的点，精度极高，但计算量巨大，成本高得难以大规模应用。

三维边界框恰好处于两者之间：它用九个数字（三个定位中心坐标，三个描述长宽高，三个描述旋转角度）就把一个物体在三维空间里的位置、大小和朝向全部表达清楚了。更重要的是，这个框是定义在全局坐标系里的，不随拍摄视角变化而变化——不管你从左边拍还是从右边拍，这把椅子的三维框始终是同一个。这个特性对于多视角理解至关重要，因为AI需要从不同角度的照片中认出同一把椅子，而有了这个稳定的"全局坐标锚点"，对应关系就变得清晰可靠。

**三、两种方式获取三维框：精雕细刻与自动提升**

有了设计原则，接下来的问题是：怎么给现实世界里的物体获取这些三维框？OpenSpatial支持两条并行的路径。

第一条路是人工精标。研究团队借鉴了EmbodiedScan这一已有的标注协议，由人类标注员在三维空间中仔细给每个物体画框。这条路产出的数据质量最高，但非常耗时，就像请工匠手工雕刻每一个零件，精度无可挑剔，但产量有限。这条路主要用于处理ScanNet、Matterport3D、ARKitScenes等已有精心标注的室内数据集。

第二条路是自动"三维提升"（3D Lifting）。面对海量的网络视频和开放数据源，不可能每个都靠人工标注。研究团队设计了一套全自动流程：先从视频中抽取若干关键帧，调用谷歌的Gemini模型来识别每一帧里有哪些物体，再用SAM（一种能自动识别并分割图中任意物体的工具）把每个物体的像素级轮廓抠出来，然后将多个视角的识别结果在三维空间里关联拼合，最后给每个物体拟合出一个凸包（可以理解为：把所有属于这个物体的空间点都包进去的最小三维形状），得到最终的三维边界框。

这条自动化路径的神奇之处在于，它让工厂能从室外街景、网络视频等原来完全无法利用的"野生数据"中也提取出高质量的三维空间标注。论文里展示了一段户外广场视频的处理结果：喷泉、长椅、垃圾桶、桌子和门，每个物体都被准确地框出，三维坐标和标签清晰可辨。

**四、从三维框到训练数据：一套精密的过滤与映射机制**

拿到了场景级别的三维框之后，工厂还需要把它们转换成每一帧图像对应的属性，才能用于生成具体的问答训练数据。这个转换过程有两道关键的质量控制工序，理解它们有助于理解为什么OpenSpatial的数据质量高于很多替代方案。

第一道是视锥过滤：如果某个物体的三维框在当前相机视角下完全不在画面范围内，直接丢弃，不生成相关问答。这看似理所当然，但很多粗放的数据生成流程会忽略这一步，导致模型在训练时被要求回答"图中根本没有的物体在哪里"，学到的自然是错误知识。

第二道是遮挡深度验证：即便一个物体的框投影到了画面里，它也可能被其他物体遮挡得看不见。OpenSpatial的处理方式是：将投影区域内的像素点用深度图反投影回三维空间，计算这些点实际落在该物体三维框内的体积比例——如果这个"占据率"低于阈值，说明这个物体在当前帧被严重遮挡，同样丢弃。

通过这两道过滤后，剩下的物体才会被进一步处理：用SAM对粗糙的投影掩码进行精细化，得到贴合物体真实轮廓的像素级分割；同时整合所有属性——二维框、三维框、分割掩码、部分点云、语义标签，以及一个关键的"是否具有真实物理尺度"标记。最后这个标记非常重要：如果某个物体的三维框不是基于真实物理量纲标注的（例如来自某些比例未知的合成数据），系统会自动跳过涉及绝对测量的问答生成，以免污染模型的度量估计能力。

**五、问答生成：场景图驱动的多样化出题机器**

有了每一帧上精准的物体属性，OpenSpatial接下来要做的事，就像一位出卷老师面对考试材料——系统性地、有策略地生成覆盖各种能力的问答题。

单视角问答的生成方式是：对每一帧构建一个结构化的"场景图"（可以理解为：把图中所有物体和它们之间的关系，用一张关系网络图表示出来），然后从这张图出发，自动生成各种类型的问题。为了避免图中有多把椅子时AI搞混，系统会在图片上用不同颜色的标记或遮罩高亮显示被问及的物体，作为视觉锚点。

多视角问答的生成则更有挑战性。关键难题是：如何选择两张"有足够重叠但又有明显视角差异"的图像对？这里三维框的全局坐标属性再次发挥了决定性作用——通过检查两张图中三维框的交集，系统能精确知道哪些物体同时出现在两张图里，从而找到既有共同参照点、又有视角变化的图像对。基于这样的图像对，系统生成跨视角的问答：在哪张图里这个物体离镜头更近？第二张图相对第一张，相机向哪个方向移动了？两张图里出现的这个物体是同一个吗？

**六、五大能力，十九个子任务：OpenSpatial-3M的知识地图**

基于上述流水线，研究团队最终产出了OpenSpatial-3M——三百万条训练样本，覆盖五大核心空间能力，细分为十九个子任务。

第一大类是空间测量（SM）。这是最基础的几何量化能力，包括估计物体的绝对尺寸（这把椅子有多高？）、比较两个物体的相对大小（这把椅子比那把更宽吗？）、以及估计两个物体之间的距离（椅子和桌子相距多远？）。还有一个特别的子任务叫三维定位，要求AI直接输出物体的三维边界框坐标。这类数据要求三维框具有真实物理尺度，因此主要来自EmbodiedScan等经过严格人工标注的数据集。

第二大类是空间关系（SR）。这类问答关注物体之间的定性位置关系，包括左右、前后、高低等方向性问题（植物盆栽在旗帜的左边吗？），以及多视角下的相对距离比较（从多个视角看，皂液器和垃圾桶哪个离水龙头更远？），还有基于自身参考系的方向判断（如果你站在枕头的位置，面朝暖气片，水壶在你的哪个方向？）。这类数据训练的是模型从纯粹的度量信息上升到语义化空间描述的能力。

第三大类是相机感知（CP）。这是针对"从观察者视角理解空间"的能力，包括判断相机运动方向（从图一到图二，相机主要朝哪个方向旋转？），以及根据深度关系排序（请将图中物体从近到远排列）、判断哪张图中某物体距镜头更近，还有相机位置布局重建（给你四张不同视角的照片，从俯视角画出这四台相机的相对布局，并按逆时针顺序排列它们）。

第四大类是多视角一致性（MC）。这是专门训练"跨图认同一个物体"能力的任务，包括点对应（第一张图中标了一个黄色点，第二张图里用红色标出了四个候选点，哪个点对应的是同一个位置？），以及物体对应（图一中的水槽和图二中的任何物体一样吗？）。这类任务要求AI在视角变化后仍能追踪同一物体的身份，是建立稳定三维场景表示的基础。

第五大类是场景感知推理（SAR）。这是最高层次的任务，包括场景描述（给定多视角照片，用200到300个词描述场景中各物体的空间关系和布局），以及路径规划（你是一个面朝自行车的机器人，按照给定的行动序列导航到冰箱，请填写缺失的转向动作）。这类任务要求模型不只能回答单个空间问题，而是能整合整个场景的空间逻辑，进行高阶规划。

这五大类任务被设计为一个递进式课程：从最基础的几何量化，到相对位置描述，到观察者视角理解，到跨视角一致性，最终到场景级推理。每一层都建立在前一层的基础上，循序渐进地构建AI的完整空间认知体系。

**七、实验结果：提升有多大，哪些地方最明显？**

研究团队在多个代表性开源视觉语言模型上进行了微调实验，包括InternVL2.5-8B、InternVL3-8B、Qwen2.5-VL-7B和Qwen3-VL-8B，训练时用OpenSpatial-3M数据与通用多模态数据（来自LLaVA-OneVision）按照1:1的比例混合，在32块英伟达GPU上训练一个轮次。

评测覆盖了八个专项空间推理基准（BLINK、AllAngles、ERQA、VSI、3DSR、MMSI、CVBench-3D、RealWorldQA）以及三个通用多模态基准（MMStar、MMBench、MMMU）。

结果是清晰的：所有使用OpenSpatial数据训练的模型，在三维空间推理综合得分上都相对基线有显著提升，幅度从5.4到9.5个百分点不等。在BLINK、AllAngles和MMSI三个基准上，提升幅度超过10个百分点，这意味着模型的空间理解能力发生了质的飞跃，而不只是微小的优化。

Qwen3-VL-8B与OpenSpatial数据的结合表现最为突出，综合得分从56.7提升到62.1，超越了现有所有开源空间智能专项模型，也在多项评测上接近谷歌Gemini 2.5 Pro这样的顶级闭源模型（Gemini 2.5 Pro的综合得分为62.4）。在CVBench-3D上，OpenSpatial系列模型的得分普遍在93到94分区间，而对照基线普遍在73到92之间，提升尤为显著。

同时，在通用多模态基准上，使用OpenSpatial数据训练的模型没有出现明显的"能力遗忘"——MMStar、MMBench、MMMU的得分基本保持在与基线相当的水平，说明专项空间能力的提升没有以牺牲通用理解能力为代价。这一点在实际部署中相当重要：一个空间感知变好但通用理解变差的AI是没有实用价值的。

**八、与其他开源数据集的横向对比**

研究团队还专门做了一项公平对比：将OpenSpatial抽取50万条的子集，与同等规模的其他开源数据集（Cambrian-S约59万条、SenseNova-SI约80万条、VST约50万条）在相同训练设置下做对比，以排除数据规模因素，聚焦数据质量本身。

评估指标除了各基准的绝对得分，还引入了两个衡量"稳定性"的统计量：平均偏差（MAD，描述各基准得分与最优结果之间的平均差距）和标准差（Std.Dev，描述各基准之间的得分波动）。

OpenSpatial子集的平均偏差为-2.5，标准差为4.4；VST的结果分别为-2.8和3.9。这两个数据集都展现出"广而均衡"的特点：在没有哪个基准特别突出的同时，也没有哪个基准特别糟糕。相比之下，Cambrian-S的平均偏差为-6.0、标准差为5.4；SenseNova-SI的平均偏差为-6.5、标准差为7.0，两者的整体表现较弱，但在VSI（视频空间理解）和MMSI（多图空间智能）等特定基准上具有局部优势。

这个对比揭示了一个重要的数据互补性：OpenSpatial擅长广泛覆盖，SenseNova-SI擅长特定领域深度。因此在完整的OpenSpatial-3M数据集中，研究团队将SenseNova-SI的80万条数据也整合进去，作为对特定场景的补充，以达到既广又深的效果。

**九、三维框和过滤机制，到底差别有多大？**

为了验证"三维框为核心"这一设计选择的必要性，研究团队做了一组模块消融实验，在控制数据量约20万条的前提下，逐步测试不同设计的效果。

基线是直接使用Qwen2.5-VL-7B而不添加任何空间数据，在BLINK、AllAngles、VSI、CVBench-3D四个基准上的得分分别是55.3、50.1、36.0和73.8。加入基于点云（而非完整三维框）的数据后，BLINK和VSI略有提升，但AllAngles基本持平，CVBench-3D提升到83.7。转换为三维框为中心的设计后，四个得分分别跃升到60.3、53.2、41.7和89.9，全面领先于点云方案。

然而，如果保留三维框设计但去掉过滤机制（即不做视锥裁剪和遮挡深度验证），结果则急剧下滑：60.3变成56.6，53.2变成47.0，41.7变成32.1，89.9变成78.2，四项全面倒退，甚至低于点云方案在某些指标上的表现。论文里配了直观的图示：当一个物体被另一个物体大幅遮挡时，如果不过滤掉这个样本，系统就会生成"这个花瓶在图中可见且距离镜头1.5米"这类错误标注，直接教会AI产生幻觉。

这个实验清楚地表明：三维框是必要的，但过滤机制与三维框同样不可或缺，两者缺一不可。

**十、数据越多越好吗？用数据规模做了一套实验**

研究团队还系统地测试了数据规模对性能的影响，将完整的OpenSpatial数据从20%到100%按比例抽样，观察性能变化。

从三维综合得分（3D-Avg）这个整合指标来看，随数据量增加，得分从57.6稳步上升到59.7，呈现出清晰的正向关系。但细看各个具体基准，情况并不是每个都单调递增——例如BLINK在60%数据时得66.9，100%时反而只有65.9；CVBench-3D在80%时得91.5，100%时升到92.5，但RealWorldQA在100%时反而从70.5下降到68.3。

研究团队对此的解读是：个别基准的波动可能来自数据分布的局部偏移，但综合指标的持续上升说明增加数据量确实在系统性地提升模型的整体空间认知能力。同时，他们注意到边际收益递减的现象——从20%增加到40%时综合得分上升了0.9分，从80%增加到100%时只上升了0.5分。这暗示着，要继续大幅提升空间智能，未来可能需要指数级扩大数据规模，单纯的线性增量效果会越来越有限。

**十一、3D提升流水线能用于真实户外数据吗？**

为了验证自动化三维提升流水线处理野生数据的能力，研究团队在一组室外视频上做了独立实验：用完全来自网络视频（通过3D提升自动标注）的20万条数据训练，对比不加任何空间数据的基线。

结果相当令人鼓舞：在BLINK上从55.3提升到62.2，在3DSR上从49.0提升到54.3，在CVBench-3D上从73.8大幅跃升到87.9，在RealWorldQA上从68.1提升到71.8。这表明，即便是完全自动化获取的户外场景数据，经过OpenSpatial流水线处理后，也能为模型提供有价值的空间感知训练信号。

**十二、模型越大，空间智能越强？**

研究团队还用Qwen2.5-VL三个尺寸（3B、7B、32B参数）在相同数据配置下做了对比。三维综合得分从56.1（3B）稳步提升到59.7（7B）再到61.3（32B）。几乎所有具体基准都呈现出随模型规模增大而持续改善的趋势，尤其是AllAngles（53.0→58.4→63.3）和ERQA（40.0→41.8→44.0）提升幅度最为明显。

这个结果与数据规模实验共同说明了一件事：OpenSpatial这条生产流水线具有良好的双向扩展性——无论是扩大数据量还是选用更大的模型，都能持续转化为空间感知能力的提升，而不是遇到天花板后就停滞不前。

**十三、五种任务各有侧重，组合在一起更强**

研究团队对五大类任务各自的贡献做了细粒度分析。从单任务贡献来看，空间测量（SM）类数据对需要精确度量的基准（如ERQA）提升最显著；相机感知（CP）类数据则对需要视角理解的基准（如AllAngles）帮助最大；多视角一致性（MC）类数据对CVBench-3D这类跨视角评测贡献突出。不同任务在不同基准上的优势各不相同，说明五类任务之间并不是重复或冗余的，而是各自针对空间认知的不同维度。

当研究团队逐步把五类任务从一类到五类依次叠加训练时，综合得分的整体趋势是持续上升的，尽管中途某些基准可能出现短暂的小幅波动（研究团队将其归因于多任务学习时的梯度方向干扰）。最终，包含全部五类任务的完整组合显示出最佳综合表现，印证了任务多样性能有效抵抗"空间近视"、培养更全面空间智能的设计初衷。

**十四、流水线本身能跑多快？**

为了让这套工厂具有实际可用性，研究团队对流水线做了工程优化。首先是并行处理：流水线中大多数模块支持并发运行，相当于工厂里多条生产线同时运转。其次是异步执行：相邻的生产阶段之间通过消息队列解耦，当前阶段在处理一批数据的同时，下一批数据已经在上一阶段并行准备，消除等待空档。最后是中间特征复用：多个子任务共享同一套中间计算结果（例如SAM分割结果可以同时服务于多种问答生成任务），避免重复计算。

根据论文中的效率图示，这三项优化的叠加效果分别带来了约2.7倍、3.1倍、1.5倍和12倍不等的吞吐量提升，最终使大规模数据生产变得经济可行。

**说到底，这件事的意义在哪里？**

归根结底，OpenSpatial做的事情是把一个原本封闭、碎片化的研究领域推向了开放和系统化。空间智能不只是让AI变得更"聪明"的学术游戏，它直接关系到自动驾驶汽车能不能准确判断行人距离、家用机器人能不能把碗放到正确的柜子里、增强现实眼镜能不能把虚拟物体贴合地放在真实桌面上。

当前这套系统还有明显的局限。数据来源仍然以室内场景为主，对桌面级物体和复杂室外场景的覆盖不足，导致模型在这些场景中的提升相对有限——研究团队在论文中坦诚地指出了这一点，并表示计划在后续版本中扩大数据覆盖范围。

另一个值得思考的问题是：即便综合得分达到了62分，离100分还有相当距离。这意味着AI的空间感知能力与人类的日常空间直觉之间仍然存在相当大的鸿沟。从这个角度来看，OpenSpatial更像是一个基础设施的起点，而不是终点——它提供了一个可以持续扩充、持续改进的开放平台，让整个研究社区能在同一套语言和工具体系下协作推进。

对于普通读者来说，这项研究最直接的影响可能还要等到未来几年才能感受到：当你的手机AR导航能准确地把一个箭头贴在你前方5米处的人行道转角，而不是漂浮在半空中；当你的家庭机器人能准确地判断洗碗机里还有多少空间再放一个碗，而不是尝试把碗塞进一个根本放不下的缝隙——那时候，你大概会想起，在2026年的春天，有一群研究者在安静地为AI的空间直觉打地基。

有兴趣深入了解这套系统全貌的读者，可以在arXiv上通过编号arXiv:2504.07296找到完整论文，也可以在GitHub上通过VINHYU/OpenSpatial访问完整的开源代码和数据。

---

Q&A

Q1：OpenSpatial-3M数据集和普通的图像标注数据集有什么区别？

A：普通图像标注数据集通常只标记物体的类别和二维位置（比如"这里有一把椅子"），OpenSpatial-3M的核心差异在于它以三维边界框为基础，记录了每个物体在真实三维空间中的坐标、尺寸和朝向，并且这些三维信息在不同拍摄角度下保持一致。由此衍生的训练问答不只问"这是什么"，而是问"这个物体距离那个物体多远"、"从另一个角度看它在哪边"等需要真正理解三维空间的问题。

Q2：OpenSpatial的五大任务分类里哪个最难训练？

A：从实验数据来看，多视角一致性（MC）和场景感知推理（SAR）这两类任务对应的基准提升幅度相对较小，说明它们确实更难。原因在于这两类任务要求模型在脑子里维持一个稳定的三维场景模型，而不只是回答单张图片里的局部问题，这需要模型跨越多张图片进行推理，对底层空间表示能力的要求更高。相对而言，空间测量类任务的规律性更强，数据驱动的提升也更立竿见影。

Q3：使用OpenSpatial数据训练会不会让模型忘掉原来会的通用能力？

A：根据论文的实验结果，答案是基本不会。研究团队在MMStar、MMBench、MMMU三个通用多模态基准上测试了训练后的模型，得分与未训练的基线模型基本持平，没有出现明显的"能力遗忘"现象。这得益于训练时将空间数据与LLaVA-OneVision通用数据按照1:1比例混合的策略，让模型在增强空间感知的同时保持了通用的图文理解能力。