视角转换：浙江大学研究团队开发ViewSpatial-Bench，全面评估视觉语言模型的多视角空间定位能力

2025年5月，浙江大学李鼎铭、李宏兴等研究团队在arXiv上发表了一项突破性研究《ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models》（arXiv:2505.21500v1），这项研究深入探讨了当前视觉语言模型在跨视角空间理解方面的关键局限性，并提出了解决方案。让我们一起来了解这项创新研究的细节。

空间理解：人类与机器的巨大差距

想象这样一个场景：你和朋友坐在咖啡厅里，朋友说"请把我左边的那杯咖啡递给我"。对我们人类来说，这是再简单不过的请求——我们会自然地从朋友的视角出发，而不是从自己的视角去理解"左边"的含义。这种能力叫做"视角采纳"，是我们人类与生俱来的空间认知能力。

然而，当前最先进的视觉语言模型（VLMs）在这方面表现得像个"空间盲人"。研究团队发现，即使是像GPT-4o这样强大的模型，在涉及多视角空间定位任务时的表现仅比随机猜测略好一点点。这些模型主要擅长从摄像机视角（自我中心视角）理解空间关系，但当需要从另一个实体的参考框架（分配中心视角）理解空间关系时，它们的表现就大打折扣。

想象一下，如果你请求家用机器人"帮我拿我右边的杯子"，它却拿了它自己右边的杯子，这种交互体验会多么令人沮丧。这正是当前人工智能系统面临的核心挑战之一，也是浙江大学研究团队努力解决的问题。

ViewSpatial-Bench：全面评估空间理解能力的新基准

为了系统评估视觉语言模型的多视角空间理解能力，研究团队开发了名为"ViewSpatial-Bench"的评测基准。这是首个专门设计用于评估多视角空间定位能力的综合基准，涵盖了五种不同类型的任务，并得到了一个自动化3D标注流水线的支持，该流水线能生成精确的方向标签。

ViewSpatial-Bench包含了超过5,700个问答对，涵盖了1,000多个独特的3D场景，数据来源于ScanNet和MS-COCO数据集的验证集。这些任务分为两大类：摄像机视角和人类视角。

从摄像机视角来看： 1. 物体相对方向识别任务：判断图像中物体之间的空间关系，比如"桌子相对于沙发在什么位置？" 2. 物体视角朝向识别任务：从自我中心视角确定人物的注视方向，例如"从摄像机视角看，图中人物朝哪个方向面对？"

从人类视角来看： 1. 物体相对方向识别任务：从图像中某个角色的视角判断其他物体的空间关系，如"从白衣男子的视角看，绿衣男子在他的什么位置？" 2. 物体视角朝向识别任务：要求假设自己是图像中的某个角色，确定自己的注视方向，例如"假设你是图中穿绿衣服的人，你面向哪个方向？" 3. 场景模拟相对方向识别任务：需要在连续帧中模拟自己在空间场景内的位置，确定其他物体的相对位置，如"站在冰箱前面对着桌子，枕头在什么位置？"

这些任务被精心设计，旨在全面评估模型在不同视角下理解空间关系的能力，特别是在需要视角转换的情况下。

自动化3D空间标注流水线：数据生成的秘密武器

研究团队开发了一个创新的自动化3D空间标注流水线，这是ViewSpatial-Bench的重要支柱。这个流水线能高效生成大规模、精确标注的多视角数据集。

对于ScanNet数据源，团队首先获取场景的体素信息，然后应用最大覆盖采样算法来确保用最少的帧捕获完整的空间表示。对于每个选定的帧，系统生成场景元数据，包括可见物体的可见率和3D空间坐标。

对于MS-COCO数据源，团队筛选出包含占图像面积至少20%的动物对象的图像。利用MS-COCO的边界框和关键点信息，他们将人物图像分割为头部和身体组件，然后使用Orient-Anything-Large模型计算旋转角度。对于人物视角的朝向，他们通过分析头部和身体朝向之间的角度偏移来计算注视方向。

这种自动化标注方法不仅提高了数据生成的效率，还确保了空间关系标签的准确性和一致性，为模型训练和评估提供了可靠的基础。

现有视觉语言模型的评估结果：令人担忧的表现

研究团队对多种视觉语言模型在ViewSpatial-Bench上进行了全面评估，包括开源模型（InternVL2.5/VL3、LLaVA-NeXT-Video、LLaVA-OneVision、Llama-3.2-Vision、Kimi-VL-Instruct和Qwen2.5-VL）以及专有模型（GPT-4o和Gemini-2.0-Flash）。

评估结果揭示了一个令人担忧的事实：即使是最强大的专有模型，如GPT-4o（34.98%）和Gemini-2.0-Flash（32.56%），在空间定位任务上的表现也仅比随机猜测（26.33%）略好一点。这证实了研究团队的假设：当前的视觉语言模型尽管在标准的视觉语言任务上表现出色，但在需要视角转换的空间理解任务上存在根本性的缺陷。

更有趣的是，大多数模型在摄像机视角任务上的表现（平均33.2%）反而低于人类视角任务（平均35.7%）。这与直觉相悖，因为我们会期望自我中心视角（基于摄像机）的任务应该比分配中心视角（基于人类）的任务更容易。这一发现表明，当前的视觉语言架构可能隐含地编码了某些偏向第三人称视角的空间偏见，这可能源于Web采集训练数据中此类构图的普遍存在。

多视角空间模型：弥合认知差距的新方法

为了解决当前视觉语言模型在视角依赖空间推理方面的局限性，研究团队开发了多视角空间模型（Multi-View Spatial Model，简称MVSM）。这一模型通过系统化的增强方法，结合高质量的训练数据和专为多视角空间理解设计的微调策略，显著提升了空间理解能力。

研究团队利用他们的自动化空间标注框架，生成了约43,000个多样化的空间关系样本，涵盖了所有五种任务类型。这个数据集整合了来自ScanNet和MS-COCO训练集的3D空间信息，对于难以实现完全自动化的人类相对方向任务（由于复杂的人类空间坐标和环境上下文），还补充了Spatial-MM数据。

他们的多视角微调策略明确训练模型从不同的观察视角进行推理，使MVSM能够发展出一种更统一的3D空间关系表示，支持从摄像机和人类视角进行稳健的推理。

评估结果令人振奋：MVSM相比其骨干模型Qwen2.5-VL（3B）取得了46.24%的绝对性能提升。模型在所有任务类别上都表现出显著且一致的改进，其中在朝向任务上的提升最为突出——摄像机视角朝向任务提升了54.32%，人类视角朝向任务提升了51.00%。这种对称的改进模式特别值得注意，它表明通过在多视角空间标注数据上的显式训练，模型能够发展出跨视角有效的统一3D空间表示。

实际应用评估：从实验室到现实世界

为了进一步验证MVSM在实际应用中的空间理解能力，研究团队在VSI-Bench和他们自己构建的小型应用评估数据集VSI-App上评估了其性能。

在VSI-Bench上，MVSM在需要视角转换的物体相对方向和路径规划任务上都优于其骨干模型，特别是在路径规划任务上取得了显著的9.54%的提升。这一改进表明，MVSM不仅能够模拟静态空间关系，还能够模拟通过3D环境的动态轨迹，这一能力是从研究团队的视角感知训练方法中自然产生的，而无需专门针对路径规划进行优化。

对于VSI-App，研究团队构建了一个包含50个场景（25个室内，25个室外）的专门评估数据集，旨在评估人类中心的空间推理能力。MVSM在室内环境中表现出显著的改进（+20.00%），在室外场景中也有适度的提升（+4.00%）。这种性能模式揭示了一个有趣的领域差距：具有结构化空间关系的室内环境与研究团队的训练分布更加一致，而室外场景尽管仍有改进，但提出了更大的挑战。

视角混淆分析：一致性认知的关键

研究团队对不同模型在VSI-App上的表现进行了深入分析，发现在没有视角感知训练的模型中存在一个普遍问题：它们在单个回答中表现出不一致的空间判断，在人类和摄像机视角之间交替。这表明它们缺乏一个可以从不同视角导航的3D空间的连贯内部模型。

相比之下，MVSM能够始终如一地坚持指定的视角框架，即使在需要多次空间转换的复杂情况下也是如此。这种一致性是实现自然、直观的人机空间交流的关键。

结论与未来展望

ViewSpatial-Bench的开发为评估视觉语言模型的多视角空间定位能力提供了一个全面的基准。通过对各种先进VLM的评估，研究团队揭示了它们在空间推理能力上的显著局限性。通过开发自动化空间标注流水线并构建大规模多视角数据集，他们成功训练了多视角空间模型（MVSM），该模型在ViewSpatial-Bench任务上取得了显著的整体性能提升。

这项研究为空间智能视觉语言模型的发展铺平了道路，这些模型能够更好地与人类认知模式对齐，特别是在涉及空间理解的复杂任务中。随着人工智能系统越来越多地融入我们的日常生活，改进它们理解和导航3D空间的能力变得至关重要，特别是在需要与人类互动的情境中。

未来的研究方向可能包括扩展基准以包含动态空间推理场景，探索半监督方法以减少对手动标注的依赖，以及开发能够处理室外环境中不同空间尺度和视觉特征的专门训练方法。

对于任何对实现更自然、更直观的人机空间交流感兴趣的人来说，ViewSpatial-Bench和MVSM代表了朝着这一目标迈出的重要一步。有兴趣深入了解的读者可以通过项目网站（https://zju-real.github.io/ViewSpatial-Page）获取更多信息，或直接查阅完整论文（arXiv:2505.21500v1）。