SSR：通过推理引导式空间理解增强视觉语言模型的深度感知能力

随着人工智能技术的迅猛发展，视觉语言模型（Vision-Language Models，简称VLMs）在近年来取得了令人瞩目的进步。这项由西湖大学杨刘、马铭、余小敏、丁鹏翔、赵涵、孙明阳、黄思腾和王东林等研究者共同完成的研究，以论文《SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning》的形式发表于2025年5月，目前已在arXiv（arXiv:2505.12448v1）上预发布，并正在接受审阅。有兴趣的读者可以通过https://yliu-cs.github.io/SSR 访问项目主页了解更多详情。

想象一下，当你向电脑展示一张客厅的照片并问："沙发上的猫在桌子的左边还是右边？"这看似简单的问题实际上考验了AI系统对空间关系的理解能力。尽管现有的视觉语言模型在识别图像中的对象方面表现出色，但它们在理解这些对象之间的空间关系时却常常力不从心。这就像一个人能够认出照片中的所有物品，却无法准确判断它们之间的相对位置一样。

为什么会出现这种情况呢？主要是因为当今的视觉语言模型大多只依赖RGB（红绿蓝）图像输入，而这种平面图像信息缺乏深度感知能力，无法准确捕捉三维空间中的距离和相对位置关系。就像你看一张照片时，没有立体视觉，很难精确判断照片中物体之间的远近关系一样。

为了解决这个问题，研究团队提出了一种名为SSR（Spatial Sense and Reasoning，空间感知与推理）的创新方法。简单来说，SSR就像给AI配了一副能感知深度的眼镜，让它不仅能"看见"图像中的物体，还能理解它们在空间中的位置关系。这种方法的巧妙之处在于，它将原本抽象难懂的深度数据转化为AI能够理解的文字推理过程，就像人类在解决空间问题时会进行的思考一样。

研究团队的方法主要包含两个关键创新：首先，他们开发了一个名为MIDI（Mamba-based Image-Depth Interpreter，基于Mamba的图像深度解释器）的模块，这个模块可以将深度信息转化为连贯的文字推理过程；其次，他们设计了一种知识蒸馏技术，将这些文字推理压缩成更紧凑的潜在表示，使其能够轻松地与现有的视觉语言模型集成，而无需对这些模型进行重新训练。

研究团队还构建了一个包含超过一百万个样本的数据集（SSR-COT），以及一个名为SSRBENCH的评估基准，用于全面评估模型的空间理解能力。实验结果表明，SSR方法显著提升了视觉语言模型在空间理解任务上的表现，在多个基准测试中取得了令人印象深刻的改进。

接下来，让我们深入了解这项研究的详细内容，看看研究团队是如何一步步解决这个挑战的。

一、研究背景：为什么空间理解对AI如此重要？

想象一下，你正在使用一个家庭服务机器人，你对它说："请把桌子左边的那本书递给我。"对于我们人类来说，这是一个简单明了的指令，但对于AI来说，这却是一个复杂的挑战。机器人需要不仅识别出什么是"书"和"桌子"，还需要理解"左边"这个空间概念，以及判断多个物体之间的相对位置关系。

目前的视觉语言模型主要依赖于二维RGB图像进行训练。这就像是用一只眼睛看世界，缺乏深度感知能力。研究团队形象地比喻道，这就像是一个人被限制只能看照片而不能体验真实的三维世界一样，难以准确理解物体之间的空间关系。

一些研究者尝试通过引入点云数据（一种表示三维空间的数据形式）来增强模型的空间理解能力。然而，这种方法通常需要特殊的传感器（如LiDAR激光雷达）来收集数据，在只有普通相机的情况下难以应用。

随着技术的发展，单目深度估计方法（从单张2D图像估计深度信息）变得越来越成熟。这些方法可以从普通的2D图像中生成高质量的深度图，无需额外的硬件设备。就像人类能够从单眼视觉中推断出一定的深度信息一样，这些算法也能从单张图像中"猜测"出物体的远近关系。

然而，现有的方法虽然能够获取深度信息，但在如何有效利用这些信息进行更高级的推理方面还存在局限。研究团队指出，当前的方法通常是将深度信息作为一种额外的输入直接提供给模型，而没有充分发挥深度信息在推理过程中的价值。

人类在看到一个场景时，会自然而然地利用深度信息进行空间推理。例如，当我们需要判断"物体A和物体B是否相距很远"时，我们不会仅仅看到深度信息，然后直接得出结论。相反，我们会分析物体之间的空间关系，然后利用这种理解来进行进一步的推理。这种深度信息的隐性利用过程，正是现有模型所缺乏的。

研究团队的SSR方法旨在模拟这种人类式的深度信息处理方式，让AI能够像人类一样自然地利用深度信息进行空间推理。

二、SSR方法：如何让AI理解空间关系？

研究团队提出的SSR（Spatial Sense and Reasoning）方法，可以形象地比喻为给AI配备了一套"空间思维工具包"。这个工具包不仅让AI能够"看到"深度信息，还能够像人类一样利用这些信息进行逻辑推理。

### SSR的核心架构

SSR的整体架构包含两个主要组件：

首先是MIDI（Mamba-based Image-Depth Interpreter，基于Mamba的图像深度解释器）模块。这个模块就像是AI的"空间思维处理中心"，它接收图像和对应的深度信息，然后生成一系列能够反映空间关系理解的潜在表示。这些潜在表示可以看作是AI对空间关系的"思考过程"。

具体来说，当MIDI接收到一张图像和一个问题（例如："桌子上有什么物体？"）时，它会首先使用预训练的深度估计模型（如Depth Pro）从图像中生成深度信息。然后，它分别使用视觉编码器和深度编码器提取图像特征和深度特征。这就像人类同时使用形状识别和深度感知能力来理解场景一样。接着，这些特征会通过多层感知器（MLP）转换为语义嵌入空间中的表示。

MIDI的核心是一个基于Mamba的语言模型，它能够根据图像特征、深度特征和文本查询生成中间推理步骤。这些推理步骤就像是AI的"思考过程"，记录了AI如何利用深度信息进行空间推理。最后，这些推理过程会被转换为潜在表示，以便于与下游的视觉语言模型集成。

第二个组件是知识蒸馏模块。正如我们在学习复杂知识时，会将其简化为更容易理解和应用的形式，这个模块的作用也是类似的。它将MIDI生成的详细推理过程压缩成更紧凑的潜在表示，使其能够高效地集成到现有的视觉语言模型中，而无需对这些模型进行重新训练。

### SSR的训练过程

SSR的训练过程分为两个阶段，就像学习一项新技能通常需要先掌握基础，再进行综合应用一样：

在第一阶段，研究团队专注于训练MIDI模块，使其能够生成准确的推理过程。这个阶段就像是教AI如何"思考"空间关系一样。训练数据包含图像、深度信息、问题以及详细的推理过程和最终答案。MIDI模块需要学习如何根据图像和深度信息生成与标准推理过程一致的潜在表示。

训练目标是让MIDI生成的潜在表示能够被大型语言模型准确解读，并重建出原始的推理过程。这就像是确保AI的"思考过程"是人类可以理解的，而不是一个黑盒子。

在第二阶段（这是可选的），研究团队将MIDI模块与现有的视觉语言模型一起训练，进一步增强系统的整体性能。在这个阶段，系统直接生成最终答案，而不需要显式地生成中间推理过程。这就像是在掌握了"如何思考"之后，进一步训练AI直接给出准确答案的能力。

值得注意的是，由于MIDI模块的模块化和即插即用特性，第二阶段的训练是可选的。即使不进行第二阶段的训练，MIDI模块也能够与现有的视觉语言模型良好地集成，提升其空间理解能力。

### SSR的创新点

SSR方法的一个主要创新点在于它将原始的深度数据转换为结构化的推理语言。这就像是将复杂的三维空间关系转化为人类可以理解的语言描述，使得模型能够更有效地利用深度信息进行推理。

另一个创新点是知识蒸馏技术的应用。与传统的Chain-of-Thought（思维链）方法不同，SSR不依赖于冗长的文本解释，而是将推理过程压缩为紧凑的潜在表示，大大减少了计算开销，同时保留了推理的深度和丰富性。

此外，SSR还特别注重模块化设计，使其能够轻松地与现有的视觉语言模型集成，无需对这些模型进行重新训练。这种灵活性使得SSR可以广泛应用于各种视觉语言模型，提升其空间理解能力。

三、数据集与基准：如何评估空间理解能力？

为了训练和评估SSR模型，研究团队构建了两个重要的资源：SSR-COT数据集和SSRBENCH基准。

### SSR-COT数据集

SSR-COT是一个包含超过100万个样本的大规模视觉语言推理数据集，每个样本包含图像、深度信息、问题、推理过程和答案。这个数据集的规模之大，就像是为AI提供了一个庞大的"空间关系学习教材"。

SSR-COT数据集的来源主要包括四个部分：

1. LLaVA-CoT：一个系统化的视觉语言思维链数据集，包含一般和科学相关的视觉问答数据。 2. Visual-CoT：一个多模态思维链数据集，使用边界框作为中间思考步骤，包含一般、关系推理和细粒度科学相关的视觉问答数据。 3. VoCoT：一个细粒度的图像文本思维链数据集，其推理过程提供了各种对象之间的详细关系，包含一般和关系推理视觉问答数据。 4. SpatialQA：一个空间问答数据集，包含与深度相关和机器人相关的视觉问答数据。

为了生成含有空间信息的视觉语言推理数据，研究团队采用了多步骤流程。首先，他们使用Depth Pro从原始图像中提取深度估计。然后，对于像VoCoT这样的数据源，他们从长对话中提取简洁的单轮问答对。接着，他们利用SpatialRGPT全面挖掘图像中的精确空间属性，如物体大小、距离和相对位置，基于中间推理步骤，包括来自Visual-CoT和VoCoT的边界框标注。最后，他们使用GPT-4o整合所有提取的信息，生成增强空间理解的详细推理过程。

为了确保生成数据的高质量，研究团队还引入了缓存池和采样质量检查，在迭代循环中验证生成数据的质量。最终，他们将大约120万个预处理数据样本编译成SSR-COT数据集。

研究团队使用Qwen2.5-VL-7B-Instruct模型对数据集质量进行了评估。结果显示，使用中间推理过程的回答准确率比直接问答提高了11.62%，这证明了SSR-COT数据集中的中间推理注释质量高，能有效增强视觉语言模型的问答性能。

### SSRBENCH基准

SSRBENCH是一个专为评估空间理解和推理能力而设计的基准测试，包含六个不同的任务，涵盖一般理解和空间理解两大类别。

一般理解类别包括： 1. 存在性（Existence）：判断物体或特征是否存在（例如："图像中有猫吗？"） 2. 属性识别（Attribute）：识别颜色、纹理、大小或状态等属性（例如："苹果是什么颜色的？"） 3. 动作识别（Action）：识别正在发生的动作或活动（例如："男人在做什么？"）

空间理解类别包括： 1. 计数（Counting）：计算图像中的物体（例如："图像中有多少个煎饼？"） 2. 位置（Position）：确定物体的空间关系（例如："狗在人的左边还是右边？"） 3. 物体（Object）：根据空间关系识别物体（例如："桌子上有什么物体？"）

构建SSRBENCH的过程包括几个步骤。首先，研究团队定义了上述六个任务类别。然后，他们从SSR-COT中随机抽样图像文本对，按比例保留其原始数据源的分布。这些样本由GPT-4o和Gemini-2.5-Pro独立分类到任务类别中。只有两个模型分类结果一致的实例才被包含在SSRBENCH中，不一致的实例则返回到SSR-COT。

为了评估视觉语言模型在SSRBENCH上的表现，研究团队使用了Qwen2.5-14B-Instruct-1M作为评估助手。评估指标包括准确率和0到5的定量得分。

四、实验结果：SSR的表现如何？

研究团队在多个基准测试中评估了SSR的性能，包括SpatialBench、SSRBENCH、CV-Bench和MME。

### 主要实验结果

在SpatialBench和SSRBENCH上的实验结果表明，SSR显著优于现有的基线方法。具体来说，使用3亿参数的SSR模型（SSR-3B）能够达到与大规模基线模型相当甚至更好的性能。而使用70亿参数的SSR模型（SSR-7B）在大多数任务上取得了最佳性能。

与顶级基线模型相比，SSR在平均问答准确率上实现了显著提升，最高提升了13.6个百分点，平均提升了6.77个百分点。这意味着SSR在空间理解任务上的表现比现有的最好方法还要好很多。

与底层模型相比，SSR也表现出显著的性能改进。在三个报告平均值的基准测试中，不同规模的SSR模型相比底层模型平均提升了11.2和9.4个百分点。最显著的改进出现在基准测试的空间任务上，提升分别达到20.9和22.5个百分点。

这些结果表明，SSR有效地提高了视觉语言模型的空间理解能力，使其能够更准确地回答涉及空间关系的问题。

### 消融实验

研究团队还进行了消融实验，评估没有第二阶段训练的SSR模型的性能。实验结果表明，即使只使用第一阶段训练的MIDI模块，以即插即用的方式与现有视觉语言模型集成，也能改善空间理解能力。

在不同的基准数据集上，这种即插即用方法实现了平均4.4和1.6个百分点的性能提升。在某些任务上，性能提升最高达到8.8个百分点，证明了这种使用方式的有效性。

在完成第二阶段训练后，SSR模型的性能进一步显著提升，在不同基准数据集上实现了平均5.7和18.7个百分点的性能提升。

这些结果证明了SSR中MIDI模块的有效性，以及两阶段训练策略的价值。

### 推理嵌入分析

为了分析MIDI模块是否有效捕获了深度信息并在推理过程中利用了这些信息，研究团队可视化了有推理和无推理的潜在标记之间的余弦相似度。

结果显示，相似度矩阵中的对角线条目明显大于非对角线条目，证实了MIDI生成的潜在标记与相应的推理有效对齐。这意味着MIDI不仅能够处理深度信息，还能根据推理过程生成有意义的表示。

### 案例研究

为了进一步说明SSR的有效性，研究团队提供了两个案例研究，比较了SSR与五个基线模型在不同问题上的表现。

在第一个例子中，图像只显示人和香蕉。模型需要抛弃常规假设，仔细推理图像中的空间关系，才能准确回答问题。只有SSR能够正确回答这个问题，而所有基线模型都失败了。

在第二个例子中，图像展示了多个物体之间的复杂关系，回答问题所需的相关特征并不立即明显。在这种情况下，模型需要全面理解每个物体与给定问题之间的对应关系，以及这些物体之间的复杂空间关系，才能产生正确回答。同样，只有SSR能够正确回答这个问题。

这些案例研究进一步证明了SSR有效增强了视觉语言模型的空间理解能力，使其能够更准确地理解复杂的空间关系。

五、未来工作与影响

SSR研究不仅提供了一种增强视觉语言模型空间理解能力的有效方法，还为未来的研究指明了方向。

### 广泛应用潜力

SSR的模块化设计使其能够与各种现有的视觉语言模型集成，无需对这些模型进行重新训练。这种灵活性意味着SSR可以广泛应用于各种需要空间理解的场景，如机器人导航、自动驾驶、增强现实和虚拟现实等。

例如，在机器人导航中，SSR可以帮助机器人更好地理解环境中的空间关系，做出更准确的导航决策。在自动驾驶中，SSR可以帮助车辆理解道路场景中的空间关系，提高驾驶安全性。在增强现实和虚拟现实中，SSR可以帮助系统更准确地放置虚拟物体，提升用户体验。

### 研究影响

SSR还为多模态AI系统的发展提供了新的思路。传统上，多模态系统通常是将不同模态的信息简单地融合在一起，而SSR提出了一种更加结构化的方法，将深度信息转换为可解释的推理过程，然后再进行决策。

这种方法不仅提升了性能，还增强了系统的可解释性。通过查看中间的推理过程，研究者和用户可以更好地理解系统是如何做出决策的，从而增强对系统的信任。

此外，SSR还展示了如何有效地将不同模态的信息转换为统一的表示形式，这对于多模态学习的发展具有重要启示。

### 局限性和未来工作

尽管SSR取得了显著的成果，但研究团队也指出了一些局限性和未来工作的方向。

首先，虽然实验证明了SSR的有效性，但目前的研究主要使用了Qwen/Qwen-VL系列模型。在未来的工作中，研究团队计划扩展到更多的视觉语言模型，以全面评估SSR方法的通用性和适用性。

其次，当前的深度估计方法可能在某些复杂场景（如透明物体、反射表面等）下表现不佳，影响SSR的整体性能。未来的工作可以探索更鲁棒的深度估计方法，或者结合多种感知模态（如双目视觉、LiDAR等）来获取更准确的深度信息。

最后，SSR当前主要关注静态图像的空间理解，未来可以扩展到视频领域，考虑时间维度上的空间变化，进一步增强模型的理解能力。

六、总结

SSR（Spatial Sense and Reasoning）是一种创新的方法，通过将原始深度数据转换为结构化的推理语言，显著增强了视觉语言模型的空间理解能力。研究团队不仅提出了一种有效的方法，还构建了大规模的SSR-COT数据集和SSRBENCH基准，为未来的研究提供了宝贵的资源。

实验结果表明，SSR在多个基准测试中都取得了显著的性能提升，证明了其有效性和实用性。特别是在空间理解任务上，SSR相比现有方法实现了高达22.5个百分点的性能提升。

这项研究不仅为增强视觉语言模型的空间理解能力提供了一种有效的方法，还为多模态AI系统的发展提供了新的思路，有望在机器人、自动驾驶、增强现实等领域产生广泛的应用。

随着技术的不断发展，我们可以期待未来的AI系统能够像人类一样自然地理解和推理空间关系，为各种智能应用提供更强大的支持。