从视频中学习3D世界：香港中文大学研究团队用3D视觉几何先验增强多模态大语言模型

论文与研究团队介绍

2025年5月，香港中文大学的郑铎、黄世佳、李岩洋和王立威发表了一项创新研究，题为《从视频中学习3D世界：用3D视觉几何先验增强多模态大语言模型》（Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors）。这篇研究论文已在arXiv预印本平台上公开（arXiv:2505.24625v1），为多模态大语言模型在3D场景理解方面带来了重大突破。

想象一下，你正在使用一款智能助手，向它展示你家客厅的视频，并询问："如果我把沙发移到窗户旁边，会不会挡住走道？"传统的AI系统可能会困惑不已，因为它们缺乏理解3D空间的能力。然而，香港中文大学的研究团队开发的新技术可以让AI助手从普通视频中理解三维空间关系，就像人类那样。

研究背景与挑战

多模态大语言模型（MLLMs）近年来发展迅速，在图像和视频理解方面取得了显著进步。然而，当涉及到理解3D空间和物体之间的空间关系时，这些模型仍然表现不佳。就像一个人只看照片而没有立体视觉一样，传统MLLMs对深度、距离和物体之间的相对位置缺乏准确感知。

以往的研究尝试通过将3D场景解释为视频序列来改善MLLMs的3D理解能力。例如，有些方法会在视觉特征中注入3D坐标信息，或者使用从3D点云重建的鸟瞰图。但这些方法有一个共同的限制：它们依赖于密集的3D数据输入（如深度图和点云图），而这些数据在现实世界中往往难以获取。虽然可以直接从图像估算3D属性，但这可能引入估计误差并降低性能。

研究团队面临的核心问题是："多模态大语言模型能否直接从视频中理解3D世界，而不需要任何显式的3D数据输入？"

研究创新：视频-3D几何大语言模型

为了解决这一挑战，研究团队提出了一种名为"视频-3D几何大语言模型"（Video-3D Geometry LLM，简称VG LLM）的新型框架。这一方法的独特之处在于，它无需依赖显式的3D数据输入，而是直接从普通视频中学习3D几何信息。

想象一下，我们人类在观看视频时，能够自然地理解场景中物体的深度、大小和相对位置。这是因为我们的大脑能够从连续帧之间的变化中推断出3D信息。VG LLM就是模仿这一过程，它包含了一个3D视觉几何编码器，可以从视频序列中提取3D先验信息。

具体来说，VG LLM的工作原理如下：当输入视频帧时，这些图像会同时经过两个不同的处理通道：一个是常规的视觉编码器，用于提取每个单独图像的语义特征；另一个是新集成的3D视觉几何编码器，用于捕捉帧间的几何关系。这两个编码器提取的特征会在图像块级别融合，然后传递给MLLM主干网络。

关键的突破点在于3D视觉几何编码器。它是在诸如图像对或序列的点图预测等任务上预训练的，因此嵌入了强大的3D感知先验知识，能够捕捉帧间的对应关系。通过这种方式，VG LLM可以有效地将3D几何先验整合到模型中，使其对视角变换更加鲁棒，从而显著提高空间推理能力。

实验设置与评估

研究团队在各种3D场景理解和空间推理任务上进行了广泛的实验，这些任务都接受视频作为输入。为了全面评估模型性能，他们选择了多种具有挑战性的任务：

3D场景理解任务包括： - 3D视觉定位：在给定语言描述的情况下，找出视频中特定物体的位置和边界框 - 3D密集描述：为3D场景中的所有物体生成详细描述 - 3D视频物体检测：在统一坐标系中检测整个视频中出现的所有物体

空间推理任务则包括： - VSI-Bench：评估关系推理和自我中心-分配中心转换能力 - CV-Bench：评估2D和3D视觉理解能力 - BLINK：测试相对深度、空间推理和多视角推理能力

值得注意的是，研究团队训练了两个不同的模型分别用于3D场景理解和空间推理任务，以确保公平比较。他们的模型基于Qwen2.5-VL-3B，集成了VGGT-1B作为3D几何编码器。

实验结果与发现

实验结果令人振奋。研究团队的4B参数模型在没有使用任何显式3D输入的情况下，不仅超越了许多基于3D输入的领先模型，甚至在VSI-Bench评估中超过了Gemini-1.5-Pro这样的大型专有模型。

具体来看，在3D场景理解任务中：

在3D视觉定位（ScanRefer数据集）上，VG LLM在IoU为0.25的阈值下达到了51.0%的准确率，超过了SPAR的48.8%。即使在没有建议框优化的情况下，VG LLM也达到了34.1%的准确率，超过了SPAR的31.9%。

在3D密集描述（Scan2Cap基准）上，尽管没有使用3D相机参数或显式深度信息，VG LLM仍然取得了74.1的CIDEr得分，超过了之前最先进的LEO模型的72.4分。这表明，VGGT提取的视觉特征中隐含编码的3D几何信息足以用于室内场景理解。

在3D视频物体检测任务上，与仅使用Qwen2.5-VL-3B的基线相比，引入视觉几何信息带来了显著改进。特别是，在4帧设置中，平均召回率大幅提升了14.1个百分点，从32.1%上升到46.2%。这一改进归功于模型增强的自我中心-分配中心转换能力，使其能够检索到第一帧中不可见的物体。

在空间推理任务中：

在VSI-Bench上，VG LLM-4B取得了令人印象深刻的46.1%的平均得分，超过了Gemini-1.5-Pro的45.4%。在计数和房间大小估计等任务上，模型表现尤为出色，分别达到了66.4%和56.3%的准确率。

在CV-Bench上，VG LLM-4B在3D任务上取得了91.3%的最高准确率，展示了其强大的3D理解能力。

在BLINK（空间子集）上，模型在相对深度任务上取得了79.8%的最高得分，超过了GPT-4o的74.2%。

这些结果揭示了几个重要发现：

1. 无需显式的密集3D输入，VG LLM也能超越许多基于3D输入的模型，证明了其有效的3D几何理解能力。

2. 通过在视觉表示中隐式建模帧间对应关系，模型学习了强大的自我中心-分配中心转换能力，在3D视频物体检测上带来了显著改进。

3. 在需要复杂空间推理技能的任务上，如VSI-Bench，4B参数的VG LLM获得了令人印象深刻的46.1%的平均分数，甚至超过了最佳专有模型Gemini-1.5-Pro。

值得一提的是，与SPAR这样依赖大量训练数据（200万样本）的方法不同，研究团队的方法只使用了SPAR-7M的3%数据就取得了强大的性能，这凸显了3D几何建模在MLLMs中的重要性。此外，增强空间理解能力对通用多模态性能的影响微乎其微，甚至在BLINK（+4.0）和TempCompassMC（+0.6）等任务上带来了改进。

模型架构与训练详情

VG LLM的核心创新在于其架构设计。传统的MLLMs在处理视频时，会将每一帧作为独立的标记通过视觉编码器处理，这种方式无法捕捉关键的3D几何信息，如帧间对应关系。而VG LLM引入的3D视觉几何编码器则能够弥补这一不足。

具体来说，VG LLM的架构包含以下组件：

首先是预处理阶段。给定一系列RGB图像和一个自然语言问题，传统MLLM会使用2D视觉编码器将这些图像编码为图像标记。在VG LLM中，研究团队选择了Qwen2.5-VL作为MLLM主干。

其次是3D视觉几何编码器。为了在输入帧中建模3D几何信息（如帧间对应关系），团队采用了一个3D视觉几何编码器从所有输入图像中共同提取这些信息。团队选择了VGGT作为3D视觉几何编码器，因为它在3D任务中表现出色。

然后是视觉特征融合。在将特征传递给MLLM主干之前，VG LLM会融合图像标记和3D视觉几何特征。具体来说，它首先将每个3D视觉几何特征转换为与图像标记相同形状的特征，然后生成几何增强的视觉特征。

最后，这些融合的视觉特征与问题的文本嵌入一起输入MLLM主干，生成最终响应。

在训练方面，研究团队采用了一种多任务学习方法，结合了多个数据集进行训练。对于3D场景理解，他们使用了ScanRefer、Scan2Cap和从EmbodiedScan构建的数据集。对于空间推理，他们使用了SPAR-7M和LLaVA-Video-178K的LLaVA-Hound分割的数据。

模型在8个H100 80G GPU上训练，3D场景理解训练花费了8小时，空间推理指令调优花费了12小时。

未来展望与应用前景

这项研究的成功为MLLMs在理解和推理3D空间方面开辟了新的可能性。通过使MLLMs能够直接从视频中理解3D世界，而不需要显式的3D数据输入，VG LLM大大扩展了这些模型的应用范围。

在实际应用中，这项技术可能对多个领域产生深远影响：

在室内导航机器人领域，VG LLM可以帮助机器人理解复杂的空间指令，如"移动到沙发和咖啡桌之间的空间"，无需依赖昂贵的3D传感器。

在增强现实应用中，它可以更好地理解用户周围的环境，提供更加直观和上下文相关的信息。

在智能家居系统中，它可以通过理解房间布局和物体之间的空间关系，提供更智能的控制和自动化功能。

在辅助技术方面，它可以帮助视障人士更好地理解周围环境，识别物体之间的空间关系。

未来的研究方向可能包括进一步改进模型的3D几何理解能力，扩展到更复杂和动态的场景，以及将这种能力整合到更广泛的应用中。

总结

香港中文大学研究团队开发的VG LLM代表了多模态大语言模型在3D场景理解和空间推理方面的重大进步。通过集成3D视觉几何编码器，VG LLM能够直接从视频中提取3D几何信息，而不需要显式的3D数据输入。

实验结果表明，VG LLM在各种3D场景理解和空间推理任务上表现出色，甚至超过了一些依赖显式3D输入的领先模型和大型专有模型。这些结果凸显了在MLLMs中建模3D几何信息的重要性，以及这种方法在提高模型空间理解能力方面的有效性。

随着这项技术的进一步发展和应用，我们可以期待看到更多能够自然地理解和交互于3D世界的AI系统，从而为各种领域带来更智能、更直观的解决方案。对于那些希望深入了解这项研究的读者，可以通过arXiv:2505.24625v1访问完整论文，或者访问项目网站https://lavi-lab.github.io/VG-LLM获取更多信息。