浙大与腾讯联合团队打造的"实时3D视觉助手"，终于让AI能边看视频边回答空间问题了

这项由浙江大学与腾讯混元联合开展的研究，于2026年6月发表在预印本平台arXiv上，论文编号为arXiv:2606.06891。参与机构还包括香港科技大学和深圳前海深港合作区研究院。有兴趣深入阅读的读者可通过该编号直接查询完整论文。

假设你戴着一副智能眼镜在仓库里寻找一件快递包裹，你问眼镜："那个棕色纸箱在哪儿？"眼镜需要实时看着你面前的画面，一边走一边回答。可问题是，现有的大多数AI视觉系统都有一个根本性的局限：它们必须先把整段视频看完，才能开口回答。也就是说，你得先把整个仓库逛一圈，录下完整视频，然后等AI处理完毕，才能告诉你那个包裹在哪儿。这显然行不通。

正是为了解决这个"必须看完才能说话"的老大难问题，浙江大学与腾讯混元的研究团队提出了一个叫做**Stream3D-VLM**的系统。这是目前第一个能够真正做到"边看流式视频、边理解三维空间、边实时回答问题"的AI视觉语言模型。它不需要事先录好的视频，不需要激光雷达扫出的点云数据，只需要一台普通摄像头拍下的实时画面，就能告诉你眼前的世界有多大、物体在哪儿、摄像机走了多远。

---

一、为什么以前的AI"看视频"都是离线的，这有什么问题

要理解Stream3D-VLM解决的是什么问题，先得弄清楚"离线"和"在线"的区别。

离线模式就像请一位美食评论家来评价你做的菜——他必须等你把整桌菜全部端上来，吃完才写评价。这没什么问题，如果你只是想让他写一篇博客文章的话。但如果你是在餐厅里一道一道上菜，希望他每上一道就给出建议，帮你及时调整下一道菜的口味，那他就必须能"边吃边评"。

现有的三维视觉语言模型大致分为两类。第一类依赖昂贵的专业3D传感器，比如激光雷达产生的点云数据或者深度相机的深度图，然后把这些3D数据喂给大语言模型做理解。这类方法的问题在于，3D传感器数据非常稀缺，而且采集成本高，用于训练的数据量很有限，模型的"见识"因此受到了严重约束。第二类是近年来兴起的做法：只用普通RGB视频，通过专门的3D重建模型从中提取几何信息，再送入语言模型。这种方法更灵活，可以利用海量的普通视频数据训练，但同样有致命缺陷——它仍然是离线的，必须拿到一段完整视频才能开始工作。

现有的一些"在线视频理解"模型虽然能处理实时画面，但它们基本上只关注"这帧画面里有什么"，而没有能力理解空间几何关系，比如"这个杯子距离我有多远"、"相机往哪个方向移动了多少度"这类需要三维空间感知的问题。研究团队在实验中发现，即使把这类在线2D视觉模型用大量的三维空间问答数据做针对性训练，它们的空间理解能力依然很弱——因为问题的根源不是数据量，而是模型骨子里就缺少处理三维几何关系的能力。

这就是Stream3D-VLM要填补的空白：一个真正能"边看边懂三维空间"的实时助手。

---

二、Stream3D-VLM的核心思路：给实时视频装上"空间感知眼"

Stream3D-VLM的整体思路可以用一个比喻来理解：把它想象成一位带着特殊眼镜的向导，这副眼镜不仅能看到眼前的画面，还能实时感知周围空间的深度和结构，就像蝙蝠的回声定位系统一样，时刻更新对三维世界的理解。

系统的工作流程是这样的：摄像头产生的视频以每秒1帧的速度流入系统，每一帧都会同时经过两条处理通道。第一条通道是视觉语义通道，由一个标准的图像理解编码器负责，提取"这帧画面里有什么"的语义信息，比如桌子、椅子、窗户等。第二条通道是空间几何通道，由一个叫做StreamVGGT的流式三维重建模型负责，它能实时从视频帧中推算出每个位置的深度信息、相机姿态、以及场景的几何结构，并将这些信息压缩成紧凑的"几何令牌"传递出去。

然后，一个叫做"视觉-空间特征融合模块"（VSFI，Visual-Spatial Feature Integration）的关键组件负责把这两条通道的信息整合在一起。它的工作原理类似于一个双向翻译：语义通道的视觉特征作为"提问方"，几何通道的空间特征作为"回答方"，通过一种叫做交叉注意力的机制，让每一个视觉位置都能"问到"自己对应的三维空间坐标和几何特征。融合后的结果是一批同时携带了"这是什么"和"这在哪儿、有多远"信息的增强视觉令牌，这才是真正理解三维空间的基础。

整合后的特征流入大语言模型，最终产生回答。整个过程是逐帧进行的，不需要等待整段视频结束，实现了真正意义上的实时处理。

---

三、"什么时候该开口"：用预测下一个词的方式学会沉默

Stream3D-VLM面临的另一个独特挑战，是大多数普通视频问答系统根本不需要考虑的问题：何时该回答。

回到前面向导的比喻。如果你问向导"那个红色邮筒在哪儿"，向导不能立刻就回答，因为也许邮筒在转弯后才能看到。他必须一边引领你前行，一边持续观察，直到邮筒真正出现在视野中，才开口告诉你方向和距离。但如果他一直沉默等到邮筒出现才说，中间还要有个礼貌的"好的，我继续看"的确认，这就是流式交互需要解决的时序问题。

研究团队设计了一种极其优雅的解决方案：他们在系统里引入了两个特殊的"令牌"，也就是两个特殊的符号——一个叫`<SEP>`，表示"还没到时候，继续等待"；另一个叫`<END>`，表示"现在可以回答了，开始生成答案"。

大语言模型本身的工作方式就是"预测下一个词"，这个特性被巧妙地利用来学习"何时开口"。在训练阶段，系统被喂入大量这样的示例：用户在某一时刻提问，随后模型需要在若干帧保持沉默（输出`<SEP>`），直到视觉信息足够充分时输出`<END>`，然后开始生成回答。这样，"什么时候该说话"就变成了和"下一个词是什么"完全相同的学习问题，无需设计任何额外的决策模块。

训练时的损失函数（可以理解为衡量"答错了多少"的尺子）是两部分的加权组合：一部分评估时序决策的准确性（`<SEP>`和`<END>`预测得对不对），另一部分评估答案内容的质量（回答的文字是否正确）。研究发现，当时序损失的权重设置为答案损失的2倍时，两方面的表现达到最优平衡。权重太小，模型会在时机不对时就急于回答；权重太大，模型会过度谨慎，虽然时机把握得很准，但回答质量反而下降。

---

四、长视频的"记忆压缩"：几何感知的空间聚合

流式视频一帧接一帧地涌入，随着时间推移，系统积累的历史信息会越来越多，计算负担也会急剧增加。处理一段10秒的视频还好，但如果是几分钟的持续观察，堆积的视觉令牌就会让大语言模型不堪重负，响应速度越来越慢。

研究团队为此设计了一个叫做"几何自适应体素压缩模块"（GAVC，Geometry-Adaptive Voxel Compression）的组件，专门负责在保持空间信息完整性的前提下，对积累的视觉令牌进行高效压缩。

这个过程可以用整理一张城市地图来理解。假设你有一张密密麻麻标满细节的超大地图，每个街角都有详细注解。要把这张地图压缩成便携的口袋版，最蠢的办法是随机删掉一些内容；聪明的办法是按照地理位置把相邻且相似的区域合并，用一个简洁的标记代表整片区域，既不丢失关键地标，又大幅缩减了体积。

GAVC做的正是类似的事情。首先，它利用StreamVGGT输出的深度图和相机参数，把每一帧中的每个图像块（视觉令牌）从二维坐标反投影到三维空间坐标，确定它在真实世界中的位置。接着，它用一种叫做"空间K均值聚类"的算法，把三维空间中位置相近的令牌自动归组到同一个"体素簇"中。然后，在每个簇内部，它使用一种双重注意力机制来计算每个令牌的重要性权重：一方面考虑该令牌与簇中心的特征相似度（语义相关性），另一方面考虑该令牌与簇中心的空间距离（位置紧密程度）。最终，每个簇被压缩成一个综合加权后的代表性令牌，包含了整片区域最精华的语义和空间信息。

整个压缩过程在GPU上并行执行，几乎不增加额外延迟。实验表明，即使只保留原始令牌数量的25%，系统的回答准确率几乎没有明显下降，而响应速度则大幅提升。相比之下，如果用随机删除或者简单平均池化等不考虑空间结构的压缩方法，精度损失则相当显著。

---

五、数据从哪儿来：超百万条流式三维问答数据的生成流水线

开发一个全新类型的系统，最头疼的往往不是算法，而是数据。流式三维空间问答数据几乎是一片空白——根本没有现成的大规模数据集，所有已有的三维场景问答数据集都是为离线模式设计的，没有时间戳，没有"什么时候该回答"的标注。

研究团队因此专门设计了一套从零构建数据的流水线，最终生产出超过100万条带有精确时间戳的流式三维空间问答对，覆盖5200多个真实室内场景扫描。这些数据来自三个已有的公开三维数据集：ScanNet、ScanNet++和ARKitScenes，它们提供了RGB视频、深度图、相机参数和三维实例分割标注。

数据生产的第一步是"元数据计算"——从原始视频和三维标注中提炼出每一帧的精确几何属性。具体来说，通过把三维物体的几何顶点投影到每一帧的图像平面上，并与深度图做比对，系统能精确计算出每个物体在每一帧中的可见度。相机运动轨迹则通过逐帧分析相机姿态，计算累计路径长度、净位移、旋转角度等运动参数。物体与相机的空间关系（距离、方位角等）也在这一步被精确计算出来。

第二步是"问答生成"，采用两种互补策略。对于所有需要精确数值的几何类任务（相机运动、物体距离、场景尺寸、物体出现顺序等），系统使用规则模板自动填充计算好的元数据，生成大量多样化的自然语言问答对。对于涉及物体外观、属性、位置描述等语义类任务，则从已有的离线数据集中迁移已有问答，通过时序定位确定问题对应的最佳回答时间点，并使用GPT-5进行视觉核验，过滤掉因遮挡、运动模糊等导致视觉证据不充分的样本。

整个数据集的结构非常系统，围绕一个精心设计的任务分类框架组织，覆盖五类认知能力（自我运动估计、环境测量、物体-相机关系、物体时序、物体属性）和三种时序交互模式（回溯过去、实时感知、主动监视），共形成29个具体子任务。

---

六、Stream3D-Bench：专门评估"实时三维理解"的新基准

有了系统，有了数据，还需要一把能真正量出"实时三维理解能力"的尺子。现有的评测基准都是为离线模式设计的，根本无法评估"回答时机准不准"这个在流式场景中至关重要的指标。

研究团队构建了Stream3D-Bench，一个包含10037道人工精心筛选的高质量题目、覆盖518段真实视频的新评测集。题目分布均衡，覆盖所有29个子任务，涵盖三种答案类型：需要给出具体数字的数值型题目、从四个选项中选一个的选择题、以及开放式问答题。三种类型各占大约三分之一，避免任何单一题型的偏向。

评测指标也专门针对流式场景做了创新设计。除了常规的回答准确率外，还引入了"回答时机准确度"（Answer-Timing Accuracy，ATA）这一全新指标，衡量模型实际给出回答的时间点与理论上最早可以回答的时间点之间的偏差。如果模型在正确时机之前就抢先回答了（凭借的是超前信息，违反了流式规则），得分为零；如果在正确时机之后回答，得分会随延迟时间按指数衰减，延迟越久扣分越多。这样的设计激励模型既不贪图作弊、也不过分保守拖延。此外，基准还记录首次生成令牌的延迟时间、端到端总延迟和显存占用，提供全面的推理效率评估。

与此同时，Stream3D-Bench在任务类型数量（29种 vs. 已有基准的8-15种）、题目复杂度、以及是否要求实时交互能力方面，都显著超越了已有的VSI-Bench和OST-Bench等基准。

---

七、实验结果：Stream3D-VLM比GPT-4o、Gemini等强多少

研究团队在Stream3D-Bench和其他已有离线基准上进行了全面对比实验，选手阵容包括GPT-4o、GPT-5、Gemini-2.5 Pro等商业旗舰模型，以及Qwen2.5-VL、InternVL3等主流开源模型，还有专门针对空间推理优化的专业模型如VLM-3R、Spatial-MLLM等。

在Stream3D-Bench的在线流式评测中，Stream3D-VLM的8B版本取得了58.8分的综合成绩，而GPT-5只有35.0分，GPT-4o只有28.0分。更值得关注的是"回答时机准确度"指标：Stream3D-VLM-8B达到86.7%，而GPT-4o仅有55.9%，Qwen2.5-VL-7B未经流式训练的版本更只有19.2%。这意味着Stream3D-VLM不仅回答得更准，还能更精准地掌握"什么时候该说"。

在推理速度上，Stream3D-VLM的优势同样突出。其4B版本的端到端响应延迟仅为0.24秒，8B版本为0.39秒，而InternVL3.5-8B需要6.72秒，GPT类商业模型则因为网络传输等因素延迟更高。显存占用方面，4B版本只需20.7GB，远低于InternVL3-8B的40.5GB。

研究团队还专门检验了一个重要问题：专为流式场景优化的系统会不会在离线任务上退步？毕竟，如果换代的同时丢掉了原有能力，这种进步就没什么意义了。在离线空间推理基准VSI-Bench上，Stream3D-VLM-8B取得了65.9%的综合准确率，超越了所有对比模型，包括Gemini-2.5 Pro（51.5%）和专门优化过空间推理的VLM-3R-8B（60.9%）。4B版本的55.2%也超过了体量大得多的72B规模开源模型和商业模型。

在传统三维场景理解任务（视觉定位ScanRefer、场景问答ScanQA、密集描述Scan2Cap）上，Stream3D-VLM同样表现领先，在不依赖任何专业3D传感器输入的前提下，各项指标均优于使用点云等专业数据的对比方法。

---

八、消融实验：每个组件的贡献到底有多大

研究团队还做了一系列"拆零件测试"，逐一评估每个设计决策的实际价值。

在VSFI融合模块的消融实验中，仅使用视觉语义特征（无几何信息）的基线模型在Stream3D-Bench上的数值答案准确率为46.0分；加入相机令牌提升到55.4分；加入几何令牌提升到52.9分；两者都加则达到59.8分。在融合方式上，简单加法融合得到57.6分，拼接后过MLP得到53.5分，而研究团队采用的多层交叉注意力方案得到59.8分。这说明几何信息的"软对齐"融合方式比简单叠加更有效，相机运动信息和场景几何信息缺一不可。

在GAVC压缩模块的对比中，随机裁剪令牌的方案在Stream3D-Bench上只得35.6分，平均池化方法得47.8分，只基于注意力分数的VisionZip方法得49.2分，而考虑三维空间结构的GAVC得59.8分。保留率从100%降到50%时，准确率几乎没有明显变化；降到25%时才有一定损失，但同时响应速度从0.65秒降到0.26秒，延迟缩减了60%，这个折中在实时部署场景中非常有价值。

这些对比实验清晰地表明：Stream3D-VLM的每个核心组件都有其不可替代的贡献，而空间几何信息的精细利用是系统在三维理解上超越同类方法的根本原因。

---

归根结底，Stream3D-VLM做的事情说来简单，但做到实在不容易：它让AI第一次能够在不等完整视频的情况下，实时看懂三维世界。这对于需要边走边问的AR眼镜用户、需要实时感知环境的机器人、以及各种在复杂空间中工作的智能设备来说，意义非常具体——以前AI是坐在书桌前读完一整本地图册才能给你指路，现在它可以骑着自行车陪你边走边导航了。

当然，这项研究也有值得进一步探索的方向。系统目前依赖StreamVGGT作为空间编码器，后续如果能接入更多种类的流式三维重建模型，系统的泛化能力和稳定性还有提升空间。此外，目前的测试场景主要是室内环境，户外复杂场景下的表现有待进一步验证。

不过，这项研究在技术路线上的几个选择颇具启发性：用"预测下一个词"的方式来学习"何时开口"，避免了为流式控制单独设计复杂模块；用几何引导的空间聚类来压缩视觉令牌，让压缩过程真正尊重三维结构而非仅凭语义相似度。这些思路或许在其他需要实时决策和空间感知的AI场景中同样适用。

有兴趣深入研究这个方向的读者，可以通过arXiv:2606.06891查阅完整论文和补充材料，其中包含更详细的数据生成流程、完整的实验对比表格以及更多可视化案例。

---

Q&A

Q1：Stream3D-VLM和普通的视频问答AI有什么本质区别？

A：普通视频问答AI必须等视频播完才能回答，而且大多数不理解三维空间关系，比如物体距离、相机移动方向等。Stream3D-VLM是实时处理的，视频一帧帧流入就一帧帧处理，同时通过专门的空间编码模块持续感知三维几何信息，因此既能即时回答，又能准确处理"这个椅子离我多远""相机转了多少度"这类需要三维空间感的问题。

Q2：Stream3D-VLM是怎么知道"什么时候该回答"的？

A：系统在训练时引入了两个特殊符号——一个表示"继续等待"，一个表示"现在可以回答了"。大语言模型通过学习大量带时间戳的示例，掌握了在不同情境下预测这两个符号的能力，也就是说，"何时开口"被转化成了和"下一个词是什么"一样的预测问题，不需要额外设计决策模块。

Q3：Stream3D-Bench评测基准和已有的三维理解测试集有什么不同？

A：已有的三维理解测试集（如VSI-Bench、OST-Bench）都基于完整视频片段，不要求模型判断回答时机，也不考察实时交互能力。Stream3D-Bench专门为流式场景设计，包含29种任务类型，覆盖回溯历史、实时感知、主动监视三种时序交互模式，并引入了"回答时机准确度"这一新指标，衡量模型给出回答的时间点与理论最早可回答时间点之间的精度。