清华、北航、上海AI实验室联手打造：当AI遇上"导航盲区"，机器能否像人类一样记住走过的路？

这项由清华大学、北京航空航天大学与上海人工智能实验室联合开展的研究，于2026年6月发表，论文编号为arXiv:2606.03890。有兴趣深入了解的读者可通过该编号在arXiv平台上查阅完整论文。

**一场关于"记忆"的考验**

假设你戴着一副智能眼镜在一栋陌生的大楼里转悠。你进了厨房，然后穿过走廊，路过了浴室，再绕进客厅。这时候，有人问你："刚才那个白色的雕像在哪个方向？"或者"厨房和客厅之间是直接相连的，还是需要经过走廊？"

对于人类来说，这不算太难——我们的大脑会自动记录行走路径，形成一张心理地图。但对于人工智能，尤其是现在炙手可热的多模态大语言模型（也就是那些既能看图又能看视频还能对话的AI），这件事却出奇地困难。研究团队正是围绕这个核心难题，构建了一个名为OVO-S-Bench的全新测试平台，目的是检验AI到底能不能在连续的第一人称视频流中，真正理解空间、记住空间、推理空间。

这个问题之所以重要，是因为我们正在走向一个充斥着智能设备的世界：家用机器人要帮你找东西、AR导航眼镜要引导你回到刚才经过的路标、自动驾驶汽车要在移动中持续理解周围的空间结构。所有这些应用的核心能力，都是"在视频流动的过程中，随时理解空间"。而现有的AI测试工具，偏偏在这方面留了一个巨大的空白。

**一、现有考题的"漏洞"——为什么旧测试不够用**

在理解这项研究的突破之前，先得弄清楚现有测试有什么问题。

目前学术界对AI空间理解能力的测试，大体分两类。第一类是"空间理解测试"，比如给AI看一张图或者一段完整的视频，然后问它"桌子上有什么东西"、"两个房间之间怎么连接"。这类测试的毛病在于，AI可以反复翻看视频的任意部分，就像学生开卷考试一样——想看哪段看哪段，随时可以回头检查。这和真实世界里的情况完全不同，因为真实世界里信息是一去不复返的。

第二类是"流式视频测试"，也就是要求AI只能看已经播放过的部分，不能往后看。但这类测试关注的是"发生了什么事"，比如"第几分钟有人推了门"，或者"视频里出现了几次篮球"。空间结构并不是这类测试的重点。

结果就是，这两类测试都绕开了一个核心问题：AI能否在只看过一次视频、不能回头的情况下，建立起对空间的持续理解？这个能力，研究团队把它叫做"流式空间智能"。

OVO-S-Bench的诞生，就是为了填补这个空白。它既要求AI只能看已经播放过的视频片段（不能作弊往后看），又专门考察空间理解，而且考察的难度从最简单的"当前画面里有什么"一直延伸到最复杂的"这栋楼的整体布局是什么样的"。

**二、四个难度层次——从看当下到画地图**

OVO-S-Bench的问题按难度分成四个层次，可以用一个"记路"的比喻来理解。

最简单的第一层，叫做"即时感知"，对应的是你刚走进一个房间时的直接观察。研究团队把它叫做L1，全称是"瞬时自我中心感知"。这一层的问题只需要AI看清楚当前画面就能回答，比如"相机大概离地面多高"、"那棵绿色大植物靠在哪个表面上"、"相机现在是在向前移动还是在旋转"。这是最基础的空间感知，类似于你睁开眼睛就能感受到的信息。

第二层难度上升了一个台阶，叫做"时空情境追踪"，研究团队称之为L2。这时候AI需要记住已经消失在画面之外的东西。比如你问它"现在看到的房间，和三分钟前的是同一个吗"，或者"相机背后现在应该是什么东西"，或者"这个走廊已经经过几次了"。这些问题的答案不在当前画面里，必须从记忆中提取。这就像你绕过一栋大楼之后，需要靠记忆判断入口在哪个方向。

第三层更进一步，叫做"空间模拟与推理"，也就是L3。AI不只是要记住和查询，还要在脑子里做一些想象性的操作。比如"如果把电视机旋转90度，它能不能从左边的窗户搬出去"，或者"从A区到台球桌，哪条路线最合理"，或者"上次看到书架的时候，和这次相比有什么新东西出现了"。这类问题需要AI在脑子里模拟物体的形状、旋转、搬运，或者规划一条路径，而不仅仅是回忆某个事实。

第四层是最难的，叫做"整体拓扑地图"，研究团队称之为L4。这要求AI把整段视频里经过的所有地方整合成一张"鸟瞰图"，然后回答关于全局布局的问题，比如"如果进门时面朝北方，那么F房间相对于G房间是在哪个方向"，或者"A区和走廊A之间是直接相连还是需要经过其他区域"，或者"根据视频，下面哪张鸟瞰路线图和实际行走路径最吻合"。这一层的证据可能分散在整段视频的各个角落，AI必须把这些碎片拼成一幅完整的地图，而且这幅地图是客观的、不依赖于你站在哪里看的那种。

这四个层次，从"睁眼看"到"脑子里画地图"，难度是层层递进的。证据需要覆盖的时间范围也越来越长：第一层的证据平均只需要2秒，第二层大约37秒，第三层也是2秒（因为很多模拟问题只需要看当前的物体），而第四层的证据平均长达279秒，几乎覆盖整段视频。

**三、这套题是怎么做出来的——804个人小时的心血**

OVO-S-Bench不是机器自动生成的，而是完全由人工标注的。这一点值得单独说说，因为它保证了题目的质量和严肃性。

研究团队招募了12名有三维计算机视觉背景的研究人员作为标注员。每个人既要负责出题，也要负责审查别人出的题——这种"出题者同时也是盲审者"的机制，有效防止了主观偏差。整个标注过程大约花费了804个人小时，相当于一个人不间断工作约一个月。

视频素材来自9个公开数据集，覆盖了五种不同的场景：室内步行游览（RoomTour3D数据集贡献了最多的804道题）、以第一人称拍摄的日常活动（Ego4D）、户外世界场景（Sekai和OmniWorld）、驾驶视频（CODa和Honda HDD）以及三维标注环境（ARKitScenes和VSI-Bench）。最终形成了348段源视频、1680道问题的完整测试集，每道题平均对应的视频前缀长达8.8分钟。

每道题都包含几个关键要素：问题本身、若干选项、正确答案、"查询时间戳"（也就是AI被问到这个问题的时间点，AI只能看这个时间点之前的视频），以及"证据区间"（也就是回答这道题所需的最短视频片段的时间范围，仅用于验证和分析，不作为AI的输入）。

标注团队还专门做了一系列"防作弊"处理。他们用一个纯文字版本的AI（不给它看视频）来测试每道题，如果AI光靠猜测常识就能答对，这道题就会被修改或删除，因为这说明题目存在"捷径"。此外，还有独立的第二名标注员在不看原始标注的情况下重新审核每道题，检查答案是否正确、证据区间是否充分。最终通过这一系列严格筛查的题目，才会被收录进测试集。两位标注员的一致性评分达到了0.87，说明题目质量相当可靠。

第四层的题目还有一个特殊的制作流程：鸟瞰图选项中的正确图，是直接从源视频的绝对坐标和元数据渲染出来的；而干扰选项则是通过扰动路径形状、朝向或访问顺序生成的，外观风格和正确图完全一样，确保AI不能靠"哪张图画得更漂亮"来作弊。

**四、38个AI的大考——没有一个合格**

测试团队在这套题上评测了38个不同的AI系统，包括闭源商业模型、开源通用模型、专门针对视频流优化的模型，以及针对空间理解进行专项微调的模型。同时，还专门请了五名真实的人类参与者作为基准对比，而且分两种条件进行测试：一种是"流式条件"，参与者只能看问题时间点之前的视频，不能回头；另一种是"离线条件"，参与者可以随时暂停、回放整段视频。

人类在流式条件下的平均正确率是86.6%，在离线条件下是92.2%。而38个AI系统里表现最好的，是谷歌的Gemini-3.1-Pro，得分只有59.2%。排名第二的开源模型Qwen3-VL-235B-A22B是53.6%。两者都与人类水平相差27到33个百分点。

随机猜测的得分是31.3%，纯文字猜测（完全不看视频，只靠问题和选项的文字）是37.1%。所有通用模型和商业模型的得分都超过了这两个基准，说明它们确实在用视觉信息，而不是在蒙题。但它们与人类的差距，清楚地说明了真正的空间理解能力还差得很远。

四个难度层次之间，模型的表现也很有规律。第四层（整体拓扑地图）是最难的，34个系统里有28个把第四层列为得分最低的一层，和前三层相比平均低9.3个百分点。即使是最大的开源模型，这个差距也超过了10个百分点。唯一的例外是那些第一层得分本来就很低的模型，它们第四层的得分相对反而不算最差，但这并不意味着它们的地图能力强，只是它们连基本的当前画面都看不明白。

闭源商业模型整体比最好的开源模型高出约5.6个百分点，但这个差距比人们通常预期的要小——在其他视频和多模态测试上，商业模型通常领先开源模型超过10个百分点。而且这个差距在不同层次上分布不均：在需要跨帧记忆的第二层，闭源模型领先5.9个百分点；但在第三层（空间模拟），最好的开源模型反而超过了Gemini-3.1-Pro，高出5.3个百分点。闭源商业模型内部差异也相当大：GPT-5.4得50.9%，Grok-4.1-Fast只有43.7%，和Gemini-3.1-Pro的59.2%相差15个百分点。

**五、"专项强化训练"为什么反而拖了后腿**

这是整个研究里最出人意料的发现之一。

研究团队评测了两类"专门优化过"的模型：一类是专门针对视频流优化的流式视频模型，另一类是针对空间理解进行大量微调训练的空间模型。按照直觉，这些"专科生"应该比"通才"更擅长这类考题才对。但实际情况恰恰相反。

15个专项优化模型里，有13个的总体得分低于它们各自的基础版本（也就是原始的、没有经过专项训练的模型）。整体来看，专项训练平均带来了2个百分点的下降，最严重的情况是Flash-VStream，它的得分比基础模型低了整整18.4个百分点。

更具体地看，第四层（整体拓扑地图）是受损最严重的层次：15个专项模型里有13个在这一层的得分低于基础版本，平均损失6.1个百分点。第一层（当前画面感知）偶尔会有所提升，比如VST-7B-RL在第一层比基础模型高了4.9个百分点，但第二层和第四层的表现同时大幅下降。

为什么会这样？研究团队的分析是：流式视频模型的训练目标是压缩记忆来处理叙事性问答，而空间微调模型的训练数据是离散的单帧图像问答。这两种训练方式都没有真正练到"在连续的第一人称视频流中维持持久的空间状态"这个核心能力，所以训练之后，模型在这个维度上的能力不但没有增强，反而因为过度适应了特定的训练场景而在更全面的测试中表现变差。

研究团队还对三个使用"记忆压缩"机制的模型做了深入分析，检查这些模型在回答问题时，实际上保留了视频的哪些部分。结果发现，在第四层问题上，这些模型保留的证据区间覆盖率最低，在14%到42%之间，而第一层的覆盖率达到了60%到76%。也就是说，压缩机制在处理需要全局空间信息的问题时，会丢掉最关键的那部分证据。

但更有趣的是：即便一个模型保留了更多证据，它的答对率也不会相应提高。研究团队计算了"保留证据比例"和"答题正确率"之间的相关系数，三个模型的结果都接近于零（在-0.07到0.00之间）。这说明，模型的瓶颈不在于看没看到证据，而在于就算看到了，也不知道该怎么把它整合成正确答案。

**六、"多想想"是否有用——思维链的双刃剑效应**

研究团队还测试了"思维链"模式，也就是让AI在给出答案之前先一步一步地推理，把思考过程写出来，就像让学生先打草稿再填答案。

结果是好坏参半。从好的方面来说，思维链在第二层（时空情境追踪）平均带来了3.9个百分点的提升，而且9个测试模型里有8个在这一层因为思维链受益。这说明，对于需要整合多个时间点信息的问题，明确地写出推理过程确实有帮助。

但在第一层（当前画面感知）上，思维链反而平均带来了1个百分点的下降，9个模型里有6个因此变差。这个现象的解释是：如果画面信息已经足够清晰，额外的推理反而会让AI"想多了"，把本来正确的直接感知给绕弯了。

研究团队还专门分析了那些用了思维链但还是答错了的案例，把错误分成五种类型：没得出结论（AI推理到一半卡住了，或者超出了思考token上限）、非视觉错误（AI根本没看视频，直接用常识推断）、视觉内容错误（AI看了视频，但对视频内容做出了错误的解读）、方向错误（物体认对了，但左右或前后搞反了）、时间绑定错误（事实记对了，但张冠李戴，记成了错误的时间点或场景）。

在所有错误类型里，"非视觉错误"和"视觉内容错误"合计占了60%到80%的比例，说明AI的主要问题是没有真正把推理和视频内容锚定在一起，而是在"空想"。Qwen3.5的思维链有一个极端情况：它把32000个思考token的上限全部耗尽，却还是没能写出一个答案字母，只好被直接记为"无结论错误"。

进一步分析各层级的错误分布，发现了两个有意思的规律。第二层问题里，"时间绑定错误"的比例在8个模型里普遍达到17%到36%，远高于其他层次（其他层都低于5.6%）。这和思维链在第二层最有帮助的发现相互呼应：这一层最核心的挑战，恰恰是把一个事实和正确的时间点绑定在一起，明确的推理过程对此确实有效。而在第四层（整体拓扑地图），错误类型出现了明显的家族分化：GLM和Qwen3-VL系列倾向于不看视频、直接凭常识作答（"非视觉错误"占69%到85%）；而InternVL-3.5系列倾向于尝试方向推理，但经常把方向搞反（"方向错误"占27%到30%）。这意味着第四层的瓶颈不是单一的，不同的AI有不同的卡点，没有一个通用的修复方案。

**七、换不同的抽帧方式有用吗——采样策略的局限**

既然AI看的只是视频里抽取的若干帧，那么改变抽取方式，会不会显著提高成绩？

研究团队测试了8种不同的抽帧策略。从最极端的"只看查询时刻那一帧"到"均匀抽取256帧"，从"偏向近期帧的加权采样"（60%的帧来自最近30秒，30%来自30秒到5分钟之前，10%来自更早的部分）到"直接在标注的证据区间内抽帧的离线神谕"——这个"神谕"策略代表了最理想的情况，因为它知道答案在哪里，专门从那段视频里抽帧。

结果令人意外：换抽帧策略几乎没有效果。"神谕"策略在5个测试模型里，最多只比均匀128帧的默认策略高出0.3个百分点。把帧数从128增加到256，在7个有数据的模型里，变化范围在-2.6到+0.3之间，也就是说多看帧有时候反而变差了。

"偏向近期帧"的加权策略在3个模型上超过了"神谕"，在另外2个模型上不如神谕。说明这种启发式方法有时奏效，但并不稳定。

有一个有趣的模式："只看当前帧"的策略在第一层（当前画面感知）比均匀128帧高出5到8个百分点，但在第二层（时空情境追踪）却低15到21个百分点。对于VST-7B-RL，这个差距更夸张：只看当前帧比均匀128帧在第一层高了12.4个百分点，但在第二层低了12.6个百分点。这是一个很清晰的"感知与记忆权衡"——如果你把所有帧都分配给当前画面，你对当前的感知更精准，但你丢失了历史信息；如果你把帧分散到整个视频前缀，你获得了更多历史，但当前画面的分辨率降低了。

这个发现的意义是：AI在这套测试上与人类的27个百分点的差距，并不是因为"没看到正确的帧"，而是因为就算给了正确的帧，它也不能有效整合这些信息来形成空间理解。这是一个理解层面的问题，不是检索层面的问题。

**八、越大越强吗——规模扩展的极限**

研究团队还专门分析了模型规模和性能之间的关系，对三个开源模型家族（Qwen3-VL、Qwen3.5和InternVL-3.5）的多个尺寸版本进行了对比。

第一层和第二层的表现确实随着模型规模增大而提升，而且两者的提升幅度基本同步，在任何规模下相差不超过3个百分点。第三层的提升更不稳定，有时随规模增大而提升，有时反而下降，再回升，显示出训练数据组成对结果的影响比模型规模更大。

但第四层（整体拓扑地图）的情况完全不同：三个模型家族的第四层得分，从最小规模到最大规模几乎没有变化，都在40%到46%之间徘徊。InternVL-3.5从最小版本到最大版本，第四层得分只变化了0.8个百分点（从39.7%到40.5%），参数量却增加了60倍。而第四层的人类基准是79.2%，也就是说，即使是最大的模型，距离人类水平仍然差了约39个百分点，而且通过继续增大模型规模，这个差距几乎不会缩小。

这个发现非常重要：整体拓扑地图能力的瓶颈，不是模型容量不够，而是模型根本不具备整合第一人称视频流来建立客观空间表示的机制。简单地堆砌更多参数，解决不了这个问题。

说到底，OVO-S-Bench揭示的是一个很根本的挑战。我们现在拥有的AI，就像一个人虽然有很好的短期记忆和逻辑推理能力，但却无法像真正在空间里行走过的人那样，把零散的视觉体验转化为一张可以随时查询的心理地图。Gemini-3.1-Pro以59.2%的成绩成为所有测试模型里的冠军，但距离普通人类（86.6%）还差着27个百分点，距离可以悠闲地反复翻看视频的人类（92.2%）差了33个百分点。

这不是靠更多的训练数据、更大的模型、更聪明的抽帧策略就能轻易填平的差距。研究团队认为，真正的解决方案可能需要AI具备某种持续的三维空间记忆机制，或者能够在接收视频流的同时动态构建和更新内部空间地图的能力。这些方向，对应的是3D感知记忆、测试时适应、世界模型想象、结构化空间图谱等一系列正在研究中的技术路线。

这项研究的另一个意义是，它首次在真实的连续第一人称视频上，用严格的流式协议，全面测试了从基础感知到全局地图构建的整个空间理解能力谱系。它不是为了证明AI很差，而是为了精确地指出AI哪里差、差多少、靠什么方法可能改善、靠什么方法不会改善。这种清晰的能力边界画像，对于整个领域的下一步发展方向，有着切实的指导价值。

对于普通人来说，这项研究告诉我们：在你把一台家用机器人或AR导航眼镜当作靠谱的空间记忆助手之前，这个领域还有相当长的路要走。但知道路在哪里，总比不知道要强。有兴趣深入了解的读者，可以通过arXiv编号2606.03890查阅完整论文。

---

Q&A

Q1：OVO-S-Bench测试的四个难度层次具体是什么？

A：OVO-S-Bench把空间理解分成四层。第一层考察当前画面里能直接看到的信息；第二层考察视频里已经消失的场景，需要记忆才能回答；第三层需要在脑子里模拟物体旋转、搬运或规划路径；第四层最难，要求把整段视频的空间信息整合成一张客观的全局地图，并回答关于整体布局的问题。

Q2：为什么专门针对空间理解微调的AI模型，在OVO-S-Bench上反而比原始模型表现更差？

A：因为这些模型的专项训练针对的是离散单帧图像问答或叙事性视频记忆，而不是"在连续视频流中维持持久空间状态"这个核心能力。训练让模型过度适应了特定场景，反而在更全面的流式空间测试中出现了能力退化，尤其是全局地图构建层面损失最为严重。

Q3：换更聪明的抽帧方式，能不能让AI在OVO-S-Bench上大幅提分？

A：不能。研究测试了8种抽帧策略，包括直接在标注证据区间内抽帧的"理想神谕"方案，但不同策略之间的得分差异极小。这说明AI与人类的27分差距，根本原因不是"没看到关键帧"，而是就算看到了正确的帧，AI也无法有效整合这些信息来建立空间理解，这是理解机制层面的问题。