VIS-Ground：当你边看视频边提问题，AI要怎么接住你的话

你有没有遇到过这种情况：正在看一个讲故事的视频，看到一半突然冒出一个问题，比如"等等，这个人为什么要这么做"，或者"如果换个方式会怎样"。你把这个问题说出来，希望视频能顺着你的问题继续讲下去。

这事儿听起来简单，但如果你认真想一想接下来会发生什么，就会发现这里藏着一个挺麻烦的问题。

视频得记住它已经讲过什么。你问的问题得被准确理解。更麻烦的是，如果这个视频本来是根据一本书、一篇文章、或者某个真实事件改编的,那么你的新问题还得跟那个原始素材对得上号,不能瞎编。

这三件事,原始素材、已经播放的内容、你刚问的问题,它们单独看都好理解,但凑在一起的时候,会产生一种新的、谁都没写在纸面上的制约关系。这正是谷歌和几所大学的研究者们在一篇叫《VIS-Ground》的论文里想要解决的问题。

这件事到底难在哪

先说一个真实的实验数字。研究团队做了个小规模的用户测试,九个志愿者,让他们看知识类的视频故事,一组可以提问互动,一组只能干看着。结果呢,能互动提问的那组,学习成绩从测试前到测试后平均提高了47.9个百分点,而只能看不能问的那组只提高了32.1个百分点,差了将近16个百分点。

这说明互动确实有用,人们带着问题去理解内容,记得更牢。但问题是,现有的视频生成技术根本没准备好接住这种互动。

现在的视频生成系统,基本分成两条路子。一条是专心讲故事的,比如MM-StoryAgent、MovieAgent这些系统,它们擅长把一个剧本、一段创意想法变成连贯的多镜头视频,但它们假设故事是从头开始规划好的,中途不会有人跳出来打断你问问题。

另一条路是互动视频生成,比如StreamDiT、LongLive这类系统,它们能让你随时改变提示词,视频跟着你的新指令走。这类系统反应很快,但它们只管听你最新说的话,根本不去管这句话是不是和之前播放的内容、或者和背后那个原始故事大纲打架。

**这两条路各自解决了一半的问题,但谁都没管那个最关键的部分:你的新请求,到底应该听谁的。**

打个具体的比方。假设一个视频故事讲的是"小猫要给生病的奶奶送药",视频已经播放到小猫走到一座桥边,发现桥断了,旁边正好停着一条船。这时候你插话说:"用船吧,记得保护好药不要弄湿。"

这句话听起来很简单,但它其实同时依赖了三个东西:原始故事设定的目标是送药给奶奶,视频里刚刚呈现的场景是桥断了船可用,你新说的话是要用船而且药要保持干燥。

如果视频生成系统只看你最后这句话,它可能会生成一个完全脱离剧情的划船场景,忘了这是去送药的路上。如果它只顾着跟故事大纲走,可能完全忽略了"保护药品"这个你刚提的新要求。只有把这三样东西放在一起考虑,才能生成一个真正合理的续集:小猫撑船过河,把药用布包好防止打湿,最终送到奶奶家。

这就是论文提出的核心概念,叫做上下文接地

> 上下文接地（Contextual Grounding）：把分散、不成形的多种输入信息（原始素材、已播放视频、用户新请求）转化成一套视频生成系统能直接执行的约束规则的过程。

说白了,接地不是把三份材料简单拼在一起喂给AI,而是先搞清楚它们之间谁依赖谁、谁限制谁,再把这些关系变成具体的生成规则。

把杂乱信息梳理成结构:结构化上下文抽象

研究团队给这套系统起名VIS-Ground,它干的第一件事叫结构化上下文抽象。

这一步要做的事情说起来不复杂:把原始素材、视频画面、用户请求这三种完全不同形式的信息,统一提炼成三种"状态"。

> 视频状态（Video State）：记录视频里已经确立的事实,比如谁在哪里、手里拿着什么东西、刚发生了什么动作。

>

> 故事状态（Story State）：记录故事情节层面的进展,比如完成了哪些事件、角色之间的目标和未解决的矛盾。

>

> 源状态（Source State）：记录原始素材里支撑的事实、规则、条件,比如"钥匙能打开柜子"这种设定,并且要保留它的限定条件,不能把一个有条件的说法当成绝对真理。

这三种状态提炼出来之后,系统还要去找它们之间互相牵连的地方,叫做跨上下文依赖

> 跨上下文依赖（Cross-Context Dependency）：某个已确立的事实对另一个未来事件或状态提出的隐性要求,这种要求往往不会写在任何一份单独的输入材料里,只有把几份材料放在一起看才能发现。

举个例子,原始故事设定"柏木柜子上了锁,只有一把黄铜钥匙能打开",视频里已经拍到A把钥匙交给了B。这时候如果有人要求"让A打开柜子",表面上这是个简单请求,但其实它触发了一个隐藏依赖:钥匙现在在B手里,A要开柜子,必须先把钥匙拿回来,否则这个动作在逻辑上就是矛盾的。

这就像你在家里收拾东西,把备用钱包的钥匙给了室友保管。某天你突然想开保险箱,但你完全忘了钥匙已经不在自己手上。如果你不先想起这件事,直接伸手去掏口袋,那场面就会很尴尬,因为钥匙根本不在那儿。研究者们想做的,就是让AI系统具备这种"先想起钥匙在哪儿"的能力,而不是傻乎乎地直接执行表面指令。

如果不做这一步会怎样?系统很可能会生成一个A直接掏出钥匙开锁的画面,完全忽略了几秒钟前自己刚拍过"钥匙已经转交给B"的事实。这种细节上的穿帮,观众一眼就能看出来,整个故事的可信度直接崩掉。

把依赖关系变成具体规则:生成约束归纳

光是识别出依赖关系还不够,因为不是每一个依赖关系在每一次续写里都会被触发。

比如前面说的"柜子必须用钥匙开"这个规则,如果续写内容根本没涉及开柜子,这条规则压根不需要被激活。只有当续写方案真的提议"让A打开柜子"的时候,这条隐藏的依赖才会跳出来变成一条必须满足的约束。

这个过程叫做生成约束归纳,论文里用了一个专门的公式来描述它的运作方式。

> 候选条件化激活（Candidate-Conditioned Activation）：针对每一个具体的续写方案,检查方案里有没有触发某条依赖关系所要求的条件,只有触发了,这条依赖才会变成一条必须满足的生成约束。

每条生成出来的约束都带着四个信息:它管辖的范围是什么、什么情况下算触发、触发后必须满足什么条件、以及支撑这条约束的证据来自哪里。系统拿这套约束去检查续写方案,结果只有三种:通过、失败、或者证据不够没法判断。

这套机制最聪明的地方在于,它不是提前列好一张"所有可能出错的清单"去逐条打钩,而是等到有人真的提出了一个具体续写方案,才去判断这个方案到底踩中了哪些坑。

这就好比你在装修房子前,不可能把所有潜在的电路冲突都提前列成一张表贴在墙上。真正有用的做法是,当你决定要在某个墙角新开一个插座的时候,电工师傅才会过来检查这堵墙里原来的线路走向,判断你这个新插座会不会和旧线路打架。如果你压根不打算动这堵墙,那堵墙里的线路规则暂时跟你没关系。如果反过来,把所有墙壁的所有潜在冲突都事无巨细列出来,那工作量会大到没办法完成,而且绝大多数检查其实都是白费功夫。

让生成和检验反复较劲:受约束的视频生成

有了约束,接下来才是真正开始生成视频的阶段,论文把这一步叫做受约束的视频生成

这一步的核心思路是让约束始终"活"在整个生成流程里,而不是在开头给AI提个要求,之后就撒手不管了。

具体来说,流程是这样的:先让规划器根据已经梳理好的上下文,提出一版候选剧本;接着检查这版剧本触发了哪些约束,逐条验证是否通过;如果有约束没通过,系统不会把整个剧本推翻重来,而是定位到具体是剧本的哪一部分、违反了哪条具体的依赖关系,拿着这个精确的失败原因去做针对性修改。

> 脚本修订（Script Repair）：根据验证失败时反馈的具体冲突点和支撑证据,对候选剧本进行局部调整,而不是从零开始重新生成整个方案。

这个"定点修复"的设计其实挺关键。想象你写一篇作文,老师批注说"第三段逻辑有问题",你肯定不会把整篇作文撕了重写,你会直接去改第三段。如果系统每次检测到问题都要求推倒重来,那修改一次剧本可能要花原来十倍的功夫,而且前面好不容易写对的部分还可能被意外改坏。保留住已经验证通过的部分,只针对出问题的地方动刀,这是效率上的硬道理。

但剧本写对了,不代表视频就一定拍对了。这是论文里特别强调的一点:脚本层面的正确性,不能保证视频生成模型真的忠实地把这些内容画出来了

所以系统还要做输出层面的检验,把实际生成的视频内容重新提取出来,拿去跟那些约束条件再核对一遍。比如脚本里写了"B把钥匙还给A",但生成的视频画面里压根没有这个还钥匙的动作,这种情况下,系统会把这个"缺失的转场"转化成反馈信息,再回头去修改脚本,甚至重新渲染。

这个过程直到视频满足所有相关约束,或者计算资源预算用完为止。研究者坦诚地指出,这不是一个能保证收敛或者正确的数学证明,只是一套控制流程。提取信息可能会出错,推断出来的依赖关系可能本身就是错的,渲染器也可能反复搞不定一个明明已经写对的脚本。预算用完和真正验证成功,这是两件完全不同的事,必须分开看待。

没有现成的考题,那就自己出一套:VIS-Bench

研究问题讲清楚了,方法也设计出来了,但要验证这套方法到底好不好用,还缺一样东西,一套专门为这个任务设计的评测标准。市面上压根没有现成的考卷能测这件事,于是研究团队自己动手造了一个,叫VIS-Bench

这个数据集是从CoQA这个问答数据集里挑选素材扩充出来的,一共取了250段原始文本,来源包括MCTest、Gutenberg、RACE、CNN和维基百科。这些素材分成两大类,一类叫叙事接地,也就是以故事情节为核心的素材;另一类叫知识接地,也就是以事实信息为核心的素材,比如科普文章或者百科条目。

每段原始文本都被改编成分场景的视频故事,并用两种画风呈现,一种是电影级写实风格,一种是剪纸动画风格。研究者在故事里设计了1004个"打断点",在每个打断点生成一条用户互动指令,配合两种画风,一共凑出2008个计划中的"指令加画风"组合。

因为渲染一段48秒的多镜头续写视频成本很高,实际评测没有跑完全部2008个组合,而是针对三种不同的视频生成底座模型,各挑了16个样本(8个叙事类加8个知识类),让五种方法分别去跑,最终凑出240段评测视频。

评测标准设计了六个维度,前四个是语义层面的,分别是源忠实度(续写内容是不是忠于原始素材)、故事连续性(续写内容是不是和已经播放的视频保持一致)、互动满足度(续写内容是不是真正回应了用户刚提的那个请求)、以及一个综合得分叫联合约束满足度,它是前三者的平均值。后两个是感知层面的,分别是视觉一致性(画面风格、角色外观是否统一)和视频质量(画面是否清晰、构图是否合理)。

> 联合约束满足度（Joint Constraint Satisfaction，缩写JCS）：源忠实度、故事连续性、互动满足度三项得分的算术平均值,用来衡量模型是不是同时把三件事都做好了,而不是只在某一项上表现突出。

这里有个值得留意的细节,研究者自己承认,JCS这个平均分有个"甲方乙方互相抹平"的问题:一个方法可能在某一项上表现极好、另一项表现极差,平均出来的分数照样能看起来还不错。为了弥补这个盲点,他们额外报告了一个"硬指标",就是三项得分都必须超过75分才算过关的比例,结果显示两种算法排出来的名次是一致的,这才让研究者更有信心用JCS这个平均分来做主要指标。

实际跑分结果如何

研究团队用了三种不同的视频生成底座模型来测试VIS-Ground,分别是Omni-1.1-Flash、Veo 3.1和MiniMax-H3,目的是把"接地策略好不好"和"底层视频生成模型本身强不强"这两件事分开看。对照组选了四种方法:直接生成(测试底座模型自己的原生能力)、MM-StoryAgent(多智能体协作讲故事)、MovieAgent(分层长篇规划)、以及VideoGen-of-Thought(显式中间推理步骤)。

结果是,在三种底座模型上,VIS-Ground的综合得分都是最高的,比每个底座上表现最好的对照方法平均高出10.3个百分点。具体来看,在Omni底座上领先12.3分,在Veo底座上领先15.3分,在MiniMax底座上领先3.4分。

更有意思的是跨底座的稳定性。直接生成这种方法,它的综合得分在三种不同底座模型之间波动能超过30分,说明这类方法的表现严重依赖于底层模型本身强不强。而VIS-Ground的波动范围压缩到了不到6分,相当于把跨底座的性能波动减少了大约82%。

这说明一件挺重要的事:VIS-Ground不是靠某个特定底座模型的个人能力取胜的,它靠的是那套结构化处理上下文的方法本身,无论换到哪个底座上,这套方法都能把表现稳定在高水位。

下面这张表格摘录了部分核心数据,方便你直观感受差距:

| 底座模型 | 方法 | 叙事JCS | 知识JCS | 综合得分 |

|---------|------|---------|---------|---------|

| Omni-1.1-Flash | 直接生成 | 76.8 | 63.5 | 70.2 |

| Omni-1.1-Flash | **VIS-Ground** | **88.2** | **80.2** | **84.2** |

| Veo 3.1 | 直接生成 | 73.2 | 65.3 | 69.3 |

| Veo 3.1 | **VIS-Ground** | **86.9** | **82.3** | **84.6** |

| MiniMax-H3 | 直接生成 | 55.4 | 20.8 | 38.1 |

| MiniMax-H3 | **VIS-Ground** | **77.4** | **80.2** | **78.8** |

值得一提的是MiniMax-H3这一行,直接生成的知识接地得分只有20.8,低到让人意外,而VIS-Ground硬是把这个数字拉到了80.2,差距接近60分。这说明底座模型能力越弱的时候,结构化上下文处理这件事的价值反而体现得越明显,它某种程度上能弥补底座模型本身的短板。

案例里的得与失

论文里举了一个阿波罗登月任务的案例特别能说明问题。用户的请求是让视频继续讲述,同时解释阿波罗11号成功登月之前经历过哪些历史里程碑和挫折。

对照方法里,MM-StoryAgent很快就丢掉了之前建立的"博物馆交接"情节,而且几乎没有讲到用户要求的历史背景内容。MovieAgent则是在还没讲完前置的历史里程碑之前,就提前跳到了阿波罗13号的故事,顺序完全乱了。VideoGen-of-Thought在信息覆盖上做得不错,但画面和之前播放的视频在视觉上明显脱节,衔接得很生硬。

相比之下,VIS-Ground既保留了之前的交接情节,又按照用户要求的顺序引入了阿波罗1号的火灾事故和之前的测试任务,整个续写在逻辑和画面上都显得更连贯。

但研究者也很诚实地指出,VIS-Ground不是在每一项单独指标上都拿第一

有些情况下,互动满足度这一项,VIS-Ground反而不如某些对照方法。原因在于,VIS-Ground在处理用户请求时,是把这个请求和原始素材、已播放视频放在一起综合考虑的。如果用户的请求本身比较模糊、措辞比较激进,或者和已经建立的上下文有点冲突,VIS-Ground更倾向于选一个能和已有证据兼容的续写方案,而不是不管三七二十一就死抠字面意思去执行。那些更直接响应最新指令的方法,在这种情况下确实能拿到更高的互动满足度分数,但代价是可能牺牲了源忠实度或者故事连续性。

这就像一个秘书接到老板的口头指示"马上给客户寄合同",如果秘书完全不假思索照字面执行,可能忘了合同里有一条上周刚和客户电话确认过要修改的条款,结果寄出去的合同是错的。一个更靠谱的秘书会在执行指令之前,先核对一下这个指令是不是和之前已经确认过的信息吻合。表面上看,这个秘书"反应慢了一步",没有第一时间执行字面指令,但这一步犹豫换来的是最终结果真正靠得住。

论文还做了消融实验,拆掉结构化状态表示、换成自由文本摘要之后,叙事接地场景下源忠实度、故事连续性、互动满足度三项的均值掉了7.6个百分点;如果保留结构化表示但跳过候选条件化约束归纳这一步,直接一次性规划,均值掉了4.36个百分点。这两个数字说明,结构化表示和动态约束归纳各自都在发挥作用,而且作用点还不完全重叠。

写在后面

读完这篇论文,我发现一个挺有意思的地方,研究者在附录里反反复复强调"这不代表什么""这不是什么证明""这只是一个分析子集,不是完整评测集",这种近乎啰嗦的严谨态度,在一篇AI论文里其实不算常见。

比方说那个formative study,九个志愿者里只有七个通过了注意力测试,体验评分只收集到四份反馈,研究者坦白说这些数据不能代表全部九人的结论。再比如那个72个输出样本的失败分析,论文特意标注这是"分析子集",不是完整的benchmark评测集。这种处处设防、生怕读者过度解读的写法,反而让我更相信这套结果。

还有一个细节值得单独说一说。论文里提到,大规模人机交互日志分析发现,用户在看到AI生成的内容之后,有18%到30%的会话里会修改、延伸或者重新表述自己原本的意图。这个数字背后藏着一层我之前没细想过的意思:互动式生成系统面对的从来不是一个固定不变的用户需求,用户的想法本身就是看着内容逐渐成型的。这意味着任何试图"一次性理解用户所有意图"的系统设计,从出发点上可能就错了,因为意图这东西本来就是流动的。

这篇论文解决的三方对齐问题,其实在很多场景里都存在影子。写长篇连载小说的时候,新一章要同时兼顾大纲设定、前面已经写出来的情节、以及读者的新建议。甚至日常工作里跟一个长期项目打交道,也要同时考虑最初的立项目标、项目目前进展到的状态、以及老板突然提出的新要求。VIS-Ground这套"先梳理依赖关系,再按需激活约束"的思路,其实提供了一种处理多源信息冲突的通用框架,只不过它用在了视频生成这个具体场景里。

论文结尾也没回避自己还没解决的问题。视觉质量这一项,始终受限于底层视频生成模型本身的能力,因为VIS-Ground没有去改动渲染模型本身。而互动满足度这个维度上暴露出来的张力,其实也没有一个标准答案,到底该多大程度上尊重用户的字面请求,多大程度上维护叙事和事实的一致性,这件事恐怕本身就没有唯一正确的平衡点,它取决于具体场景里哪个因素更重要。

Q&A

Q1：VIS-Ground是什么？

A：VIS-Ground是谷歌等机构提出的一套视频交互叙事框架,它能把原始素材、已播放视频和用户新请求这三种信息梳理成结构化状态,找出它们之间的隐藏依赖关系,再把依赖关系转化成具体的生成约束,指导视频续写内容既符合用户要求,又不脱离已有剧情和事实依据。

Q2：VIS-Ground相比直接生成有多大提升？

A：在三种不同的视频生成底座模型上,VIS-Ground的综合得分都是所有对照方法里最高的,平均比表现最好的对照方法高出10.3个百分点,其中在Veo 3.1底座上领先15.3分,跨底座表现的波动幅度也比直接生成方法减少了约82%。

Q3：VIS-Ground是否存在不足？

A：是的,论文坦承在互动满足度等单项指标上,VIS-Ground有时不如某些只盯着最新指令执行的对照方法,因为它会优先保证续写内容和已有素材、历史画面不冲突。此外视觉质量仍受限于底层渲染模型本身,这部分没有被改动。