FrameMorrow：生成视频时，AI该记住过去的什么，才能猜对未来？

你有没有玩过那种需要长时间探索的开放世界游戏？

走进一个房间，看到一把红色的扶手椅，然后转身离开，经过走廊、餐厅、储物柜，走了好几个场景之后，游戏突然让你折返，回到最初那个房间。这时候问题来了：那把扶手椅还是红色的吗？还是因为游戏引擎"忘了"它原来的样子，悄悄把它渲染成了蓝色？

这不是一个段子，这是目前所有长视频生成模型都在头疼的真实问题。随着AI生成的视频越来越长，模型得不断往前走，但它的"脑子"却装不下所有看过的画面。于是它必须做一个艰难的选择：留什么，忘什么。而这篇来自新加坡国立大学的论文，恰恰就是在琢磨怎么解决这个选择难题。

**当前最好的方法，可能正在用错误的标准选记忆**

先说清楚问题有多棘手。

长视频生成，顾名思义，就是让AI一帧一帧地往下生成视频内容，还要保证几十秒甚至几分钟之后，画面里的人物、物品、场景看起来还是同一个东西。

自回归视频模型*：一种逐帧或逐段生成视频的模型，每一步生成都依赖于之前已经生成的内容，就像写小说时一段接一段往下写，而不是一次性把整本书写完。

这种模型天生有个毛病：它的"输入窗口"是有限的。打个比方，你让它记住最近看过的几秒钟画面没问题，但再往前的内容，它的注意力机制根本处理不过来。于是业内早就形成了一套常规做法，叫"历史检索"：用模型现在正在生成的画面去跟过去的画面做比对，挑出最相似的那些帧，重新塞进模型的记忆里。

这套逻辑听起来很合理，对吧？现在长什么样，就去历史里找长得像的内容来参考。

但论文作者抛出了一个让人愣住的反例。假设你现在正站在走廊里，准备往回走，回到那个有红色扶手椅的房间。如果用"现在画面匹配历史画面"的逻辑去检索，系统大概率会挑出走廊、储物柜这些跟"现在"视觉上更接近的帧，因为它们和当前画面的相似度更高。可真正有用的信息，恰恰是那个早已离开视野、看起来跟现在一点都不像的房间画面。

这就好比你在整理书桌抽屉，决定留下哪些文件时，只看"这份文件和我桌上正摊开的这份像不像"。这个标准听起来挺直觉，但它完全没考虑你下周要开的那个会需要用到哪份文件。结果就是你留下了一堆和当前任务相关但以后根本用不上的东西，而真正下周要用的关键合同，因为长得不像你现在摊开的文件，被你顺手扔进了废纸篓。等到开会那天翻箱倒柜也找不到，你才意识到，筛选标准从一开始就错了。

**用一个"小号的未来"，去指挥历史该留谁**

论文提出的核心思路其实挺反直觉：既然问题出在"用现在去判断该留什么"，那能不能换个方向，用"未来会需要什么"去判断该留什么？

但这里马上冒出一个悖论：未来还没有生成出来，你怎么知道未来需要什么？

研究者的解法挺巧妙。他们不要求模型真的把未来内容生成出来再做判断，因为那样计算成本太高，而且本末倒置了，你是为了选历史帧才需要未来信息，不是为了生成未来才需要未来信息。他们的做法是，训练一个小模块去预测一组紧凑的"未来信息需求的压缩表示"，而不是完整的未来画面。

prospective tokens（前瞻token）：论文提出的核心概念，是一小组由模型预测出来的向量，用来代表"接下来的生成可能需要什么样的历史信息"，相当于给未来的需求画了个草图，而不是把未来真实画出来。

有了这组前瞻token，接下来的事情就简单了：拿这几个token去跟所有候选的历史帧做匹配打分，分数高的历史帧，就是系统认为"对未来有用"的内容，把它们挑出来，交给生成模型参考。整个系统被命名为FrameMorrow，这个名字本身就挺有意思，"明天的帧"，暗示它关注的是未来而不是现在。

这就像一个经验丰富的旅行规划师，不会要求你把下周行程的每一分钟都描述清楚，才能帮你准备行李。他只需要你说一句"下周要去山区徒步两天，然后去海边参加一个正式晚宴"，他就能从你满满一柜子的衣服里，精准地挑出冲锋衣和礼服裙，而不是看你今天穿的是什么就照着挑相似款。如果没有这几句关于未来的提示，规划师只能看你现在穿什么就打包什么，结果可能是你带了一整箱的拖鞋睡衣，到了晚宴现场却没有一件正装可穿。

**如何在没有未来的情况下，教会模型预判未来**

这里有个训练阶段和推理阶段的关键差异，值得单独说一下。

在训练的时候，研究者耍了个小聪明：他们手里本来就有完整的视频数据，所以训练时是可以"偷看"未来的。他们用一个冻结参数的视觉模型DINOv2去比较历史帧和真实发生的未来帧之间的相似度，构造出一份"标准答案"，告诉前瞻token模块，哪些历史帧其实对接下来发生的事情有帮助。

DINOv2*：Meta开发的一个自监督视觉特征提取模型，不需要文字标注就能学会判断两张图片内容上像不像，论文里用它当"裁判"，来衡量历史画面和未来画面之间的视觉关联度。

这个过程被称为"排序蒸馏"，老师（看得到未来的DINOv2比对结果）告诉学生（前瞻token预测器）正确的历史帧排序该是什么样，学生逐渐学会在看不到未来的情况下，也能预测出接近的排序。到了真正推理生成视频的阶段，这个"偷看未来"的环节会被彻底拿掉，模型只凭已经看过的历史、最近的画面、以及接下来的文字指令或动作指令，去预测前瞻token，整个过程完全不依赖未来信息。

训练的时候看答案学解题思路，考试的时候只能凭学到的思路自己做题，这个设定本身没什么新奇的，但巧妙之处在于，它把"未来相关性"这个原本无法定义的概念，转化成了一个可以用历史数据直接训练的监督信号。论文还专门做了一个诊断实验来验证这套"看未来打分"的训练目标是不是真的有效，而不只是看起来有道理。他们让模型分别用三种不同的排序信号：当前画面相似度、训练时用的未来关联度打分、以及FrameMorrow自己预测出的打分，去跟"实际生成效果好不好"做相关性比对。结果显示，当前画面相似度和实际生成效果的相关系数只有0.10，几乎没什么关系；而未来关联度打分的相关系数达到0.51，FrameMorrow自己预测的打分也达到了0.42，证明它确实学到了接近"未来相关"这个标准的判断能力。

**历史帧原样交给生成器，不塞进模型内部**

FrameMorrow还有一个很关键的工程设计，决定了它能不能真正被广泛使用：它输出的是实实在在的历史视频帧，而不是某个特定模型内部才能用的隐藏状态或者缓存数据。

这个选择看起来技术含量不高，但意义很大。市面上的视频生成模型五花八门，有的是开源的，内部结构完全公开，你可以随意往里面塞自定义的中间表示；但也有商业闭源模型，比如Seedance、Kling，你根本拿不到它内部的张量结构，只能通过它对外开放的API接口传东西进去，比如传一张参考图片、一段参考视频。

如果FrameMorrow选的是输出模型专属的内部状态，那它就只能给那一个模型用，换一个模型就得重新设计接口，闭源模型更是完全没法兼容。这就好比你设计了一把钥匙，只能开一种特定品牌的锁，遇到别的锁具一律失效。而FrameMorrow选择输出"原始画面帧"这种通用格式，相当于设计了一张通用门禁卡，不管前台装的是哪个牌子的读卡器，只要这张卡片上的信息是标准格式，大多数系统都认得出来，直接刷卡就能用，不需要重新定制整套门禁系统。

论文里实测了11个不同的生成模型，涵盖长视频生成、交互式视频生成、动作控制的世界模型，甚至包括Seedance 2.0和Kling O3这两个闭源商业模型，FrameMorrow都能无缝接上去工作，这个兼容范围在同类研究里相当罕见。

**实验结果：选得准，比选得多更重要**

论文做了相当扎实的实验验证，覆盖五个基准测试和十一个生成模型。

在60秒长视频生成任务上，FrameMorrow在Self-Forcing、LongLive 1.0、Causal Forcing三个主流骨干模型上都拿到了六项评测指标的最佳平均排名。拿Self-Forcing这个模型举例，加上FrameMorrow之后，成像质量从62.22提升到68.47，动态程度从51.72直接跳到64.56，这两项提升幅度都相当可观。

在交互式视频生成场景里，也就是生成过程中用户会不断给出新的文字指令，模型要一边响应新指令一边保持历史一致性的场景，FrameMorrow同样全面提升了整体质量和一致性得分。有一个具体案例很说明问题：原生Self-Forcing在生成一段扑克牌桌场景的视频时，中途出现了明显的色彩失真问题，而加了FrameMorrow之后，整个牌局过程中人物的动作衔接更清晰，色彩也稳定了很多。

在闭源模型测试里，研究者还特意设置了一个对照组，叫"均匀采样"，也就是不做智能选择，直接从历史里等间隔抽取同样数量的帧。结果显示，均匀采样的效果反而比不用任何额外参考帧更差，这说明瞎选历史帧有时候比不选还糟糕，因为它占用了宝贵的参考名额，却塞进去了对当前任务没什么帮助的内容。而FrameMorrow在相同的参考帧数量预算下，稳稳超过了均匀采样和原生模型。

有一个消融实验的数字特别值得拿出来说：当历史帧预算K只有2帧的时候，FrameMorrow的一致性得分能达到88.00，而均匀采样就算给到16帧，也只能达到87.10。换句话说，FrameMorrow用八分之一的参考帧数量，效果反而更好。

这个结果有点像面试官招人，一个经验丰富的面试官，可能只需要看两份精心挑选的简历，就能判断出这个岗位该招什么样的人；而一个不会筛选的HR，哪怕把十六份简历全部摊在桌上让领导自己挑，反而因为信息过载、重点不突出，拖累了最终的招聘质量。简历数量从来不是决定招聘效果的关键，挑得准不准才是。如果不做智能筛选，光靠堆数量去凑，不仅浪费了处理这些额外信息的算力，还可能让真正关键的信息被无关内容稀释掉，这正是论文反复强调"选对比选多更重要"背后的现实代价。

在动作控制的世界模型测试中，比如Matrix-Game 3.0、WorldMem、YuMe 1.5这几个模型，FrameMorrow在动作对齐度上也有稳定提升，Matrix-Game 3.0提升0.019，WorldMem提升0.023，YuMe 1.5提升0.029。这个指标是用另一个视觉语言模型Qwen3-VL-8B-Instruct当裁判，判断生成出来的画面是不是真的按照指令指定的方向在移动。

论文还专门请了十位人工评审做了一轮盲测对比，针对长视频生成中的"长程一致性"和"整体视觉质量"两个维度打分。结果显示，评审们平均有62.7%的时候更偏好加了FrameMorrow的版本，只有16.7%的时候偏好原生模型，剩下20.7%认为两者打平。这个数据某种程度上比冷冰冰的评测指标更有说服力，因为它反映的是人眼直觉上能不能感受到差异。

**几个值得细品的设计细节**

论文里还藏着几个不起眼但挺讲究的细节。

一是前瞻token的生成方式用的是"自回归"而不是"并行"预测，也就是说后一个token的生成会参考前面已经生成的token，而不是四个token同时独立蹦出来。实验显示，在同样用4个token的情况下，自回归方式比并行方式多出1.00个点的一致性提升，说明让这几个"对未来的猜测"之间互相参照，确实比各猜各的效果更好。

二是打分聚合方式用的是"平滑最大值"，而不是简单取平均或者硬性取最大值。这个设计的意思是，只要某一个前瞻token和某个历史帧匹配度特别高，这个历史帧就应该被优先选中，而不需要要求它在所有前瞻token上都表现平庸地"及格"。这种设计思路有点像招聘时不要求应聘者各项能力都平均优秀，而是看他有没有某一项特别突出的硬实力，这项硬实力是不是正好匹配岗位最急需的那个能力缺口。

三是整个系统的推理开销出奇地小。论文测了三个主流模型加上FrameMorrow之后的总耗时增幅，分别只有1.7%、2.1%、1.7%，这个数字放在动辄要跑几十秒生成任务的视频模型里，几乎可以忽略不计。

写在后面

读完这篇论文，有个念头一直在我脑子里转：这其实是在提醒我们，"相关性"这个词本身是有方向的。

我们平时说两件事"相关"，脑子里默认的往往是静态的、对称的相似度，这个东西和那个东西像不像。但这篇论文在做的事情，是把相关性重新定义成了一种面向时间的、不对称的关系：不是问A和B像不像，而是问A对将来发生的B有没有用。这个转变听起来简单，但它其实是把一个空间问题变成了一个时间问题，这背后的建模难度完全不是一个量级的。

还有一点挺触动我：这篇论文没有去死磕"如何生成更逼真的未来"，而是退了一步，去做"如何用一个压缩的、廉价的未来代理，去指导现在的决策"。这种思路在很多领域其实都有影子，比如人在做长期规划的时候，往往也不是真的在脑子里完整模拟出十年后的生活场景，而是用一个模糊但够用的目标感，去指导今天该做什么选择。这篇论文某种程度上是把这种人类决策中的"模糊未来感"给工程化、可训练化了。

论文里那个诊断实验的数字也让我多想了一下：当前画面相似度和真实生成效果的相关系数只有0.10，几乎接近无关。这意味着很多现有系统一直在用一个几乎不起作用的标准做选择，只是因为这个标准看起来直觉上合理，大家就一直沿用下去，没有人真正去验证过它到底有没有用。这件事本身，比论文提出的新方法更让我警惕：有时候一个方法被广泛采用，不代表它被认真验证过。

Q&A

Q1：FrameMorrow是什么？

A：FrameMorrow是新加坡国立大学团队提出的一种长视频生成辅助模块，它通过预测"前瞻token"来代表未来生成需要的信息，从而从历史画面中挑出真正对未来有用的参考帧，而不是只挑和当前画面相似的帧。

Q2：FrameMorrow能用在哪些视频生成模型上？

A：论文测试了11个生成模型，包括Self-Forcing、LongLive、Causal Forcing等开源长视频生成模型，WorldMem、Matrix-Game 3.0等动作控制世界模型，以及Seedance 2.0、Kling O3这两个闭源商业模型，都能即插即用。

Q3：FrameMorrow为什么比传统的历史检索方法效果更好？

A：传统方法用当前画面去匹配历史里相似的帧，但相似不代表有用。FrameMorrow预测未来信息需求来筛选历史，实验显示它用更少的参考帧数量就能超过均匀采样和相似度匹配的效果，且几乎不增加额外推理耗时。