World in World：一段视频，怎么变成一整个可以自由探索的世界

你有没有想过，一段普通的手机拍摄视频，其实藏着一整个没被看到的世界？

镶嵌在画面之外的街角、人物背后的建筑侧面、镜头没扫到的天空角落，这些内容明明存在，却被摄像机的取景框永远锁死了。你只能看导演给你的那个角度，除此之外什么都看不见。

这篇论文要解决的，就是这个"锁死"的问题。研究团队来自西湖大学AGI Lab，他们做了一个叫World in World（简称WiW）的系统，核心目标是：给你一段录好的视频,让你可以像玩游戏一样,自由挪动摄像机,从任何角度重新"观看"这段已经发生过的事件,同时画面里的人物动作、场景变化,都要跟原视频保持一致。

这事听起来简单,实际做起来极其棘手。

先搞清楚，这件事难在哪

要理解这个问题的难度，得先明白当前的视频世界模型是怎么工作的。

视频世界模型：一种能够根据用户操作（比如移动摄像机方向）不断生成后续画面的AI系统，区别于传统那种"给个文字就吐出一段固定视频"的生成模型，它是持续互动的，你动一下,它就跟着生成新的画面

问题是，这些世界模型大多是在"凭空造世界"的场景下训练的：你给一张初始图片,它就自己往后生成,内容是模型脑子里想出来的,不需要跟任何真实录像对齐。但现在我们要做的完全不同,我们手里有一段真实拍摄的视频,里面的人物动作、事件走向都是确定的,新生成的画面必须和这段"历史"保持同步,不能瞎编。

这就好比你在看一场篮球比赛的直播回放,导播突然想换个机位重新播放刚才那个三分球,新画面里球员的跑动轨迹、投篮时机必须跟刚才发生的完全一致,不能因为换了机位就让球员凌空转了个圈。这个"必须跟真实事件对齐"的约束,是普通世界模型完全没考虑过的。

研究者列出了四个必须同时满足的要求。生成的画面得跟原视频的事件进度保持同步；得把原视频里观察到的内容摆在新视角该在的位置上；摄像机大幅度转动后,会露出原视频完全没拍到的区域,这些区域得靠AI合理"编"出来,不能穿模;镜头如果转回之前已经"生成过"的角度,应该能认出这是同一个地方,不能每次都生成不一样的内容。

在这篇论文出现之前，行业里的做法基本是给每一种控制需求单独训练一个模块。想要摄像机控制？训一个摄像机条件模块。想要参考源视频重新拍摄？再训一个专门吃视频输入的分支。这种做法有个明显的弱点：每加一种新的控制方式，就得重新训练，模型越堆越复杂，还互相不兼容。

这篇论文选的路完全不同，他们决定不去改模型本身，而是想办法"喂"给模型它本来就认识的东西。

冻住的大脑，如何被喂进新信息

WiW最核心的洞察，其实是发现了一个被忽略的细节。

因果视频模型：一类按时间顺序、自回归地生成视频帧的AI模型，生成当前画面时只能参考之前已经生成好的内容，类似于人写文章时只能参考前面写过的段落

自注意力机制：Transformer架构里让模型判断"当前要生成的内容应该重点参考输入里的哪一部分"的核心计算模块

研究者观察到，这类因果视频模型在生成当前画面的时候,会通过自注意力机制去读取"干净的历史画面"，也就是模型之前已经生成完、确定不会再修改的那些帧，外加最初给它的那张起始画面。这个读取通道原本就是模型天生自带的，训练的时候就在用。

那么一个很自然的想法冒出来了：如果我们能把各种控制信息，比如摄像机想要的新视角、几何形状、更早之前生成过的画面，全部伪装成模型已经熟悉的"干净历史画面"格式，那模型不就能直接用它原生的注意力机制去读取这些新信息了吗？完全不用改模型的参数，不用加新的训练模块。

这就像一个不会说英语的老翻译员，你没法教他新语言，但你发现他特别擅长读中文文档。于是你不去逼他学英语，而是把所有外语资料先翻译成中文格式，塞进他熟悉的文件夹里，让他用自己最熟练的方式去处理。翻译成本你付了，但翻译员本身一点都不用改。如果不这么做，会怎样？你就得从头训练一个新的翻译员来处理每一种新语言，而且训练一次可能要花几周甚至几个月的算力和数据。

基于这个思路，WiW把整个问题拆成了三块：怎么造出有用的视觉证据，怎么让模型准确找到证据里相关的位置，以及怎么控制每份证据说话的音量大小。

四种证据，各管一段

WiW一共设计了四种不同类型的"证据"，每一种解决一个特定的痛点。

第一种是源视频观察，也就是原始拍摄的画面本身，提供最基础的外观参考。但问题是，这些画面停留在原来的摄像机视角，换了新视角之后，画面里的内容该出现在屏幕的哪个位置，源视频自己是不知道的。

为了解决这个"位置"问题，团队引入了目标视角场景投影。他们先用DepthCrafter这个深度估计模型算出源视频每一帧的深度信息，然后把画面像素在三维空间里重新投影到目标摄像机看到的角度上。

DepthCrafter：一个能从普通视频里估算出每一帧画面中每个像素到摄像机的距离（深度）的AI模型，相当于给平面视频加上了立体感的"尺子"

这一步就像把一张平面地图折成立体沙盘，然后从沙盘的另一个角度去看原本画在纸上的城市布局，这样你就能大致知道换个角度看，哪栋楼该出现在画面左边、哪栋该藏在山后面。不做这一步会发生什么？画面会出现明显的错位和漂移，物体该在左边的却跑到右边去了，因为模型光靠"外观相似"去猜测位置，遇到摄像机大幅转动或者画面里有重复纹理的时候，很容易猜错。

第二种证据针对一个更棘手的问题：如果摄像机转动幅度特别大，露出了源视频完全没拍到的区域，比如人物的背面，这时候光靠投影没用，因为源视频压根没这部分信息。

这时候引入了渲染几何证据。以人物为例，团队用LHM++从视频里清晰、没被遮挡的画面重建出一个三维人体模型，再用SMPL-X参数驱动这个模型，按照原视频里人物的动作逐帧摆姿势，然后从目标摄像机的角度渲染出来。

LHM++：一种能从单张或少量图像里重建出完整三维人体模型的AI技术,即便某些角度没拍到,也能合理推测出来

SMPL-X：一套描述人体姿态和形状的参数化数学模型,相当于给三维人体装了一套可以精确调节姿势的骨架控制器

这就像给一个只露过正面的演员做一个三维等身模型，然后根据他刚才走路的动作数据，让这个模型转到背面重新演一遍刚才那段动作，即便观众没见过他的背面长什么样,靠身材比例和动作规律,也能补出一个说得过去的背影。如果没有这一步，摄像机大幅度转动露出的新区域就只能靠模型瞎猜，很容易生成出跟人物实际体型、姿势完全不搭的诡异画面。

第三种证据解决的是"记忆力"问题。

因果模型的滚动缓存只能记住最近的一小段历史，也就是那"18个潜在帧状态槽位"，具体分配是6个源锚点、8个近期历史、4个当前处理块。这意味着如果摄像机转了个圈，过一会儿又转回原来的位置,那个位置对应的画面早就被挤出缓存,模型压根不记得了。

为了解决这个"失忆"问题,团队维护了一个贯穿整个生成过程的历史档案库,每当一帧被挤出滚动缓存之前,就把它的关键特征存档,记录下对应的摄像机角度和时间点。等镜头转回来的时候,系统会从档案库里挑出跟当前视角最匹配、覆盖面最广、又不重复的一批历史记录,重新喂给模型看。

这就跟你回老家探亲一样，你离开家乡去外地上学几年，脑子里对老家的记忆会慢慢模糊，但你手机相册里存的老照片没丢，某天回去想起某个巷口的样子，翻翻相册就能唤醒记忆里那条巷子该是什么模样。如果没有这个档案库，每次镜头重新扫回一个之前去过的地方，画面就会跟第一次去的时候长得不一样，整个场景在时间线上就"漂"了，观众会明显察觉到穿帮。

找对地方，喊对音量

光是把这四种证据摆在模型面前还不够，模型得知道该去哪找对应的信息，以及每种证据说话的声音该开多大。

第一个问题靠的是相关性引导的注意力路由。

在摄像机大幅转动或者画面里有大片相似纹理（比如一整片草地或者砖墙）的情况下，模型单纯靠"外观相似"去匹配位置很容易认错。这个模块的解法是提前追踪源视频里一批带有持久身份标记的点，结合几何和摄像机信息，明确告诉模型"当前这个查询位置，对应源视频里的这个具体点"，在计算注意力分数的时候直接加一个额外的权重加成。

这就像在超市找一件商品，如果货架上摆满了长得几乎一样的罐头（外观相似导致的模糊），你光靠眼睛扫很容易拿错。但如果你手里有张导购图，标出了"番茄罐头在3号货架第2层第5个位置"，你就能精确定位到那一个，而不是凭感觉从一堆相似的里面随便挑。没有这套路由机制，会发生什么？实验数据显示,去掉这个模块之后旋转误差从1.78度上升到1.78左右浮动不大,但结合其他证据一起去掉时误差明显放大,说明这套机制确实在细节层面帮模型避免了"认错人"的情况。

第二个问题靠的是证据感知的注意力分类器自由引导，简称EWA。

分类器自由引导：一种在AI图像/视频生成里常用的技巧,通过对比"有条件引导"和"无条件"两种生成结果的差异,人为放大条件信息的影响力,让生成结果更贴合用户的要求

传统CFG是整体调节的，但WiW面对的是四种不同的证据同时存在，每种证据的可信程度还会随着画面区域、生成阶段的不同而变化。如果所有证据都用同样的强度去"喊话"，模型很难判断到底该更相信哪一个，可能会互相打架，甚至把原本自然流畅的生成结果搞乱。

EWA的做法是，对每一种证据单独计算它在注意力层里带来的响应，跟模型完全不看这份证据时的"原生反应"做对比，只放大证据带来的那部分额外贡献，而不去重复放大模型本身已经很自信的那部分。而且这整个计算是复用同一次去噪推理过程中的已有结果，不需要额外跑一遍完整的模型，所以不增加计算成本。

这有点像一群参谋在给将军提建议，将军自己心里已经有个大致判断（原生反应），几个参谋各自根据自己掌握的情报（不同证据）补充意见,但补充的应该是将军没想到的那部分,而不是把将军已经想好的话重复喊三遍来显得更响。如果每个参谋都把自己的意见强行按统一音量喊出来，将军最后可能会被吵到不知道该听谁的，画面质量就会失真变形。

数据说话，效果到底怎么样

研究团队在DAVIS和OpenVid-1M两个公开数据集上做了对比实验，对手包括ReCamMaster、TrajectoryCrafter、WorldForge、InSpatio-World、UniWorld-View、CameraAnything，这些都是当前领域里做摄像机控制视频重渲染的代表性方法。

评测维度覆盖了美学质量、图像质量、时间闪烁、动作流畅度、主体一致性、背景一致性、动态程度这七个VBench维度，外加摄像机轨迹误差（平移误差和旋转误差）和图像保真度指标（PSNR、SSIM、LPIPS）。

结果显示，WiW在七项VBench维度的平均得分上拿到85.192分，是所有对比方法里最高的，第二名UniWorld-View是84.295分。旋转误差方面WiW做到2.8326度，是所有方法里最低的，第二名CameraAnything是3.1868度。平移误差方面WiW是0.068622，跟表现较好的UniWorld-View的0.068705基本持平，但明显优于ReCamMaster的0.124289。图像质量上PSNR达到23.1511，同样是所有方法里最高，比排名第二的UniWorld-View（22.4735）高出接近0.7个点。

消融实验部分也很有说服力。研究者专门测试了去掉"目标视角投影"这一步会怎样，结果是灾难性的：旋转误差从完整方法的1.7823度直接飙到6.1158度,涨了3.4倍多；平移误差从0.053291涨到0.581847，涨了将近11倍。这说明,如果没有这个把源视频内容投影到目标视角的步骤，光靠模型自己去猜测内容该摆在哪，摄像机控制的准确性会严重崩塌。

除了摄像机重渲染之外,团队还展示了这套框架能干的其他事情,包括子弹时间效果（冻结某一帧背景，让特定物体继续运动）、视频稳定（把手抖的视频稳成平滑运镖）、视频编辑（比如把画面里的牛换成斑马）,还有一个特别有意思的"跨模型通信"实验：让两个独立运行的模型实例互相传递生成过程中缓存的关键信息，让一个模型的生成结果能记住另一个模型生成过的内容。这些应用全部用的是同一套冻结不动的模型骨架，靠证据接口这一层来实现，没有为任何一个应用单独训练。

写在后面

读到这篇论文最让我停下来想的一点，是它对"控制"这个词的重新定义。

我们通常以为给AI模型加新功能就得改模型、加参数、重新训练，这几乎是深度学习圈子里的默认假设。但WiW提出的思路是反过来的：先搞清楚模型原生就擅长读什么格式的信息，然后想办法把新需求"翻译"成那个格式，而不是逼模型去学新东西。这个思路上的转变，某种程度上跟软件工程里"适配器模式"是同一个哲学，只是发生在了AI模型的注意力机制这个层面上。

另一个让我印象深刻的细节是那个"18个潜在帧状态槽位"的具体分配（6个源锚点、8个近期历史、4个当前处理块）。这个数字组合看起来很工程化，但它其实揭示了一个真相：因果视频模型的"记忆容量"是极其有限且固定的，这也是为什么长时间的镐头重访必须靠外部档案库来补救，模型自己天生就"记不住"太久之前的事。这让我想到人脑的短期工作记忆容量也差不多是这么个数量级，都是有限的槽位，超出了就得靠外部辅助（比如笔记、照片）来补充。

论文里还有个没细说但值得追问的地方：这套系统目前依赖的深度估计、人体重建这些前置模型（DepthCrafter、LHM++）本身如果出错，会不会把错误的几何信息当成"可靠证据"喂给主模型，反而带偏生成结果？论文里提到用几何可靠性和遮挡关系来过滤不可靠的投影区域,但这终究是个"证据链"式的系统,每一环的误差都可能往下传递。这个问题在实际应用场景（比如动作复杂、遮挡严重的视频）里可能会被放大，值得后续工作继续验证。

Q&A

Q1：World in World是用来做什么的？

A：World in World（WiW）是一套无需训练的推理时接口，能让用户对一段已经拍好的视频指定新的摄像机路径，重新生成从新视角看到的画面，同时保持画面里人物动作和事件进展跟原视频一致。

Q2：World in World跟以前的摄像机控制视频生成方法有什么不同？

A：以前的方法通常需要为不同类型的控制（比如摄像机、几何、历史记忆）单独训练专用模块，而WiW把所有控制信息统一转换成模型原生自注意力机制就能读取的"干净视觉状态"，完全不需要改动模型参数，也不用额外训练。

Q3：World in World在实验中表现怎么样？

A：在DAVIS和OpenVid-1M数据集上，WiW的VBench综合得分达到85.192，旋转误差2.8326度，图像质量PSNR达23.1511，均优于ReCamMaster、UniWorld-View、CameraAnything等对比方法。