乐高小人竟然能告诉你，深度学习该怎么看懂一个世界

你有没有想过，一个乐高小人视角的世界会是什么样子？论文开头给出的那张图挺有意思：几台第三人称拍摄的真实视频，输入模型之后，输出的是从一个乐高小人头顶视角看到的画面，教室里的黑板、同学的脸、桌子上的玩具积木，全都变成了这个小玩具眼里看到的东西。

这不是在玩梗。这其实是一个非常现实的技术难题的极端测试：怎么从第三人称视频，生成第一人称视频。

你平时拍视频,大多是站在旁边拍别人,这叫第三人称视角,或者说"外视角"。而戴着运动相机、AR眼镜拍到的视角,是"自己眼睛看到的",这叫第一人称视角,或者说"内视角"。

这件事为什么重要?因为现在能大量采集到的视频,基本都是外视角的,监控摄像头、运动会录像、别人用手机拍你,这些都是。但训练机器人、训练AR设备理解世界,恰恰最缺的是内视角数据,因为很少有人一天到晚戴着摄像头走来走去。于是一个很自然的想法冒出来了:能不能用大量现成的外视角视频,反过来"生成"稀缺的内视角视频?

这件事到底有多难

想象你站在房间角落拍一个人在做饭,然后你想知道,如果摄像头戴在这个人头上,他会看到什么。

问题是,这两个视角几乎没有重叠的内容。你站在角落拍到的是这个人的后背、侧脸、他身边的灶台,而他自己头上的摄像头看到的是灶台正前方、他自己的手、锅里的食物,这些东西你的外视角摄像头可能压根就没拍到过。

这就是论文反复强调的核心矛盾:**目标视角里的大部分内容,原始视频根本没有拍到,必须靠"猜"**。

这不是简单的换个角度拍照,这是要凭空生成大量看不见的内容。

在这篇论文之前,业内最强的方法叫EgoX,来自2026年的一篇CVPR论文。EgoX的思路听起来很合理:既然看不到目标视角的内容,那就先把整个场景的三维结构搞清楚,再从新的视角"重新拍一张"。

具体做法是这样的:先用一个叫ViPE的深度估计引擎,从外视角视频里猜出每个像素离摄像头有多远,这叫深度估计。有了深度,就能把整段视频"抬升"成一个三维的点云,点云可以理解成用无数个带颜色的点,在空间里拼出整个场景的立体形状。然后把这个点云从内视角相机的轨迹上重新投影、重新拍一遍,拍出来的画面再喂给一个视频扩散模型去生成最终的内视角视频。

视频扩散模型*:一种通过"从噪声中逐步还原清晰画面"来生成视频的AI模型,去噪训练是它的核心能力。

这套流程听起来很扎实,毕竟先把三维世界搞清楚,再换个角度看,这是人类理解空间的直觉做法。但它藏着一个致命伤:深度估计本身是会出错的。如果深度猜错了,点云里的点就会被放到错误的空间位置上,重新投影出来的画面,内容虽然清晰锐利,但位置是错的。

论文里管这种现象叫"确定性映射"。每个像素被精确分配到一个重新计算出来的位置,错了就是错了,而且错得理直气壮,没有任何信号告诉你哪里错了。

这就好比你用一张走了形的旧地图去导航。地图上的每条路画得都很清楚,线条锐利,字迹工整,可问题是如果这条路本身画歪了十米,你会毫不犹豫地照着它往错误的方向走,因为地图看起来一点都不含糊。如果不换一种做法,你永远不知道这张地图哪里是错的,只会在错误的自信里一路走偏。深度估计错误导致的点云错位,就是这种"看起来很对,其实是错的"陷阱。

LEGO想了一个完全不同的思路

论文提出的方法叫LEGO,全称是Lifting-free exocentric-to-EGOcentric,也就是"无需三维抬升的外视角转内视角生成"。

无需三维抬升*:指不去估计深度、不构建点云、不做任何三维重建,直接训练一个模型把外视角图像映射成内视角图像。

LEGO的核心想法是,既然深度估计这一步容易出错,那干脆绕开它。不去猜场景的三维结构,而是直接训练一个神经网络,看一眼外视角的画面,直接猜出内视角该是什么样子。这个负责"直接猜"的模块,论文称为学习式视图合成器,英文缩写F,它的架构借鉴了一个叫LVSM的模型。

LVSM*:Large View Synthesis Model,一种用纯Transformer结构、不依赖任何三维几何先验知识来做视图合成的大模型,2025年ICLR发表。

这个合成器具体怎么工作?它接收外视角的一帧画面,以及描述两个相机位置关系的射线信息,叫做Plücker射线嵌入,然后直接输出预测的内视角画面。

Plücker射线嵌入*:一种给图像里每个像素标注"这条视线从哪发出、朝哪个方向"的六维向量表示方法,用来告诉模型相机的几何关系。

关键的差异就在这里了。EgoX的点云重投影,是把每个目标像素精确对应到源图像的某一个点,一对一,错了就错了。而LEGO的合成器F内部用的是注意力机制,每个目标位置会去"看"源图像里的很多候选位置,根据一个学出来的概率分布,把这些候选位置加权平均起来。论文把这种分布叫做对应关系分布。

对应关系分布*:合成器在生成每个目标像素时,对源图像各个位置分配的注意力权重,这些权重加起来等于1,反映了模型认为"这个目标像素可能来自源图像哪里"的概率。

这种做法带来一个直接后果:如果模型对某个区域不太确定该从哪里取内容,它不会像点云那样硬选一个可能错的位置,而是把几个候选位置的内容掺和在一起。掺和的结果必然是模糊的,但好处是,内容的大致位置通常是对的,因为真正正确的来源,大概率也在这几个候选里面。

论文把这两种错误方式总结得很精炼:点云重投影的错误是"偏差",内容被放错了地方,而且放得很坚决;合成器的错误是"方差",内容位置基本没错,但细节被平均模糊了。

这是整篇论文最关键的一步推理:这两种错误,对后续的视频生成模型来说,代价完全不一样。

模糊,恰好是视频扩散模型最擅长修复的东西。扩散模型的训练方式本质上就是反复学习"从一张模糊、带噪声的图恢复出清晰图像",这是它刻在骨子里的能力。相反,内容位置错了,是扩散模型很难纠正的,因为它不知道哪里错了,也没有线索去把错误的内容挪回正确的位置。此前的研究者为了让扩散模型能应对位置错误的输入,还得专门设计额外的机制去"放松"或者"覆盖"这些错误条件,这说明错位是个很难缠的问题,而模糊则不是。

这就像给一个修图师傅两份草稿。第一份草稿画得笔锋锐利,每个物体轮廓分明,但师傅稍微一看就发现,窗户画到了墙的位置,沙发飘在了半空中。第二份草稿画得有点糊,边缘发虚看不太清细节,但整个房间的布局,门在哪、桌子在哪、人站在哪,全都对得上。如果让这位师傅去修复成一张精细的成品画,他会更倾向于选哪份草稿?显然是第二份,因为补细节他有手段,但把挪错位置的家具一件件挪回原地,他连从哪下手都不知道。如果反过来选了第一份锐利但错位的草稿,修图师傅大概率只能跟着错误的布局继续画下去,把错误放大。

于是LEGO做了一个大胆的决定:用那张"模糊但位置基本对"的合成器渲染图,替换掉EgoX那张"清晰但容易放错位置"的点云渲染图,作为视频扩散模型的生成条件。

论文还顺手验证了这个选择的合理性。他们测量了两种渲染图跟真实画面的对齐程度,用了ZNCC这种相关性指标,还有DINO特征相似度,结果显示合成器渲染图的对齐分数远高于点云渲染图,在某些patch尺度下甚至是三倍以上的差距。同时点云渲染图的锐度确实更高,是真实画面的0.97倍,接近完美,而合成器渲染图只有0.28倍,确实模糊得多。两者各有所长,正好印证了论文的判断:对齐和清晰度是两件可以分开权衡的事,而且对齐应该优先。

一个关键发现:置信度居然是免费的

合成器F除了输出一张画面,还顺手暴露出一个额外的信息:置信度。

因为每个目标位置的预测,都是源图像多个候选位置的概率加权平均,如果这个概率分布特别集中在某几个候选上,说明模型很有把握;如果分布特别分散,说明模型自己都不太确定该参考哪里。论文把这种集中程度定义成置信度,具体算法是取概率最高的k个候选位置的概率之和。

这个置信度不是额外训练出来的,它是模型内部注意力机制本身自带的副产品,论文形容为"从同一个分布里免费得到"。这一点挺值得琢磨。因为点云方法想获得类似的"哪里可信"的信号,得专门去估计深度的不确定性,是额外的工程量,而LEGO这里不需要加任何新的训练目标,置信度自然就浮现出来了。

有了置信度,LEGO做了两件事。

第一件事叫置信度门控渲染。把置信度低于某个阈值的区域,直接涂成中性灰色,相当于告诉生成模型"这块我也不知道,你自己看着办吧"。论文发现,点云渲染图天生就有"洞",因为深度估计失败或者遮挡的地方根本渲不出东西,但合成器的概率平均机制意味着它永远会给出一个答案,哪怕这个答案毫无根据。门控机制正是为了让合成器也学会"闭嘴",在没把握的地方主动留白,而不是硬给一个可能错误的平均结果。

第二件事叫自适应渲染一致性,英文缩写ARC,这是整篇论文里我觉得设计得最巧妙的部分。

自适应渲染一致性(ARC)*:一种不需要额外训练、只在生成模型采样推理阶段起作用的引导方法,利用置信度把生成过程的早期步骤拉向合成器渲染图,后期步骤完全不受约束。

要理解ARC,得先知道视频扩散模型是怎么从一张纯噪声图,一步步"去噪"变成最终画面的。这个过程通常要走几十步,业内公认的规律是:前面的步骤主要决定画面的整体布局,后面的步骤才在雕琢细节。论文引用了之前的研究,证实了这个规律确实存在。

既然布局是在前期决定的,而LEGO手里的渲染图恰好最擅长提供"布局是对的"这个信息,那自然的想法就是:只在前期的去噪步骤里,用置信度去拉一把生成过程,置信度高的地方拉得狠一点,置信度低的地方几乎不管,后期步骤完全放手让模型自己发挥去补细节。

这就像教孩子临摹一幅画。前半段笔触还很粗略的时候,老师在旁边指点"这里的房子该往左挪一点,比例不对",这时候的纠正很管用,因为整体轮廓还没定型,改起来成本低。但等孩子已经把细节都画得差不多了,这时候老师再冲上去说"这堵墙的颜色不对",反而容易把孩子搞乱,因为细节阶段的纠正粒度跟布局阶段完全不是一回事。如果一直从头到尾都按照老师的指点来画,画面反而会变得生硬,失去孩子自己发挥的细节,这正是论文里实验验证的另一个现象,这个问题后面会讲到。

数据说话:LEGO到底好在哪

论文在Ego-Exo4D这个数据集上做了系统的对比实验,这个数据集本身就是专门为了研究第一人称和第三人称视频转换而设计的。

实验分成两个难度等级,一个叫seen,场景在训练集里出现过,另一个叫unseen,场景完全没见过,专门考验泛化能力。

对比结果显示,LEGO在PSNR、SSIM、LPIPS、CLIP-I这几个衡量图像还原质量的指标上,全面超过了EgoX这个此前的最强方法。拿PSNR来说,这是衡量生成画面跟真实画面像素级接近程度的常用指标,数值越高越好。在seen场景下,LEGO拿到20.28,EgoX原论文汇报的是16.05,论文作者自己重新跑一遍EgoX开源权重得到15.57。差距超过4个点,这不是一个小数目,意味着LEGO生成的画面在像素层面上明显更接近真实拍摄的内容。

在unseen场景下,LEGO是15.91,EgoX重跑的结果是13.53,差距同样接近2.4个点,证明这个优势不是靠死记硬背训练场景得来的,换一个完全没见过的场景照样管用。

另外一个很有意思的指标是FVD,衡量生成视频和真实视频在特征空间里的分布距离,数值越低越好。LEGO在seen场景下FVD是155.56,EgoX原论文数值是184.47;unseen场景下LEGO是404.77,EgoX是440.64。差距都是实打实的。

论文还做了一轮细致的拆解实验,一步一步测试每个设计选择的贡献。他们先只换掉条件输入,把点云渲染图换成合成器渲染图,其他全都不变。结果PSNR从15.59跳到18.24,这一步换血带来的提升非常直接。接下来加上置信度门控,FVD从183.4降到166.86,主要帮助是让生成视频的整体分布更接近真实。再加上让模型也能看到原始外视角的图像信息,各项指标又进一步上升。最后再叠加ARC,PSNR冲到20.28的最终成绩。

有一个对比实验特别打破直觉。论文试着把ARC这个引导机制,套用到点云渲染图上,结果反而比完全不加任何引导还要差,PSNR从18.91的基础上掉到13.96,FVD更是从159飙升到735.5。这说明ARC不是一个万能插件,它的效果完全依赖于被引导的那张图本身是不是真的对齐,如果渲染图本身的位置信息就是错的,ARC只会把这个错误更强硬地焊死在生成结果里。这反过来也证明了论文最初的判断是站得住脚的:对齐这个前提条件,比引导机制本身更重要。

另一个值得单独说的实验,是检验置信度到底靠不靠谱。研究者把生成视频切成一个个小窗口,按置信度从高到低排序,然后看置信度最高的那部分窗口,它们的误差相对于全体窗口的平均误差是什么情况。结果非常清楚:置信度越高的窗口,误差确实越低,这个规律在seen和unseen场景下都成立。这说明合成器给出的置信度不是随便拍脑袋算出来的数字,它真实反映了"这块画面可信不可信"。

跑到陌生地盘照样好用

一个方法好不好,光在训练用过的数据集上表现好是不够的,得看它换个完全没见过的环境还灵不灵。

论文把训练好的LEGO,原封不动地搬到两个全新的数据集上测试,一个叫EgoHumans,专门记录多人活动场景,另一个叫Nymeria,记录的是日常居家场景中参与者戴着AR眼镜的内容。两个数据集都没有参与LEGO的训练过程。

结果是LEGO在这两个全新数据集上,所有指标依然全面超过EgoX。在EgoHumans上PSNR是15.52对13.74,在Nymeria上更夸张,15.23对11.64,差了快4个点。

论文还提了一个很细致的观察,用来排除"合成器是不是偷偷记住了训练场景"这种质疑:门控机制在新数据集上保留渲染内容的比例,跟在unseen场景下差不多,都在15%左右。这说明合成器的置信度判断,跟它是否"认识"这个场景没什么关系,它判断的是几何对应关系是否清晰,不是场景本身熟不熟。

这也侧面说明了F这个合成器微调的本质:它学到的不是某个具体场景的样子,而是从外视角相机的鱼眼镜片模型转到内视角相机模型的那套通用几何转换规律。

LEGO也有自己的短板

论文很坦诚地讨论了几个局限。

最直接的一条是,合成器F是逐帧独立工作的,只看单张外视角图像来猜内视角画面。这意味着如果外视角镜头压根没拍到某个区域,F是无论如何都生成不出那块内容的,只能靠后面的扩散模型凑合着用自己的先验知识去填。论文给了一张示意图,显示这种情况下条件渲染图是完全空白的灰色区域,生成模型只能自由发挥。

另一个有意思的副作用跟颜色有关。研究者发现,合成器渲染出来的内容,色度(也就是颜色的饱和程度)相对真实画面只有0.41左右的比例,偏灰偏淡。而且这种颜色衰减会一定程度传递到最终生成的视频里,未经门控处理时生成视频色度比例是0.45,门控之后能回升到0.62。论文给出的解释是,合成器本质上是一个回归模型,在不确定的情况下倾向于往"平均值"收缩,颜色这种连续量平均起来容易趋向灰色,而亮度结构这种相对离散的信息反而保留得更好。生成模型本身对色彩有自己的预训练先验,但因为只用了低秩微调,这个先验没能完全纠正合成器带来的颜色偏差。这是一个诚实的瑕疵,论文没有藏着。

计算成本上,LEGO反而比EgoX更快。整个流程端到端生成一个视频片段,LEGO用时577.9秒,EgoX用时666.7秒。差距主要来自前置的条件图准备阶段:LEGO生成合成器渲染图只需要4.7秒,而EgoX那套深度估计加点云渲染的流程要69.2秒,慢了十几倍。这也顺带回答了一个可能的疑问,无三维重建的方案听起来"偷工减料",但实际跑起来反而更省时间,因为它省掉了昂贵的深度估计环节。

写在后面

读到LEGO这篇论文的时候,最触动我的其实不是它刷新了多少个百分点的指标,而是那个关于"条件应该先对齐再清晰"的判断本身。这个判断听起来简单,但它背后其实是在质疑一个很根深蒂固的工程直觉:遇到不确定的东西,我们本能地想要一个更精确、更锐利的答案,哪怕这个答案有可能是错的。而LEGO的实验结果恰恰在说,对于一个后面还要靠扩散模型去雕琢细节的流程来说,一个诚实地承认自己模糊、但大体方向正确的答案,反而更有用。

这让我想起另一个完全不相关领域的现象。有经验的医生在读模糊的医学影像时,往往更愿意相信一张整体轮廓清楚但局部细节糊掉的片子,而不是一张被过度锐化处理、细节看起来很清楚但其实是算法硬加出来的片子,因为后者的"清楚"是假的,可能会把医生带偏。LEGO本质上做的是同一件事:它拒绝给生成模型一个看起来很精确但其实充满错误自信的输入。

论文里还有个细节我觉得值得单独拿出来说一说,就是ARC引导机制对点云渲染图完全不起作用这个实验结果。这个结果其实提醒我们,"用置信度去引导生成"这件事本身不是万能解药,它的有效性完全取决于被引导的目标是不是本来就靠谱。这跟很多AI系统设计里常见的教训是一致的:给模型加一个"信心分数"容易,但如果这个信心分数本身建立在错误的基础上,加了反而更糟。

那么下一个问题自然就冒出来了:如果未来有一个比LVSM更强的视图合成器出现,是不是直接插进LEGO这套框架就能继续提升效果,而完全不用动扩散模型那部分?论文作者自己也提到了这种可能性。这种"可插拔"的设计思路,会不会才是这类生成式流水线真正值得关注的方向?

Q&A

Q1：LEGO是什么？

A：LEGO是一种从单段第三人称视频生成第一人称视频的AI方法，核心做法是用一个无需深度估计和点云重建的视图合成器直接渲染目标视角画面，再把这张渲染图作为条件喂给视频扩散模型。

Q2：LEGO和之前的EgoX方法最大的区别是什么？

A：EgoX靠深度估计把视频抬升成点云再重新投影，容易把内容放到错误位置且无法自我纠正；LEGO用学习式合成器直接生成模糊但位置对齐的渲染图，更适合扩散模型后续补细节。

Q3：LEGO能不能用在训练时没见过的场景？

A：可以。论文在EgoHumans和Nymeria两个全新数据集上测试，LEGO在未经任何微调的情况下，各项指标依然全面超过EgoX，证明它学到的是通用的视角转换规律，而不是死记硬背场景。