Snap与普渡大学、KAUST联手：让AI从视频里"雕刻"出会动的3D世界

这项研究由Snap研究院、美国普渡大学和沙特阿卜杜拉国王科技大学（KAUST）联合完成，论文以预印本形式于2026年5月25日发布，论文编号为arXiv:2605.26109，感兴趣的读者可通过该编号查阅完整原文。

你有没有想过，只需要一段普通的视频，就能让计算机自动生成一个完整的、会动的3D模型？不只是简单的外壳，而是带有真实材质、能够碎裂、融化、甚至透明的那种？这听起来像科幻电影里的场景，但一个名叫Helix4D的系统正在把它变成现实。

以一艘古帆船为例：船上的帆在风中鼓动，细细的绳索在摇摆，旗帜随风撕裂——这些细节如果放在传统3D建模里，每一根绳子、每一片旗帜都需要专业美术人员花费数小时甚至数天手工制作。而Helix4D的目标，就是让机器看一眼视频，自己把这一切都做出来。研究团队把这类问题称为"4D生成"——其中三个维度是我们熟悉的空间（长、宽、高），第四个维度就是时间，也就是让3D模型动起来。

这项研究的意义远不止于好看的特效。动画制作、虚拟现实体验、游戏开发乃至机器人训练，都需要大量高质量的动态3D资产。目前这些资产主要靠人工制作，成本高昂、耗时漫长。如果Helix4D能够真正实用化，它将从根本上降低这类内容的制作门槛。

一、为什么以前的方法总是"差那么一口气"

要理解Helix4D的价值，先得知道它在解决什么困难。

在Helix4D之前，已经有不少研究团队尝试从视频生成动态3D模型，但这些方法普遍存在几个棘手的问题。有一类方法叫做"基于变形"的方式，思路是先从视频的第一帧生成一个静态3D模型，然后预测这个模型如何随时间扭曲变形。这就好比你先捏一个橡皮泥人，然后掰动它的手脚来模拟动作——这对于简单的弯曲和伸展很管用，但如果橡皮泥人的脑袋突然裂开，或者平地里多长出一只手，这套方法就彻底失效了，因为你一开始捏的那个模型根本就没有那个结构。

另一类方法则尝试同时生成所有帧的3D内容，不依赖固定的初始形状。这类方法理论上可以处理形状剧变的情况，但它们的几何质量和材质质量普遍较差——生成的模型往往粗糙、不真实，更别说处理玻璃瓶那样的透明物体，或者模型内部有其他东西的复杂场景了。

问题的根源在于：现有的4D方法都是"从零开始"学习3D形状的，它们没有机会积累足够丰富的关于复杂材质、透明物体、非封闭曲面这类"稀有场景"的知识。毕竟，带有透明材质或内部结构的动态3D视频数据本来就极其稀少，让一个模型从这么少的数据里学到这些能力，几乎是不可能的任务。

与此同时，一个名为Trellis2的静态3D生成模型悄然成为了业内的佼佼者。它能从单张图片生成高质量的带材质3D模型，不仅支持透明物体、内部结构，还能处理非封闭曲面和薄壁结构。Helix4D的核心洞察正是：与其从零开始训练一个新的4D系统，不如把Trellis2这把"宝剑"改造成能处理时间维度的利器。

二、Trellis2：那把必须先介绍的"宝剑"

Helix4D建立在Trellis2的基础上，所以花一点时间理解Trellis2的工作原理很有必要。

Trellis2把3D物体表示为一组稀疏的"活跃体素"——你可以把体素理解为三维空间中的小方格，就像乐高积木。但Trellis2不是把整个空间都填满方格，而是只保留物体表面附近的那些方格，空旷的空间里什么都不放。每个活跃的方格里存储了两类信息：一类是局部几何信息（这个位置的表面长什么样），另一类是材质信息（这里的颜色、光泽、透明度如何）。

这种表示方式有个关键优势：它不要求物体是"水密"的（也就是说，表面不需要是一个封闭的气球形状）。传统的3D生成方法大多依赖"有符号距离场"——这种方法本质上是描述空间中每个点到最近表面的距离，它天然要求表面是封闭的，否则"内"和"外"就没有意义。这就是为什么传统方法无法表示玻璃瓶里的鱼、盔甲的内表面、或者正在破碎的薄壳结构——这些东西都不符合"封闭气球"的约束。

Trellis2把这个限制彻底打破了。它的稀疏体素表示法可以表达任意的开放曲面、薄结构和内部表面。在这个表示法的基础上，Trellis2通过三个阶段的"流匹配"（一种生成式AI技术）依次生成：稀疏结构（哪些方格是活跃的），几何细节（每个方格对应的表面形状），以及材质（颜色、光泽等外观属性）。

Helix4D的任务，就是把这个只能处理单张图片的系统，改造成能处理视频序列的4D生成系统。

三、Helix4D的两大核心发明

改造Trellis2面临两个根本性挑战。研究团队把它们提炼成两个问题：第一，Trellis2的注意力机制只在单帧内部工作，如何让它在不同帧之间传递信息，同时又不破坏它好不容易学到的处理透明物体等稀有场景的能力？第二，Trellis2只有空间位置编码（告诉模型某个体素在3D空间中的位置），如何在不增加额外参数的前提下，让它也能理解"这个体素属于第几帧"？

针对第一个问题，研究团队发明了"带首帧锚点的滑动窗口跨帧注意力"机制。针对第二个问题，他们提出了一种"频率复用式时空旋转位置编码"。下面逐一解释这两个听起来拗口的发明。

先说注意力机制的改造。在AI模型里，"注意力"是一种让不同位置的信息互相交流的机制——有点像开会时不同部门的人互相分享信息。Trellis2原本的注意力只在同一帧内部开会，不同帧之间完全隔绝。最简单的扩展方式是让所有帧的所有"信息代表"都坐在同一个大会议室里开会，这样信息流通最充分，但问题是一个4D重建任务可能有多达10万个体素，全部放在一起开会的计算量会大到难以承受。

研究团队的解决方案是"滑动窗口"加"锚点"。滑动窗口的意思是：每一帧只和它时间上相邻的几帧交流（比如前后各两帧以内），就像你只需要和你的邻居沟通，不需要同时联系全国所有人。这样大幅降低了计算量，同时也符合视频的物理规律——相邻帧之间的变化往往比较连续，信息交换最有意义。

但光有滑动窗口还不够，因为一段16帧的视频中，最后一帧和第一帧可能完全不同，纯粹依靠相邻帧的局部信息传递，整个序列可能会逐渐"漂移"，失去全局一致性。研究团队为此引入了"锚点帧"：无论当前处于哪一帧，它都可以直接访问第一帧的完整信息。第一帧就像一张地图上的"你在这里"标记，为整个序列提供稳定的参考基准。

更妙的是，这个锚点帧不是随机生成的，而是由原始的、未经修改的Trellis2模型直接生成的高质量静态3D重建结果。这意味着，Helix4D从第一帧就"继承"了Trellis2处理透明物体和复杂内表面的能力。后续帧通过注意力机制向第一帧"取经"，从而在没有大量稀有场景训练数据的情况下，也能输出合理的透明结构和内部几何。这是一个非常聪明的设计——用数据充足的静态3D能力，弥补了数据稀缺的动态4D场景中的短板。

在训练时，模型只需要学习如何从第1帧到第15帧（序号从0开始）进行去噪生成，损失函数也只在这些帧上计算；第0帧（锚点帧）始终是干净的已知输入，不参与训练损失。到实际使用时，先用冻结的Trellis2生成第一帧，然后把它作为锚点输入Helix4D，生成后续帧。

研究团队还测试了其他几种注意力模式的效果，包括全注意力（所有帧互相通信）、因果注意力（每帧只能看到它之前的帧）、纯滑动窗口（不含锚点）、以及空间注意力（只在相同空间位置上跨帧通信）。实验结果表明，"滑动窗口加锚点"在所有质量指标上均优于其他方案，同时运行速度比全注意力快2.3倍。这说明全注意力虽然信息量最大，但也引入了太多无关的"噪声"，而研究团队设计的这种有针对性的信息流通模式反而更有效。

四、让模型"感知时间"的精妙技巧

第二个挑战——如何在不增加参数的情况下加入时间编码——的解决方案同样值得细细品味。

首先需要理解"旋转位置编码"（RoPE）是什么。在AI模型处理序列数据时，它需要知道每个元素的位置——比如在处理文字时，需要知道"这个词是句子的第几个字"。RoPE的做法是根据位置对特征向量进行旋转：位置不同，旋转角度就不同，这样模型就能通过比较两个向量的相对旋转量来判断它们之间的位置差距。Trellis2把这个思路扩展到了3D：每个体素的x、y、z坐标各自对应一组旋转，合在一起就是一个"3D空间位置编码"。

现在问题来了：如果要加入第四个维度（时间），一种直观的做法是在3D空间编码之上再叠加一层时间旋转——这也是之前一些4D生成方法（比如SS4D）的做法。但研究团队指出，这种叠加会破坏预训练的权重：原来的模型学到的是"x旋转+y旋转+z旋转"组合下的特征，突然再乘上一个时间旋转，模型的键（key）和查询（query）矩阵就处于一个它从未见过的相位组合里，预训练积累的位置感知能力会受到干扰。

研究团队换了一个角度思考：旋转编码里的不同频率成分，对空间定位的贡献是不均等的。高频成分（变化快、细节丰富）对区分相邻体素至关重要；低频成分（变化慢、平滑过渡）对空间定位的贡献则相对有限。换句话说，低频的旋转分量就像一张地图上的大区域划分，而高频分量才是精确的街道级别信息。区分两个相邻体素主要靠街道级别的高频信息，大区域划分的低频信息作用相对次要。

他们用实验验证了这个直觉：把预训练好的Trellis2模型中各轴编码的低频部分替换成恒等变换（相当于不做任何旋转），然后观察生成质量的变化。当保留60%以上的频率（即只替换掉40%以下的低频部分）时，生成结果在视觉上与保留全部频率几乎没有区别，定量指标也几乎持平。当替换超过60%时，质量才开始明显下滑。

这个发现意味着那些被替换掉的低频空间旋转是"冗余"的——它们没有在提供什么不可替代的空间信息，完全可以被"腾出来"做别的事情。研究团队就把这部分频率用于编码时间：高频部分继续描述空间位置，低频部分改为描述帧序号。空间和时间的编码保持相互独立的"块对角"结构，不会互相干扰，注意力图依然只依赖于相对时空距离，满足RoPE的基本性质。

关于保留多少空间频率、拨出多少给时间，研究团队给出了一个直觉上合理的理由：空间分辨率是64（体素格子一边有64格），时间分辨率是16（16帧视频）。两者之比是4:1，所以将75%的频率留给空间、25%拨给时间，是一个均衡的分配。最终确定的参数是α=0.75，即每个轴保留75%的高频空间旋转，剩余25%改造为时间旋转。

整个改造过程不需要增加任何新的参数，也不需要修改注意力的权重矩阵，仅仅是重新定义了旋转的对象。这种"无中生有"的设计思路，让新的4D时空编码完全兼容原有的预训练权重，从而最大限度地保留了Trellis2学到的几何和材质生成能力。

五、训练数据和实验细节

研究团队从TexVerse-1K数据集的动画子集中整理训练数据，这个集合包含约5.5万个动态3D物体。每个物体提取16帧动画，每帧都转换为分辨率1024?的稀疏O-Voxel表示。为确保不同帧的空间对齐，每个动画的所有帧共享统一的边界框归一化处理，使整个动画序列都落在[-0.5, 0.5]的空间范围内。每个动画还从球面上随机采样的16个视角渲染成1024×1024的图像，焦距、半径、方位角和仰角都随机变化，以增加训练数据的多样性。

训练过程将Helix4D的三个阶段（稀疏结构生成、几何生成、材质生成）统一在相同的改造方案下，每个阶段每次同时生成16帧。训练时只微调自注意力层的权重，其他层保持Trellis2的预训练状态不变。训练在32块A100 GPU上进行了2万次迭代，批大小为32，使用AdamW优化器，学习率设为0.00002。

六、和竞争对手相比，效果究竟怎样

研究团队构建了一个专门针对复杂动态场景的测试集，命名为Helix4DBench，包含52段视频，覆盖形态变化、新兴物体、破碎、透明和半透明物体、烟火等体积现象。这些视频是从公开的Trellis2示例图片出发，用Wan2.2视频生成模型配合针对性的文字描述生成的，然后去掉背景。由于这些视频没有真实的3D几何作为参照，评估指标主要依赖渲染质量和3D-图像对齐度。

对比的方法包括五个：SS4D、ShapeGen4D、Mesh4D、Motion 3-to-4，以及ActionMesh。评估指标涵盖多个维度：CLIP分数衡量渲染外观与输入视频的相似度，CLIP-N衡量法线图（几何形状）的相似度，ULIP-2和Uni3D从3D点云的角度衡量几何与图像的对齐程度，DreamSim衡量感知相似度，FVD衡量视频的时间一致性，以及用户研究中的一对一胜率。

在Helix4DBench的所有指标上，Helix4D均超越了所有对比方法。以最能综合反映3D质量的ULIP-2和Uni3D指标为例，Helix4D分别比最强基线高出5.7%和7.8%。用户研究中，参与者在一对一比较时，有67.9%到89.8%的情况下偏好Helix4D的结果，具体取决于对比的基线方法。

视觉上的差异更为直观。针对基于变形的方法（ActionMesh、Motion 3-to-4、Mesh4D），研究团队总结了三类典型失败场景。第一类是"新出现的物体"：这些方法都以第一帧为锚点，当后续帧出现了第一帧中不存在的内容时（比如颜料从外部溅到人物身上），它们完全无法恢复这些新增结构。第二类是"顶点粘连"：当一个物体后来需要与另一物体分离时，基于变形的方法会把它们的顶点"粘"在一起，产生奇怪的融合形变，比如农民的手和篮子融合在一起随着动作扭曲变形。第三类是"内表面"：这些方法依赖封闭网格假设，根本无法表示内表面，装着鱼的玻璃瓶场景中只有Helix4D能同时重建出透明外壳和里面游动的鱼。

在另一个基准测试ActionBench上——这个测试集主要包含简单运动、不涉及拓扑变化的序列，是ActionMesh这类方法最擅长的主场——Helix4D依然以最低的CD-3D（每帧平均倒角距离）胜出，尽管CD-4D（同时衡量形状准确度和时间一致性的指标）略逊于ActionMesh。研究团队还额外评估了一个来自TexVerse数据集的32个物体的测试子集，其中包含更丰富的动态场景，Helix4D在CD-3D和CD-4D两项指标上均取得最优成绩，进一步证明了其泛化能力。

七、消融实验：每个设计都值多少

研究团队还系统地测试了去掉每个核心组件后会发生什么，以验证各设计决策的贡献。

去掉首帧条件（不使用Trellis2生成的锚点帧）后，各项指标均有下降，其中下降幅度最大，这与研究团队的预期一致——首帧锚点不仅提供了稳定的全局参考，更把Trellis2的静态3D能力"传递"给了整个4D生成过程，数据稀缺场景下尤为关键。

去掉4D旋转位置编码（改用简单叠加时间RoPE的方式）后，定量指标的下降相对温和，但视觉上的问题很明显：重建出来的人物多了一条多余的手臂，背面出现粗糙的噪声，整体形状的准确性和语义一致性都受到影响。研究团队认为定量指标偏于保守，视觉对比更能反映真实差距。

把滑动窗口加锚点的注意力替换为全局完整注意力后，性能反而下降了，而且计算时间变为2.3倍。这说明全注意力引入了过多无关帧的干扰信息，反而不如有针对性地只看相邻帧加第一帧来得有效。

八、这个系统目前还有什么做不到的

研究团队坦承了Helix4D继承自Trellis2的两个固有局限。其一是生成的网格偶尔会出现"洞"——由于Trellis2不强制要求输出封闭网格，某些区域的表面可能不完整。其二是Trellis2的纹理有时会产生颜色偏移，对于透明物体可能错误地生成金属质感。

Helix4D本身也引入了一个新局限：因为它输出的是一系列独立的网格帧而非单一静态网格，在几何细节变化频繁的区域，相邻帧之间的时间一致性有时不够稳定，会出现抖动。

研究团队在论文末尾指出了未来的改进方向，包括处理更长的视频序列、场景级别的多物体交互、更强的摄像机运动处理，以及更准确的物理动力学建模。

归根结底，Helix4D证明了一件非常有价值的事情：不需要从头训练一个全新的大模型，通过对已有强大静态3D模型的精准改造，同样可以实现高质量的动态4D生成。它用很少的额外参数和相对有限的训练代价，把一个只看图片的系统变成了一个能看视频、能生成透明物体会动的3D网格的系统。这对整个3D生成领域都是一个重要的信号：静态3D基础模型中积累的强大先验，是可以被系统性地迁移到4D任务中的，而且这种迁移不需要以牺牲原有能力为代价。对于动画师、游戏开发者、虚拟现实内容创作者来说，这项技术如果继续成熟，可能真的会改变他们的工作方式。有兴趣深入了解技术细节的读者，可以通过arXiv:2605.26109查阅完整论文。

Q&A

Q1：Helix4D和之前的4D生成方法相比，最核心的优势是什么？

A：之前基于变形的4D方法从第一帧生成静态模型然后扭曲它，无法处理形状剧变、新出现的物体或透明材质。Helix4D通过继承Trellis2的O-Voxel表示，不依赖封闭网格假设，能同时重建透明外壳和内部结构，还能生成第一帧中不存在的新几何体，从根本上突破了这些限制。

Q2：4D旋转位置编码（4D rotary）为什么不直接叠加一层时间编码，而要替换空间编码的低频部分？

A：直接叠加时间旋转会让同一特征维度上同时叠有空间旋转和时间旋转，导致两者相位互相缠绕，预训练模型的键查询矩阵从未见过这种组合，会破坏已学到的空间感知。实验证明，空间编码的低频部分对定位贡献有限，可以安全地替换为时间编码，既保留了预训练能力，又无需增加任何新参数。

Q3：Helix4DBench测试集是怎么构建的，为什么需要专门制作一个新测试集？

A：现有的4D测试集（如ActionBench）主要包含简单刚体运动，不涉及透明材质、拓扑变化或体积现象。研究团队从Trellis2官方示例图片出发，用Wan2.2视频生成模型配合针对性文字描述生成了52段动态视频，覆盖破碎、融化、透明玻璃瓶、烟火等复杂场景，专门用于评估各方法在困难动态场景下的表现。