悉尼大学、SpatialReal等机构联手：两分钟造出高质量数字人脸，精度还比老大哥高出不少

这项由悉尼大学、SpatialReal公司、浙江大学和拉筹伯大学联合开展的研究，以预印本形式于2026年6月发布在arXiv平台，论文编号为arXiv:2606.15659。研究团队提出了一个名为SpatialAvatar-0的系统，专门解决如何从一张或几张普通照片快速生成高质量、可动画的三维人脸头像这一难题。

手机视频通话、虚拟现实会议、游戏里的数字人物……这些场景背后都有一个共同需求：从一张真实的人脸照片出发，快速构建出一个能做表情、转头、张嘴说话的三维虚拟头像。说白了，就是给人配一个能动的数字分身。然而现实中，要做好这件事并不容易，耗时数小时的计算、容易失真的细节、难以泛化到陌生人脸的模型，这些问题像拦路虎一样横亘在研究者面前。SpatialAvatar-0正是为了拆掉这些拦路虎而生的。

一、数字人脸到底难在哪儿

从事数字人脸研究，可以借用一个装修公司的比喻来理解整个领域的困境。装修公司通常有两种工人：一种是"通才速成队"，他们经验丰富、见过无数户型，拿到钥匙就能立刻动工，但因为没有针对这套房子做深度测量，细节上总有些马虎；另一种是"精装慢工队"，他们会在某一套房子里待上好几个月，把每块砖头都摸透了再动工，最终效果惊艳，但等待周期长得令人崩溃。

数字人脸领域的现状恰好就是这两支队伍各自为战。通才速成队对应的是"前馈预测器"，这类模型只需一张照片、一次前向计算，就能生成一个可动画的头像，速度极快。但它们通常只在单一数据集上训练，见到陌生人脸时就会露怯，而且每个模型都硬性规定了输入照片的数量，一张就是一张，不能多也不能少。精装慢工队对应的是"逐人优化器"，这类方法会针对某一个特定人的视频反复打磨，优化次数动辄三十万到六十万轮，耗时五到九小时，最终效果很好，却完全不适合快速部署。

更麻烦的是，这两支队伍用的"施工工具"互相不兼容。精装慢工队依赖一种叫做"自适应致密化"的技术——通俗说就是在需要的地方自动增加更多细节点，就像装修时发现某面墙需要更多钉子就动态补充。但这样一来，通才速成队事先排好的施工布局就被破坏了，两种方法无法共用同一套底层框架。

SpatialAvatar-0的核心目标就是：让这两支队伍共用同一套施工图纸，同时解决各自的短板。

二、共用一张脸的骨架：FLAME网格绑定高斯体

要让两支队伍共用一套框架，首先需要一种能被双方都接受的基础表示方式。研究团队选择了"FLAME网格绑定的三维高斯体"作为统一语言。

先说FLAME网格。FLAME是一套专门描述人脸形状和表情的参数化模型，可以把它理解为一张人脸的"通用骨架"：给定某人的面部参数，骨架就会变形成对应的脸型，嘴巴张开时骨架里的颌骨关节也会相应运动。这套骨架本质上是一张由顶点和三角形面片构成的网格，包含五千多个顶点和一万多个三角形。

再说三维高斯体。如果把FLAME网格想象成钢筋骨架，三维高斯体就是附着在骨架上的"涂料小球"——每一个小球有自己的位置、大小、旋转角度、颜色和透明度，通过几万个这样的小球拼在一起，就能渲染出一张逼真的人脸图像。渲染速度极快，因为这种方式不需要像传统体积渲染那样对每条光线做漫长的积分计算，而是直接把小球投影到画面上，整个过程可以在实时帧率下完成。

研究团队在FLAME网格的UV展开图上排列高斯体。UV展开可以把一张三维人脸"摊平"成一张二维地图，就像把地球仪剥开摊平成世界地图。在这张256×256分辨率的二维地图上，每一个有效像素对应一个高斯体，总计大约五万八千个高斯体覆盖整张人脸。每个高斯体都严格绑定到它所在位置对应的三角形面片上，当骨架因为头部转动或表情变化而移动时，高斯体会跟着一起移动，不需要额外计算。这个布局在两个阶段全程保持不变，前馈阶段预测出来的布局，到了逐人优化阶段依然是同一套，就像交接给精装队的施工图纸始终是同一版。

三、通才速成队的升级：变长输入与两阶段训练

有了统一骨架，下一步是让前馈预测器真正成为"通才"。研究团队在这里做了两件重要的事。

第一件事是让模型接受任意数量的输入照片。此前大多数前馈模型都硬编码了输入数量，只吃一张就是一张。SpatialAvatar-0引入了一个极简的聚合机制：当有多张源图时，把每张图各自提取的特征做平均，就这么简单。平均操作没有任何可训练的参数，当只有一张图时退化为恒等操作，当有多张图时与顺序无关。训练阶段会随机从一到四的范围里抽取源图数量，让模型同时见过单张和多张输入的情况。论文还对比了用注意力机制来聚合多源特征的方案，发现简单平均在大多数指标上并不比注意力差，有些指标反而更好。

第二件事是两阶段训练。第一阶段在CelebV-HQ数据集上训练，这个数据集包含约一万五千个不同人的视频，覆盖面极广，但每段视频只有单个摄像头录制，没有多视角的几何信息。经过第一阶段，模型见过了形形色色的脸，建立了丰富的"人脸字典"。第二阶段切换到NeRSemble数据集，这是一个用十六个摄像头同步拍摄的多视角数据集，几何信息极为准确，但只有十七个人的数据，数量少得多。

这里有一个明显的风险：用一万五千人训练出来的模型，如果直接继续在十七个人身上反复打磨，极有可能把之前积累的广泛认知忘掉，只记住这十七张脸。研究团队用了两个手段来防止这种"遗忘"。其一是L2-SP锚定——这是一种正则化技术，简单理解就是在第二阶段训练时，给模型参数加了一条橡皮筋，拉着它不要离第一阶段的状态太远，权重为千分之一。其二是在第二阶段的每批训练数据里，保留25%来自NeRSemble的跨时间帧（同一个摄像头拍同一个人的不同时刻），而不是全部换成多视角帧，让模型始终保持对单视角数据的熟悉感。消融实验显示，单独使用锚定或单独保留跨时间帧，都只能部分防止遗忘，两者合用才能完全恢复第一阶段积累的广泛性。

四、模型内部的细节：特征提取与表情驱动

前馈阶段的内部结构值得细看。编码器选用的是冻结的DINOv3视觉变换器——这是一种在海量图像上预训练过的特征提取网络，从源图中同时提取全局描述（整张脸的身份信息）和逐像素的稠密特征。稠密特征经过一个重心插值操作，从图像坐标系映射到FLAME的UV坐标系，相当于把源图上每个位置的外观信息"贴"到标准人脸地图对应的位置上。

UV坐标系下的特征随后进入一个基于StyleGAN2风格的生成网络，其中有若干调制层，使用源图的全局描述来控制每一层的样式，输出三十二通道的UV特征图。这个特征图再经过五个并行的预测头，分别输出每个高斯体的局部位置偏移、旋转四元数、三维尺度、颜色和透明度。颜色和透明度是与视角相关的——当渲染角度不同时，呈现的颜色可以不一样，这符合真实世界中人脸皮肤随光照角度变化的规律。而位置和尺度则应该与视角无关，几何形状不会因为看的角度不同而改变。

为了强制保证几何相关的预测头不受视角输入的干扰，研究团队引入了一个"雅可比惩罚项"。具体做法是：在每次训练时，对视角编码向量随机施加一个扰动，测量位置和尺度预测随之变化的幅度，如果变化幅度大就施加惩罚。由于直接计算五万八千个像素对二十七维视角编码的偏导数代价极高，研究团队借用了一种叫做Hutchinson随机估计的技巧：用随机的±1向量对输出做投影，只需一次反向传播就能估计出所有像素的偏导数平方和，大幅节省计算量。

此外还有一个表情驱动的残差头。基础预测头给出的是通用状态下的高斯属性，但真实渲染时人脸处于特定的表情和头部朝向，需要对位置、旋转、尺度和颜色做微调。残差头接收目标帧的表情参数（一百维）、头部姿态参数（六维）和眼部朝向参数（六维），合计一百一十二维，通过FiLM调制层输出四个属性的修正量，叠加到基础预测上。初始化时残差头的输出全为零，不影响基础预测，随着训练进行才逐渐学会有意义的修正。注意面部形状参数被故意排除在外，因为形状是每个人固有的特征，通过骨架的几何变形已经隐式编码进去了，如果把它也塞进残差头，模型就会倾向于记住训练集中那些特定的脸型，损害对陌生人的泛化能力。

五、精装慢工队的蜕变：一万次迭代打造个性化细节

前馈阶段输出的是一个"通用质量"的头像，对大多数人脸特征的平均表现不错，但高频细节——比如额头皱纹的具体走向、胡须的分布密度、鼻梁上的光泽感——往往无法完全还原。为此，研究团队在前馈输出的基础上，启动一个短暂的个性化优化循环。

这个循环最关键的约束是：不增加、不删除任何高斯体，也不改变任何高斯体与FLAME三角形之间的绑定关系。换句话说，施工图纸的框架结构冻结，只允许工人调整已有小球的颜色、大小和局部朝向。这样做的好处是前馈阶段精心构建的整体布局得以保留，从一张照片快速生成头像的能力依然存在，而个性化细节可以在此基础上叠加。

然而去掉了"动态增加高斯体"这一机制之后，一个新问题冒出来了：高斯体会发生"各向异性膨胀"。用装修做比喻，就好比某一面墙只从正面看，工人为了在那个角度让墙面看起来光滑，就把原本圆形的涂料小球压成一根极细的长条，正面看起来没问题，但侧面一看就是一根根刺。这种现象在优化单一视角的图像质量时很自然地出现，一旦需要从其他角度渲染头像，画面就会崩坏。

研究团队设计了三道防线来对抗这种膨胀。第一道：前五百次迭代冻结所有高斯体的尺度参数，只允许位置、颜色、透明度和旋转发生变化。此时模型还来不及把小球压成长条，先把颜色和位置调好。第二道：从第五百次迭代开始解冻尺度，但每次迭代之后立即强制裁剪对数尺度到一个允许范围内，同时限制同一个高斯体三个轴向尺度之间的差距不超过一个阈值，这是一道硬性上限。第三道：同样从第五百次迭代开始，引入一个柔性惩罚项，计算每个高斯体投影到当前摄像机视角下的二维椭圆，如果这个椭圆的长短轴比例超过某个阈值，就施加惩罚。这道防线在屏幕空间里工作，直接对应人眼所感知到的"看起来像细条"这一现象，具有直接的感知对应性。三道防线分别针对不同环节的失控点，缺一不可——消融实验显示单独去掉任意一道，重建的头像在非训练视角下的表现都会明显变差，而去掉硬性裁剪的那种情况甚至会导致某些高斯体的尺度飙升到十的六次方量级，程序直接崩溃。

优化目标函数由逐像素的L1损失、SSIM结构相似性损失和上述各向异性惩罚组成。这里没有使用LPIPS感知损失，原因是在只有一万次迭代的情况下，LPIPS的VGG梯度会在冻结的高斯布局上产生斑点状噪声伪影，反而有害。背景处理方面，研究团队对渲染图和目标图都随机叠加同一个随机颜色的背景，这样在人脸边界处，渲染的透明度如果与人脸分割掩码不一致，梯度会对称地施加在两侧，自然地把透明度拉向正确的掩码轮廓，不需要额外的轮廓损失。

整个逐人优化循环只跑一万次迭代，在RTX 3090显卡上大约花费两分钟。

六、实验结果：跨域零样本测试与每人指标全面领先

论文通过两条主线评测SpatialAvatar-0的表现。

第一条主线是"完全没见过的数据集"测试。VFHQ和HDTF是两个专门用于人脸视频超分辨率和音频驱动头像的数据集，研究团队在训练阶段完全没有使用过它们，相当于考试卷上全是课外题。对比对象包括十一个其他方法，其中包括GAGAvatar和GPAvatar这两个在这两个数据集上直接训练过的"内部人"。

在VFHQ的自身重现（把第一帧当源图，用后续帧驱动）测试中，SpatialAvatar-0达到了23.34的峰值信噪比，GAGAvatar为21.83，差距1.51分贝；结构相似性指数为0.875，对比GAGAvatar的0.818；感知损失为0.077，对比GAGAvatar的0.122，数字越小越好。在HDTF上，SpatialAvatar-0达到24.67分贝，GAGAvatar为23.13，差距1.54分贝。不仅图像质量指标全面领先，身份相似度、表情跟随精度和头部姿态精度这些功能性指标也都更好。从定性样本来看，额头皱纹、鼻唇沟、胡须纹理、头发边缘轮廓等高频细节在SpatialAvatar-0的渲染中保留得更清晰。

第二条主线是逐人优化对比。评测在SplattingAvatar数据集上进行，对比对象包括FlashAvatar（十五万次迭代，约一点六六小时）、GaussianAvatars（六十万次迭代，约九点二五小时）、GeoAvatar（三十万次迭代，约四点九小时），以及其他几个方法。SpatialAvatar-0的逐人优化仅需一万次迭代、约两分钟，但峰值信噪比达到33.96，GeoAvatar为32.64，差距1.32分贝；MSE（均方误差）从1.075下降到0.402，SSIM从0.965上升到0.971，LPIPS也从0.367改善到0.355，四项指标全部最优。推理速度在RTX 3090上为265.6帧每秒，前馈阶段单独生成一个头像大约耗时五十毫秒。

七、消融实验：每一块砖头都有它的位置

研究团队在自留的CelebV-HQ测试集上做了系统性的消融，逐一验证每个设计选择是否真的有用。

第一组实验逐步叠加整个流水线。仅用第一阶段数据训练的模型峰值信噪比为24.84。加上第二阶段但不加任何保护措施，峰值信噪比直接跌到22.73，下跌超过两分贝，证明简单叠加多视角数据会严重损害对普通人脸的泛化能力。加入L2-SP锚定和25%跨时间混合之后，恢复到24.94，与纯第一阶段持平并略有提升。最后加上逐人优化，跳升至29.95，是整个流水线中最大的单步增益。

第二组实验验证架构细节。去掉表情驱动的残差头，峰值信噪比从29.95降到28.36，说明残差头对表情适应能力有实质贡献。去掉雅可比惩罚项，平均关键点距离从1.37升至1.87，几何一致性明显变差。用注意力聚合替换平均聚合，CSIM（身份相似度）从0.959降至0.907，说明在当前设置下简单平均比注意力机制更有利于身份保持。

第三组实验验证逐人优化的三道防线。完整防线保持的最大各向异性比约为8，去掉各向异性惩罚后飙升至约20，去掉对数裁剪后触发程序崩溃。这三种失控模式对应三个不同的失效机制，彼此并不重叠。

第四组实验在L2-SP权重和跨时间混合比例之间做了2×2因子实验，确认两者是互补关系而非替代关系，单独使用任意一个只能获得部分保护，合用才能达到最佳效果。

八、这个系统还有哪些局限

研究团队对方法的边界坦诚地做了说明。FLAME骨架本身不包含眼镜、帽子等大型配件的几何模型，这些物品只能被"混入"人脸表面的颜色纹理里，并不能作为独立的几何结构渲染，因此戴眼镜的人物在侧面或大角度视图下可能出现细节失真。FLAME跟踪器需要源图中至少有一帧能够正面识别出人脸，如果输入是极端角度的侧脸照，跟踪可能失败。逐人优化虽然已经大幅缩短，但仍需两分钟，对于需要即时生成头像的场景来说还不算真正实时。

研究团队也指出了两个自然延伸方向：一是把音频和动作信号接入这套系统，让头像不仅能被视觉驱动，还能配合语音实时生成说话动画；二是把FLAME骨架扩展到身体和手部，从头部头像升级为全身数字人。

归根结底，SpatialAvatar-0证明了一件之前不那么显而易见的事：前馈通才和逐人精修这两种思路根本不需要分道扬镳。只要底层的表示框架足够稳定，训练策略足够克制，两分钟内的精修就能建立在几十毫秒前馈的肩膀上，共同完成一件以前需要数小时才能做好的事。对于需要快速生成大量人物头像的应用场景——无论是影视制作、在线教育、虚拟会议还是游戏开发——这套流水线所代表的效率跃升是实实在在的。感兴趣的读者可以通过arXiv编号2606.15659查阅完整论文，研究团队也在spatialwalk.github.io/SpatialAvatar-0上提供了演示资源。

Q&A

Q1：SpatialAvatar-0为什么比需要在目标数据集上训练的方法还要表现更好？

A：SpatialAvatar-0在第一阶段接触了约一万五千个不同人的视频，积累了极丰富的人脸先验知识。第二阶段通过L2-SP锚定保留了这些知识，同时从多视角数据中补充了几何精度。宽广的身份覆盖加上准确的几何约束，使得模型在陌生数据集上的泛化能力反而超过了只在该数据集上专门训练的方法。

Q2：SpatialAvatar-0的逐人优化为什么只需要一万次迭代而传统方法需要三十万到六十万次？

A：传统方法从随机初始化或粗糙初始化出发，需要大量迭代才能收敛到合理形状。SpatialAvatar-0直接以前馈阶段输出的高质量结果作为起点，已经接近目标，优化只需在细节层面微调，因此一万次就足够。冻结骨架绑定和高斯数量也避免了结构层面的反复搜索，进一步压缩了所需迭代次数。

Q3：SpatialAvatar-0生成的头像能实时渲染吗？

A：可以。生成完成后的头像渲染速度在RTX 3090显卡上达到每秒265.6帧，完全满足实时显示的要求。前馈阶段从一张照片生成完整头像大约只需五十毫秒。逐人优化阶段约需两分钟，完成之后的渲染同样是实时的。