谷歌造出了会长牙齿、会动眼珠的数字人类头部模型

这项由谷歌（Google）研究团队主导的研究于2026年7月26日以预印本形式发布，论文编号为arXiv:2607.23687v1，感兴趣的读者可通过该编号检索完整技术报告。研究团队由数十位来自谷歌的工程师、科学家和艺术家共同完成，涵盖计算机视觉、计算机图形学、3D建模等多个专业方向。

当你在电影院看到某个角色张嘴大笑，牙齿清晰可见，眼珠随着视线转动，舌头随着说话前后运动——你有没有想过，这背后需要多复杂的技术支撑？在增强现实、虚拟会议、AI生成视频越来越普及的今天，如何让数字人类的头部看起来真实可信，已经成为一个直接影响我们日常体验的技术难题。谷歌这支团队的回答，是一个叫做GNM的全新参数化头部模型——它的全称是"生成式人体测量模型"（Generative aNthropometric Model），名字刻意设计成与人类基因组（genome）同音，暗示它对数字人类头部的"基因级"重建雄心。

---

一、数字人类头部为何一直是个"空壳"

要理解GNM解决了什么问题，先来看看以前的数字人类头部是怎么做的。

以往最流行的技术叫做"三维变形模型"（3D Morphable Model，简称3DMM）。你可以把它理解成一套"脸部积木"：研究人员事先收集了大量真实人脸的三维扫描数据，然后用统计学方法归纳出人脸变化的规律，比如鼻梁高低、颧骨宽窄、下巴形状——这些规律被压缩成一组数字参数，只要调整这些数字，就能生成各种各样不同的面孔。

这套方法在过去几十年里非常成功，从电影特效到人脸识别再到虚拟试妆，都有它的身影。但它有一个根本性的缺陷：它把人类的头部当成了一个实心的面具来处理。外面的皮肤、骨骼结构、轮廓有了，但嘴巴里面是空的——没有牙齿，没有舌头；眼眶里只有一个球形占位符，没有角膜的弧度变化，没有瞳孔大小的控制。

这个问题在平时看起来不严重，但一旦角色张嘴说话、大声笑出来，或者镜头拉近到眼部特写，问题就立刻暴露出来。生成的画面会让人感到一种说不清道不明的"不对劲"——专业上叫做"恐怖谷效应"，就是当一个数字角色长得很像真人但又差了那么一点点时，人类大脑会产生强烈的不适感。

现有的主流模型，比如FLAME（学界广泛使用的面部形状表情模型）、BFM（巴塞尔面部模型）等，都存在这个"空壳"问题。它们专注于外部皮肤的几何形状，对口腔内部结构和眼球细节几乎完全忽略。GNM的出发点，就是要把这个空壳填实——把牙齿、舌头、眼球这些内部结构也纳入统一的参数化体系，真正做到"表里如一"。

---

二、一套真正完整的头部"蓝图"

GNM的核心思路，是把头部看作一个由多个解剖部位组成的复杂系统，每个部位都有自己的参数化控制，但所有部位又在一个统一的数学框架下协调运作。

具体来说，GNM管理着一张由17821个顶点组成的三维网格，这些顶点覆盖了外部皮肤、牙齿、舌头和眼球的完整几何形状。控制这张网格的参数分为两大类：一类叫"身份参数"，决定这个人长什么样，共有253个维度；另一类叫"表情参数"，决定这个人在做什么表情，共有382个维度。此外还有4个关节的旋转角度（控制脖子、头部整体和两个眼球的转动方向）以及全局位置参数。

这套参数体系的数学原理其实并不复杂。用烘焙来打比方的话：身份参数就像是蛋糕的基础配方，决定蛋糕的基本形态；表情参数就像是装饰方式，决定同一块蛋糕在不同时刻呈现出的面貌。数学上，最终的脸部形状等于一个基础模板，加上若干个"形变基向量"乘以对应参数的总和——每一个基向量代表一种典型的变化方向，比如"鼻梁变高"或"嘴角上扬"，参数的数值决定这种变化的程度。

更巧妙的是，GNM把身份参数和表情参数都进一步拆解成了对应不同解剖区域的子空间。身份参数分为头部整体（170个维度）、眼球形状（3个维度）和牙齿形状（80个维度）三个部分。表情参数则分为左眼周围区域（100个维度）、右眼周围区域（100个维度）、下半脸（150个维度）、舌头（31个维度）和瞳孔扩张（1个维度）五个部分。

这种分区设计带来了一个实用上的巨大好处：当你调整嘴巴张开的幅度时，眼睛不会莫名其妙地随之变化；当你让角色眨左眼时，右眼可以保持完全不动。现实中的人脸也是这样工作的，所以这种"局部独立控制"让GNM生成的表情更加自然可信，避免了以往全局参数模型中常见的"牵一发而动全身"问题。

---

三、五千人的面孔，十五万次表情

GNM的质量在很大程度上取决于它的训练数据。谷歌团队为此专门搭建了一套高规格的多视角人脸扫描系统。

这套系统安装了22台高分辨率工业相机（每台分辨率达到6144×4096像素）和14盏可编程控制的灯光，整体呈弧形排布，水平方向覆盖大约150度视角，垂直方向覆盖60度视角。被扫描的人坐在中间，系统同步拍摄后利用多视角深度精化算法重建出高精度的三维几何模型。

整个数据库包含超过5000名来自不同背景的真实人物，他们的性别、年龄、族裔分布尽量均衡——男性占41%，女性占36%，其余为未披露性别；年龄从15岁到84岁；族裔涵盖白人（38%）、东亚（24%）、南亚（14%）、黑人（8%）等多个群体。每个人都需要按照预设的动作序列做出各种表情，从而获得约150,000个样本。

这些表情涵盖十大类别：面部整体拉伸或压缩的"弯曲"动作、用于语音研究的十种标准嘴型（即"视素"）、嘴唇的各种运动（卷唇、噘嘴、漏斗形）、基本情绪表情（悲伤、恐惧等）、舌头运动（卷舌、侧移等）、下颌侧向运动、眨眼和眯眼（单眼或双眼）、不同方向的目光转移、眉毛的上挑和下压，以及面颊的吸入和鼓起。

为了每天能处理约一万个样本，团队还开发了一套高度并行化的数据处理流水线，将繁琐的三维重建、配准、质量检验等步骤全部自动化。

---

四、让扫描数据"穿上"统一的外套——配准流程

收集到三维扫描数据只是第一步。更难的问题是：如何让来自5000个不同人的扫描数据都"穿上"同一套网格拓扑，也就是让所有人的第1234号顶点都对应鼻尖，第5678号顶点都对应左眼角——这个过程叫做"配准"（Registration）。

GNM的配准流程借鉴了FLAME模型的迭代协同配准思路，但做了大量针对性改进。整个过程可以理解为一个"鸡生蛋、蛋生鸡"的迭代循环：先用当前版本的GNM模型去配准新的扫描数据，然后用配准好的数据去更新GNM模型，如此反复，模型和数据质量相互提升。

技术上，配准过程分为两个主要阶段。第一阶段先把GNM模型拟合到扫描数据，然后在此基础上做每个顶点的精细偏移调整。这个调整过程依赖一个基于物理的可微分渲染器（使用Mitsuba渲染引擎），通过对比渲染出来的图像和实际拍摄的图像来计算损失，指导优化。

为了让配准更准确，团队同时利用了多种辅助信息：从拍摄图像中提取的约600个密集人脸关键点（标注了面部各部位的精确位置）；从多视角重建得到的法线图（描述表面朝向）；以及逐像素的语义分割（告诉每个像素属于皮肤、眼睛还是嘴唇等哪个部位）。针对牙齿和舌头这些经常被遮挡的区域，则主要依赖关键点坐标来引导配准，而不是像素级的颜色匹配。

在几何正则化方面，配准过程还引入了梯度下降预调节器、顶点偏移的L2正则化、拉普拉斯平滑约束，以及一个专门用于防止嘴唇、舌头、耳朵等高曲率区域自相交的可微分损失函数。

头部后方的颅骨区域是另一个挑战：扫描系统的视角无法直接看到被头发遮挡的颅骨形状。团队采用了一种"跨域潜空间回归"策略来解决这个问题：先用200个由艺术家精心制作的完整头部网格建立一个辅助模型，然后把已经配准好的面部投影到这个辅助模型上，推断出解剖学合理的颅骨形状，再通过非刚性变形将这个颅骨形状融合回原始配准结果中。

---

五、牙齿也有"遗传密码"——口腔内部结构的建模

解决了外部皮肤的建模后，GNM最大的创新之一就是把牙齿和舌头也纳入了统一的参数化体系。

牙齿建模面临一个有趣的困境：现实中很难直接扫描到人们完整的牙齿三维形状，因为嘴唇大多数时候是闭着的，而且即使张嘴，单纯依靠多视角相机也很难精确重建牙齿内部的复杂几何。团队的解决方案是走一条"艺术家+程序化生成"的路线。

首先，艺术家制作了一个通用的牙齿模板模型，并为每颗牙齿（上颌和下颌各16颗，共32颗）设计了一套绑定骨骼。然后通过程序化方式随机变化每颗牙齿的大小、形状、排列角度、相对位置等参数，同时保持解剖学合理性，最终生成了5000套不同的合成牙齿形态，包含牙齿本身和相应的牙龈。

这5000套牙齿数据随后经过主成分分析（PCA，一种从大量数据中提取主要变化规律的统计方法），得到了80个描述牙齿形态主要变化方向的"基向量"，这就是GNM身份参数中牙齿部分的80个维度。调整这些参数，可以生成门牙宽大或细小、牙缝或宽或窄、咬合关系略有差异等各种真实人类牙列变化。

舌头的建模比牙齿更复杂，因为舌头是一个极度柔软可变形的器官，运动范围极大，从平放在口腔底部到卷起来伸出嘴外，形变幅度可以非常夸张。而且从外部很难捕捉到舌头的完整三维形态。

GNM的解决方案是两步走。第一步，利用数据库中专门采集的舌头运动序列（包括卷舌、侧移等），结合外部皮肤和嘴唇的几何形状，用一个艺术家制作的舌头绑定骨骼系统生成不会与口腔结构穿插的合成舌头姿态。第二步，结合来自公开研究的稀疏三维舌头关键点数据，在严格的形态学和曲率约束下拟合舌头，保证解剖学合理性。

最终，约2500个舌头姿态样本经过主成分分析，得到了31个描述舌头运动主要方向的基向量，构成GNM表情参数中的舌头子空间。一个特别的设计细节是：默认参数（全为零）时，舌头会自然收缩在口腔内部，只有当参数被主动激活时才会做出各种动作，这让模型的默认状态看起来更自然。

---

六、眼睛里的"两个球"——眼球建模的精妙之处

眼球的建模在GNM中也得到了特别的关注。以往大多数三维人脸模型把眼球简单处理为一个完整的球体，但真实的眼球结构要复杂得多。

人类眼球由两个弧度不同的球面组合而成：占据眼球大部分体积的是白色的巩膜（就是眼白），它近似一个大球体；前方覆盖着瞳孔和虹膜的角膜则是一个弧度更大的小球面，凸出程度明显高于巩膜，两者之间通过一个叫做"角巩膜缘"的过渡区域连接。

这种"双球模型"对于高质量眼部渲染至关重要，因为角膜的弧度直接决定了它反射光源时形成的"角膜光斑"的形状和位置——这个光斑是眼部追踪技术中最重要的特征之一，如果建模不准确，整个视线方向的预测就会出错。

GNM的眼球模型保持巩膜半径固定（约14.6毫米，接近人类平均值），而角膜半径和角巩膜缘半径则根据真实生理统计数据的高斯分布进行变化：角巩膜缘半径均值6.0毫米、标准差0.44毫米；角膜半径均值8.5毫米、标准差0.73毫米。

为了把这些本质上是非线性的几何参数转化为线性参数化模型，团队采样了10,000个不同参数组合下的二维眼球截面轮廓线，对这些轮廓线做主成分分析，得到二维的线性基向量，然后利用眼球旋转体的几何特性（截面绕光轴旋转一圈可以得到完整三维形状），将二维基向量映射到三维网格上。最终只需要3个参数就能描述眼球形状的主要变化，这3个参数也成为GNM身份参数中眼球子空间的3个维度。

瞳孔大小的控制则单独设计了一个表情参数：该参数范围从-3到+3，在-3时瞳孔收缩到极点，在0时瞳孔半径为虹膜半径的一半，在+3时瞳孔扩张到覆盖整个虹膜。这1个维度构成了GNM表情参数中的瞳孔子空间，让光照条件的变化、情绪状态等因素对瞳孔大小的影响得以真实模拟。

---

七、用数学严格证明"质量够好"——模型性能评估

一个好的参数化模型需要在两个方向上同时表现优秀：一方面要有足够的"泛化能力"，也就是能够表示它从未见过的各种新面孔；另一方面要有足够的"专一性"，也就是它随机生成的面孔都得是真实可能存在的人脸，而不是奇奇怪怪的外星人造型。

谷歌团队用了15,000张未参与训练的真实人脸扫描数据作为测试集，对GNM和FLAME进行了全面对比评估。FLAME是目前学界最广泛使用的开源三维面部模型之一，被作为基准参照。

评估泛化能力的方法是"扫描到网格距离"：把模型尽量拟合到一张真实扫描，然后测量两者之间的平均表面距离，距离越小说明模型越能精确地表示真实面孔。在15,000张测试扫描上，GNM的平均误差为0.748毫米，中位数误差为0.623毫米，标准差为0.529毫米。相比之下，FLAME的平均误差为0.971毫米，中位数误差为0.780毫米，标准差为0.734毫米。GNM的误差比FLAME降低了约23%，差距相当显著。

更值得注意的是，这种改进在各个面部区域和各类人群中都是一致的。无论是前额、鼻子、面颊、上唇还是下唇，GNM都比FLAME有更低的重建误差。在人口分组上，不管是男性还是女性，无论是20-35岁还是56岁以上的群体，不管是黑人、白人、东亚人还是其他族裔，GNM的表现始终优于FLAME。在表情类型上，对于复杂的综合表情、需要下颌运动的表情、嘴唇运动的表情和上半脸表情，GNM都保持了一致的领先优势。

在专一性评估上，团队从模型参数空间随机采样了2000个身份，测量每个随机生成的头部与测试数据库中最相近的真实人脸之间的距离。GNM生成的随机身份比FLAME更接近真实人脸，说明GNM的参数空间"边界"被更好地约束在了合理的人类解剖学范围内，不容易产生奇怪的变形。

在身份参数数量与重建精度的关系上，GNM的泛化曲线比FLAME上升更快——也就是说，用更少的参数，GNM就能达到FLAME需要更多参数才能达到的精度水平，体现出更高的信息压缩效率。

---

八、从照片重建三维头部——拟合流水线

参数化模型的一个核心应用场景，是从二维图像中重建出对应的三维头部几何。GNM团队开发了一套完整的图像拟合流水线来展示这种能力。

整个流程的核心思路是：给定一张人脸图像，先用一个预训练的密集关键点检测器预测出约600个面部关键点的二维坐标（标注了面部轮廓、眼部、鼻子、嘴唇、牙齿、舌头等位置），然后通过优化GNM的参数，让模型生成的三维头部"投影"回二维后，其关键点位置尽量与检测到的关键点重合。

优化过程中使用了四项能量函数的加权组合：关键点重投影误差（驱动拟合准确性）、身份和表情参数的L2正则化（防止参数取到离谱的值）、防止皮肤与眼球或口腔内部结构相互穿透的解剖约束（确保几何合理性），以及处理视频序列时的时序平滑项（防止相邻帧之间的参数跳变）。

团队在三种不同场景下展示了拟合效果。第一种是合成图像的单视角拟合：使用2000张由GNM自身渲染的合成图像，以消除关键点检测误差的干扰，直接用7000个真实地面真值关键点驱动拟合。GNM的平均重建误差为1.683毫米，而FLAME为2.172毫米，差距约22%。第二种是多视角同步拍摄视频的拟合：对同一人的多个视角同时拟合，共享身份参数，独立求解每帧的表情参数和头部姿态，得到了极为精细的三维重建结果，包括极端表情和张嘴露出牙齿的状态，全部都在GNM的参数空间范围内。第三种是真实场景图像的单视角拟合：在各种光照条件、摄像机参数和极端表情的自然图像上，GNM展示出比FLAME更强的表达能力，尤其在处理张嘴露出牙齿、舌头伸出口腔以及不对称眼部运动等情形时，效果差异尤为明显。

---

九、让普通人也能"指挥"参数空间——语义采样器

GNM的另一个重要组件是"语义采样器"，它解决了一个实际使用中非常棘手的问题：GNM的253个身份参数和382个表情参数都是统计学意义上的主成分，对于不懂数学的动画师或普通用户来说，完全无从直觉地理解"第47个身份参数调大一点会让这张脸变成什么样"。

语义采样器的设计思路是建一座"桥梁"：一侧是人类能理解的高层语义属性（比如"男性"、"东亚人"、"开心表情"），另一侧是GNM的数字参数。桥梁的核心是一对条件变分自编码器（CVAE），这是一种特殊的神经网络，能够学习从语义类别到参数空间的概率映射关系。

身份采样器处理两个维度的条件信息：性别（男性/女性两类）和族裔（中东、亚洲、黑人、白人四类），这两个维度的独热编码拼接成一个6维的条件向量。在此条件下，网络还会从标准正态分布中采样一个64维的随机潜变量，捕捉同一人口群体内的个体差异。表情采样器则使用20个表情类别的独热编码作为条件，这20个类别涵盖了从基本情绪（开心、惊讶、厌恶、狰狞）到细化口部动作（面颊吸入、噘嘴、面颊鼓起、漏斗形嘴型、嘴唇向内卷、舌头居中），再到身体紧张类（面部拉伸、面部压缩、颈阔肌激活）和局部不对称运动（单眼眨眼、眯眼、嘴角侧向运动、宽幅微笑、嘴角拉拽）等各个方面。

两个采样器都使用对称的多层感知机（MLP）结构，分别有三到四层隐藏层，编码器和解码器互为镜像。训练目标是重建误差（用L1范数，因为它对极端表情更鲁棒）和KL散度正则化（让学到的后验分布尽量接近标准正态分布，从而让随机采样产生合理结果）的加权组合。

为了防止网络"懒惰"地忽略随机潜变量（这是CVAE训练中常见的"后验坍缩"问题），团队采用了循环退火的KL权重调度方案，在训练初期让KL权重从0逐渐升高到0.05，强制网络充分利用潜变量的容量。此外，还引入了mixup正则化技术：在训练时随机将两个不同类别的条件向量按一定比例混合后送入解码器，让网络学会在两个语义类别之间的"中间地带"生成合理的面部形状。这让生成的40%东亚加60%白人混合身份、或者70%开心加30%惊讶的混合表情，都能产生自然流畅、没有穿插变形的结果。

语义采样器在12,000个样本的数据集上训练完成后，使用者只需输入简单的语义属性，就能获得高质量的GNM参数，无需接触任何统计学专业知识。

---

归根结底，GNM做的事情，是把数字人类头部从一个精致的"面具"升级成了一个有血有肉、内外俱全的完整解剖模型。它第一次把牙齿、舌头、眼球的参数化建模与外部面部皮肤统一在一套数学框架下，让数字人类在张嘴说话、大笑、皱眉或者盯着你看的时候，每一个细节都能协调运动，而不是各自为政。

对于普通用户来说，这项技术最直接的影响体现在你每天接触的内容上：AR视频通话里的虚拟形象会更自然，游戏角色的表情会更真实，AI生成的说话人视频里的嘴唇和牙齿不再只是一片模糊。对于研究者和开发者，谷歌团队将GNM的完整框架开源，任何人都可以在学术研究或商业应用中免费使用，这意味着整个数字人类领域都能从这套基础设施中获益。

你或许会好奇：既然这个模型已经把头部内外都建模了，下一步是什么？团队提到，他们下一步的重点是开放他们用于高质量面部追踪的密集关键点数据集，让更多研究者可以直接把GNM整合进自己的处理管线。而随着GNM作为"几何锚点"被接入扩散模型、高斯泼溅等神经渲染技术，我们看到的数字人类可能在不久的将来就会彻底突破恐怖谷效应——届时你可能真的分不清屏幕对面到底是真人还是数字模型，这是令人期待还是令人警惕的进步，也许值得我们每个人认真思考。

感兴趣的读者可以通过论文编号arXiv:2607.23687查询完整技术报告，或访问论文中提供的GitHub地址获取开源代码和模型。

---

Q&A

Q1：GNM模型和FLAME模型相比，主要改进在哪里？

A：FLAME模型把人类头部当作中空的外壳处理，没有牙齿、舌头等口腔内部结构，眼球也只是简单的球体占位符。GNM在保持与FLAME相似的线性参数化框架的基础上，新增了参数化的牙齿形状控制（80个维度）、舌头运动控制（31个维度）和更精确的双球体眼球模型（包含角膜弧度变化和瞳孔扩张控制）。在15,000张测试扫描上，GNM的平均重建误差比FLAME低约23%，且这种改进在不同人群和表情类型上均保持一致。

Q2：GNM的牙齿数据是怎么来的，为什么不直接扫描真人牙齿？

A：直接扫描真人牙齿在技术上非常困难，因为口腔空间狭小，嘴唇大多数时候遮挡牙齿，多视角相机难以精确重建牙齿内部复杂的几何细节。GNM的解决方案是让艺术家先制作一个通用牙齿模板并为每颗牙齿设计绑定骨骼，然后通过程序化方式随机变化每颗牙齿的大小、形状和排列，生成5000套合成牙齿数据，再对这些数据做主成分分析提取80个主要变化方向。

Q3：GNM语义采样器的族裔分类只有四种，会不会产生偏见问题？

A：这是团队在论文中明确承认的局限性。语义采样器的族裔分类仅涵盖中东、亚洲、黑人、白人四个大类，性别也仅分为男性和女性两类，这些分类并不能反映真实人类群体的完整多样性。这些限制直接源于训练数据的可用性和采集条件。团队明确指出用户在具体应用中应意识到这些局限，审慎考虑其对公平性、偏见和代表性的潜在影响，尤其是在涉及族裔和性别相关的生成任务时。