当3D世界开始"懂物理"：港大与腾讯混元联合团队让AI造出能被机器人抓取的虚拟物件

这项由香港大学、腾讯混元、浙江大学、清华大学、上海交通大学和北京航空航天大学联合开展的研究，于2026年5月以预印本形式发布，论文编号为arXiv:2605.05163，有兴趣深入了解的读者可通过该编号查询完整论文。

在电影《头号玩家》里，虚拟世界中的每一件物品都可以被玩家抓起、推倒、打开或关闭，那种世界的真实感令人震撼。然而，今天大多数AI生成的3D模型，不过是一个精美的"纸扎道具"——看起来像真的，但摸上去是空心的，没有重量，没有关节，没有任何与世界互动的能力。机器人伸手一抓，扑了个空；游戏里的箱子打不开；仿真训练中的物体根本不符合物理规律。这个看似不起眼的问题，实际上是整个具身智能（让机器人理解并操作真实世界的技术）和虚拟世界建设领域最棘手的瓶颈之一。

PhysForge这项研究正是为了攻克这一难题而生。研究团队的核心洞察在于：一个物体要能被真正地互动，就必须从它的"用途逻辑"出发来生成，而不是单纯追求外观好看。电视上的按钮之所以是按钮，是因为它的功能是被按下；柜子的门之所以能开合，是因为它有铰链、有转动轴。这些"物理知识"不应该是事后附加的标签，而应该是贯穿整个生成过程的灵魂。

---

一、那些"中看不中用"的3D模型，到底差在哪里

要理解PhysForge的价值，先得明白现有技术的局限。近年来，AI生成3D模型的能力突飞猛进。给它一张照片，它能还原出一个精细的三维网格；给它一段文字描述，它能凭空捏出一个栩真如生的虚拟物体。TRELLIS、CLAY这些前沿模型，在生成高保真几何形状和纹理贴图方面已经相当出色。

然而，这些模型产出的都是"静态资产"——它们只关心物体长什么样，完全不管物体是什么材质、有多重、哪些部分可以动、能被怎样抓握。这就好比一个技艺精湛的画师，能画出极其逼真的锤子，但这幅画里的锤子砸不了任何钉子。

这个问题在具身AI和游戏开发中造成了巨大麻烦。机器人的仿真训练需要大量能够被抓取、推拉、开合的物体模型；游戏引擎需要知道一把椅子有多重、它的扶手是木头还是金属；虚拟世界中的NPC需要知道抽屉可以被拉开，而不只是一块贴着纹理的盒子。目前，这些物理属性要么靠人工一件一件标注（极其耗时耗力），要么干脆缺失（让整个虚拟世界失去真实感）。PhysForge的目标，就是让AI在"造东西"的同时，就把这些物理信息一并生成出来。

---

二、给AI装上一个"物理学家的大脑"：分两步走的生成框架

PhysForge的整体设计哲学，可以用"先规划，再建造"来概括——就像建筑师在施工前必须先画好蓝图，而不是拿起砖头就开始堆砌。

整个框架分为两个阶段，它们分工明确、各司其职。第一阶段负责"想清楚"，第二阶段负责"做出来"。这两个阶段使用的是截然不同的AI架构，各自发挥所长。

**第一阶段：让语言大模型充当"物理建筑师"**

研究团队选用了阿里巴巴的Qwen2.5-VL作为第一阶段的核心模型，并对其进行了专门的微调训练。这个语言大模型（VLM，即能同时处理图像和文字的大型模型）扮演的角色是一位"物理建筑师"：给它一张物体的照片，它不仅要说清楚这个物体由哪些部分组成，还要为每个部分制定完整的"物理规格说明书"。

这份说明书被称为"层级物理蓝图"（Hierarchical Physical Blueprint）。以一个厨房水龙头为例，这份蓝图会告诉我们：整体上，这是一个真实尺寸约0.4米的水龙头，适用于厨房场景；水龙头主体部分由金属制成，质量约1.5千克，功能是输送和控制水流；控制手柄的材质也是金属，质量较轻，它的功能是控制水流的开关，状态机定义为"开"和"关"两个状态，可以被抓握，其与主体的连接方式是"连续旋转关节"（continuous joint）。

为了让语言大模型也能理解三维空间，研究团队为其设计了一套特殊的输入方式。除了原始照片外，模型还会接收一个3D体素表示（可以理解为用无数小立方块搭出来的粗糙3D形状，由另一个模型TRELLIS预先生成）以及一张可选的2D遮罩图（用颜色标出图片中不同的部分）。对于3D体素的处理，团队没有采用业界常用的编码方案，而是先用PartField编码器提取每个体素的局部特征，再通过一个位置感知的3D卷积网络将这些特征压缩成512维的向量——这套方案对于捕捉物体各个部分的局部信息更为有效。

此外，团队为模型的词汇表新增了66个特殊的"坐标标记"，用来描述每个部件的三维边界框（就是将某个部件恰好框住的一个三维长方体）。每个边界框仅需6个标记就能表达完整，极大地提高了结构规划的效率。

研究过程中还发现了一个令人意外的"协同效应"：当模型被训练成同时预测物理属性（材质、功能等）和边界框时，物理属性的约束反过来显著改善了模型对部件的划分能力。也就是说，知道"这一块是用来控制开关的"，会让模型更准确地画出这一块的边界在哪里。即使不提供任何2D遮罩作为提示，模型也能输出在语义上合理的部件分解方案。

**第二阶段：让扩散模型担任"精密工匠"**

有了蓝图，下一步是精确建造。语言大模型擅长规划"这里有一个可以旋转的关节"，但它并不擅长给出精确的数值——旋转轴的方向向量究竟是(0.71, 0, 0.71)还是(1, 0, 0)？旋转范围的上下限分别是多少弧度？这些需要高度精确的连续数值，才是扩散模型（一种特别擅长精确生成图像和三维结构的AI模型类型）的用武之地。

这一阶段在OmniPart框架的基础上进行了核心创新，引入了"运动体素注入"机制（KineVoxel Injection，简称KVI）。这个机制的思路可以这样理解：既然扩散模型已经能够将一个物体的几何形状编码成一系列"几何体素"（代表形状的信息单元），为什么不为每个可活动部件额外创建一个"运动体素"（KineVoxel），将其关节参数也编码进去，然后让几何体素和运动体素在同一个扩散过程中同时生成呢？

具体来说，每个可活动部件的运动参数被表达为一个8维向量，包含三个分量描述关节原点位置、三个分量描述关节轴方向，以及两个分量描述运动范围的上下限。这个向量经过缩放后，由一个专门的运动编码器（两层轻量级神经网络）压缩成一个运动体素向量。随后，这个运动体素被与一系列几何体素拼在一起，一同送入扩散模型的核心变换器（Transformer）进行处理。

为了让模型区分"这是一个几何体素"还是"这是一个运动体素"，团队还为运动体素额外附加了一个关节类型嵌入——这个嵌入正是来自第一阶段语言大模型的预测结果。第一阶段说"这是一个旋转关节"，第二阶段就带着这个先验知识去精确估算旋转轴和旋转范围。两个阶段通过这个关节类型嵌入紧密地绑定在一起，形成了一个完整的信息传递链。

整个第二阶段的训练采用条件流匹配（Conditional Flow Matching）目标函数，损失函数由几何损失和运动损失两部分组成，且运动损失的权重被设为几何损失的10倍——毕竟，精确的关节参数对于物理可交互性至关重要，宁可在这里多花力气。

---

三、没有数据，再好的模型也是无米之炊：PhysDB数据集

训练PhysForge这样的模型，需要大量同时具备精细3D几何和完整物理属性的训练样本。然而，这样的数据集在研究开始之前几乎不存在。现有的3D数据集要么只有几何形状没有物理标注，要么覆盖的物体类别极为有限，要么精度不够。

为此，研究团队专门构建了PhysDB——一个包含15万个3D物体的大规模数据集，所有数据都来自Objaverse这个开源的3D物体仓库，覆盖了七大类物品：家用品、工业品、武器、个人物品、交通工具、科技与电子产品，以及文化用品。

PhysDB的注释体系分为四个层次，层层递进，从宏观到微观构建起一个完整的物理知识框架。

最宏观的一层是"整体属性"，记录物体的真实世界尺寸、物体类别，以及它通常出现在什么场景中（比如厨房、卧室、办公室）。第二层是"静态属性"，深入到部件级别，记录每个部件的语义标签（这是什么部分）、物理材质（金属、木头、塑料、布料等），以及质量。第三层是"功能属性"，受到一个名为OAKINK2的手部动作数据集的启发，记录每个部件的内在功能（比如"用于容纳"、"用于控制"）以及它的状态机定义（按钮有"按下"和"释放"两种状态，抽屉有"开"和"关"两种状态）。最内层、也是最细致的第四层是"交互属性"，规定了每个部件的原子操作库（可以被推、可以被抓、可以被旋转等），并对可活动部件给出完整的运动学定义：父部件是哪个、关节类型（旋转关节、连续旋转关节、平移关节或固定连接）、关节轴的原点和方向，以及运动范围的上下限。

构建这套数据集的流程融合了人工智能与人工审核。团队先渲染出每个物体整体和各部件的图像，送入多模态大语言模型生成初始注释，再经由人工筛查和纠错，确保最终数据的准确性和一致性。

不过，将精确的3D运动学注释（精确到具体的轴向量和关节原点坐标）扩展到15万个形态各异的物体是极为困难的，因为在如此大规模和多样化的数据中，这类精确数值往往难以保证准确性。因此，PhysDB主要侧重于提供丰富的物理属性描述和关节类型，而具体的精确轴参数，则通过另外两个专门的运动学数据集来补充：PartNet-Mobility（来自SAPIEN仿真环境）和Infinite-Mobility（一个通过程序化生成方法构建的大规模铰接体数据集）。这两个数据集提供了精确的数值运动学参数，专门用于训练第二阶段的扩散模型。

---

四、成绩单：PhysForge在各项考试中的表现

研究团队设计了多套评测体系，从不同角度检验PhysForge的能力。

**部件结构规划能力的考核**

在这项测试中，模型需要从一张图片出发，规划出物体由哪些部件组成，以及每个部件的空间位置和大小。测试使用了PartObjaverse-Tiny数据集，包含200个多样化物体，并与两个竞争对手进行比较：OmniPart（一个专门的部件感知3D生成模型，通常需要2D遮罩输入）和PartField（一个点云分割方法）。

评测结果展示了一条清晰的进步轨迹。PhysForge在所有关键指标上（体素召回率、体素IoU、边界框IoU）均超过了其他方法，取得了最优成绩。更值得关注的是两个对比实验：当把PhysForge训练时去掉所有物理属性、只保留边界框预测时（即"PhysForge-bbox"），性能大幅下降，甚至不如OmniPart。但一旦加入物理属性联合训练，即便不提供任何2D遮罩输入，PhysForge的表现也超过了使用SAM（Segment Anything Model，一个自动分割工具）生成遮罩的OmniPart。这有力地证明了物理属性对结构规划的促进作用。

**物理属性生成能力的考核**

在这项测试中，评测分别在PhysXNet数据集（一个专注于物理属性标注的测试集，含1000个物体）和PhysDB测试集（包含1000个按类别均匀采样的物体）上进行，与PhysXGen和TRELLIS两个基线方法比较。

在PhysXNet测试集上，PhysForge在几何质量上（Chamfer Distance为9.21，越低越好；F1分数分别为89.24和75.43，越高越好）优于TRELLIS的10.10/86.53/72.47和PhysXGen的9.81/87.91/73.60。在物理属性预测上，PhysForge的真实尺寸估计误差仅为11.04厘米，而PhysXGen的误差高达25.83厘米；材质预测误差PhysForge为0.81，PhysXGen为1.59；操作可能性预测误差PhysForge为1.22，PhysXGen为3.69；而在功能描述的语义相似度上，PhysForge达到0.87，PhysXGen仅有0.38。

在更多样化的PhysDB测试集上，优势更为明显。PhysForge的绝对尺寸误差仅为0.37米，而PhysXGen为1.08米；材质误差PhysForge为0.43，PhysXGen为1.44；功能属性相似度PhysForge为0.83，PhysXGen仅有0.36；交互属性相似度PhysForge为0.96，PhysXGen为0.34。这种差距的根本原因在于：PhysXGen依赖于不透明的CLIP特征来输出物理属性，信息瓶颈明显；而PhysForge直接通过语言大模型的世界知识，以文本和数值的形式明确输出所有物理属性，且不受类别限制。

**铰接体生成能力的考核**

这是最能体现PhysForge独特价值的考核维度——生成带有精确运动参数的铰接物体（即有活动部件的物体，比如有门的冰箱、有抽屉的桌子）。测试集包含340个铰接物体，来自PartNet-Mobility和Infinite-Mobility，竞争对手包括Articulate Anything、Singapo和URDFormer三个专门的铰接体生成方法。

PhysForge的成绩全面领先。在几何质量上，PhysForge的Chamfer Distance为10.21，而Articulate Anything为23.31，URDFormer高达25.42，Singapo为21.10。图像一致性方面，PhysForge的CLIP相似度达到0.93，其他方法均在0.84到0.87之间。

最关键的关节参数准确性上，在所有方法都支持的5个类别子集中，PhysForge的关节轴误差为0.101、关节原点误差为0.071，而表现最好的竞争对手Singapo分别为0.241和0.153，Articulate Anything为0.608和0.257，URDFormer则高达0.781和0.652。在扩展到所有类别时，PhysForge的关节轴误差为0.164，关节原点误差为0.096，依然保持优势。

团队还专门设计了两个消融实验来验证关键设计选择的必要性。去掉关节类型嵌入（即不把第一阶段的关节类型预测传递给第二阶段）后，关节轴误差从0.101上升到0.157，关节原点误差从0.071上升到0.132。去掉独立的运动编解码器后，误差分别为0.158和0.117。两项消融都导致了明显的性能下降，说明两阶段之间的信息传递机制以及专用运动处理模块都是不可或缺的设计。

---

五、这些能打开的门、能被抓取的工具，最终能用在哪里

PhysForge生成的资产不只是为了看起来好看，它们是真正的"仿真就绪"资产，可以直接投入使用。

在机器人仿真训练领域，研究团队将生成的资产导入了RoboTwin这个双臂机器人仿真环境，结果表明，精细的部件级几何形状和精确的运动参数，让虚拟机器人手臂能够真实地与这些物体互动——抓取把手、推开柜门、拨动开关。这对机器人学习来说意义重大：在虚拟世界中积累的经验，因为物理属性的一致性，可以更好地迁移到真实世界。

在游戏虚拟世界构建领域，团队将生成的资产导入了Unreal Engine 5，展示了玩家可以与之互动的场景。因为每个部件都携带了材质、质量和铰接信息，游戏开发者无需手动绑定，就能直接实现基于物理的复杂交互逻辑——推倒一只陶瓷花瓶会产生与推倒一个金属桶截然不同的物理反馈，这种细节是真正沉浸感的来源。

第三个应用场景颇具想象力：利用PhysForge的语言大模型输出作为智能体与环境互动的接口。具体来说，一个具身智能体（或视觉-语言-动作模型）可以用自然语言查询任意一个物体的物理蓝图，得到文字形式的结构说明和边界框坐标，从而为操作任务提供明确的执行计划。比如，智能体问："这盏台灯的底座是什么材质的，什么形状？"，PhysForge的蓝图会回答："整个台灯是白色塑料制成的，底座是圆形且平坦的。"又问："如何调节台灯的角度和光照方向？"，蓝图会详细说明哪些关节可以旋转、旋转轴在哪里。这实际上是把物理常识以结构化的方式显式地提供给了智能体，大幅降低了任务规划的难度。

---

说到底，PhysForge做的事情，是把长久以来被3D生成领域忽视的一个根本问题重新推回到了台前：一个物体的"形状"和它的"意义"是不可分割的。门的形状决定了它看起来像门，但只有门的铰链轴、材质和开合范围，才让它真正成为一扇可以被推开的门。

从这个角度看，PhysForge不只是一个技术系统，它更代表了一种思维方式的转变——从"生成看起来正确的形状"到"生成能够正确运作的物体"。这种转变对于下一代机器人技术、沉浸式游戏体验乃至整个虚拟世界的建设都有深远影响。

当然，这项研究也有其局限。PhysDB在大规模标注时不得不简化了精确数值运动学参数的标注，目前的方法还需要依赖外部高质量运动学数据集来补充训练；在面对更复杂的多级铰接结构（比如机械臂）时，效果仍有提升空间。这些也许正是未来研究可以继续挖掘的方向。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2605.05163查阅完整论文。

---

Q&A

Q1：PhysForge生成的3D资产和普通3D生成模型生成的有什么区别？

A：普通3D生成模型只输出物体的外观形状和纹理，类似于一个精美但中空的模型道具，无法被程序"理解"其结构。PhysForge在生成形状的同时，还会输出每个部件的材质、质量、功能、可以如何被操作，以及可活动部件的精确关节轴方向、原点位置和运动范围，使生成的物体可以直接导入物理仿真器或游戏引擎进行真实的物理交互。

Q2：PhysDB数据集和已有的3D数据集相比有什么特别之处？

A：PhysDB包含15万个3D物体，覆盖七大类，最大的特点是采用了四层物理属性标注体系：整体属性（尺寸、类别、使用场景）、静态属性（部件材质和质量）、功能属性（部件的用途和状态机）以及交互属性（可执行的操作和运动学参数）。现有数据集要么缺乏物理属性，要么类别覆盖有限，PhysDB填补了这一空白，同时还补充了PartNet-Mobility和Infinite-Mobility的精确运动学数据用于训练。

Q3：KineVoxel Injection机制是怎么工作的？

A：该机制将每个可活动部件的运动参数（关节原点、轴方向、运动上下限，共8个数值）编码成一个特殊的"运动体素"向量，然后在扩散模型的去噪过程中，将这个运动体素与代表几何形状的体素拼接在一起，让二者在同一个神经网络变换器中同时生成。还通过添加关节类型嵌入（来自第一阶段语言大模型的预测）来指导模型准确估算具体参数，实现了几何形状与运动学参数的协同生成。