香港科技大学团队突破：让AI像真正的设计师一样，一步步"拼积木"创造3D世界

这项由香港科技大学的董少聪、许丹教授团队联合中文大学、商汤科技和上海AI实验室共同完成的研究发表于2025年7月，论文标题为"From One to More: Contextual Part Latents for 3D Generation"。有兴趣深入了解技术细节的读者可以通过arXiv:2507.08772v1访问完整论文。

当我们走进任何一个3D设计工作室，都会看到设计师们专注地在电脑屏幕前工作着。他们创造一个复杂的3D模型时，从不会一下子就捏出整个物体，而是像搭积木一样，先做出头部，再做身体，然后是四肢，最后把所有部分组装起来。这种"化整为零"的创作方式不仅让设计师能够精雕细琢每个细节，还能随时调整和修改单个部分。

然而，当前的AI 3D生成技术却像是一个"急性子"的学徒，总想一口气把整个3D物体"吐"出来。这种做法就像试图一笔画完整幅画一样，结果往往是整体看起来还行，但细节模糊不清。特别是当需要生成复杂物体时，比如一个穿着全套装备的消防员，AI经常会把头盔和头部融合在一起，或者把工具和身体搞混，产生一团模糊的东西。

面对这个问题，香港科技大学的研究团队提出了一个革命性的解决方案：让AI也学会像人类设计师一样"分部件"工作。他们开发了一个名为CoPart的系统，这个名字来自"Contextual Part"（上下文部件）的缩写。

一、让AI学会"化整为零"的创作哲学

传统的AI 3D生成系统就像一个只会画简笔画的机器人，无论你要求它画什么，它都用同样粗细的笔，同样的力度，试图一笔完成。结果就是简单的物体还能凑合，复杂的物体就变得面目全非。

CoPart的核心创新在于彻底改变了这种"一锅煮"的思路。它把3D物体的创建过程分解成了多个独立但相互关联的"部件生成"任务。就像一个经验丰富的厨师准备一道复杂菜肴时，会分别处理不同的食材，最后巧妙地组合在一起，产生完美的味觉体验。

这种方法的巧妙之处在于，每个部件都能得到AI的"专门关照"。当AI专注于生成一个消防员的头盔时，它不需要同时考虑身体、工具和其他复杂因素，可以把全部"注意力"都投入到头盔的形状、材质和细节上。这样生成出来的头盔不仅外观精美，而且具有独立的语义意义——它就是一个头盔，而不是某个模糊物体的一部分。

更重要的是，CoPart引入了一个"上下文关联"的概念。虽然每个部件是独立生成的，但它们之间并不是完全孤立的。就像交响乐团中的每个乐器都有自己的旋律，但所有旋律都围绕着同一个主题展开。AI在生成头盔时，会"感知"到这个头盔需要和消防员的制服、工具等其他部件协调一致，确保整体的和谐统一。

二、双重编码：让AI同时"看得见"和"摸得着"

CoPart的另一个核心创新是采用了"双重编码"的策略。如果说传统AI只会用一种"语言"来描述3D物体，那么CoPart就像一个精通多种语言的翻译官，能够同时用两种不同的"方言"来理解和生成3D内容。

第一种"语言"是几何语言。AI通过这种语言理解物体的三维形状、尺寸和空间关系。它就像一个精确的工程制图员，能够准确把握每个部件的长宽高、曲面形状和空间位置。当AI用这种语言描述一个消防员的头盔时，它关注的是头盔的圆弧度、厚度、以及与头部的配合关系。

第二种"语言"是图像语言。AI通过这种语言理解物体的外观、颜色、材质和纹理。它就像一个敏锐的摄影师，能够捕捉到每个部件的视觉特征。当AI用这种语言描述同一个头盔时，它关注的是头盔的光泽度、颜色深浅、表面纹理和反光效果。

这两种"语言"的结合产生了神奇的效果。几何语言确保了生成的部件在三维空间中是合理的，不会出现物理上不可能的形状。图像语言则确保了部件在视觉上是令人信服的，具有逼真的外观和材质感。

更巧妙的是，CoPart利用了已经训练好的专业AI模型。对于几何语言，它借用了专门处理3D几何的AI模型的"大脑"。对于图像语言，它则借用了专门处理2D图像的AI模型的"眼睛"。这种做法就像让一个建筑师和一个画家合作完成同一个项目，建筑师负责确保结构的合理性，画家负责确保外观的美观性。

三、"相互指导"机制：让部件之间学会协作

想象一下，如果让几个完全不认识的人分别制作一套家具的不同部件，最后很可能会出现桌子太高、椅子太矮、颜色不搭配等问题。CoPart面临的挑战也是如此：如何让独立生成的各个部件最终能够完美配合？

研究团队设计了一个精巧的"相互指导"机制来解决这个问题。这个机制就像一个经验丰富的项目协调员，在整个创作过程中不断地让各个部件之间"对话"和"协商"。

在技术层面，这个机制包含了两种类型的"对话"。第一种是"部件间对话"，让正在生成的每个部件都能"看到"其他部件的进展情况。比如，当AI在生成消防员的头盔时，它能够感知到制服的颜色风格，从而调整头盔的设计，确保两者在视觉上协调一致。

第二种是"语言间对话"，让同一个部件的几何描述和图像描述能够相互影响。这就像让建筑师和画家在工作过程中不断交流，建筑师的结构设计会影响画家的色彩选择，画家的美学意见也会影响建筑师的细节调整。

这种相互指导的过程是连续进行的。在AI生成3D物体的每一个步骤中，所有部件都在相互"倾听"和"响应"。这确保了最终生成的物体不仅每个部件都精美细致，而且整体上具有强烈的一致性和协调感。

四、"包围盒"导航：给AI一个精确的施工图

在现实世界中，建筑师在开始施工前会先画出详细的平面图，标明每个房间的位置和大小。CoPart也采用了类似的策略，通过"3D包围盒"来指导AI的创作过程。

这些包围盒就像一个个透明的"容器"，告诉AI每个部件应该在什么位置，占据多大的空间。比如，当要生成一个坐着的人物时，系统会先设定一个包围盒表示头部的位置，另一个包围盒表示躯干的位置，还有包围盒表示四肢的位置。AI就像一个遵循指示的雕塑家，在每个指定的空间内精心创作相应的部件。

这种方法的优势在于提供了精确的空间约束和语义指导。空间约束确保了各个部件在三维空间中的位置关系是合理的，避免了部件重叠或分离的问题。语义指导则确保了每个部件都有明确的意义和功能，不会出现无法识别的奇怪形状。

更重要的是，包围盒机制使得CoPart具有了强大的可控性。用户可以通过调整包围盒的位置和大小来精确控制生成结果。想要一个更大的头部？调整头部包围盒的大小。想要改变手臂的姿势？移动手臂包围盒的位置。这种直观的控制方式让普通用户也能轻松操作。

五、"全局监督"：确保整体和谐统一

虽然CoPart强调部件化的创作方式，但研究团队深知，优秀的3D作品不仅需要精美的细节，更需要整体的和谐统一。为此，他们设计了一个"全局监督"机制，就像一个总指挥，在关注每个部件的同时，始终把握着整体的方向。

这个机制的工作原理类似于一个经验丰富的艺术总监。它不仅要确保每个演员的表演都很出色，还要确保所有演员的表演风格一致，共同营造出想要的氛围。在技术实现上，全局监督机制会同时生成一个"全局版本"的3D物体，这个版本包含了整体的风格和特征信息。

各个部件在生成过程中会不断参考这个全局版本，确保自己的风格和特征与整体保持一致。这就像乐队中的每个乐手都会听着指挥的节拍，确保自己的演奏与整体节奏协调。

全局监督机制还起到了"质量控制"的作用。如果某个部件的生成过程出现了偏差，全局监督会及时发现并进行调整，防止局部问题影响整体效果。这种机制特别重要，因为它确保了CoPart在获得细节优势的同时，不会失去整体的协调性。

六、突破性的应用场景：从编辑到创造

CoPart的部件化设计不仅提高了3D生成的质量，还开启了许多前所未有的应用可能性。这些应用就像给3D创作工具安装了各种功能强大的"插件"，让用户能够实现更多创意想法。

部件编辑功能让用户能够像修改文档一样轻松修改3D物体。想要给一个角色换个发型？只需要重新生成头发部件，其他部分保持不变。想要给一把武器换个颜色？只需要调整武器部件的材质设置。这种精确的编辑能力在传统的整体生成方法中是不可能实现的。

关节物体生成功能让CoPart能够创造出可以活动的3D模型。通过结合专门的关节生成算法，系统能够创造出具有合理关节结构的角色模型。这些模型不仅外观逼真，还能进行各种动作，为游戏开发和动画制作提供了强大的工具。

微型场景生成功能则展示了CoPart的另一个惊人能力。系统可以把整个场景中的每个物体都当作一个"部件"来处理，生成包含多个物体的复杂场景。比如，一个餐厅场景可能包含桌子、椅子、餐具、食物等多个物体，每个物体都是独立生成的，但它们在风格和尺度上完全协调一致。

这些应用的实现得益于CoPart的灵活架构。由于每个部件都是独立可控的，用户可以通过组合不同的部件来实现各种创意想法。这种灵活性就像拥有了一套高质量的3D"乐高积木"，用户可以根据自己的需求自由组合搭建。

七、数据集建设：为AI准备"营养均衡"的训练餐

要让AI学会像人类设计师一样进行部件化创作，首先需要给它提供大量的"示例"来学习。然而，现有的3D数据集在这方面存在明显的不足。研究团队面临的情况就像想要培养一个优秀的厨师，但手头只有一些简单的食谱和粗糙的食材。

为了解决这个问题，研究团队构建了一个名为"PartVerse"的大规模3D部件数据集。这个数据集包含了来自12000个物体的91000个高质量部件，涵盖了175个不同的类别。相比之前最大的部件数据集PartNet只有24个类别，PartVerse的丰富程度有了质的飞跃。

构建这个数据集的过程就像一个精心设计的"食材准备"流程。研究团队首先从大型3D模型库Objaverse中选择了高质量的3D模型作为"原材料"。然后，他们开发了一个智能分割算法，能够自动将这些完整的3D模型分解为语义上有意义的部件。这个算法就像一个经验丰富的解剖师，能够准确识别出每个部件的边界和功能。

由于自动分割算法可能会出现过度分割或分割不足的问题，研究团队还组织了人工标注人员进行质量控制。这些标注人员就像食品质检员，仔细检查每个部件的质量，合并过度分割的部分，分离分割不足的区域，确保每个部件都有清晰的语义意义。

数据集建设的另一个重要环节是为每个部件生成文字描述。研究团队利用先进的视觉语言模型，为每个部件生成了详细的文字描述，包括外观特征、材质属性和与整体的关系。这些描述就像给每个部件配上了"身份证"，帮助AI理解每个部件的特点和用途。

八、实验验证：让数据说话

为了验证CoPart的效果，研究团队进行了全面的实验评估。这些实验就像一场严格的"考试"，从多个角度检验CoPart的能力。

在与现有顶级3D生成系统的对比中，CoPart展现出了显著的优势。特别是在生成复杂物体时，CoPart生成的模型在细节精度和部件独立性方面都明显优于传统方法。比如，在生成一个全副武装的士兵时，传统方法往往会把武器和身体混合在一起，而CoPart能够清晰地区分每个装备部件。

研究团队还进行了用户研究，邀请了51名来自不同背景的参与者对生成结果进行评价。结果显示，在整体质量评估中，54.9%的参与者更偏好CoPart的生成结果。在部件质量评估中，这个比例更是达到了60.8%。这些数据客观地证明了CoPart在用户体验方面的优势。

定量评估实验使用了多个客观指标来衡量生成质量。在几何一致性方面，CoPart的得分为0.1607，远高于其他方法。在图像质量方面，CoPart的得分为0.1768，同样领先于竞争对手。这些数据表明，CoPart不仅在主观感受上更好，在客观指标上也确实更优秀。

消融实验进一步验证了CoPart各个组件的重要性。当移除全局监督机制时，生成结果的整体协调性明显下降。当移除相互指导机制时，各个部件之间的一致性出现问题。这些实验结果证实了CoPart的设计是合理和必要的。

九、未来展望：3D创作的新时代

CoPart的成功不仅仅是一个技术突破，更代表了3D内容创作理念的根本转变。它展示了"化整为零"的创作方式在AI领域的巨大潜力，为未来的3D内容创作开辟了新的道路。

从技术发展的角度来看，CoPart为3D生成技术的发展提供了一个新的方向。传统的整体生成方法已经接近了其技术极限，而部件化生成方法则为进一步提高生成质量提供了广阔的空间。随着算法的不断优化和硬件性能的提升，我们可以期待更加精细、更加可控的3D生成效果。

在应用层面，CoPart的影响可能会扩展到许多行业。游戏开发者可以利用CoPart快速生成大量的游戏角色和道具，大大减少建模工作量。影视制作团队可以用它来创建概念设计和预览模型，加速创作流程。教育领域也可以利用CoPart来生成教学用的3D模型，让抽象概念变得更加直观。

更重要的是，CoPart降低了3D创作的技术门槛。传统的3D建模需要专业的技能和经验，而CoPart的直观控制界面使得普通用户也能参与到3D创作中来。这种民主化的趋势可能会催生全新的创作生态，让更多的人能够表达自己的创意想法。

当然，CoPart目前还存在一些限制。生成时间相对较长，对硬件要求较高，生成的部件数量也有限制。但随着技术的不断进步，这些问题都有望得到解决。

说到底，CoPart的最大价值在于它改变了我们对AI创作的理解。它证明了AI不仅可以模仿人类的创作结果，还可以学习人类的创作过程。这种"过程导向"的AI设计理念可能会在更多领域产生深远影响。

归根结底，CoPart为我们展示了一个令人兴奋的未来愿景：AI不再是一个冷冰冰的工具，而是一个能够理解创作逻辑、具备协作能力的智能伙伴。在这个未来中，人类的创造力和AI的计算能力将实现完美结合，共同创造出前所未有的精彩内容。对于那些对技术细节和实现方法感兴趣的读者，完整的研究论文可以通过arXiv:2507.08772v1获取，其中包含了更多深入的技术分析和实验数据。

Q&A

Q1：CoPart是什么？它和传统3D生成有什么区别？ A：CoPart是一种新的AI 3D生成技术，它模仿人类设计师的工作方式，把复杂的3D物体分解成多个部件分别生成，然后组装起来。这与传统方法一次性生成整个物体不同，能够产生更精细、更可控的结果。

Q2：普通人能使用CoPart吗？需要什么技术背景？ A：CoPart的设计目标之一就是降低3D创作的技术门槛。用户只需要提供文字描述和简单的3D包围盒设置，就能生成高质量的3D模型。不过目前这项技术还在研究阶段，尚未有面向普通用户的商业产品。

Q3：CoPart生成的3D模型能用于游戏开发或影视制作吗？ A：是的，CoPart生成的模型具有工业级的质量，特别适合游戏开发和影视制作。它能生成可编辑的部件、支持关节动画，还能快速生成大量不同的角色和道具，大大提高制作效率。