腾讯混元团队推出P3-SAM：让AI像人一样精准拆解3D物体

当我们看到一个复杂的玩具机器人时，能轻松识别出它的头部、手臂、腿部等各个组成部分。但对于计算机来说，这却是一个极其困难的任务。如何让AI也能像人类一样，自动识别并分离出3D物体的各个部分呢？腾讯混元团队最近发表的一项研究给出了令人惊喜的答案。

这项由腾讯混元团队联合南京大学、上海科技大学、香港大学和浙江大学的研究者共同完成的工作，于2025年9月发表在计算机视觉顶级会议上。研究的第一作者马长峰和项目负责人李阳，带领团队开发出了一个名为P3-SAM的AI系统，能够自动将任何3D物体精确分解成各个组成部分。这就像拥有了一双"火眼金睛"，无论面对多么复杂的3D模型，都能准确识别出每个部件的边界。

要理解这项研究的重要性，不妨回想一下搭积木的经历。当我们想要重新组装一个复杂的积木模型时，首先需要将它拆分成一块块独立的积木。同样地，在3D建模、游戏开发、工业设计等领域，准确分解3D物体是许多后续工作的基础。比如，游戏设计师需要将一个角色模型分解成头部、身体、四肢等部分，才能实现各种动画效果；工业设计师需要将产品模型分解成各个零件，才能进行后续的制造和装配。

传统的3D物体分割方法就像是戴着有色眼镜的工人，只能识别特定类型的物体部件，一旦遇到新的物体类型就束手无策。更糟糕的是，这些方法往往需要人工干预，比如手动指定要分割出多少个部分，或者提供一些提示点。这就像每次搭积木时都需要有人在旁边指导，效率自然很低。

腾讯混元团队的P3-SAM系统则完全不同。它就像一个经验丰富的拼图高手，无需任何外界提示，就能自动识别出任何3D物体应该从哪里分割。更令人惊喜的是，它不仅能处理常见的物体类型，还能应对从未见过的复杂模型，展现出了强大的泛化能力。

研究团队为了训练这个AI系统，收集了近370万个高质量的3D模型数据，这个数据集的规模远超以往任何同类研究。就像给学生提供了海量的练习题，P3-SAM在如此丰富的数据基础上，学会了如何准确识别各种物体的结构特征。

一、解决3D分割难题的创新思路

在深入了解P3-SAM的工作原理之前，我们先来理解传统方法面临的挑战。当前的3D物体分割技术主要分为两类：一类是传统的基于学习的方法，另一类是借助2D图像技术的方法。

传统的基于学习的方法就像是专业的修表师，只会拆解手表，遇到闹钟或者电脑就不知所措了。这些方法需要预先定义好物体的类别和部件类型，比如椅子有靠背、座椅、扶手等特定部件。一旦遇到训练时没见过的新物体，就无法正确分割。

为了解决这个问题，研究者们想到了一个巧妙的办法：既然2D图像分割技术（如著名的SAM模型）已经非常成熟，为什么不把3D物体投影成多个2D图像，然后利用2D技术进行分割，最后再将结果映射回3D空间？

这种方法就像是通过多个角度的照片来了解一个雕塑。你从正面、侧面、背面等不同角度拍摄雕塑的照片，然后在每张照片上标记出不同的部分，最后将这些标记信息综合起来，还原到原始雕塑上。这种方法确实能够处理更多类型的物体，但问题在于，从不同角度看到的同一个部件可能呈现出不同的形状，导致分割结果不一致。

更关键的是，2D图像分割本质上是在平面上画线，而3D物体分割需要在立体空间中确定边界。这就像用平面地图指导立体空间中的行走，难免会出现偏差。特别是对于内部结构复杂的物体，单纯依赖表面的2D投影很难准确捕捉真实的3D结构。

腾讯混元团队认识到，要彻底解决这个问题，必须直接在3D空间中工作，而不是绕道2D投影。他们的P3-SAM系统采用了"原生3D"的处理方式，就像是培养了一个真正能在三维空间中思考的AI助手，而不是让它通过看照片来猜测立体结构。

P3-SAM的核心创新在于它能够接受简单的点击提示，就像我们用手指向某个部件，它就能自动分割出那个部件的完整范围。更进一步，通过智能地选择多个提示点，它甚至可以完全自动地将整个物体分解成所有的组成部分。

这种方法的优势是显而易见的。当面对一个从未见过的复杂玩具时，P3-SAM不需要事先知道这是什么类型的玩具，也不需要人工指定要分割成多少个部分。它会自动识别物体的结构特征，确定自然的分割边界，然后输出清晰准确的分割结果。

二、海量数据构建：370万模型的训练基础

要训练出一个能够处理任意3D物体的AI系统，数据的质量和数量至关重要。就像培养一个见多识广的鉴宝专家，需要让他接触各种各样的古董一样，P3-SAM需要在海量的3D模型上进行学习。

腾讯混元团队从多个渠道收集了3D模型数据，包括知名的Objaverse、ShapeNet、PartNet等数据库，以及其他网络资源。这些3D模型主要由艺术家创作，涵盖了从日常用品到复杂机械的各种物体。收集过程就像是建立一个巨大的3D博物馆，里面陈列着数百万件不同的展品。

但原始数据往往是杂乱无章的，就像刚从仓库里搬出来的古董，需要仔细清理和分类。研究团队发现，这些艺术家创作的3D模型有一个天然的优势：它们通常是按部件分别建模，然后组装在一起的。这就像乐高积木，每个零件都是独立制作的，最后拼装成完整的模型。

利用这个特点，团队开发了一套自动化的标注流程。他们首先将完整的3D模型分解成各个连通的子模型，就像将一个拼好的拼图重新拆散成单独的拼图块。然后计算每个子模型的表面积，构建相邻关系图，就像绘制一张显示各个房间连接关系的户型图。

接下来是关键的合并步骤。系统会自动将过小的部件合并到相邻的较大部件中，避免出现过于细碎的分割结果。这个过程设定了一个阈值：如果某个部件的表面积小于整个模型的1%，就将其合并到相邻的较大部件中。这就像整理房间时，会把过小的储物盒合并到主要的收纳区域中。

经过这样的处理，团队筛选出了那些部件数量合适（2-50个部件）、大小分布合理的模型。太少的部件意味着分割粒度过粗，太多的部件则可能过于细碎。就像制作一道菜，食材切得太大或太小都不合适，需要恰到好处的颗粒度。

但这还不够。团队发现，原始的非水密模型（表面有缝隙或洞洞的模型）虽然适合艺术创作，但对于AI训练来说并不理想。这些模型常常包含内部结构，边界不够清晰，就像一个有很多暗格的魔术盒，外表看起来简单，内部却错综复杂。

因此，团队又制作了这些模型的水密版本（完全密封、只有外表面的版本），最终获得了230万个高质量的水密模型。在训练过程中，系统会随机选择使用原始版本还是水密版本，这样既能处理复杂的内部结构，也能很好地适应简洁的外表面模型。

这种双重数据策略就像训练一个全能的修理工，既要会修理结构复杂的古董钟表（非水密模型），也要会处理现代化的电子设备（水密模型）。通过这种方式，P3-SAM学会了适应各种不同类型和复杂度的3D物体。

最终构建的数据集包含了近370万个模型，每个模型都带有高质量的部件分割标注。这个数据集的规模是之前同类研究的十几倍，为P3-SAM的强大性能奠定了坚实基础。

三、P3-SAM的智能架构设计

P3-SAM的工作原理可以比作一个经验丰富的拼图师傅的思考过程。当面对一个复杂的3D拼图时，师傅首先会仔细观察整体结构，理解各个部分的特征，然后根据你的手指指向，准确地分离出对应的部件。

整个系统由三个核心组件构成：特征提取器、多头分割器和质量评估器。这三个组件协同工作，就像一个配合默契的团队。

特征提取器相当于系统的"眼睛"，负责理解3D物体的结构。研究团队选用了当前最先进的点云编码器Sonata，这是一个基于Point Transformer V3的预训练模型。就像一个经验丰富的鉴赏家，它能够从不同角度、不同尺度观察3D物体，提取出丰富的几何特征信息。

这个特征提取过程是分层进行的，就像观察一幅画时，我们既要看整体构图，也要注意局部细节。系统会从粗到细提取多个层次的特征，然后将它们融合成每个点的特征描述。这样，每个3D点都拥有了一个包含丰富信息的"身份证"，记录着它在整个物体中的位置、形状特征和上下文信息。

多头分割器是系统的"大脑"，负责根据用户的点击提示进行实际的分割工作。为什么要设计成"多头"呢？这是因为同一个提示点可能对应不同尺度的部件。比如，当你点击一个机器人的手指时，你可能想要分割出整只手指，也可能想要分割出整只手臂，甚至是整个上半身。

多头设计就像给系统配备了多副不同倍率的放大镜，能够同时从不同尺度观察和分割物体。系统包含三个分割头，分别对应细粒度、中粒度和粗粒度的分割结果。这样的设计确保了无论用户的意图是什么，系统都能提供合适的分割选项。

更巧妙的是，分割过程分为两个阶段。第一阶段是初步分割，就像画家先画出大致的轮廓。第二阶段则会考虑全局信息，对初步结果进行优化和细化，就像画家在轮廓基础上添加细节和阴影。

在第二阶段，系统会提取全局特征，这相当于"退一步看全局"。通过对第一阶段的三个分割结果进行分析，系统能够理解当前要分割的部件在整个物体中的位置和作用，从而做出更准确的分割决策。

质量评估器则像一个严格的质检员，负责评判三个分割头产生的结果哪个最好。它会预测每个分割结果的IoU值（交并比，用来衡量分割准确度的指标），然后选择质量最高的结果作为最终输出。

这个评估过程非常重要，因为它让系统具备了自我判断的能力。就像一个有经验的工匠能够判断自己的作品质量一样，P3-SAM能够自主选择最佳的分割结果，而不需要人工干预。

整个系统的设计哲学体现了"简单而强大"的理念。与复杂的SAM模型相比，P3-SAM专注于点提示这一种输入方式，避免了处理多种提示类型带来的复杂性。这种专注使得系统更容易训练，收敛更快，同时性能更优。

训练过程采用了精心设计的损失函数组合。对于分割任务，系统同时使用Dice损失和Focal损失，前者关注分割区域的重叠度，后者关注难分类样本的处理。对于质量评估，系统使用均方误差损失来训练IoU预测器。

为了增强系统的鲁棒性，训练过程中还加入了数据增强策略。系统会随机向输入点、法向量和提示点添加噪声，模拟真实应用中可能遇到的不确定性。此外，还会随机移除法向量信息，确保系统在缺少完整信息时仍能正常工作。

四、全自动分割的智能策略

拥有了强大的点提示分割能力后，如何实现完全自动的物体分割成为下一个挑战。这就像有了一个能够根据指令精准切菜的厨师，现在需要让他自主决定一个复杂食材应该怎么切。

P3-SAM的自动分割策略采用了"过采样+智能筛选"的方法。首先，系统会使用最远点采样（FPS）算法在物体表面选择大量的候选点作为提示，就像在一个复杂的拼图上撒下许多标记点。这些点的数量通常远超实际需要的部件数量，确保每个真实部件都至少有一个提示点覆盖。

接下来的关键步骤是智能去重。由于同一个部件可能被多个提示点触发，系统需要识别并合并这些重复的分割结果。这个过程采用了非最大值抑制（NMS）算法，工作原理就像筛选重复照片的过程。

具体来说，系统首先根据IoU预测值对所有分割结果进行排序，质量最高的排在前面。然后依次处理每个分割结果：选择当前质量最高的结果，并将与其重叠度超过阈值的其他结果全部剔除。这个过程持续进行，直到所有结果都被处理完毕。

这种方法的优势在于它完全自动化，不需要人工指定部件数量或提供其他先验信息。系统能够根据物体的实际结构自动确定应该分割成多少个部分，就像一个经验丰富的拆解师能够凭直觉判断一个复杂机械应该在哪些地方分离。

最后一步是将点级别的分割结果映射到网格面上。由于P3-SAM处理的是采样得到的点云，而最终用户通常需要的是完整网格模型的分割结果。这个映射过程就像将草图转换为精细画作，需要确保每个网格面都被正确分类。

系统首先根据每个点的分割标签和所属网格面的关系，通过投票机制确定大多数面的标签。然后使用泛洪填充算法处理那些没有被直接分配标签的面，确保整个模型表面都被完整覆盖。

这种自动分割策略在处理复杂物体时表现出了惊人的智能性。无论是包含数十个零件的机械装置，还是具有精细结构的生物模型，P3-SAM都能准确识别出自然的分割边界，产生符合人类直觉的分割结果。

五、卓越性能与广泛应用

为了验证P3-SAM的实际效果，研究团队在多个标准数据集上进行了全面的比较实验。结果显示，P3-SAM在各项任务上都达到了领先水平，特别是在处理复杂物体和水密模型方面表现出了显著优势。

在PartObj-Tiny数据集上的测试中，P3-SAM在无连通性约束的分割任务上取得了59.88%的平均IoU，明显超过了之前的最佳方法。更令人印象深刻的是，在处理水密模型时，P3-SAM的优势更加明显，这证明了其原生3D处理方法的有效性。

与传统的基于2D提升的方法相比，P3-SAM在处理复杂几何结构时表现更加稳定。那些依赖多视图投影的方法在处理内部结构复杂或表面细节丰富的物体时常常出现边界不清晰的问题，而P3-SAM能够保持一致的高精度。

在交互式分割任务中，P3-SAM也展现出了出色的性能。用户只需简单点击想要分割的部件，系统就能在几毫秒内给出精确的分割结果。这种快速响应能力使其非常适合实时交互应用。

除了基本的分割功能，P3-SAM还支持多种高级应用模式。多提示分割模式允许用户同时指定多个感兴趣的部件，系统会智能地处理这些提示，确保分割结果既满足用户需求又保持整体一致性。

层次化分割是另一个有趣的应用。通过对分割后的部件特征进行聚类分析，P3-SAM能够构建物体的层次化结构。比如，对于一个人物模型，它可能首先分为头部、躯干、四肢，然后进一步细分为眼睛、鼻子、嘴巴等更小的部件。

这种层次化能力对于3D建模和动画制作非常有价值。动画师可以根据需要选择不同粒度的分割结果，既可以对整个手臂进行动画，也可以单独控制每个手指的动作。

在部件生成应用中，P3-SAM的分割结果可以直接用于指导生成模型创建新的3D内容。研究团队展示了与HoloPart等生成模型的结合应用，证明高质量的分割结果能够显著提升生成内容的质量和可控性。

特别值得一提的是P3-SAM的实用性优势。整个系统的参数量为112M，相比其他方法在保持高精度的同时显著降低了计算复杂度。在配备合适硬件的情况下，全自动分割一个中等复杂度的模型只需约8秒，交互式分割的响应时间更是短至3毫秒。

这种高效性使得P3-SAM能够集成到各种实际应用中，从游戏开发工具到工业设计软件，从教育应用到娱乐内容制作，都能发挥重要作用。

研究团队还通过消融实验验证了系统各个组件的重要性。实验表明，两阶段多头设计、全局特征提取、IoU预测器等关键组件都对最终性能有显著贡献。数据增强策略同样重要，能够将系统性能提升约5个百分点。

可视化分析显示，P3-SAM学习到的点特征确实捕捉了有意义的几何和语义信息。对于同类型的物体，相应部件的特征表示呈现出明显的相似性，这证明了系统具备了良好的泛化能力。

六、技术突破与未来展望

P3-SAM的成功不仅在于其优异的性能表现，更在于它代表了3D物体理解领域的一个重要技术突破。通过完全绕过2D投影的中间步骤，直接在3D空间中进行处理，P3-SAM证明了原生3D方法的可行性和优越性。

这种技术路线的转变具有深远意义。长期以来，由于3D数据的稀缺和处理复杂性，许多3D任务都依赖于2D方法的"降维"处理。P3-SAM的成功表明，随着数据规模的增长和算法的进步，直接的3D处理方法不仅是可行的，而且能够取得更好的效果。

从数据构建的角度来看，370万模型的大规模数据集创建为其他3D理解任务提供了宝贵的经验。自动化的标注流程、双重数据策略（水密与非水密）、智能的质量控制机制，这些方法论对整个领域都有借鉴价值。

P3-SAM的架构设计体现了"专注而深入"的理念。与追求功能全面的复杂系统不同，P3-SAM专注于点提示这一种交互方式，通过深度优化实现了卓越性能。这种设计思路值得其他AI系统借鉴。

当然，P3-SAM也存在一些局限性。研究团队诚实地指出，当前系统主要依赖物体表面的几何信息，对于需要理解内部空间结构的任务可能力有不逮。这是因为训练数据主要包含表面点云，缺乏体积化的空间信息。

未来的研究方向可能包括多个方面。首先是扩展到体积化的3D理解，不仅关注表面特征，还要理解物体的内部结构和空间布局。其次是结合多模态信息，比如颜色、纹理、语义标签等，实现更丰富的3D理解能力。

另一个有前景的方向是与生成式AI的深度结合。P3-SAM提供的精确分割能力可以为3D内容生成提供强有力的结构先验，帮助生成模型创造更加合理和可控的3D内容。

在实际应用层面，P3-SAM有望推动多个行业的数字化转型。在游戏和影视行业，它可以大幅提升3D资产制作的效率；在工业设计领域，它可以帮助设计师快速分析和修改复杂的3D模型；在教育领域，它可以为学生提供直观的3D结构学习工具。

更广泛地说，P3-SAM代表了AI系统从"识别什么"向"理解结构"的重要进步。这种结构理解能力是通向更高级AI应用的关键基础，可能在机器人学、自动驾驶、增强现实等领域发挥重要作用。

说到底，P3-SAM不仅仅是一个技术工具，它更像是为计算机装上了一双能够理解3D世界结构的慧眼。随着技术的不断完善和应用的逐步拓展，我们有理由相信，这种原生3D理解能力将为人工智能与3D世界的交互开启全新的可能性。对于那些希望深入了解这项技术细节的读者，可以访问腾讯混元团队即将发布的开源代码，或查阅发表在arXiv平台上的完整论文（arXiv:2509.06784v3）。

Q&A

Q1：P3-SAM与传统的3D分割方法有什么不同？

A：P3-SAM最大的不同在于它采用"原生3D"处理方式，直接在三维空间中工作，而不像传统方法那样依赖2D图像投影。这使得它能够更准确地捕捉3D物体的真实结构，避免了2D投影带来的信息丢失和不一致问题。

Q2：P3-SAM需要多少训练数据，为什么需要这么多？

A：P3-SAM使用了近370万个3D模型进行训练，这个规模是之前同类研究的十几倍。需要如此大量数据是因为3D物体的复杂性和多样性远超2D图像，AI需要见识足够多的3D结构才能学会准确分割各种未知物体。

Q3：普通用户如何使用P3-SAM进行3D物体分割？

A：P3-SAM支持两种使用方式：一是完全自动分割，无需任何人工输入，系统自动将3D物体分解成各个部件；二是交互式分割，用户只需在想要分割的部位点击一下，系统就能精确分离出对应部件，响应时间只需3毫秒。