点云配准新突破：斯特拉斯堡大学研究团队通过自编码器潜在空间优化实现多视图点云配准

在2025年4月发布的一项开创性研究中，来自法国斯特拉斯堡大学ICube实验室IMAGeS团队的Luc Vedrenne、Sylvain Faisan和Denis Fortun提出了一种名为POLAR（POint cloud LAtent Registration，点云潜在配准）的全新点云配准方法。这篇题为《通过自编码器潜在空间优化实现多视图点云配准》的论文已经在IEEE期刊上发表，论文代码和软件包可在GitHub上获取（github.com/pypolar/polar），也可通过pip install polaregistration命令直接安装使用。有兴趣深入了解这项研究的读者可以通过arXiv:2504.21467查看完整论文。

一、像拼图一样：点云配准是什么，为什么它如此重要？

想象一下，你有几张同一个物体从不同角度拍摄的照片，现在你想将它们精确地拼合起来，重建这个物体的完整3D模型。这基本上就是点云配准要解决的问题。点云是由三维空间中的点组成的数据集，每个点都有其x、y、z坐标。当我们从不同视角观察同一物体时，我们会获得多个点云，这些点云需要被精确地对齐（或"配准"）才能还原物体的完整形状。

就像拼拼图一样，传统方法通常是先尝试将两片拼图拼在一起（配对配准），然后再添加更多的片段直到完成整个拼图（多视图配准）。但是当拼图片有损坏、缺失或变形时，这个过程会变得异常困难。在现实世界中，点云数据经常会受到三种主要"损坏"的影响：

噪声干扰：就像照片上的雪花噪点，点云中的点位置可能不够精确，特别是当某些方向的分辨率较低时（想象一下用模糊的镜头拍照）。

部分遮挡：某些视角可能只能看到物体的一部分，就像拼图中缺失了一些片段。

离群点：有些点根本不属于物体本身，而是错误地被记录下来，就像拼图中混入了其他拼图的碎片。

传统上，研究人员采用两种主要方法来解决多视图点云配准问题。第一种方法是"同步法"，即先进行所有可能的配对配准，然后通过一个"同步算法"将这些配对结果整合起来。这就像先将拼图两两拼接，再尝试将这些小块组合成完整图案。但这种方法有几个明显缺点：当视角数量增加时，计算量呈平方级增长；任何一对配准失败都会影响整体结果；每对配准都是独立进行的，没有利用其他视角的信息。

第二种方法是"生成法"，它首先估计一个完整物体的模板，然后将所有视角对准到这个模板上。传统的生成方法通常使用高斯混合模型（GMM）来表示模板，并通过期望最大化（EM）算法同时估计模板和配准参数。这些方法虽然可以同时处理所有点云，但只能收敛到局部最优解，因此仅适用于初步对齐后的精细调整。而且，它们无法利用神经网络学习的点云描述符的强大表示能力。

二、POLAR方法：在潜在空间玩转点云配准

斯特拉斯堡大学的研究团队提出的POLAR方法巧妙地结合了生成方法的优势和深度学习的强大能力，彻底改变了多视图点云配准的游戏规则。想象一下，如果我们能有一种"翻译机"，可以将复杂的3D点云简化为更容易处理的"密码"，在这个"密码"层面完成配准，然后再翻译回3D点云，整个过程会变得多么高效！

POLAR正是基于这样的思路工作的。它分为两个阶段：

阶段一：自编码器预训练

首先，研究团队训练了一个自编码器，这就像是我们的"翻译机"。自编码器由两部分组成：编码器（encoder）将点云转换为一个紧凑的潜在向量（想象成一个密码），解码器（decoder）则将这个潜在向量重新转换回点云。关键是，这个自编码器被训练为能够从受损的点云中重建干净的点云。

就像是一个能够从残破照片中还原清晰图像的魔法相机，自编码器学会了如何排除噪声、填补缺失部分并剔除离群点。这个训练只需进行一次，之后就可以用于所有点云配准任务。

阶段二：在潜在空间进行配准

当我们有了多个需要配准的点云视图时，POLAR不是直接在原始3D空间中配准它们，而是：

首先使用编码器将每个点云转换为潜在空间中的向量（将复杂3D结构简化为易处理的"密码"）。

在潜在空间中估计一个表示完整物体的向量，并优化每个视图到这个模板的变换参数。

将优化后的模板向量通过解码器转换回3D点云，得到重建的物体模型。

这种方法有几个显著优势：

首先，它是一种生成方法，可以同时配准多个视图，避免了同步法的缺点。

其次，模板由神经网络学习的全局描述符表示，比传统的高斯混合物更有表现力。

第三，使用全局描述符避免了对局部特征匹配的依赖，使方法对噪声和遮挡更加稳健。

最后，在潜在空间中进行优化比在原始3D空间中更快速、更易于处理。

三、损伤修复工匠：POLAR如何应对点云的各种损伤

POLAR最令人印象深刻的特点是它能够巧妙地处理点云数据中的各种损伤。就像一位经验丰富的古董修复师知道如何处理不同类型的损伤，POLAR也为不同类型的点云损伤设计了专门的处理策略。

处理各向异性噪声：

想象一下，如果你用一个分辨率不均匀的相机拍照，可能在某些方向上照片会更模糊。点云数据也存在类似问题，特别是在显微成像中，垂直方向的分辨率通常比水平方向差很多。

传统方法通常会被这种不均匀的噪声所困扰，而POLAR则巧妙地将噪声模型纳入其损失函数。当它尝试重建一个干净的模板时，它不是简单地比较模板和有噪声的视图，而是先给模板添加类似的噪声，然后再进行比较。这就像是说："我知道你的照片是用模糊相机拍的，所以我先把我的参考图像也模糊化再比较，这样才公平。"

处理部分遮挡：

当某些视角只能看到物体的一部分时，POLAR不会因为某个视角缺少部分而困惑。它采用了一种聪明的策略，估计哪些部分在某个视角中是缺失的，然后在计算相似度时忽略这些部分。

具体来说，它计算模板中的点到视图中最近点的距离。如果这个距离很大，可能说明这个点在该视角中是被遮挡的。通过设置一个阈值，POLAR可以识别并屏蔽这些遮挡点，只考虑可见部分的匹配程度。

处理离群点：

离群点就像是不属于拼图的碎片，它们会干扰配准过程。POLAR同样使用距离信息来识别离群点。具体而言，它计算视图中的点到模板中最近点的距离。如果某个点到模板的距离远大于其他点，它很可能是一个离群点，应当在配准过程中被忽略。

综合这些损伤：

真实世界的点云通常同时存在这些损伤。POLAR的优势在于它可以在一个统一的框架中处理所有这些问题。它的损失函数考虑了噪声模型、遮挡和离群点，使得即使在严重损伤的情况下，也能准确地完成配准任务。

此外，研究团队还引入了一个正则化项，防止重建的模板出现点密度不均匀的问题。这就像确保修复后的古董表面质地均匀，没有特别密集或稀疏的区域。

四、攀登全局最优：POLAR的多起点优化策略

点云配准问题的一个主要挑战是存在多个局部最优解。就像在山脉中寻找最高峰，如果你只从一个地点开始爬，很可能会爬到一个小山峰而非最高峰。

POLAR采用了一种名为"多起点"的优化策略，就像是派出多支登山队从不同位置同时开始攀登，大大增加了找到最高峰（全局最优解）的可能性。

这个策略包括几个关键步骤：

初始化：首先，POLAR选择潜在向量的中值作为初始模板，并使用一种名为FLAMES（寻找SOp3q上的局部最小值）的方法为每个视图找到最佳旋转。

联合梯度下降：然后，它同时优化模板和所有视图的变换参数，使用Adam算法进行梯度下降。

并行多起点：在每次迭代中，POLAR为每个视图找到多个可能的局部最优旋转，然后并行尝试这些不同的起点，选择损失最小的一个作为新的解。

逃离局部最小值检测：如果发现新的解比当前解更好，且旋转角度差距较大，POLAR认为它成功"逃离"了一个局部最小值，继续迭代；否则，算法停止并返回最终解。

这种策略使POLAR能够处理任意大的初始变换，不像传统EM算法那样容易陷入局部最优。就像是同时派出几十个登山队从不同地点出发，大大增加了找到珠穆朗玛峰的可能性！

五、性能大比拼：POLAR如何碾压现有方法？

研究团队在各种挑战性场景下对POLAR与其他方法进行了广泛对比，结果令人印象深刻。

处理大角度变换的能力：

首先，团队测试了各方法处理大角度旋转的能力。想象两个拼图碎片被随机旋转后，你需要正确拼接它们。结果显示，POLAR能够处理任意角度的旋转，而许多传统方法如JRMPC、EMPMR、PointNetLK等只能处理较小角度的变换。

抗噪声能力：

在抗噪声测试中，研究人员逐渐增加噪声水平，观察各方法的性能。当噪声较小时，多种方法都表现良好；但随着噪声增大，基于局部特征匹配的方法如FGR、MAC迅速崩溃，而POLAR保持了高准确率。

处理各向异性噪声：

现实世界中的噪声通常不是均匀的。在各向异性噪声测试中，POLAR远远超过了所有其他方法，特别是当噪声水平高或各向异性强时。这证明了POLAR特别适合处理如SMLM显微成像等真实应用场景。

处理部分可见性和离群点：

研究团队还测试了各方法在处理部分遮挡和离群点时的表现。结果显示，POLAR和一些最新的深度学习方法如SGHR、RoITr在高遮挡情况下表现良好，但在处理离群点时，POLAR与RoITr和GeoT表现最佳。

时间效率与扩展性：

一个突出的优势是POLAR的时间效率和扩展性。作为一种生成方法，POLAR的计算时间随视图数量线性增长，而基于配对的方法（如RoITr、GeoT）计算成本随视图数量呈平方级增长。这使POLAR特别适合需要配准大量视图的应用场景。

真实数据测试：

最终，研究团队在两个真实数据集上测试了POLAR：

FAUST-partial数据集：包含100个带有真实遮挡的人体扫描。即使POLAR的自编码器从未见过这类形状，它仍然准确地完成了配准任务。

SMLM显微成像数据：这是最具挑战性的数据集，包含9个带有强烈各向异性噪声、离群点和遮挡的中心粒（centriole）。在所有测试方法中，只有POLAR能够正确配准这些高度降质的点云。

六、POLAR背后的数学原理：简化的复杂性

虽然POLAR的实现相对复杂，但其基本原理可以用简单的类比来理解。

想象每个点云视图就像是一幅扭曲、破损的画作，我们希望找到一种方法将它们恢复成原始的完整画作。自编码器就像是一个艺术修复师，能够从残破的画作中理解原始艺术品的样子。

在数学上，POLAR将点云配准问题转化为在自编码器潜在空间中的优化问题。这个转化基于一个重要的数学原理——惠特尼嵌入定理的推论，它表明在足够高维的空间中，任何流形（如点云的轨道）都可以被近似为一个嵌入。

简单来说，这意味着在潜在空间中，点云的不同姿态形成了一个连续的"轨迹"，只要潜在空间维度足够高（在POLAR中设为1024），我们就可以在这个空间中进行有效的优化，找到全局最优解。

七、总结与展望：POLAR开启了点云配准的新时代

斯特拉斯堡大学研究团队开发的POLAR方法为多视图点云配准提供了一个强大的新工具，特别是在处理高度降质数据时。它巧妙地结合了生成方法的同时配准能力和深度学习的强表示能力，为点云配准领域带来了突破性进展。

归根结底，POLAR的成功在于它转变了思考方式：不是直接在复杂的3D空间中配准点云，而是将问题转化到一个更加结构化、更易于优化的潜在空间。这就像是将一个复杂的3D拼图游戏转化为一个更简单的2D游戏，解决后再转回3D空间。

对于普通人来说，这项研究的意义可能不那么直观，但它的应用却无处不在：从自动驾驶汽车的环境感知，到医学成像的3D重建，再到机器人导航和虚拟现实场景构建，高精度的点云配准都是关键技术。POLAR的出现将大大提高这些应用在复杂环境中的可靠性。

最令人兴奋的是，POLAR不仅在合成数据上表现优异，在高度降质的真实显微成像数据上也取得了前所未有的成功。这预示着在生物医学成像等领域，POLAR可能带来重大突破，帮助科学家们从高度噪声的数据中重建更精确的生物结构模型。

如果你对这项研究感兴趣，可以通过GitHub访问POLAR的代码（github.com/pypolar/polar），或者使用pip install polaregistration直接安装使用。完整论文可通过arXiv:2504.21467查阅。