混搭拼图增强与置信度边界加权伪标签：如何让模型在无源数据的情况下更好地适应新环境

这项由罗切斯特理工学院（Rochester Institute of Technology）的Prasanna Reddy Pulakurthi、Majid Rabbani、Jamison Heard和Sohail Dianat，以及美国陆军研究实验室（DEVCOM Army Research Laboratory）的Celso M. de Melo和Raghuveer Rao共同完成的研究，发表于2025年5月30日的arXiv预印本平台（arXiv:2505.24216v1），探讨了如何在没有源域数据的情况下，让模型更好地适应新环境。研究团队的代码已开源，有兴趣的读者可以通过https://github.com/PrasannaPulakurthi/SPM进一步了解。

想象一下，你训练了一个识别猫狗的智能系统，它在你的高清照片上表现得很好。但当你把这个系统带到朋友家，用他们拍摄的卡通风格图片测试时，系统却开始出错百出。更糟糕的是，你已经没有原来的训练照片了，只能拿着这个"成品"模型和朋友的卡通图片。如何让你的系统在没有原始照片的情况下，适应这种新的卡通风格呢？这正是本研究要解决的"无源域适应"（Source-Free Domain Adaptation，简称SFDA）问题。

在人工智能领域，当模型从一个数据环境（源域）转移到另一个环境（目标域）时，往往会遇到性能下降的问题。传统方法需要同时使用源域和目标域的数据来调整模型，但在很多现实场景中，由于隐私保护、安全限制或物流困难，源域数据可能无法获取。这就需要SFDA技术，它允许模型仅使用目标域的无标签数据和预先训练好的源域模型进行适应。

研究团队提出了两个关键创新：一个名为"混搭拼图"（Shuffle PatchMix，简称SPM）的数据增强技术，以及一种基于"置信度-边界"的伪标签加权策略。简单来说，SPM就像是把图片剪成小块，打乱重组后再混合在一起，创造出多样化的训练样本；而加权策略则像是给学习过程中的每个"答案"分配不同的可信度，重点关注那些更可靠的答案。

这些方法在三个主要基准数据集上取得了显著效果：在PACS数据集上，单目标设置的准确率从79.4%提升到86.7%，提高了7.3%；在多目标设置上提升了7.2%；在DomainNet-126上提高了2.8%；在VisDA-C上提高了0.7%。这些提升显示了该方法在帮助模型适应新环境方面的卓越能力，特别是在PACS这样的小型数据集上，效果更为显著。

接下来，让我们深入了解这项研究的技术细节、创新点和实验结果。

一、研究背景：为什么需要无源域适应？

在我们的日常生活中，适应新环境是一项基本能力。想象一下，你是一位熟练的钢琴演奏者，习惯了在自己家的钢琴上弹奏。有一天，你去朋友家，面对一架触感完全不同的钢琴，你需要快速调整自己的弹奏技巧。在这个过程中，你无法回到自己家"重新练习"，而是需要根据当前的钢琴特性即时调整。这正是机器学习中"无源域适应"问题的真实写照。

深度神经网络在训练和测试数据分布相似的情况下表现出色，但当面对分布差异（称为"域偏移"）时，性能往往会大幅下降。域适应技术旨在解决这一问题，帮助模型将从源域学到的知识迁移到目标域。最常见的是无监督域适应（UDA），它在有源域数据的情况下工作，主要通过对齐源域和目标域的特征分布来减少域间差异。

但在许多实际应用中，源域数据可能因为隐私问题（如医疗数据）、知识产权保护、或安全考虑而无法获取。这就需要无源域适应（SFDA）技术，它只使用预训练的源域模型和无标签的目标域数据。这种适应方式更具挑战性，因为没有源域数据作为参考，模型必须找到其他方式来适应新环境。

近年来，自训练（self-training）成为SFDA的一个有效方法。如AdaContrast等方法通过给目标域数据生成伪标签（模型自己预测的"答案"），然后用这些伪标签对自己进行再训练，同时结合对比学习来增强特征表示。然而，这些方法的一个关键问题是，它们对所有伪标签一视同仁，而不考虑这些"答案"的可靠性。如果错误的伪标签被平等对待，错误就会被放大，最终降低适应效果。

研究团队针对这些限制，提出了两个关键创新：一是利用置信度（模型对预测结果的确信程度）和边界（第一和第二可能类别之间的差距）来加权伪标签，二是设计了一种新的数据增强方法——混搭拼图（SPM），通过打乱和混合图像块来创造多样化的训练样本。

二、技术创新：混搭拼图和置信度-边界加权策略

想象你正在教一个孩子识别不同的动物。如果只给他看标准的动物照片，他可能会记住这些特定的图片，而不是真正理解"狗"或"猫"的概念。但如果你把动物图片剪成碎片，打乱后重新组合，甚至将不同动物的部分特征混合在一起，这将迫使孩子学习更本质的特征，而不是简单记忆。这就是混搭拼图（SPM）技术的核心思想。

混搭拼图（SPM）是研究团队提出的一种新型数据增强技术。它的工作流程如下：首先，将目标域图像分割成多个小块（称为"补丁"）；然后，随机打乱这些小块的位置；接着，按照一定比例（由Beta分布随机生成）混合原始图像和打乱后的图像；最后，应用其他标准的数据增强技术（如随机裁剪、水平翻转、颜色抖动等）。

为了减少拼接处的明显边界（俗称"块状伪影"），研究团队还引入了一种重叠式补丁混合方法：提取的补丁尺寸比预期大30%，这样相邻补丁之间会有重叠区域，通过线性混合，可以创造出更自然、过渡更平滑的增强图像。

随着训练的进行，研究团队还引入了自适应混合强度策略：在训练初期使用较轻的混合（保留更多原始图像特征），随着训练进行，逐渐增加混合强度（增加打乱图像的比例），这样模型可以逐步适应更复杂的增强分布。

然而，仅有好的数据增强还不够。在自训练过程中，模型使用自己的预测作为伪标签来指导学习，但这些预测可能存在噪声和错误。如果所有伪标签被平等对待，错误就会累积放大。就像在课堂上，如果一个学生对某个问题非常确定（高置信度）且能清晰区分正确答案和次优选项（高边界），那么他的答案应该受到更多重视。

基于这一思想，研究团队提出了置信度-边界加权策略。它考虑两个关键因素： 1. 置信度：模型对预测类别的确信程度，即预测概率的最大值 2. 边界：最有可能的类别与第二可能的类别之间的概率差距

当邻居预测大多集中在同一类别时，伪标签被认为高度可靠，应该获得较高权重。这种可靠性同时反映在置信度和边界中。高边界意味着模型在最可能类别和第二可能类别之间有明确区分，表明预测更可靠；反之，低边界则表示更大的不确定性和降低的可靠性。

具体来说，权重计算公式为：wxt = ptop1 × Δ × exp(Δ)，其中ptop1是置信度，Δ是边界，exp(Δ)是边界的指数函数。这种计算方式特别强调了边界的重要性，使具有大边界的样本（统计上最可信的预测）获得指数级的权重增益，而小边界样本的影响则被大幅降低。

这种连续的加权策略消除了手动设置置信度阈值的需要，并将学习重点放在可靠目标上，从而实现更快速、更稳定的适应。由于训练早期阶段伪标签往往高度嘈杂，这种加权策略会随着训练进行逐渐引入，以确保稳定性。

三、模型架构与适应方法：如何实现无源域适应？

让我们通过一个日常场景来理解整个适应过程。想象你是一位从法国餐厅转到中餐厅工作的厨师。你已经掌握了法餐技巧（源域模型），但现在需要适应中餐烹饪（目标域），而且没有法餐食谱可参考（无源数据）。你会怎么做？你可能会观察中餐厅的菜品（无标签目标数据），尝试自己复制，然后根据成品的相似度不断调整自己的烹饪方法。这正是无源域适应的核心思想。

在SFDA设置中，研究团队首先在有标签的源域数据上训练一个模型gs(.)，然后使用这个预训练模型的参数初始化目标模型gt(.)。适应过程只使用无标签的目标域图像和初始化的目标模型，无法访问源域数据。

整个适应方法如图1所示，主要包括以下步骤：

首先，对每个目标图像xt生成三个版本：两个使用SPM的强增强版本ts(xt)和ts'(xt)，以及一个弱增强版本tw(xt)。弱增强主要包括简单的随机裁剪和水平翻转，保留了图像的基本结构；而强增强则使用SPM创造更具挑战性的变体，迫使模型学习更本质的特征。

接着，将弱增强图像输入编码器ft(.)提取特征，通过伪标签精炼过程生成伪标签yt。这个过程采用了一种类似邻居投票的策略：对于每个目标图像，系统找到其在特征空间中的最近邻居，然后通过平均这些邻居的预测概率来精炼伪标签。

为了实现最近邻搜索，系统维护了一个存储弱增强目标样本特征和预测概率的内存队列Qw。特征空间通过一个缓慢变化的动量模型g't(.)来稳定，该模型以0.999的动量系数逐批次更新。

然后，使用置信度-边界策略为每个伪标签分配权重wxt。这些权重决定了伪标签在自训练过程中的重要性。

最后，这些精炼的伪标签及其权重用于训练模型gt(.)对强增强数据ts(xt)进行分类。整个训练过程优化了一个包含三部分的损失函数：加权分类损失Lce、对比损失Lctr和多样性损失Ldiv。

加权分类损失确保模型能够根据伪标签的可靠性学习分类；对比损失使用SPM生成的两个强增强版本，通过目标和动量编码器处理，将正样本对拉近，负样本对推远；多样性损失作为正则化项，防止模型崩溃（即总是预测相同类别）。

值得注意的是，SPM并不应用于所有强增强图像，而是应用于一个较大比例ρ（实验中设为0.8）。这是因为过度使用SPM可能导致减少对标准强增强的接触，或生成过于不切实际的样本。

四、实验设置与结果分析：方法在真实场景中的表现如何？

研究团队在三个广泛使用的基准数据集上评估了所提出的方法：PACS、VisDA-C和DomainNet-126。这些数据集代表了不同规模和难度的域适应挑战。

PACS数据集包含四个领域：照片(P)、艺术绘画(A)、卡通(C)和素描(S)，每个领域的图像风格差异显著。研究团队在单目标（一次适应到一个目标域）和多目标（同时适应到多个目标域）两种设置下进行了评估。

VisDA-C是一个从合成到真实的大规模数据集，包含12个类别的图像。DomainNet-126则是最具挑战性的域适应基准之一，包含四个领域（真实、素描、剪贴画、绘画）之间的七种域转移任务。

实验使用了不同的骨干网络：PACS使用ResNet-18，DomainNet-126使用ResNet-50，VisDA-C使用ResNet-101，这也符合域适应研究中的标准设置。

超参数设置方面，研究团队大部分沿用了AdaContrast的设置，但做了一些优化：学习率固定为2×10^(-4)，最近邻数量设为3，PACS训练100轮，而DomainNet-126和VisDA-C训练50轮。Beta分布的起始值as在DomainNet-126和PACS上设为8，在VisDA-C上设为4。SPM在每个小批次中随机选择补丁数量ν（从{2^2, 4^2, 8^2, 16^2}中选择），以增强多样性。

实验结果令人印象深刻。在PACS数据集的单目标设置上，提出的方法达到了86.7%的平均准确率，比基线AdaContrast提高了7.3%。最显著的改进出现在P→C（从72.2%提升到82.3%）和P→S（从66.7%提升到74.5%）这两个具有挑战性的域转移任务上。在多目标设置下，方法达到了82.6%的平均准确率，超过基线7.2%，特别是在P→A（从70.1%提升到85.2%）和A→S（从72.9%提升到81.0%）这两个任务上表现突出。

在VisDA-C数据集上，该方法达到了89.4%的平均准确率，超过最佳表现方法UPA[20]0.7%，在12个类别中的8个类别上取得了最佳或次佳性能。

在DomainNet-126数据集上，方法达到了71.1%的平均准确率，超过当前最佳方法SF(DA)^2[31]2.8%，在7个域转移任务中的5个上取得了最佳性能。

为了深入理解各组件的贡献，研究团队还进行了消融研究。在DomainNet-126上，基线AdaContrast的准确率为67.8%；应用置信度-边界加权策略后，准确率提升到69.1%；加入SPM增强后，准确率进一步提高到70.2%；引入补丁重叠后，准确率小幅提升到70.4%；最终组合所有组件，达到71.1%的最佳性能。在PACS上，完整方法与基线相比提升了7.3%（从79.4%到86.7%）。

值得注意的是，最大的改进出现在较小的PACS数据集上，这可能有两个原因：一是小数据集更容易过拟合，SPM的补丁混合特别有效地增强了数据多样性；二是在小数据集中，嘈杂伪标签的影响更为显著，置信度-边界加权策略通过减少不确定标签的影响并强调可靠预测，显著提高了性能。

五、总结与展望：这项研究的意义与未来方向

归根结底，这项研究通过引入混搭拼图（SPM）增强技术和置信度-边界加权策略，有效解决了无源域适应中的两个关键挑战：数据多样性不足和伪标签噪声。

SPM就像是为模型创造了一个更丰富多样的"训练场"，通过打乱和混合图像补丁，生成具有挑战性的训练样本，迫使模型学习更本质、更通用的特征，而不是简单记忆特定模式。同时，补丁重叠技术通过平滑过渡减少了块状伪影，创造出更自然的增强图像。

置信度-边界加权策略则像一个智能"教练"，它能识别出哪些"答案"（伪标签）更可靠，并相应地调整它们在训练中的重要性。这种策略不仅避免了手动设置固定阈值的需要，还能连续地调整权重，使学习过程更加稳定和高效。

实验结果表明，这种组合方法在三个主要基准数据集上都取得了显著改进，特别是在PACS这样的小数据集上效果更为突出。这一发现对实际应用具有重要意义，因为在许多现实场景中，获取大量目标域数据可能困难或昂贵。

展望未来，这项研究为无源域适应开辟了新的可能性。一个有趣的方向是将SPM技术扩展到更广泛的域适应范式，包括自监督学习和半监督学习。另一个可能的方向是探索更复杂的伪标签精炼机制，或将置信度-边界策略与其他学习框架结合。

对于普通用户来说，这项研究意味着AI系统将变得更加灵活和适应性强。想象一下，你的智能手机相册应用能够自动适应不同光线条件下拍摄的照片，或者自动驾驶系统能够在没有特定环境训练数据的情况下，适应新的道路和天气条件。这些都是无源域适应技术可能带来的实际应用。

如果你对这项研究感兴趣，可以通过GitHub链接（https://github.com/PrasannaPulakurthi/SPM）获取完整代码，深入了解技术细节和实现方法。