双头优化：一种简单高效的半监督式视觉-语言模型知识蒸馏方法

在人工智能快速发展的今天，视觉-语言模型（VLMs）已经成为了计算机视觉领域的明星技术。由韩国KAIST大学的董博阔（Dong Bok Lee）、VUNO公司的姜成载（Seongjae Kang）与黄炯俊（Hyungjoon Jang）以及KAIST和DeepAuto.ai的黄成珠（Sung Ju Hwang）共同完成的这项研究，发表于2025年5月的arXiv预印本（arXiv:2505.07675），提出了一种名为"双头优化"（Dual-Head Optimization，DHO）的创新方法，专门解决视觉-语言模型知识蒸馏中的难题。

视觉-语言模型，如我们熟知的CLIP，通过学习图像和文本的联合表示，取得了令人瞩目的成功。这些模型即使只使用极少量的标记数据，也能表现出色。然而，这些强大模型的规模通常非常庞大，难以在资源有限的设备（如手机或嵌入式设备）上部署。就像一个掌握了丰富知识的老师，太"重"了，无法轻松地带到各个地方去。

知识蒸馏（Knowledge Distillation）就像是让这位资深教师将知识传授给一位轻便灵活的助教，使助教能够以更小的"体积"携带核心知识奔赴各处。但传统的知识蒸馏方法存在一个核心问题：当老师（大模型）和助教（小模型）同时学习时，他们的"教学理念"常常发生冲突，导致助教学得不够好。

研究团队通过深入分析发现，在半监督学习环境中（即同时拥有少量标记数据和大量未标记数据），传统知识蒸馏方法常常使模型产生"梯度冲突"——也就是说，从标记数据学习的方向与从教师模型学习的方向相互抵触，就像同时有两位教练朝着不同方向拉动一个运动员，导致运动员无所适从。

为解决这一问题，研究团队提出了双头优化（DHO）方法。这种方法就像给学生配备了两个独立的"大脑"：一个专门跟从标记数据学习（称为CE头），另一个专门向教师模型学习（称为KD头）。这样一来，两个"大脑"可以各自专注于不同的学习任务，避免了相互干扰。在需要做出预测时，系统会智能地结合两个"大脑"的判断，得出最终结果。

研究团队在包括ImageNet在内的11个数据集上进行了广泛实验，结果表明DHO方法在各种任务上都取得了卓越的效果，无论是通用物体识别、细粒度分类，还是特定领域识别。尤其引人注目的是，使用1%标记数据时，DHO的准确率比现有最佳方法提高了3%；使用10%标记数据时，提高了0.1%，而且所需参数更少。这一成果展示了DHO方法在资源有限情况下的效率和有效性。

让我们一起深入了解这项创新研究的细节和影响。

一、视觉-语言模型与知识蒸馏的挑战

视觉-语言模型，如CLIP或ALIGN，已经成为计算机视觉领域的关键技术。这些模型通过对大量互联网上的图文对进行对比学习，构建了强大的图像理解能力。简单来说，它们就像学会了看图识字的天才学生，即使面对从未见过的物体，也能通过文字描述准确识别出来。

然而，这些模型通常规模庞大，参数动辄数以亿计。想象一下，这就像是一位博学多识但体型巨大的教授，虽然知识渊博，但无法轻松地到各个教室去授课。在实际应用中，尤其是在手机、嵌入式设备等资源受限的环境中，部署这些大模型面临巨大挑战。

知识蒸馏技术应运而生。这种技术就像是让这位资深教授将知识传授给一位年轻助教，使助教能够以更轻便的方式传递核心知识。在技术层面，知识蒸馏是将大型"教师模型"的知识转移到小型"学生模型"中的过程。

但是，现有的知识蒸馏方法存在一些明显问题。许多方法采用多阶段训练或需要额外的微调，增加了计算开销和优化复杂性。就像是教学必须经过多个环节，而每个环节都可能带来额外的困难和混淆。更重要的是，这些方法无法直接将教师模型的零样本和少样本能力转移到学生模型，这大大限制了学生模型的适应性。

传统的单头知识蒸馏方法，如逻辑蒸馏和特征匹配，虽然允许高效的单阶段蒸馏，但在半监督设置下表现不佳。研究团队发现，这主要是因为标记训练数据与教师模型预训练知识之间存在差异，导致梯度冲突。这种冲突就像是学生同时受到两种不同教学风格的指导，一种来自标准教材（标记数据），另一种来自资深教授的个人见解（教师模型），这两种指导有时会相互矛盾，让学生无所适从。

这个问题在少样本设置下尤为严重，因为教师蒸馏信号可能会压倒有限的标记数据信号，需要在两种信号之间谨慎平衡。就像是当正规教材很少时，学生可能过度依赖教授的个人见解，而忽略了基础知识。

二、双头优化：一种创新的知识蒸馏方法

面对上述挑战，研究团队提出了双头优化（DHO）框架，这是一种简单而有效的解决方案。DHO的核心思想是让学生模型同时拥有两个"大脑"或者说"头部"，一个专注于从标记数据学习，另一个专注于从教师模型学习，从而避免了两种学习信号之间的干扰。

具体来说，DHO引入了双预测头，分别独立学习标记数据和教师预测，并提出在推理阶段线性组合它们的输出。这就像是学生学习了两套知识系统：一套来自标准教材，另一套来自资深教授的经验，然后在实际应用中灵活结合这两种知识。

### 为什么需要双头架构？

研究团队通过深入分析发现，传统单头知识蒸馏方法中存在着梯度冲突问题。简单来说，梯度代表学习的方向，当来自标记数据和教师模型的梯度方向不一致时，就会导致学习效果不佳。

想象一下，这就像是你在学骑自行车时，一位教练告诉你"向左转"，而另一位同时告诉你"向右转"，这种矛盾的指令会让你感到困惑，甚至可能摔倒。同样地，当模型同时接收到不同方向的学习信号时，也会导致学习效率降低。

研究团队通过实验观察到，在传统单头知识蒸馏方法中，标记数据和教师预测之间的梯度余弦相似度经常为负值，这表明两种学习信号存在冲突。简单来说，当余弦相似度为负值时，意味着两个方向基本上是相反的。

### DHO是如何工作的？

DHO框架通过引入两个独立的预测头解决了这个问题：

1. 监督头（CE头）：专门通过交叉熵损失从标记数据学习。 2. 知识蒸馏头（KD头）：专门通过KL散度从教师预测学习。

这两个头共享相同的特征提取器，但各自有独立的分类层。就像是同一个学生有两种思考方式：一种按照标准教材学习，另一种模仿资深教授的思维方式。

在推理阶段，DHO通过一个简单而有效的策略结合两个头的输出：

``` 最终预测 = α · 监督头输出 + (1 - α) · 知识蒸馏头输出/β ```

其中α是一个介于0和1之间的插值超参数，用于平衡监督头和知识蒸馏头的影响，β是一个温度参数，用于调整知识蒸馏头的输出分布。

这种设计确保了学习过程中梯度冲突的缓解，而在推理时又能灵活结合两种预测的优势。研究者观察到，DHO有效缓解了梯度冲突，使特征学习比单头知识蒸馏基线更有效。正如图4所示，DHO方法的梯度余弦相似度保持在正值区域，表明学习信号是协调的而非冲突的。

此外，针对VLM学生模型，研究团队还提出了两个有效的技术改进：

1. 语言感知初始化：利用教师的文本编码器初始化双头的权重。 2. KD头对齐：通过余弦相似度计算，使KD头的预测逻辑与教师模型保持一致。

这些改进使得知识蒸馏过程更加稳定和有效，特别是在从VLM到VLM的蒸馏场景中。

三、实验设置与实施细节

为了全面验证DHO方法的有效性，研究团队设计了一系列严格的实验，涵盖多种场景和数据集。

### 数据集选择

研究使用了11个不同的数据集，包括：

- 通用物体识别：ImageNet、Caltech101 - 细粒度分类：Cars、Flowers102、FGVCAircraft、OxfordPets - 领域特定识别：Food101 - 场景理解：SUN397 - 纹理分析：DTD - 卫星图像：EuroSAT - 人类动作：UCF101

这种多样化的数据集选择确保了评估结果的可靠性和通用性，就像是在不同类型的课程和考试中测试学生的表现。

### 实验设置

实验主要包括以下三种设置：

1. 少样本半监督设置（ImageNet）：使用ResNet-18和ResNet-50作为学生模型，从零开始训练或使用自监督模型初始化。

2. 少样本半监督设置（10个细粒度数据集）：使用预训练的ResNet-18和MobileNetV2作为学生模型。

3. 低样本半监督设置（ImageNet）：使用CLIP ViT-B/16和ViT-L/14作为学生模型。

对于教师模型，研究使用了CLIP ResNet-50用于零样本场景，Tip-Adapter-F用于少样本场景，以及DFN的ViT-H/14用于低样本场景。

在所有实验中，研究团队保持了一致的训练策略和超参数设置，以确保公平比较。他们使用AdamW优化器，余弦衰减学习率调度，以及随机裁剪和水平翻转的数据增强。

### 评估指标与基线方法

主要评估指标是Top-1准确率，即模型正确预测类别的百分比。研究团队将DHO与多种基线方法进行了比较：

- CE：仅在标记数据集上使用交叉熵损失训练模型。 - KD（逻辑）：仅在未标记数据集上使用逻辑蒸馏。 - KD（特征）：仅在未标记数据集上使用特征蒸馏。 - CE+KD（逻辑/特征）：结合CE和相应的KD变体，使用平衡超参数λ。 - 现有的双头KD方法：SSKD和DHKD。

此外，在ImageNet的低样本半监督设置中，还与最先进的方法进行了比较，包括自监督和半监督学习、基于CLIP的训练、协同训练和知识蒸馏方法。

四、实验结果与分析：DHO的卓越表现

研究团队通过一系列实验验证了DHO方法的有效性，结果令人印象深刻。让我们来看看具体的表现和分析。

### 在ImageNet上的表现

在ImageNet数据集上，DHO方法展现出了出色的性能。使用零样本教师（CLIP ResNet-50）时，DHO在所有少样本设置（1、2、4、8、16样本）中都优于单头基线。例如，使用ResNet-18学生模型时，16样本设置下，DHO达到了54.5%的准确率，比CE+KD（逻辑）的51.2%高出3.3个百分点。

更令人惊叹的是，当使用少样本教师（Tip-Adapter-F）时，DHO-F的表现进一步提升，在16样本设置下达到了57.7%的准确率，甚至超过了教师模型本身的55.3%。这说明DHO-F不仅成功地从教师那里学习了知识，还能在某些情况下超越教师的表现。

### 在10个细粒度数据集上的表现

在10个细粒度数据集上的实验进一步确认了DHO的广泛适用性。如图5和图6所示，DHO在所有数据集上都优于单头基线，平均提升幅度为2.8%。特别是在斯坦福汽车数据集上，DHO的准确率提高了9.3%，这是一个显著的改进。

这些结果表明，DHO能够有效地适应各种任务，包括通用物体识别、细粒度分类、领域特定识别等。无论是使用ResNet-18还是MobileNetV2作为学生模型，DHO都表现出色，证明了其方法的稳健性。

### 在低样本半监督设置下的表现

在ImageNet的低样本半监督设置下（使用1%或10%的标记数据），DHO实现了新的最先进性能。如表4所示，使用ViT-L/14作为学生模型时，DHO在1%标记数据设置下达到了84.6%的准确率，比之前的最佳方法提高了3%；在10%标记数据设置下达到了85.9%的准确率，提高了0.1%，而且所需参数更少。

特别值得注意的是，DHO使用ViT-B/16（86M参数）达到了81.6%的准确率，与使用304M参数的REACT模型相当，展示了DHO在参数效率方面的优势。这就像是一个轻量级学生能够达到甚至超越重量级学生的成绩，非常令人印象深刻。

### 对DHO改进的分析

研究团队进行了深入分析，以理解DHO改进的来源。他们发现：

1. **梯度冲突缓解**：如图4所示，DHO成功地将梯度余弦相似度从负值（表示冲突）提升到了正值（表示协调），证明了双头架构在缓解梯度冲突方面的有效性。

2. **增强的特征表示**：通过线性评估协议，研究团队发现DHO产生的特征表示明显优于基线方法。如表3所示，DHO的Top-1准确率达到67.1%，比CE+KD（逻辑）的66.2%和CE+KD（特征）的62.3%都要高。

3. **双头输出插值的有效性**：研究表明，双头输出的线性组合进一步提升了性能。如图8所示，DHO平均比仅使用监督头（DHO（hCE））提高了1.6%的准确率，最大提升幅度为3.4%（在ImageNet上）。

这些分析表明，DHO的改进主要来自于三个方面：梯度冲突的缓解，增强的特征表示，以及双头输出的有效组合。

### 案例研究：DHO解决难题的能力

研究团队还进行了定性分析，展示了DHO如何处理具有挑战性的案例。如图9所示，在某些情况下，监督头能够正确分类，而知识蒸馏头失败；在其他情况下，则相反。通过组合两个头的输出，DHO能够解决单个头的失败问题，提供更可靠的预测。

例如，在第一个案例中，CE头正确识别了物体，而KD头错误；在第二个案例中，KD头正确，而CE头错误；在第三个案例中，两个头都单独失败，但组合后的预测却是正确的。这展示了DHO集成两种不同知识源的强大能力。

五、进一步探索与扩展

除了主要实验外，研究团队还进行了一系列额外的探索和分析，以更全面地理解DHO的性能和适用性。

### 非线性头部设计的探索

研究团队探索了不同的头部架构设计，包括线性头和非线性头。他们发现，在KD头中使用非线性架构可以提高性能，但在CE头中则会导致性能下降。这可能是因为CE头的焦点是有限的标记数据，增加复杂性会损害其学习通用特征表示的能力。

在ImageNet上，使用非线性KD头的DHO在16样本设置下达到了65.97%的准确率，比基线DHO的65.37%有所提高。然而，在其他10个数据集上，最佳架构配置因数据集而异，没有一种配置始终优于其他配置。

考虑到计算效率和架构简单性的好处，研究团队最终选择了线性头架构作为DHO的默认设置。

### 分布外泛化能力的评估

研究团队还评估了DHO在分布外（OOD）场景中的泛化能力。他们在四个广泛使用的ImageNet变体上进行了实验：ImageNet-v2、ImageNet-Sketch、ImageNet-R和ImageNet-A。

结果表明，DHO在类似分布的测试集（如ImageNet-V2）上表现出色，但在分布差异较大的数据集（如ImageNet-R和ImageNet-A）上，完全模型训练导致了与零样本预测相比的性能下降。这表明完全模型训练可能导致增加分布过拟合，损害跨领域的泛化能力。

有趣的是，研究团队发现，当教师和学生模型共享类似的训练背景时（如CLIP框架中的ViT-B/16和ViT-L/14），DHO在应对分布偏移时表现更好。这表明，成功的知识蒸馏不仅取决于教师的原始能力，还取决于教师和学生之间的对齐程度。

### 与现有适应方法的结合

研究团队还探索了将DHO与现有适应方法结合的可能性，如线性评估、视觉提示调整和基于CLIP的少样本适应方法。结果表明，DHO可以与这些方法有效结合，进一步提高性能。

特别是，将DHO与视觉提示调整（VPT）、CoOp和PromptSRC等方法结合，在所有评估基准上都取得了显著的性能提升。这表明DHO是一种通用的框架，可以与各种适应技术无缝集成。

### 计算开销和效率分析

研究团队分析了DHO的计算开销，发现与单头基线相比，DHO引入的额外计算成本很小。如表2所示，对于ResNet-18，DHO增加了4.4%的参数，但FLOPs（浮点运算次数）增加可以忽略不计，吞吐量仅下降0.20%。对于ResNet-50，参数增加了8.0%，FLOPs增加了0.2%，吞吐量下降了0.19%。

这表明DHO是一种计算效率高的方法，特别是对于类别数量较少的小型数据集，额外开销几乎可以忽略不计。研究团队还探索了使用Token Merging（ToMe）技术进一步提高DHO的计算效率，结果表明ToMe可以显著减少计算成本，同时对性能影响很小。

六、理论基础与数学支持

DHO方法不仅在经验上表现出色，还有坚实的理论基础支持。研究团队在附录A中提供了详细的理论分析，证明了DHO的数学合理性。

在理论分析中，研究团队首先推导了单头优化的最优分布，证明它是标记数据分布和教师软化分布的加权算术平均：

``` p* = λy + (1 - λ)pτ ```

其中y是真实标签分布，pτ是教师的软化分布，λ是权衡超参数。

然后，他们分析了DHO的双头架构，证明在适当的训练和参数设置下，DHO可以以有界误差近似最优单头解决方案：

``` ‖pDHO - p*‖? ≤ ε ```

其中ε是一个小常数，表示近似误差的上限。

这一理论分析表明，DHO不仅是一种实用的经验方法，还是一种数学上合理的方法，能够有效逼近理论最优解，同时避免了梯度冲突问题。

七、结论与未来展望

这项研究提出了双头优化（DHO）——一种简单而有效的知识蒸馏框架，用于在半监督设置下从视觉-语言模型转移知识到紧凑的任务特定模型。DHO通过引入双预测头分别从标记数据和教师预测中学习，缓解了梯度冲突，实现了更有效的特征学习。

DHO在各种数据集和任务上都展现出卓越的性能，尤其是在ImageNet的低样本半监督设置下，实现了新的最先进结果。这表明DHO是一种强大而通用的方法，可以有效地从大型预训练模型中提取知识，并将其转移到资源受限的模型中。

当然，这项研究也存在一些局限性。目前，DHO主要关注图像分类任务，未来可以扩展到其他计算机视觉和多模态任务，如目标检测、分割和语言建模。此外，通过适当的架构适应，DHO的双头设计原则可能有助于从基础模型向各种应用更有效地转移知识。

总的来说，这项研究不仅为知识蒸馏领域提供了一种新的解决方案，还深入探索了梯度冲突问题及其对模型学习的影响。DHO方法的简洁性和有效性使其成为在资源受限环境中部署高性能视觉模型的有力工具。

在人工智能和计算机视觉技术持续进步的今天，像DHO这样的方法将有助于将先进的视觉-语言模型的能力更广泛地应用于实际场景，推动技术的民主化和普及化。无论是在移动设备上的应用，还是在边缘计算环境中的部署，DHO都提供了一种高效而有效的知识转移方式，使小型模型也能具备大型模型的强大能力。