没有视觉数据也能让AI变聪明？ETH苏黎世等机构揭秘无监督视觉语言模型适应新秘诀

这项由ETH苏黎世大学的董浩、中科大的盛立军、中科院自动化所的梁建（通讯作者）和何然，以及EPFL的Olga Fink等研究者共同完成的综述研究，发表于2025年8月的arXiv预印本平台（论文编号：2508.05547v1）。对于想要深入了解这项研究的读者，可以通过https://arxiv.org/abs/2508.05547访问完整论文，研究团队还在GitHub上维护了相关文献资源库：https://github.com/tim-learn/Awesome-LabelFree-VLMs。

现代人工智能就像一个刚刚学会看图说话的孩子，能够同时理解图像和文字，这就是我们常说的"视觉语言模型"。这些AI模型就像CLIP、LLaVA这样的"多面手"，既能看懂图片，又能理解文字，还能把两者巧妙地联系起来。但是，这些AI"学霸"在面对新的任务或者新的环境时，往往会像转学生一样，需要重新适应。

传统的方法就像请一位家教，需要大量标注好的训练数据来"手把手"教AI适应新环境。但标注数据就像请家教一样昂贵，而且当环境发生变化时，AI的表现可能会大打折扣。正是在这样的背景下，研究团队开始探索一种全新的思路：能否让AI在没有任何标注数据的情况下，自己学会适应新的任务和环境呢？

这项研究的创新之处在于，它是第一次系统性地从"无标签视觉数据可用性"这个全新角度来分析视觉语言模型的无监督适应问题。研究团队就像绘制了一张全新的"学习地图"，将这个复杂的研究领域划分为四个清晰的"学习场景"，每个场景对应不同的数据获取条件和学习策略。

一、当AI遇到"巧妇难为无米之炊"：无数据迁移的智慧

在现实世界中，有时候我们面临的情况就像厨师在没有任何食材的情况下做菜一样困难。这就是研究团队定义的第一种场景：无数据迁移。在这种情况下，AI模型只能依靠任务的类别名称，没有任何来自目标任务的视觉数据可以利用。

这听起来几乎是不可能完成的任务，但研究团队发现了三种巧妙的策略来解决这个难题。第一种策略被称为"文本增强"，就像一个没有食材的厨师开始研究菜谱一样。AI模型利用大型语言模型（比如GPT-3或ChatGPT）来丰富简单的类别名称。比如，当面对"猫"这个简单的类别时，AI会让语言模型生成更丰富的描述，如"一只毛茸茸的家养动物，有着尖尖的耳朵和长长的尾巴"。

这种方法的妙处在于，AI不再满足于简单的标签，而是试图理解每个类别背后更深层的含义。研究团队发现，像DCLIP和CuPL这样的方法，能够通过生成多样化的语义描述，显著提升AI对不同类别的理解能力。更有趣的是，一些研究甚至发现，将科学物种名称替换为常见的英语术语，就能够改善分类性能。

第二种策略是"图像利用"，这就像厨师虽然没有指定的食材，但可以从其他地方找到替代品。AI模型会从大型数据库中检索相关图像，或者使用生成模型创造出合成图像。比如，当需要识别不同品种的狗时，AI可能会从网络上检索各种狗的图片，或者使用扩散模型生成各种风格和品种的狗的图像。

第三种策略是"网络修改"，这更像是改造厨房设备来适应新的烹饪需求。研究团队发现，通过调整AI模型的内部结构，特别是注意力机制的部分，可以让模型更好地适应特定类型的任务。比如，MaskCLIP方法发现，在注意力层的价值嵌入中包含了更丰富的局部信息，这对于像图像分割这样需要精确定位的任务特别有用。

这些策略的效果往往令人惊讶。即使在完全没有目标任务数据的情况下，经过这些方法优化的AI模型也能展现出不错的适应能力。这就像一位经验丰富的厨师，即使在陌生的厨房里没有熟悉的食材，也能凭借对烹饪原理的深刻理解，做出美味的菜肴。

二、当AI拥有"练兵场"：无监督领域迁移的策略

与前面的"无米之炊"不同，第二种场景更像是给AI提供了一个宽敞的练兵场。在无监督领域迁移中，AI虽然没有标注数据，但拥有大量来自目标任务的无标签视觉数据。这就像给厨师提供了充足的食材，但没有告诉他应该做什么菜。

在这种情况下，AI可以采用更加丰富多样的学习策略。研究团队识别出了三种主要的方法。第一种是"自训练"策略，这就像AI给自己当老师。模型首先对无标签数据做出预测，然后选择那些看起来最有把握的预测结果作为"伪标签"，用这些伪标签来进一步训练自己。

这个过程有点像一个学生在做练习题时，先尝试解答所有问题，然后挑选出自己最有信心的答案，把这些答案当作"标准答案"来检验自己的其他解答。UPL方法就采用了这种策略，它会为每个类别选择一小部分高置信度的样本，然后使用这些样本来优化提示参数。

第二种策略是"熵优化"，这听起来很复杂，但实际上的思路很简单。熵在这里可以理解为AI预测的"不确定性"。当AI对某个预测很确定时，熵就很低；当AI很犹豫时，熵就很高。通过最小化熵，AI实际上是在训练自己对每个预测都更加确信。

这就像训练一个犹豫不决的人变得更有决断力。POUF和CDBN等方法采用这种策略，不仅要求AI对个别样本的预测要确定，还要求在整体上保持类别间的平衡，避免AI过度偏向某些容易识别的类别。

第三种策略是"外部资源利用"，这就像是寻求外部帮助。AI模型可能会利用更强大的语言模型来生成更好的文本描述，或者从更强大的视觉模型中"借鉴"知识。LaFTer方法就利用GPT-3来生成多样化的文本描述，然后用这些描述来训练一个专门的文本分类器。

这些策略的巧妙之处在于，它们能够充分挖掘无标签数据中蕴含的信息。就像一个经验丰富的侦探，即使没有目击者的证词（标签），也能从现场的蛛丝马迹（无标签数据）中推断出事情的真相。研究结果显示，这些方法在多个基准数据集上都取得了显著的性能提升。

三、当AI面对"突击考试"：批次测试时适应的应变能力

第三种场景就像学生突然面临一场没有预习机会的考试，AI需要在测试时临时适应一批新的数据。这种"批次测试时适应"要求AI在短时间内快速调整自己，以应对可能的分布差异或新的挑战。

在这种场景下，时间就是一切。AI不能花费太长时间来学习，必须在处理当前批次数据的同时快速适应。研究团队发现了四种主要的应对策略。

第一种是经典的"熵最小化"策略。这就像在考试时，学生会优先回答自己最有把握的题目，通过增强信心来提升整体表现。TPT（测试时提示调优）方法是这个领域的开创性工作，它通过优化文本提示来最小化预测的熵值。具体来说，当AI面对一个测试图像时，它会生成多个随机增强版本，然后调整文本提示，使得对这些增强版本的平均预测更加确信。

第二种策略是利用"反馈信号"，这就像在考试时能够得到一些提示或线索。Diffusion-TTA方法利用扩散模型的生成反馈来指导判别模型的适应。这个过程有点像先让AI试着"画出"它认为正确的答案，如果画得不好，就说明理解有偏差，需要调整。

第三种策略是"分布对齐"，这就像让AI在考试前快速熟悉考试环境和题型风格。PromptAlign方法通过调整多模态提示，使得测试样本的特征分布与预先计算的源域统计信息对齐。这确保了AI在新环境中能够保持稳定的性能表现。

第四种策略是"自监督学习"，这就像AI在没有标准答案的情况下，通过寻找数据间的内在规律来提升理解能力。Self-TPT方法引入了对比提示调优，通过最小化类内距离和最大化类间分离来学习更鲁棒的类别表示。

这些策略的效果往往立竿见影。就像一个经验丰富的应试者，即使面对陌生的题目，也能够快速调整策略，找到最适合当前情况的解题方法。研究显示，这些方法能够在各种测试场景下显著提升AI的适应性和鲁棒性。

四、当AI面对"实时挑战"：在线测试时适应的动态策略

最后一种场景是最具挑战性的，就像AI需要在实时的数据流中不断学习和适应。这种"在线测试时适应"要求AI能够处理连续到达的数据流，每个新的数据点都可能带来新的挑战和机会。

这种场景下，AI面临的挑战就像一个在线直播的主持人，必须能够实时应对观众的各种问题和变化，没有暂停或重来的机会。研究团队识别出了三种主要的应对策略。

第一种是"伪标签策略"，这就像AI在数据流中不断地给自己出题和答题。当新数据到达时，AI首先用当前模型进行预测，如果对预测结果很有信心，就将其作为伪标签用于进一步学习。DART方法采用了自适应多模态提示学习，同时保留来自先前测试样本的知识，这样AI就能够在学习新知识的同时不忘记旧知识。

第二种策略是"内存机制"，这就像给AI配备了一个智能的记忆系统。TDA（训练无关动态适配器）方法使用动态键值缓存系统，存储来自测试样本的伪标签和对应的特征表示。这个缓存系统使得AI能够通过检索历史信息来改善当前的预测，就像一个经验丰富的医生会参考以往的病例来诊断新的患者。

第三种策略是"分布建模"，这就像AI试图理解数据流的统计规律。OGA方法使用多变量高斯分布来建模视觉特征的似然性，并在最大后验估计框架内融合零样本先验。这种方法的巧妙之处在于，它不需要梯度反向传播，因此可以实现快速推理。

这些在线适应策略的核心优势在于它们的实时性和累积性。随着处理更多数据，AI的性能会逐步提升，就像一个在实践中不断成长的专家。研究结果表明，这些方法在动态环境中展现出了强大的适应能力，能够有效处理概念漂移和分布变化等实际问题。

五、从实验室到现实世界：丰富多样的应用场景

这些无监督适应技术并不只是停留在理论层面，而是在众多实际应用中展现出了巨大的潜力。研究团队详细调研了这些方法在不同应用领域的表现，这些应用涵盖了从日常生活到专业领域的各个方面。

在对象分类方面，这些技术就像训练AI成为一个全能的"识别专家"。无论是识别不同品种的花朵、汽车型号，还是区分各种动物，AI都能够在没有大量标注数据的情况下快速适应新的分类任务。特别值得注意的是，这些方法在处理细粒度分类任务时表现尤为出色，比如区分不同种类的鸟类或者识别不同的飞机型号。

在语义分割领域，AI需要对图像中的每个像素进行精确标注，这就像给一幅画进行详细的"解剖"分析。研究表明，无监督适应方法在城市场景理解、医疗图像分析等需要精确定位的任务中展现出了强大的能力。比如在自动驾驶场景中，AI需要准确识别道路、车辆、行人等各种元素的精确边界。

医疗图像诊断是另一个重要的应用领域。在这个领域，获取专业标注数据既昂贵又耗时，而且常常涉及隐私问题。研究团队发现，无监督适应方法在胸部X光诊断、糖尿病视网膜病变检测、脑肿瘤识别等任务中都取得了令人鼓舞的结果。这些方法就像培养了一个能够快速学习的医学实习生，能够在有限的指导下快速掌握新的诊断技能。

视频理解和动作识别也是重要的应用方向。AI需要理解视频中复杂的时序信息和动作模式，这就像让AI学会"看懂"电影情节。无监督适应方法在人体动作识别、体育活动分析等任务中显示出了良好的适应性。

最有趣的是，研究还涉及了一些前沿的应用场景，比如异常检测和跨模态检索。在异常检测中，AI需要识别那些不符合正常模式的数据点，这就像训练AI成为一个敏锐的"侦探"。在跨模态检索中，AI需要根据文本描述找到相应的图像，或者根据图像找到相关的文本描述，这就像训练AI成为一个高效的"图书管理员"。

六、评估标准：如何衡量AI的学习能力

为了客观评估这些无监督适应方法的效果，研究团队建立了一套全面的评估体系。这套体系就像为AI设计了一系列标准化测试，从不同角度考查AI的适应能力。

评估数据集的选择覆盖了从简单到复杂的各种场景。在对象分类方面，研究使用了从Caltech101这样的经典数据集，到ImageNet及其变体这样的大规模挑战性数据集。这些数据集就像不同难度的考试，能够全面测试AI在各种情况下的表现。

特别值得关注的是，研究团队还考虑了分布偏移的影响。他们使用了ImageNet-A、ImageNet-R、ImageNet-Sketch等数据集来测试AI在面对与训练数据风格差异较大的测试数据时的鲁棒性。这就像测试学生在面对意料之外的考题时的应变能力。

在语义分割任务中，评估使用了PASCAL VOC、COCO、ADE20K、Cityscapes等标准数据集。这些数据集涵盖了从通用对象分割到复杂城市场景理解的各种挑战。评估指标主要使用平均交并比（mIoU），这个指标能够精确衡量AI对图像中每个区域的识别准确度。

对于异常检测任务，研究建立了分层的评估体系，将异常类型分为远程异常、近程异常和细粒度异常三类。这种分类方法就像给异常检测任务设置了不同的难度级别，从容易识别的明显异常到需要精细判断的微妙异常。

评估指标的选择也非常全面。除了传统的准确率指标外，研究还采用了FPR95（5%真正例率下的假正例率）和AUROC（受试者工作特征曲线下面积）等专门针对异常检测的指标。在检索任务中，使用了Recall@K等指标来衡量AI在大规模数据中准确找到相关内容的能力。

七、挑战与机遇：AI无监督学习的未来方向

尽管无监督视觉语言模型适应技术取得了显著进展，但研究团队也指出了当前面临的主要挑战和未来的发展方向。这些挑战就像AI学习路上的"拦路虎"，需要研究者们继续探索解决方案。

理论分析的缺乏是一个重要问题。目前大多数研究还停留在经验性的方法开发上，缺乏深入的理论分析来解释为什么这些方法有效，以及在什么条件下会失效。这就像只知道某种药物有效，但不清楚其作用机制。未来的研究需要建立更严格的理论框架，为方法设计提供更坚实的基础。

开放世界场景是另一个重大挑战。现有的大多数方法假设测试数据和训练数据来自相同的类别集合，但在真实世界中，AI经常会遇到完全未见过的新类别。这就像让一个只学过数学的学生去参加综合性考试。研究团队指出，如何让AI能够有效识别和处理新类别，是未来研究的重要方向。

对抗鲁棒性也是一个不容忽视的问题。虽然视觉语言模型展现出了强大的泛化能力，但它们对对抗性攻击仍然很脆弱。这就像一个学识渊博的学者可能被巧妙设计的陷阱题难倒。如何在无监督适应过程中保持对抗鲁棒性，需要更多的研究投入。

隐私保护是实际应用中的重要考虑因素。在适应过程中，模型可能会处理敏感的个人或商业数据。如何在保护隐私的同时实现有效的无监督适应，是一个既有技术挑战又有实际意义的研究方向。联邦学习等技术可能为解决这个问题提供思路。

计算效率的优化也非常重要。虽然无监督适应方法避免了昂贵的数据标注成本，但它们往往需要大量的计算资源。特别是在移动设备或边缘计算场景中，如何实现高效的无监督适应是一个实际的挑战。研究团队建议探索模型量化、知识蒸馏等技术来降低计算负担。

模型多样性也是一个值得关注的方向。目前的大多数研究都基于CLIP架构，虽然CLIP表现优秀，但过度依赖单一架构可能限制了方法的多样性。研究团队建议探索更多不同的基础模型，比如基于masked语言建模的模型或生成式视觉语言变换器。

多模态大语言模型的集成是一个新兴的研究方向。随着GPT-4V、LLaVA等多模态大模型的发展，如何将测试时适应技术与这些强大的基础模型结合，是一个充满潜力的研究领域。

最后，研究团队强调了失效模式分析的重要性。目前很少有研究系统性地分析无监督适应方法的失效情况。了解方法的局限性，识别可能的失效模式，对于提升方法的可靠性和实用性具有重要意义。

说到底，这项综述研究为我们描绘了一幅AI无监督学习的全景图。从完全没有数据的"巧妇难为无米之炊"，到拥有丰富无标签数据的"练兵场"，再到实时适应的动态挑战，AI正在学会在各种条件下自主学习和适应。这些技术的发展，意味着AI系统将变得更加灵活和实用，能够更好地服务于我们的日常生活和专业需求。

虽然目前还存在诸多挑战，但研究前景十分光明。随着理论基础的不断完善、方法的持续创新，以及在更多实际场景中的验证，无监督视觉语言模型适应技术有望成为人工智能发展的重要推动力。对于普通人来说，这意味着未来的AI助手将更加智能和贴心，能够在没有大量训练的情况下快速适应我们的个性化需求。如果你对这个充满潜力的研究领域感兴趣，不妨查阅研究团队的完整论文和开源资源，深入了解这些令人兴奋的技术进展。

Q&A

Q1：视觉语言模型的无监督适应是什么意思？为什么重要？

A：视觉语言模型的无监督适应是指AI在没有标注数据的情况下，自动学会适应新任务或新环境的能力。这很重要因为传统方法需要大量昂贵的人工标注数据，而无监督适应能让AI像人类一样，通过观察和推理自主学习，大大降低了AI应用的成本和门槛。

Q2：这四种适应场景（无数据迁移、无监督领域迁移等）有什么区别？

A：主要区别在于可用数据的多少。无数据迁移只有类别名称，最困难；无监督领域迁移有大量无标签数据，可以充分训练；批次测试时适应面对小批量数据，需要快速调整；在线测试时适应处理连续数据流，最具挑战性。就像不同的学习环境，从完全自学到有教材辅助。

Q3：这些无监督适应技术在实际生活中有哪些应用前景？

A：应用前景非常广泛，包括医疗图像诊断（帮助医生快速识别病症）、自动驾驶（适应不同路况和天气）、内容审核（识别新类型的不当内容）、个性化推荐（适应用户偏好变化）等。这些技术让AI更灵活，能够在各种实际场景中快速适应，无需重新训练。