上海交通大学团队让CLIP模型学会理解多语言和长文本：突破77个词的限制

这项由上海交通大学的胡晓兴、北京理工大学和深度好奇科技公司等多家机构联合开展的研究，发表于2025年10月的arXiv预印本平台（论文编号：arXiv:2510.18795v1），有兴趣深入了解的读者可以通过该编号查询完整论文。这个研究团队开发出了一种名为ProCLIP的新方法，彻底解决了目前最流行的视觉语言模型CLIP在理解文本方面的重大限制。

CLIP就像是一个非常聪明的翻译官，能够同时理解图片和文字，并且知道它们之间的关系。比如当你给它看一张猫的照片，并输入"一只可爱的橘猫"这几个字，它就能准确地知道图片和文字说的是同一件事。这种能力让CLIP在很多应用中大放异彩，从图片搜索到自动生成图片描述，都有它的身影。

但是CLIP有个致命弱点，就像一个只会说短句的翻译官一样，它最多只能理解77个词的文本。这听起来可能不算什么大问题，但想象一下，如果你想让它理解一段详细的图片描述，比如"在夕阳西下的海边，一位穿着白色连衣裙的女孩正在沙滩上追逐海浪，她的长发在海风中飞舞，远处的灯塔静静地矗立在岩石上，几只海鸥在天空中自由翱翔，整个画面充满了诗意和宁静"——这样的描述很快就会超过77个词的限制。更要命的是，CLIP基本上只能理解英文，对于中文、日文、西班牙文等其他语言几乎一窍不通。

研究团队意识到，这些限制就像给一个本来很有潜力的学生戴上了眼罩和耳塞，严重限制了它的发挥。于是他们想到了一个绝妙的解决方案：既然CLIP的文本理解能力有限，为什么不给它换一个更强大的"大脑"呢？

一、用大语言模型的力量重新武装CLIP

研究团队的核心思路非常巧妙，就像给一个视力很好但听力有限的人配上最先进的助听器一样。他们决定用大语言模型（LLM）来替换CLIP原本的文本编码器。大语言模型就是那些能够理解和生成人类语言的超级AI，比如GPT这样的模型，它们在理解长文本、多语言支持和精细语义理解方面都非常出色。

但是，这里面有个巨大的技术挑战。就像两个从未合作过的音乐家突然要一起演奏交响乐一样，CLIP的图像理解部分和大语言模型的文本理解部分原本是在完全不同的"训练环境"中成长的，它们的"语言"并不相通。如果简单粗暴地把它们拼接在一起，就像强行让两个说不同语言的人对话，结果往往是一团糟。

以往的研究方法就像是把两个陌生人扔到一个房间里，然后期望他们能立即配合默契。这种"从零开始"的对齐方式不仅效率低下，还可能让原本表现很好的CLIP图像理解能力受到损害，就像一个原本跳舞很好的人突然要学习一种完全不同的舞蹈风格，反而可能连原来的舞步都忘了。

二、渐进式学习：先当学生，再做搭档

ProCLIP的创新之处就在于采用了一种"渐进式对齐"的策略，这个过程就像培养两个人成为完美搭档的科学方法。整个训练过程分为两个精心设计的阶段，每个阶段都有明确的目标和作用。

在第一个阶段，研究团队让大语言模型先向CLIP的文本编码器学习，就像一个新来的员工要先跟老员工学习公司的工作方式一样。这个过程叫做"知识蒸馏"，听起来很高深，其实就像是让大语言模型观察CLIP是如何理解文本的，然后尽力模仿这种理解方式。

具体来说，研究团队设计了两种学习机制。第一种叫做"实例语义对齐损失"，这就像是让大语言模型学习如何理解每个具体的词汇或短语。比如当看到"可爱的小猫"这个短语时，CLIP会产生一种特定的理解方式，大语言模型就要学会产生类似的理解。第二种叫做"嵌入结构对齐损失"，这更像是学习整体的思维模式，不仅要理解具体的词汇，还要理解不同概念之间的关系和结构。

这个阶段的巧妙之处在于，大语言模型在学习CLIP理解方式的同时，实际上是在建立一座"桥梁"，让自己的强大语言能力能够与CLIP的图像理解能力相互沟通。就像学习一门新语言时，你首先要掌握基本的词汇和语法，然后才能进行复杂的对话。

三、精细调优：在保持本色的基础上完美合作

第二个阶段更加精彩，这时候研究团队开始让图像理解和文本理解两个部分进行真正的合作训练。这个过程使用了对比学习的方法，就像让两个人通过不断的练习来培养默契。

对比学习的原理可以用一个简单的例子来解释：给模型看一张猫的图片和一堆文字描述，其中只有一个描述真正匹配这张图片（比如"一只橘色的猫趴在沙发上"），其他的都是不相关的描述（比如"一辆红色的汽车"或"一束鲜花"）。模型要学会找出正确的匹配，就像玩配对游戏一样。通过大量这样的练习，模型逐渐学会了理解图片和文字之间的对应关系。

但是这里有个风险：在学习新技能的过程中，CLIP原本优秀的图像理解能力可能会受到干扰，就像一个原本很会画画的人在学习音乐时可能会暂时影响画画水平。为了解决这个问题，研究团队引入了一个非常聪明的"自我约束"机制。

这个机制就像给学习者设置了一个"记忆锚点"。他们创建了一个CLIP图像编码器的"影子版本"，这个影子版本保持着原始的能力不变。在训练过程中，当前正在学习的版本会时不时地"回头看看"这个影子版本，确保自己没有忘记原来的技能。这种方法叫做"自蒸馏正则化"，听起来复杂，实际上就是一种防止"学了新的忘了旧的"的保护机制。

四、实验验证：全方位的能力提升

研究团队对ProCLIP进行了极其全面的测试，就像对一款新车进行各种路况的试驾一样。他们在多个不同的任务上测试了模型的表现，结果令人印象深刻。

在零样本分类任务中，ProCLIP展现出了显著的优势。零样本分类就像是让一个人看从未见过的动物照片，然后仅凭照片就能说出这是什么动物。在这项测试中，ProCLIP比基线方法LLM2CLIP提升了6.8%到13.5%的准确率。这个提升幅度相当可观，就像一个学生的考试成绩从70分提升到了80多分。

在跨模态检索任务中，ProCLIP同样表现出色。跨模态检索就像是在一个巨大的图片库中，根据文字描述找出对应的图片，或者反过来根据图片找出相应的文字描述。研究团队在六个不同的数据集上进行了测试，包括处理短文本的Flickr30k和COCO数据集，以及处理长文本的ShareGPT4V、Urban-1k、DOCCI和DCI数据集。在所有这些测试中，ProCLIP都稳定地超越了现有方法，平均提升在2-3个百分点左右。

特别值得注意的是多语言能力的提升。研究团队在XM3600多语言数据集上进行了测试，这个数据集涵盖了36种不同的语言，从阿拉伯语到中文，从西班牙语到日语。结果显示，ProCLIP在几乎所有语言上都取得了显著的性能提升，这证明了大语言模型的多语言能力确实被成功地传递给了整个系统。

在鲁棒性测试中，ProCLIP也展现出了强大的适应能力。鲁棒性测试就像是在各种极端条件下测试一款产品的稳定性，比如在光线昏暗、图像模糊或者存在干扰的情况下，模型是否还能保持良好的表现。在ImageNet的各种变体测试中，包括ImageNet-A（对抗样本）、ImageNet-R（风格化图像）等具有挑战性的数据集上，ProCLIP都保持了稳定的性能优势。

五、精细理解能力的突破

除了基础的图像分类和检索能力，ProCLIP在精细理解任务中也表现出了令人瞩目的进步。研究团队使用MMVP-VLM基准测试了模型的精细视觉理解能力，这个测试专门设计来评估模型是否能理解图像中的细微差别和复杂关系。

MMVP-VLM测试涵盖了九种不同类型的视觉理解挑战，每一种都考验着模型的不同能力。比如方向和朝向的识别（判断图中的狗是朝哪个方向看的），特定特征的存在性判断（图中是否有某个特定的物体），状态和条件的识别（旗帜是否在风中飘扬），数量和计数（图中有几只鸟），位置和关系理解（物体之间的空间关系），颜色和外观（物体的具体颜色），结构和物理特征（建筑物的结构特点），文本识别（图中的文字内容），以及视角和透视（照片的拍摄角度）。

在这些复杂的测试中，ProCLIP相比于基线LLM2CLIP在不同数据规模下都取得了明显的改善。特别是在30M数据规模下，性能提升达到了10.4%，这表明ProCLIP不仅在基础任务上表现优秀，在需要精细理解的复杂场景中也能展现出明显的优势。

六、技术细节的深度剖析

ProCLIP的成功离不开一系列精心设计的技术细节。研究团队在损失函数的设计上特别用心，确保每一个组件都能发挥最大的作用。

在第一阶段的知识蒸馏过程中，实例语义对齐损失确保了大语言模型能够准确地学习CLIP文本编码器的表示方式。这个损失函数通过最小化大语言模型输出和CLIP文本编码器输出之间的差异来实现知识传递。与此同时，嵌入结构对齐损失则关注的是更高层次的结构信息，它通过比较样本之间的距离关系来确保大语言模型不仅能理解单个概念，还能掌握概念之间的相互关系。

在第二阶段的对比调优中，研究团队使用了InfoNCE损失函数，这是对比学习中的经典选择。但关键的创新在于自蒸馏正则化的引入。这个机制通过维护一个指数移动平均（EMA）更新的教师模型来约束训练过程，防止模型在学习新能力时丢失原有的知识。这种设计就像给学习者设置了一个智能的提醒系统，时刻确保不忘初心。

研究团队还进行了详尽的消融实验，系统地验证了每个组件的必要性。结果显示，移除任何一个组件都会导致性能的明显下降，这证明了整个框架设计的合理性和完整性。

七、与现有方法的全面比较

为了证明ProCLIP的优越性，研究团队将其与多种现有方法进行了详细比较，包括FLAME、ShareLock、LIFT、SAIL、LiT等最新的相关工作。比较结果显示，在相同或更低的训练成本下，ProCLIP在各种模型规模上都取得了显著的性能优势。

特别值得关注的是，ProCLIP不仅在检索任务上表现出色，在ImageNet分类任务上也取得了显著的改善。这种全面的性能提升表明，ProCLIP成功地在增强语言理解能力的同时，保持并提升了原有的视觉理解能力。

研究团队还测试了不同大语言模型嵌入器的效果，包括Qwen3-Embedding、GME、NV-Embedv2和Llama3-CC等。结果显示，虽然不同的嵌入器在检索性能上差异不大，但在ImageNet分类准确率上存在显著差异，这表明不同嵌入器与CLIP特征空间的对齐程度不同。

八、数据规模和模型规模的影响

研究团队深入探讨了数据规模对ProCLIP性能的影响。他们使用了三种不同规模的训练数据：3M（CC3M）、15M（CC3M + CC12M）和30M（CC3M + CC12M + YFCC15M）。结果显示，随着数据规模的增加，模型性能呈现稳定的提升趋势。

有趣的是，即使在相对较小的数据规模（1M样本）下，ProCLIP仍然能够取得与使用更大数据集训练的LLM2CLIP相当甚至更好的性能。这表明ProCLIP具有良好的数据效率，能够在有限的数据条件下发挥出色的性能。

在模型规模方面，研究团队还尝试了将MLP层数从4层扩展到12层，结果显示这种简单的参数扩展仍然能够带来额外的性能提升，说明ProCLIP框架具有良好的可扩展性。

九、应用前景和实际价值

ProCLIP的成功为视觉语言模型的发展开辟了新的方向。这项技术的应用前景极其广阔，几乎涵盖了所有需要理解图像和文本关系的场景。

在搜索引擎领域，ProCLIP能够大大改善基于自然语言的图像搜索体验。用户可以使用更长、更详细的描述来查找图片，而不再受制于简短关键词的限制。比如搜索"在樱花盛开的公园里，一个穿着蓝色外套的小女孩正在喂鸽子"这样具体的场景，ProCLIP都能准确理解并找到相应的图片。

在内容创作和编辑领域，ProCLIP可以帮助自动生成更准确、更详细的图片标题和描述，提高内容的可发现性和可访问性。对于视力障碍用户来说，这种技术能够提供更丰富、更准确的图像描述，大大改善他们的数字体验。

在电商和广告行业，ProCLIP可以实现更精准的商品推荐和广告投放。通过理解用户的详细需求描述，系统能够找到最匹配的商品或广告内容，提高用户满意度和转化率。

在教育领域，ProCLIP可以帮助创建更智能的教学辅助工具，能够理解学生用自然语言提出的关于图像内容的复杂问题，并提供准确的回答和解释。

十、技术局限性和未来发展方向

尽管ProCLIP取得了显著的成功，研究团队也诚实地指出了当前方法的一些局限性。

在训练效率方面，ProCLIP的两阶段训练策略确实带来了额外的计算开销。第二阶段需要解冻视觉编码器进行训练，加上在线自蒸馏的计算，使得训练速度约为基线方法的0.74倍。研究团队已经提出了几种可能的优化方向，包括采用参数高效的微调方法、只训练视觉编码器的部分参数、或者将在线蒸馏改为离线蒸馏等。

在视觉对齐的精细度方面，当前的ProCLIP仍然基于全局语义的对比学习，对于局部视觉区域与文本语义的精细对齐还有改进空间。这种局部对齐能力对于开放词汇的分割和检测任务特别重要，是未来发展的一个重要方向。

研究团队还指出，除了替换文本编码器，未来还可以考虑同时改进视觉编码器来解决CLIP在视觉表示方面的局限性，比如缺乏局部感知能力等问题。

最后，ProCLIP虽然在检索和分类任务上表现出色，但在多模态大语言模型（MLLM）的下游基准测试中，相比基线方法的优势并不显著。这提示未来的研究需要更多关注如何将改进的视觉语言对齐能力更好地转化为复杂推理任务的性能提升。

说到底，ProCLIP代表了视觉语言模型发展的一个重要里程碑。它不仅解决了CLIP在文本长度和多语言支持方面的关键限制，更重要的是，它提供了一个系统性的解决方案来整合不同模态的预训练知识。这种渐进式对齐的思路为未来多模态模型的发展提供了宝贵的经验和启示。随着技术的不断完善和应用场景的不断扩展，我们有理由相信，这类能够深度理解图像和语言关系的AI系统将在未来发挥越来越重要的作用，真正实现人机交互的自然化和智能化。

Q&A

Q1：ProCLIP是如何突破CLIP的77个词限制的？

A：ProCLIP用大语言模型替换了CLIP原本的文本编码器。大语言模型本身就能处理很长的文本，所以替换后的系统自然就能理解超过77个词的长文本描述，同时还获得了多语言理解能力。

Q2：ProCLIP的渐进式训练有什么特别之处？

A：ProCLIP采用两阶段训练策略。第一阶段让大语言模型先学习CLIP的理解方式，建立初步对齐；第二阶段再进行图像文本的联合训练，并用自蒸馏机制防止遗忘原有能力。这比直接强行对齐更稳定有效。

Q3：ProCLIP在实际应用中有哪些优势？

A：ProCLIP在图像搜索、内容描述、多语言理解等方面都有显著提升。它能理解更详细的图像描述，支持36种语言，在分类准确率上比现有方法提升6.8%-13.5%，特别适合需要精细理解图文关系的应用场景。