谷歌DeepMind让AI大脑学会了超强"语言视觉连接"，一个模型懂36种语言还能精准定位

这项由谷歌DeepMind的Michael Tschannen和Xiaohua Zhai领导的突破性研究发表于2025年2月，研究团队开发了名为SigLIP 2的新一代多语言视觉-语言编码器。有兴趣深入了解的读者可以通过arXiv:2502.14786v1访问完整论文。这项研究就像是给AI装上了一双能看懂世界各种语言文字的"超级眼睛"，不仅能理解英语图片，还能准确理解中文、日语、阿拉伯语等36种不同语言的图像内容。

回想一下我们人类是如何理解图片的：当你看到一张照片时，你的大脑会瞬间将视觉信息与语言概念连接起来。比如看到一只猫的照片，你会立刻想到"猫"这个词，甚至能用语言描述猫的颜色、姿态和所在环境。而如果你掌握多种语言，你还能用不同语言来描述同一张图片的内容。

现在，研究团队成功让AI也具备了这种跨语言的"看图说话"能力，而且表现得比以往任何系统都要出色。这个被称为SigLIP 2的AI系统不仅能准确识别图片内容，还能精确定位图片中的具体物体位置，甚至能提取出用于更复杂AI应用的高质量特征信息。

最令人印象深刻的是，这个系统在保持强大英语理解能力的同时，还能很好地理解其他35种语言的图像内容。这就好比培养了一位既精通英语又熟悉全球多种语言的"超级翻译官"，而且这位翻译官还具备了敏锐的视觉观察能力。研究团队通过巧妙的训练方法，让这个AI系统学会了更公平、更准确地理解来自不同文化背景的图像内容。

一、给AI大脑装上多语言视觉引擎的全新方法

研究团队采用了一种类似"分阶段烹饪"的训练方法来打造SigLIP 2。就像制作一道复杂美食需要分步骤精心烹制一样，他们没有试图一次性让AI学会所有技能，而是采用了循序渐进的训练策略。

整个训练过程的核心思路可以比作教一个孩子同时学会看图、说话和翻译。首先，研究团队延续了原版SigLIP的基础架构，这相当于为AI提供了一个已经具备基本视觉理解能力的"大脑框架"。然后，他们在这个基础上添加了几个关键的学习模块。

第一个重要创新是加入了"看图写话"训练。研究团队给AI系统配备了一个专门的解码器，就像给它安装了一个"语言生成器"。这个生成器不仅能学会为图片写标题，还能学会更复杂的任务：当给它一段描述时，它能在图片中准确找到对应的物体位置，就像玩"找不同"游戏一样精准。

第二个关键创新是引入了"自我学习"机制。研究团队设计了一套巧妙的训练系统：AI既是学生又是老师。作为老师的AI会看完整的图片，而作为学生的AI只能看到图片的一部分。学生AI需要努力让自己的理解尽可能接近老师AI的理解水平。这种方法让AI学会了从局部信息推断整体内容的能力，大大提升了它对图片细节的理解精度。

第三个重要改进是采用了"数据精选"策略。研究团队没有让AI随机学习海量图片，而是像挑选食材一样精心筛选训练数据。他们开发了一套智能筛选系统，能自动识别哪些图片对AI学习最有帮助，优先让AI学习这些高质量的样本。这种方法特别对较小规模的AI模型效果显著，就像给孩子选择最有营养的食物一样，确保每一口都物有所值。

在数据来源方面，研究团队使用了包含100亿张图片和120亿条多语言描述文本的WebLI数据集。为了在英语能力和多语言能力之间取得平衡，他们精心设计了数据配比：90%的训练数据来自英语网页，剩余10%来自其他语言的网页。这种配比确保了AI既能在英语任务上表现出色，又能很好地理解其他语言的内容。

更重要的是，研究团队还应用了专门的去偏见技术来净化训练数据。这些技术能够自动识别和减少数据中可能存在的文化偏见或性别刻板印象，确保AI系统能更公平地对待来自不同文化背景的图像内容。

二、让AI学会精准"看图定位"的训练秘诀

SigLIP 2最令人惊叹的能力之一就是精准的视觉定位能力。当你指着一张复杂图片说"那个穿红衣服的小女孩在哪里"时，它能像经验丰富的向导一样，准确指出小女孩在图片中的具体位置。这种能力的培养过程就像教授一个学生同时学会"看"、"听"、"说"三种技能。

研究团队采用的训练方法可以比作教学生玩一个复杂的"图片问答游戏"。在这个游戏中，AI需要学会三种不同的任务技能。第一种技能是"看图写话"：给AI一张图片，它需要写出准确的描述；第二种技能是"听话找图"：给AI一段文字描述，它需要在图片中画出对应区域的边框；第三种技能是"指定区域说话"：给AI一个特定的图片区域，它需要准确描述这个区域的内容。

为了让AI更好地掌握这些技能，研究团队采用了一种叫做"并行预测"的巧妙训练方法。传统的AI训练通常是逐字逐句地生成文本，就像我们一个字一个字地写作文。但在并行预测中，AI需要同时预测整个句子中的所有词语，这就像同时完成一整道数学题的所有步骤，而不是按部就班地一步步解答。这种训练方法大大提高了AI的学习效率。

在处理复杂的视觉定位任务时，研究团队还开发了自动标注系统。这个系统就像一个勤奋的助手，能够自动分析图片中的文字描述，提取出其中提到的物体名称，然后使用开放词汇检测技术在图片中找到这些物体的准确位置。这种自动化处理方式让AI能够从海量数据中学习各种复杂的视觉-语言对应关系。

研究团队还特别注重让AI学会处理密集的图像特征。所谓密集特征，就是图片中每一个小区域都包含丰富的语义信息，而不仅仅是整体的概括性描述。这就像教学生不仅要理解一幅画的整体主题，还要能够描述画面中每个细节的含义和作用。

为了实现这个目标，他们采用了"局部到全局的一致性学习"方法。在这种方法中，AI有两个版本：一个是"学生版本"，只能看到图片的局部区域；另一个是"老师版本"，可以看到完整图片。学生版本需要努力让自己对局部信息的理解与老师版本对全局信息的理解保持一致。这种训练方式让AI学会了从局部细节推断整体意图的能力。

同时，研究团队还加入了"掩码预测"训练。这种方法就像让学生做"看图填空"练习：遮住图片的某些部分，让AI根据能看到的部分来推测被遮挡区域的内容。通过大量这样的练习，AI逐渐掌握了理解图片空间关系和上下文信息的能力。

三、支持多种分辨率和保持图像原始比例的灵活设计

SigLIP 2的另一个突破性创新是开发了名为NaFlex的变体版本，这个版本就像一个"万能适配器"，能够处理各种不同尺寸和比例的图片，而不会像传统方法那样强制拉伸或压缩图像。

传统的AI视觉系统就像一个只能处理标准尺寸照片的相框，遇到长方形或正方形以外的图片时，只能通过拉伸或裁剪来强制适应。这种处理方式往往会丢失重要信息或造成图像扭曲。而NaFlex就像一个智能的可变形相框，能够根据图片的实际比例自动调整自己的形状。

这种设计的实现原理颇为巧妙。当处理一张图片时，NaFlex首先会分析图片的原始宽高比，然后计算出在不严重扭曲图像的前提下，应该如何调整图片尺寸才能最好地适应AI的处理需求。具体来说，它会确保调整后的图片宽度和高度都是预设块大小的整数倍，同时尽可能保持原始比例不变。

在处理过程中，NaFlex会将图片分割成一个个小块进行分析，就像把一幅大拼图分成许多小块来逐一研究。对于那些调整后尺寸小于预设目标的图片，系统会自动添加填充信息来补齐，确保所有图片都能被统一处理，同时保留每张图片的独特特征。

这种灵活设计带来了显著的实际优势。对于文档图像，通常是长条形的，传统方法会将其强制压缩成正方形，导致文字变得难以识别。而NaFlex能够保持文档的原始比例，大大提高了文字识别的准确性。对于宽屏照片或竖屏手机照片，NaFlex也能更好地保留原始构图和比例关系。

研究团队在训练NaFlex时采用了渐进式策略。他们首先用标准方形图片训练AI的基础能力，然后在训练的后期阶段切换到支持多种比例的模式。在这个阶段，AI需要学习处理128、256、576、784、1024等多种不同序列长度的图片。这种渐进式训练确保了AI既掌握了处理标准图片的基础能力，又具备了处理各种特殊比例图片的灵活性。

值得注意的是，NaFlex在训练时使用了一种智能的批处理策略。每个训练批次中，系统会随机选择一个目标序列长度，然后将该批次中的所有图片都调整到相应的尺寸进行训练。这种方法让AI能够在一次训练过程中就学会处理多种不同尺寸的图片，而不需要为每种尺寸单独训练模型。

四、通过智能数据筛选提升小模型性能的创新方法

针对计算资源有限但仍需要高性能AI的场景，研究团队开发了一套专门的"知识传承"方法来提升较小模型的性能。这个过程就像让经验丰富的老师傅通过精心选择的案例来指导新学徒，确保学徒能在有限的学习时间内掌握最核心的技能。

这套方法的核心思想是"智能样本选择"。研究团队没有让小模型随机学习海量数据，而是让一个训练成熟的大模型作为"导师"来筛选最有价值的学习材料。在每个训练步骤中，导师模型和正在学习的小模型都会对同一批数据进行评估，分析哪些样本对当前的学习阶段最有帮助。

具体的筛选过程可以比作两位老师合作挑选教学材料的场景。导师模型会评估每个样本的"教学价值"，判断这个样本是否包含小模型当前最需要学习的知识点。同时，小模型也会表达自己对这些样本的"学习难度"感受。通过综合这两种评估，系统能够选出那些既有价值又适合当前学习阶段的最优样本。

为了进一步提升效果，研究团队采用了一种叫做ACID的方法来实现这种智能筛选。在这个方法中，系统会从一个较大的样本池中选择最适合的训练数据，就像从图书馆的庞大藏书中为学生挑选最适合的教材。对于ViT-B/32规模的小模型，系统会从64000个候选样本中选出32000个进行训练，相当于75%的筛选率。而对于稍大一些的ViT-B/16模型，筛选率设定为50%，在保证训练效果的同时兼顾计算效率。

研究团队还创新性地简化了传统的知识蒸馏方法。传统方法通常需要同时使用两个不同的大模型：一个专门负责评估样本质量，另一个负责提供知识指导。这种方法虽然效果好，但计算成本高昂。新方法巧妙地将这两个功能合并到一个模型中：他们选择了性能强劲的SigLIP 2 So400m模型作为导师，先让它在精心策划的高质量数据集上进行额外的微调训练，使其既具备评估样本质量的能力，又能提供准确的知识指导。

在具体实施过程中，系统会为小模型降低学习率到10的负5次方，移除权重衰减约束，并专注于使用最基础的图像-文本匹配任务进行训练。这种方法确保小模型能够在精选的高质量样本上进行深度学习，而不是在低质量数据上浪费计算资源。

通过额外的40亿个样本的精细化训练，这些经过特殊调优的小模型在各种测试任务上都展现出了显著优于原始版本的性能。特别是在零样本分类、图像文本检索等核心任务上，改进后的小模型能够以更少的计算资源达到接近大模型的性能水平。

五、在36种语言上展现的卓越多语言理解能力

SigLIP 2最令人印象深刻的成就之一是其出色的多语言理解能力。这个AI系统就像一位精通多国语言的国际导游，不仅能理解英语的图像描述，还能准确理解中文、日语、阿拉伯语、西班牙语等35种其他语言的图像内容。

研究团队在Crossmodal-3600数据集上对SigLIP 2进行了全面测试，这个数据集涵盖了全球36种不同语言的图像-文本对。测试结果显示，SigLIP 2在几乎所有语言上都取得了显著的性能提升。以文本到图像的检索任务为例，SigLIP 2的平均召回率达到了48.2%，相比原版SigLIP的22.4%提升了一倍多。

更令人惊喜的是，SigLIP 2在保持强大多语言能力的同时，并没有牺牲其英语理解能力。在英语为主的基准测试中，SigLIP 2依然表现出色。这种平衡就像培养一位既精通母语又熟悉多种外语的全才，两种能力相互促进而不是相互制约。

在具体的语言表现上，SigLIP 2展现出了有趣的特点。对于一些使用拉丁字母的欧洲语言，如德语、法语、意大利语等，AI的理解能力相对较强，这可能是因为这些语言与英语在词汇和语法结构上有一定相似性。而对于一些差异较大的语言，如中文、阿拉伯语、泰语等，虽然挑战更大，但SigLIP 2仍然展现出了可观的理解能力。

特别值得注意的是，SigLIP 2在处理不同文化背景的图像内容时表现出了更好的公平性。研究团队专门测试了AI对来自不同地理区域和文化背景的图像的理解能力。结果显示，SigLIP 2能够更准确地理解非西方文化的图像内容，减少了因为训练数据偏向某些文化而导致的理解偏差。

在实际应用场景中，这种多语言能力带来了巨大的实用价值。比如，一个旅游应用可以使用SigLIP 2来理解用户用任何语言描述的景点图片，并提供相应的信息推荐。电商平台可以利用这种能力来处理全球用户上传的各种语言的产品图片和描述。

研究团队还特别关注了AI系统的文化敏感性。他们使用了专门的去偏见技术来处理训练数据，减少可能存在的性别、种族或文化刻板印象。测试结果显示，SigLIP 2在表示偏见方面比原版SigLIP有了显著改善。例如，在性别关联测试中，SigLIP 2的偏见指数从35.5%大幅降低到7.3%，这意味着AI在处理与性别相关的图像内容时更加公平客观。

六、在复杂视觉任务上的突破性表现

SigLIP 2不仅在基础的图像理解任务上表现出色，在一些更加复杂的视觉任务上也展现出了令人惊叹的能力。这些任务包括图像分割、深度估计、表面法向量预测等，每一项都需要AI具备精细的视觉分析能力。

在语义分割任务中，SigLIP 2需要像一位细心的分析师一样，将图片中的每个像素都归类到正确的物体类别中。研究团队使用了多个标准数据集对SigLIP 2进行测试，包括PASCAL VOC和ADE20k等。结果显示，SigLIP 2在PASCAL数据集上达到了77.1%的平均交并比，相比原版SigLIP的72.0%有了显著提升。在更复杂的ADE20k数据集上，SigLIP 2的表现同样优异，达到了41.8%的分数，远超原版的37.6%。

在深度估计任务中，AI需要像人眼一样判断图片中不同物体的距离远近。SigLIP 2在NYUv2数据集上的表现尤其突出，均方根误差降低到了0.493，相比原版SigLIP的0.576有了大幅改善。这种精确的深度感知能力对于机器人导航、增强现实等应用场景具有重要价值。

表面法向量估计是另一个极具挑战性的任务，要求AI能够理解图片中每个表面的朝向和角度。在这个任务上，SigLIP 2同样表现出色，角度均方根误差降低到了23.0度，相比原版的25.9度有了明显改善。

更令人印象深刻的是SigLIP 2在开放词汇分割任务上的表现。这种任务要求AI能够分割出训练时从未见过的物体类别，就像让一个学生在考试中回答从未学过的题目。研究团队使用Cat-Seg框架对SigLIP 2进行测试，结果显示它在各个测试数据集上都超越了包括更大规模模型在内的多个竞争对手。

在指代表达理解任务中，SigLIP 2展现出了强大的语言-视觉协同能力。当用户说"图片中穿红色衣服的那个人"时，SigLIP 2能够准确定位到对应的人物。在RefCOCO系列数据集的测试中，SigLIP 2的准确率达到了86%以上，相比原版SigLIP有了20%以上的大幅提升。

这些优异表现的背后是SigLIP 2独特的训练方法的功劳。通过结合解码器训练、自蒸馏学习和掩码预测等多种技术，SigLIP 2学会了提取更丰富、更精确的图像特征信息。这些特征不仅包含了物体的整体语义信息，还保留了丰富的空间位置和几何关系信息，为各种下游任务提供了强有力的支撑。

七、作为视觉语言模型基础组件的卓越性能

在现代AI应用中，SigLIP 2经常被用作更大型视觉语言模型的"视觉大脑"。这种应用就像为一个智能机器人安装一双"慧眼"，让它能够看懂世界并与人类进行视觉对话。研究团队专门测试了SigLIP 2在这种应用场景下的表现，结果令人印象深刻。

测试过程采用了类似PaliGemma的架构，将SigLIP 2的视觉编码器与Gemma 2语言模型结合，构建了一个完整的视觉语言系统。在这个系统中，SigLIP 2负责"看"和理解图像内容，而语言模型负责"说"和生成文字回应。两者的配合就像一对默契的搭档，共同完成各种复杂的视觉问答任务。

在AI2D科学图表理解任务中，配备SigLIP 2的系统准确率达到了75.9%，超越了使用其他视觉编码器的版本。这个任务要求AI理解复杂的科学图表和示意图，对视觉编码器的精细理解能力提出了很高要求。SigLIP 2出色的表现证明了它在处理专业领域图像内容方面的优势。

在文档视觉问答任务DocVQA中，SigLIP 2展现出了强大的文字识别和理解能力。配备SigLIP 2的系统在处理高分辨率文档图像时表现尤其突出，准确率达到了65.9%，相比使用其他编码器的版本有了显著提升。这种能力对于自动化办公、智能客服等应用场景具有重要价值。

在多语言图像描述生成任务中，SigLIP 2的优势更加明显。XM3600多语言测试显示，配备SigLIP 2的系统能够为图像生成更准确、更自然的多语言描述。这种能力让AI助手能够为全球用户提供本地化的图像理解服务。

特别值得注意的是，SigLIP 2在处理需要精确空间定位的任务时表现卓越。在RefCOCO系列的指代对象定位任务中，配备SigLIP 2的系统准确率普遍超过了74%，部分任务甚至达到了78%以上。这种精确定位能力使得AI能够理解诸如"图片左下角的红色花朵"这样具体的空间指代表达。

在科学图表描述任务SciCap中，SigLIP 2同样表现出色。科学图表通常包含复杂的数据可视化元素，需要AI具备很强的结构化理解能力。配备SigLIP 2的系统能够准确理解图表的布局、数据趋势和标注信息，生成专业准确的图表描述。

研究团队还测试了不同分辨率下的性能表现。结果显示，当图像分辨率从224像素提升到384像素时，SigLIP 2的性能进一步提升，证明了它能够充分利用高分辨率图像中的丰富细节信息。这种分辨率适应性使得SigLIP 2能够在各种实际应用场景中保持稳定的高性能表现。

八、在开放词汇检测和分割任务上的创新突破

SigLIP 2在开放词汇检测和分割领域取得了令人瞩目的突破。这类任务的挑战在于要求AI能够识别和分割训练时从未见过的物体类别，就像让一个学生在没有学过相关课程的情况下识别全新的概念。

在开放词汇目标检测任务中，研究团队采用了OWL-ViT框架来测试SigLIP 2的能力。这个框架能够将文本描述与图像区域进行精确匹配，实现对任意物体类别的检测。测试结果显示，SigLIP 2在COCO数据集上的平均精度达到了42.8%（ViT-B/16版本）和45.2%（So/14版本），相比原版SigLIP分别提升了0.6%和0.9%。

更令人印象深刻的是在LVIS数据集上的表现。LVIS数据集包含了大量罕见物体类别，对AI的泛化能力提出了极高要求。SigLIP 2在整体平均精度上达到了34.4%（ViT-B/16）和40.5%（So/14），而在罕见类别的检测上更是取得了32.7%和42.3%的优异成绩，相比原版SigLIP有了显著提升。

这种在罕见类别上的出色表现特别有意义，因为它证明了SigLIP 2具备了强大的知识迁移能力。即使面对训练时很少遇到或完全没有见过的物体，SigLIP 2也能基于对相似物体的理解来进行准确识别。

在开放词汇语义分割任务中，SigLIP 2同样表现卓越。研究团队使用Cat-Seg框架对多个数据集进行了测试。在ADE20k-847类别的测试中，SigLIP 2达到了14.3%的平均交并比，超越了包括OpenCLIP G/14这样更大规模模型在内的多个竞争对手。

在PASCAL Context数据集上，SigLIP 2的表现同样令人印象深刻，达到了24.1%的分数，超越了所有比较的基线模型。这个数据集包含了复杂的场景理解任务，要求AI不仅能识别物体，还要理解它们在场景中的角色和关系。

特别值得注意的是，SigLIP 2在处理不同粒度分割任务时展现出了良好的适应性。无论是粗粒度的大类别分割（如150个类别），还是细粒度的详细分类（如847个类别），SigLIP 2都能保持稳定的高性能表现。

这些优异表现的关键在于SigLIP 2学会了更好的视觉-语言特征对齐。通过多阶段训练和自蒸馏学习，SigLIP 2的视觉特征不仅包含了丰富的语义信息，还保持了良好的空间局部性。这使得它能够将文本描述中的概念准确映射到图像中的对应区域。

九、文化多样性和公平性方面的显著改进

在当今全球化的AI应用环境中，确保AI系统能够公平地理解和处理来自不同文化背景的内容变得越来越重要。SigLIP 2在这方面取得了令人瞩目的进展，就像培养了一位具有国际视野和文化敏感度的AI助手。

研究团队在多个专门设计的数据集上测试了SigLIP 2的文化多样性理解能力。Dollar Street数据集包含了来自全球不同收入水平家庭的生活场景图片，这些图片展现了世界各地截然不同的生活方式和文化特色。测试结果显示，SigLIP 2在零样本分类任务上的准确率达到了55.2%，相比原版SigLIP的52.1%有了明显提升。

在GeoDE数据集的测试中，SigLIP 2展现出了更强的地理多样性理解能力。这个数据集包含了来自世界各大洲不同国家的图片，要求AI能够理解不同地域的文化特征和环境差异。SigLIP 2在国家级地理定位任务上的10样本学习准确率达到了44.4%，相比原版SigLIP的36.2%有了大幅提升。

更令人印象深刻的是，SigLIP 2在处理文化偏见方面取得了突破性进展。研究团队使用专门的偏见检测方法对AI系统进行了全面评估。结果显示，SigLIP 2的表示偏见指数从原版的35.5%大幅降低到了7.3%。这个数字意味着，当AI面对一张随机图片时，它将物体与特定性别关联的倾向大大减少，体现了更好的性别平等意识。

这种改进的实现主要归功于研究团队采用的数据去偏见技术。他们不仅关注一阶统计偏见，比如某种性别在数据中的出现频率，还特别关注二阶关联偏见，比如某种职业与特定性别的不当关联。通过系统性地识别和纠正这些偏见，SigLIP 2学会了更公平、更客观地理解图像内容。

在不同收入水平的图像理解测试中，SigLIP 2展现出了更好的经济公平性。传统AI系统往往在理解高收入家庭的生活场景时表现更好，而对低收入环境的图像理解相对较差。SigLIP 2在这方面的差异明显缩小，表现差异从30.2%降低到了29.7%，虽然改进幅度不大，但方向是正确的。

在多语言公平性方面，SigLIP 2也取得了重要进展。测试显示，它对不同语言系统的图像理解能力更加均衡，不再像过去那样偏向英语或其他欧洲语言。特别是对一些资源相对较少的语言，如马拉地语、泰卢固语等，SigLIP 2也展现出了可观的理解能力。

研究团队还特别关注了AI在处理不同文化背景人物形象时的表现。通过专门设计的测试，他们发现SigLIP 2在识别和描述不同族裔、不同文化背景的人物时表现更加客观和准确，减少了可能存在的刻板印象或歧视性判断。

这些在公平性方面的改进对于AI技术的全球化应用具有重要意义。它意味着SigLIP 2能够更好地服务全球用户，无论他们来自何种文化背景或社会环境，都能获得相对公平和准确的AI服务体验。

说到底，SigLIP 2代表了AI视觉理解技术的一次重要飞跃。这个由谷歌DeepMind团队精心打造的系统不仅在技术性能上取得了全面突破，更重要的是在多语言支持、文化公平性和应用灵活性方面树立了新的标杆。通过巧妙结合多种训练技术，SigLIP 2成功地让AI学会了像人类一样理解图像内容，并能够用36种不同语言准确表达这种理解。

这项研究的意义远超技术本身。在一个日益全球化的世界里，能够跨越语言和文化障碍的AI技术将为人类带来更便利、更公平的智能服务。无论是帮助视障人士理解周围环境，还是为不同语言背景的用户提供图像搜索服务，SigLIP 2都展现出了巨大的应用潜力。

归根结底，SigLIP 2的成功证明了一个重要理念：真正优秀的AI技术不应该只是在实验室里表现出色，更应该能够公平地服务全世界的每一个人。随着这种技术的不断完善和普及，我们有理由期待一个更加智能、更加包容的未来。对于想要深入了解技术细节的读者，建议查阅发表在arXiv上的完整论文，那里有更详尽的技术说明和实验数据。

Q&A

Q1：SigLIP 2相比原版SigLIP有哪些主要改进？

A：SigLIP 2主要有四大改进：首先是加入了解码器训练，让AI学会看图写话和精准定位；其次是采用了自蒸馏学习，提升了对图像细节的理解；第三是支持36种语言，而不只是英语；最后是通过数据去偏见技术，让AI更公平地理解不同文化背景的图像内容。

Q2：SigLIP 2如何实现多语言图像理解能力？

A：SigLIP 2通过精心设计的数据配比实现多语言能力：90%训练数据来自英语网页，10%来自其他35种语言网页。同时使用了专门的多语言分词器，并采用去偏见技术处理文化差异，让AI能够公平准确地理解各种语言的图像内容。

Q3：普通用户如何使用SigLIP 2技术？

A：目前SigLIP 2主要通过开源形式提供给开发者使用，模型检查点可在GitHub的big_vision项目中获取。普通用户可能会在各种AI应用中间接体验到这项技术，比如多语言图像搜索、智能相册分类、或者视觉问答系统等应用场景。