这个模型也能识别狗吗？希伯来大学让AI"考官"帮你从千万个模型里找到最合适的那一个

这项由希伯来大学计算机科学与工程学院的Jonathan Kahana、Or Nathan、Eliahu Horwitz和Yedid Hoshen共同完成的研究发表于2025年2月，论文题目为"Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights"。有兴趣深入了解的读者可以通过arXiv:2502.09619v1访问完整论文，项目主页为https://jonkahana.github.io/probelog。

现在的AI世界就像一个巨大的工具商店，货架上摆满了各种各样的AI模型。据统计，仅仅是Hugging Face这一个平台就托管着超过100万个模型，每个月还会新增10万多个。这些模型就像不同的专业工具，有的擅长识别动物，有的专门处理医学图像，有的能分辨各种食物。问题是，当你需要找一个能识别狗的模型时，你该怎么办？

传统的方法就像在没有标签的工具箱里翻找工具一样令人头疼。你只能依靠模型的文字描述来猜测它能做什么，但研究团队发现了一个令人震惊的事实：在120万个Hugging Face模型中，超过30%的模型完全没有任何说明文档，另外28.9%的模型要么文档是空白的，要么只有自动生成的无用模板。这意味着将近60%的模型都是"哑巴"，你根本不知道它们能干什么。

这就好比你走进一家巨大的五金店，但大部分工具都没有标签，你想找一把能拧特定螺丝的螺丝刀，却只能一个个拿起来试。这种情况下，能不能有一个"万能试验台"，让你快速测试每个工具的功能呢？

希伯来大学的研究团队提出了一个巧妙的解决方案，他们称之为ProbeLog。这个方法就像给每个AI模型安排了一场标准化考试。

一、AI模型的"标准化考试"：ProbeLog如何工作

设想一下，你是一位考官，需要测试一堆学生是否认识狗。你不能直接问他们"你认识狗吗？"，因为有些学生可能撒谎或者理解有偏差。相反，你准备了4000张不同的图片作为"考题"——这些图片包含各种各样的场景：公园里的人、桌子上的苹果、海边的帆船、草地上的狗等等。

ProbeLog的工作原理与此类似。研究团队首先从COCO数据集中挑选了一组固定的图像作为"考题"。这些图像就像标准化考试中的题目，包含了丰富多样的场景和物体。然后，他们让每个AI模型"参加考试"——把这些图像输入模型，观察模型的每个输出维度（专业术语叫"logit"，可以理解为模型对每个可能答案的信心程度）如何响应。

关键的创新在于，ProbeLog不是给整个模型打一个总分，而是给模型的每个"专业技能"单独评分。就像一个多才多艺的学生，可能既会数学又会英语还会体育，ProbeLog会分别测试这个学生在每个科目上的表现。对于AI模型来说，一个模型可能同时能识别狗、猫、汽车等多种物体，ProbeLog会为每种识别能力创建一个独特的"成绩单"。

这个成绩单是一个数字序列，记录了模型在面对4000张测试图片时，对某个特定概念（比如"狗"）的反应强度。当遇到包含狗的图片时，擅长识别狗的模型输出会比较高；遇到不包含狗的图片时，输出会比较低。这样，每个模型的每种识别能力都有了自己独特的"指纹"。

二、找到最相似的"指纹"：智能匹配算法

有了每个模型能力的"指纹"后，下一个挑战是如何比较这些指纹的相似性。就像比较两个人的真实指纹一样，你不能简单地看整体图案是否一致，而要关注那些最清晰、最可靠的特征。

研究团队发现了一个重要现象：AI模型只有在它确信自己的判断时，输出的结果才是可靠的。这就好比一个学生在考试中，对于自己非常确定的题目会给出明确答案，而对于不确定的题目可能会胡乱猜测。因此，ProbeLog在比较两个模型时，只关注查询模型最有把握的那些"考题"。

具体来说，当你用一个已知能识别狗的模型作为"参考标准"时，系统会首先找出这个参考模型对哪些图片反应最强烈（也就是最确信这些图片包含狗）。然后，系统只在这些"高置信度"的图片上比较其他模型的表现。这种方法大大提高了匹配的准确性，因为它过滤掉了那些可能产生噪音的不确定判断。

为了进一步验证这种方法的有效性，研究团队做了一个巧妙的实验。他们用10个不同的ViT基础模型，通过不同的训练方法，都训练成能识别CIFAR10数据集中10个类别的分类器。然后用1000张ImageNet图片作为探测器，计算每个模型每个输出维度的ProbeLog描述符，并分析它们之间的相关性。

结果令人振奋：那些负责识别相同概念的输出维度表现出了强烈的相关性，而不同概念之间的相关性很弱。这就像你发现所有擅长识别苹果的学生在面对苹果图片时都会有相似的兴奋反应，而面对汽车图片时则相对平静。更重要的是，这种相似性不是基于模型来自同一个"班级"（相同的基础架构），而是基于功能上的相似性。

三、从"样本匹配"到"文字搜索"：零样本检索的突破

ProbeLog的第一个版本解决了"找更多像这个一样的模型"的问题，但用户往往没有现成的参考模型。他们真正想要的是能够直接用文字描述来搜索，比如输入"狗"就能找到所有能识别狗的模型。这就需要一个从文字到模型能力的"翻译器"。

研究团队的解决方案颇具巧思。他们利用了CLIP这样的多模态模型，这种模型既能理解图像也能理解文字。回到考试的比喻，这就像是找到了一位既懂中文又懂英语的翻译，能够在两种语言之间建立对应关系。

具体过程是这样的：首先，系统用CLIP模型分别对4000张测试图片和用户输入的文字（比如"狗"）进行编码，得到它们在同一个"语义空间"中的表示。然后，系统计算每张图片与目标文字的相似度，这样就得到了一个"虚拟的ProbeLog描述符"——就好像有一个专门识别用户所描述概念的理想模型参加了同样的考试。

但是，这个虚拟描述符和真实模型的描述符存在"量纲不同"的问题，就像用摄氏度和华氏度测温度一样，数值范围完全不同。为了解决这个问题，研究团队对每个描述符进行了标准化处理，将它们转换到相同的数值范围内，这样就能直接比较虚拟描述符和真实模型描述符的相似性了。

四、降低成本的"协作探测"：让计算更高效

虽然ProbeLog的想法很棒，但面对百万级别的模型库时，给每个模型都跑4000张图片的计算成本是惊人的。这就像要给一个拥有百万学生的学校都安排完整的标准化考试，成本和时间都难以承受。

研究团队提出了"协作探测"（Collaborative Probing）这一创新解决方案。这个想法借鉴了推荐系统中的协同过滤技术，就像Netflix如何根据你看过的少数几部电影推荐你可能喜欢的其他电影一样。

协作探测的核心思路是：不需要让每个模型都做完整的4000道题考试，而是让每个模型只做其中随机选择的一小部分题目。比如，模型A做第1、15、33、78...这些题目，模型B做第3、22、41、92...这些题目，模型C做第7、28、45、99...这些题目。虽然每个模型只做了部分题目，但通过巧妙的数学方法，可以推算出每个模型在所有题目上的表现。

这种方法利用了一个重要假设：相似功能的模型在面对相同问题时会有相似的反应模式。就像如果你知道两个学生在数学上表现相似，那么当你知道其中一个学生的物理成绩时，你就能比较准确地估算另一个学生的物理成绩。

具体实现使用了截断奇异值分解（SVD）算法，这是一种矩阵分解技术。简单来说，就是找到隐藏在不完整数据背后的规律，然后用这些规律填补缺失的信息。实验结果表明，使用协作探测技术，每个模型只需要做15%的题目就能达到与完整测试相近的效果，大大降低了计算成本。

五、真实世界的验证：从实验室到实用

为了验证ProbeLog在真实环境中的表现，研究团队构建了两个测试数据集。第一个叫INet-Hub，包含1500个在ImageNet子集上训练的模型，总共超过85000个输出维度，涵盖1000个细粒度概念。这就像创建了一个标准化的"实验班"，所有学生都接受过相似的训练，但专业方向各不相同。

第二个数据集更具挑战性，叫HF-Hub，包含71个从Hugging Face平台手工收集的真实用户上传模型，总共400个输出维度。这些模型就像来自不同学校、不同背景的学生，训练数据、命名规范都各不相同。比如，有的模型把苹果标记为"Apple"，有的标记为"Apples"，有的可能用更具体的描述如"Red Apple"。

研究团队设计了多种测试场景。在同分布测试中（INet到INet），ProbeLog达到了72.8%的top-1准确率，这意味着超过七成的查询都能在第一个结果中找到正确答案。考虑到随机猜测的准确率只有0.1%（因为有1000个可能的类别），这个结果相当出色。

更令人印象深刻的是跨分布测试的结果。当用HF-Hub的真实模型搜索INet-Hub时，ProbeLog达到了40.6%的top-1准确率。这就像让一个在中式教育体系下成长的学生去适应美式教育的评估标准，难度可想而知，但ProbeLog依然表现良好。

在零样本文字搜索测试中，用户直接输入"狗"这样的文字描述，ProbeLog能够在INet-Hub中达到43.8%的top-1准确率，在HF-Hub中达到34.0%的准确率。这意味着用户有很大概率在第一个搜索结果中就找到能识别目标概念的模型。

六、深入分析：影响效果的关键因素

研究团队还深入分析了影响ProbeLog性能的各种因素，这些发现为实际应用提供了重要指导。

关于探测图像的选择，研究团队测试了四种不同的图像来源：完全人工生成的Dead-Leaves图像、用Stable Diffusion生成的合成图像、ImageNet数据集图像，以及COCO数据集图像。结果显示，越接近目标模型训练数据分布的探测图像效果越好。ImageNet图像作为探测器时效果最佳，因为大部分测试模型都是在ImageNet相关数据上训练的。但令人惊喜的是，即使是相对"不匹配"的COCO场景图像也能达到不错的效果，这说明ProbeLog具有良好的泛化能力。

在比较策略方面，研究团队验证了只关注高置信度探测结果的重要性。他们比较了多种策略：使用置信度最低的探测结果、随机选择、均匀分位数采样、使用所有探测结果等。结果证实，只有关注查询模型最有把握的探测结果才能获得最佳性能。这就像在嘈杂的环境中，你要专注听那些说话最清楚的人的声音，而忽略那些模糊不清的杂音。

探测图像数量的影响也很有趣。研究发现，使用4000张COCO图像就能获得43.8%的top-1准确率，而使用8000张图像能提升到47.8%。这表明存在收益递减效应：初期增加探测图像数量能显著提升性能，但到了一定程度后，继续增加图像的边际收益就很小了。

七、协作探测的威力：少量数据实现大效果

协作探测技术的表现令人瞩目。在文字到INet-Hub的检索任务中，即使每个模型只使用15%的探测图像，协作探测也能达到与使用全部数据相近的效果。更令人惊讶的是，当每个模型只使用4%的探测图像时，协作探测的效果竟然等同于传统方法使用15%的探测图像的效果。这意味着在相同的计算成本下，协作探测能提供近3倍的性能提升。

这种效果的原理在于，不同模型之间存在功能上的相关性，而协作探测能够巧妙地利用这种相关性。就像在一个班级里，如果你知道数学好的学生物理通常也不错，那么即使你只看到某个学生的部分成绩，也能比较准确地推测他在其他科目上的表现。

八、方法的局限性与未来方向

尽管ProbeLog表现出色，但研究团队也诚实地指出了方法的局限性。首先，这种方法目前主要针对分类模型设计，对于生成模型（如GPT、Stable Diffusion等）的适用性还需要进一步研究。生成模型的输出不像分类模型那样有明确的类别对应关系，因此需要开发新的探测和比较策略。

其次，当目标概念与探测图像的分布差异很大时，效果会明显下降。比如，如果要搜索能识别医学影像中病理特征的模型，而探测图像都是日常生活场景，那么效果就会打折扣。这提示我们在实际应用中可能需要针对特定领域准备专门的探测图像集。

另外，虽然协作探测大大降低了计算成本，但对于真正大规模的模型库（比如百万个模型），计算和存储开销仍然是需要考虑的问题。研究团队提到，他们的INet-Hub模型需要400GB存储空间，而对应的ProbeLog描述符只需要1.4GB，压缩比相当可观，但扩展到百万模型规模时仍需要进一步优化。

研究团队还指出了几个有前景的改进方向。一是开发更智能的探测图像选择策略，比如根据前几张图像的结果自适应地选择后续图像，或者使用主动学习的思想来选择最有信息量的探测图像。二是改进协作过滤算法，考虑模型输出值的统计特性，而不仅仅是简单的矩阵分解。

九、对AI生态的深远影响

ProbeLog的意义远超技术本身，它可能会改变整个AI模型生态系统的运作方式。目前，大量优秀的AI模型因为缺乏好的文档而被埋没，就像图书馆里没有索引的珍贵藏书。ProbeLog提供了一种自动化的"编目"方法，能够让这些"沉睡"的模型重新焕发价值。

这种技术还能促进AI模型的重用和共享。研究人员和开发者不再需要为每个新任务从头训练模型，而是可以在现有的巨大模型库中找到最适合的工具。这不仅能节省计算资源和时间，还能降低AI应用的门槛，让更多没有大规模计算资源的研究者和开发者也能获得高质量的模型。

从环境保护的角度看，这种技术也具有积极意义。AI模型的训练需要消耗大量电力，产生可观的碳排放。如果能通过更好的模型搜索和重用减少重复训练，就能在一定程度上缓解AI发展对环境的压力。

ProbeLog还可能催生新的商业模式。模型提供者可以更容易地展示自己模型的能力，用户也能更精准地找到所需的模型。这可能会促进AI模型市场的发展，让优秀的模型获得应有的回报，从而激励更多高质量模型的产生。

十、技术实现的精妙之处

从技术角度看，ProbeLog的设计体现了多个巧妙的工程思考。首先是logit级别表示的选择。传统方法通常试图用一个向量表示整个模型，但这样做会丢失模型多功能的特性。ProbeLog选择为每个输出维度单独建模，这样一个既能识别狗又能识别猫的模型就能在搜索"狗"时和搜索"猫"时都被正确找到。

其次是探测图像的标准化处理。通过使用固定的、有序的图像集合，ProbeLog确保了不同模型之间的可比性。这就像标准化考试必须使用相同的题目才能公平比较不同考生的能力一样。

标准化处理也是一个重要创新。原始的模型输出和基于CLIP的文字描述在数值范围上可能相差很大，就像用不同单位测量同一个物理量。通过将每个描述符标准化为均值为0、标准差为1的分布，系统消除了这种数值范围的差异，使得跨模态比较成为可能。

不对称的相似度度量也值得注意。传统的相似度计算通常是对称的，即A与B的相似度等于B与A的相似度。但ProbeLog采用了不对称度量，只关注查询模型最有把握的探测结果。这种设计反映了对模型不确定性的深刻理解：模型在不确定的情况下可能给出噪音很大的输出，而只有在确定的情况下输出才是可靠的。

说到底，ProbeLog这项研究为我们展现了AI模型搜索的一种全新可能性。在AI模型数量爆炸式增长的今天，如何有效利用这些模型资源成为了一个关键挑战。ProbeLog通过巧妙的"标准化考试"思路，不仅解决了模型搜索的技术难题，还为整个AI生态系统的发展提供了新的思路。

这项工作的价值不仅在于提出了一个有效的技术方案，更在于它揭示了一个重要趋势：随着AI模型数量的持续增长，如何管理、搜索和重用这些模型将成为AI发展的重要议题。ProbeLog为我们提供了一个很好的起点，但这个领域还有很大的发展空间。未来，我们可能会看到更多类似的技术出现，让AI模型的使用变得更加便捷和高效。

对于普通开发者和研究者来说，ProbeLog意味着他们不再需要在茫茫模型海洋中盲目寻找，而是可以通过简单的文字描述快速找到最适合自己需求的模型。这不仅能提高工作效率，还能让更多人享受到AI技术发展的成果。毕竟，技术的最终目标是为人类服务，而ProbeLog正是朝着这个目标迈出的重要一步。

Q&A

Q1：ProbeLog是什么？它是如何工作的？

A：ProbeLog是希伯来大学开发的AI模型搜索技术，就像给AI模型安排标准化考试一样。它用4000张固定图片测试每个模型，记录模型对每种概念的反应模式，形成独特的"能力指纹"。当用户想找能识别某个物体的模型时，系统就比较这些指纹找到最匹配的模型。

Q2：ProbeLog能解决什么实际问题？

A：主要解决AI模型库中"找不到合适模型"的问题。现在像Hugging Face这样的平台有超过100万个模型，但近60%都没有说明文档，用户根本不知道哪个模型能做什么。ProbeLog让用户直接输入"狗"、"汽车"等关键词就能找到相应的识别模型。

Q3：这项技术的准确率如何？普通人能使用吗？

A：在实验中，ProbeLog达到了40-70%的准确率，远超随机猜测的0.1%。虽然目前还是研究阶段的技术，但已经展现出很好的实用潜力。未来如果集成到模型平台中，普通开发者就能像搜索网页一样轻松找到需要的AI模型了。