武汉大学联手UC Merced：当AI学会"分工合作"，找针在大海里变得不再难

这项由武汉大学、加州大学默塞德分校、悉尼科技大学、新加坡国立大学、南洋理工大学及中国科学院自动化研究所联合完成的研究，以预印本形式于2026年6月30日发布在arXiv平台，编号为arXiv:2607.00115v1。感兴趣的读者可通过该编号查询完整论文。

说到底，这篇论文要解决的问题，其实你我都经历过——在一张巨大的全景照片里找某个细小的东西。比如家庭聚会的大合影，你要找角落里那个戴红帽子的小孩；或者一张卫星俯瞰图，你要找某个停车场里某辆特定颜色的车。对人来说，这已经够费眼神了。但对那些被寄予厚望的AI视觉模型来说，这件事更是一个棘手的难关——它们往往看了半天，不是找错地方，就是找到了却认不出来。

研究团队把这种现象叫做"注意失明"——目光扫过了正确区域，却脑子没跟上，没能给出正确答案。这个词借用自心理学，原本用来描述人在专注一件事时忽略了眼前明显事物的现象。现在，它被用来精准描述AI在视觉搜索中的一种典型失误。而解决这个问题，就是PixelEyes系统诞生的全部意义。

一、一个AI为什么会"眼睁睁看着却认不出来"

要理解这项研究要解决什么问题，先得理解现有AI是怎么工作的。当前主流的视觉语言模型，就像是一个被要求同时扮演"侦探"和"线人"的单人演员——它既要决定去哪里找线索（推理），又要亲自去找（感知），还要解读找到的东西（识别）。这三件事套在同一个模型身上，就像让一个人同时驾车、看地图、还要接电话，顾此失彼几乎是必然的。

具体来说，当AI面对一张超高清大图，被问"那个穿红衣服的人手里拿的是什么"时，它通常的做法是：先圈出一个大致区域，再放大看，再圈，再放大……如果一开始圈的位置就不精确，后续每一步都可能在错误的路径上越走越远，最终花了十几轮操作，依然找不到目标，直到系统给的交互次数用完为止。这就是论文里说的"低效深度搜索循环"。

更糟糕的是，这类模型本身的"感知能力"——也就是在图里精确定位小目标的能力——其实比不上专门做图像分割的工具；而它的"推理能力"——理解问题、分析证据、给出答案——又比不上纯粹的语言推理模型。两边都差一口气，合在一起就造成了双重失误。

研究团队对这一现象做了深刻的溯源：问题的根本在于"感知"和"推理"被强行绑定在了同一个模型里。既然绑在一起会出问题，那就把它们拆开——这就是PixelEyes的核心思路。

二、把"找"和"想"分给两个专家

PixelEyes的设计哲学可以用一句话概括：让专业的人做专业的事。在这个系统里，负责"想"的是一个通用的视觉语言大模型，它的工作是分析问题、规划搜索路径、最终给出答案。负责"找"的则是一个独立的图像分割工具——SAMTok，它的工作是接收一段文字描述（比如"那顶绿色的安全帽"），然后在指定的图像区域里精确找出目标，并返回一个像素级的轮廓遮罩。

这就好比一家专业的寻物公司分成了两个部门：一个是"策略部"，负责分析委托人的需求，制定搜索计划，决定先去哪些区域、怎么搜；另一个是"现场部"，负责带着放大镜去执行，找到东西后精确标注位置。策略部不用亲自去翻箱倒柜，现场部不用操心为什么要找这个东西。两个部门各司其职，效率大幅提升。

在技术层面，PixelEyes的工作流程如下。大模型收到图片和问题后，会先对整张图做一个粗略判断，提出一个大概的候选区域（一个矩形框）和一段文字描述目标。系统随后把这个候选区域截图，连同文字描述一起交给SAMTok。SAMTok会在这个截图里找到目标，并给出像素级别的精确遮罩轮廓。系统再根据这个轮廓，裁出一个刚刚好包住目标的精细区域，稍微放大一点以保留上下文，然后把这张精细裁切图交还给大模型去识别和推理。

当SAMTok找不到目标时（比如搜索区域根本没有目标，或者目标是图表、地图这类不适合用分割来定位的内容），系统有一个备用方案：直接使用大模型自己估计的矩形框来裁切，退回到传统的方式。这种"可切换工具"的设计，让系统既能在常见场景下享受精准遮罩的红利，又不会在特殊场景下完全罢工。

三、不走回头路：一种更聪明的搜索地图

仅仅把感知和推理分开还不够。搜索策略本身也需要重新设计。

传统的多轮视觉搜索，往往是一种"深挖"模式：在某个区域里找不到，就继续放大同一个区域；再找不到，再放大；直到再也放大不了，才考虑换个地方找。这就像在一片森林里找一只蚂蚱，你一直盯着同一棵树挖，却忘了旁边还有整片森林没有搜索过。而且随着放大层数越来越多，你手里的"地图"——也就是AI的上下文记忆——会堆满越来越多的局部截图，搞得模型自己也搞不清楚现在在哪里，之前看过哪里了。

PixelEyes的解决方案叫做"语义区域广度优先搜索"（Semantic-Region BFS）。这个名字听起来学术，背后的逻辑其实非常直觉：先把整张图的不同区域都"扫一遍"，确认每个区域有没有目标，再在最有可能的区域里深入确认，而不是一根筋地在一个地方越挖越深。

更关键的一点是：所有的坐标都锚定在原始图片上。无论搜索进行到第几轮，每次提出的候选区域都是相对原图的位置，而不是相对上一次裁切图的位置。这就避免了"坐标系叠套"的混乱——AI不用费心去记"我现在看到的这张图是从哪张图裁出来的，那张图又是从哪张图裁出来的"。

同时，每次搜索时，AI会用一句简短的文字来描述自己打算去看哪个区域（比如"左下角停车场附近的区域"），这句描述会留在对话记录里，形成一份"语义足迹"。下次搜索时，AI只需要看一眼这些记录，就能知道哪些地方已经找过了、找了什么结果，从而自然地将注意力转移到尚未覆盖的新区域。

这就像是一个经验丰富的寻宝者在一张大地图上做标记：每找过一个区域，就在那里插一面旗，旗上写着"这里找过了，没有"。下一步永远朝着没有旗子的地方走，而不是在已有旗子的地方原地打转。

四、用6000条专家经验来训练AI的"搜索直觉"

好的架构设计只是第一步。要让AI真的学会这套搜索方式，还需要大量的训练数据。但现成的训练数据里，根本没有这种"遮罩引导搜索"加"广度优先策略"的范例——因为这套方法是研究团队自己发明的。

于是，研究团队想了一个聪明的办法：用谷歌的Gemini-3-Flash大模型来自动生成训练数据。他们给Gemini配上了SAMTok工具，然后给它提供了几个手工编写的示范轨迹，告诉它"你应该这样搜索"。接着，让Gemini在真实的图片问答任务上自己跑，每一轮搜索的过程都被完整记录下来。最后，只保留那些最终给出了正确答案的轨迹——错的全部丢掉。

经过这个筛选流程，从大约7000个原始任务里，保留下了5800条高质量的搜索轨迹，构成了PixelEyes-6K数据集。这些轨迹里包含了工具调用的记录、区域描述的文字、每次搜索的坐标、以及最终的正确答案，是一份完整的"专家示范集"。

有了这份数据，研究团队用监督微调的方式，先把Qwen-3-VL大模型训练成能够模仿这些轨迹的基础版本。然后再用强化学习（具体来说是一种叫GRPO的方法）进一步打磨，让模型在实际交互中自己摸索如何更快速、更准确地找到目标并给出答案。值得一提的是，为了鼓励模型走"高效路线"而非"靠试错凑次数"，研究团队没有采用某些竞品里用的"超次数遮罩"技巧，而是直接用最简洁的GRPO来优化路径效率。

五、一把衡量"找到了没有""认出来没有"的新尺子

论文的另一项重要贡献，是一个全新的测试基准：Pinpoint-Bench。

现有的视觉搜索测试集存在几个问题。有些已经太容易，最新的模型准确率动不动就超过90%，区分不出谁更强。有些虽然难，但缺乏空间标注，研究者根本没办法判断模型是"没找到"还是"找到了却没认出来"，调试起来极其困难。还有些测试集对答案的文字要求太死板，比如标准答案写"米色"，模型回答"浅棕色"就算错，尽管两者描述的是同一个颜色——这种误判会让模型的真实能力被低估。

Pinpoint-Bench由研究团队从零开始人工标注，共收录433张超高清图片，平均分辨率5500×3516像素。每张图里的目标极其微小，平均只占整张图面积的0.07%——相当于在一个足球场大小的图里，找一张A4纸大小的目标。所有问题都严格遵守"零提示"原则，不告诉你目标在哪个方位，不给任何位置线索，只问你目标是什么或者目标有什么属性，强迫AI进行真正的自主搜索。每个目标都有精确的像素级遮罩和矩形框标注，便于自动化分析中间过程。

在评估指标上，Pinpoint-Bench引入了两个新概念。第一个叫"定位成功率"（LSR），它只问一件事：在整个搜索过程中，AI有没有在某一轮里真正扫过目标所在的区域？哪怕最终答错了，只要曾经"路过"目标，就算定位成功。第二个叫"答题效率"（TAE），用最终准确率除以平均交互轮数，数值越高说明AI又快又准——既高效又正确。

这两个指标组合在一起，就能把"找不到"和"找到了但答错了"这两种失败清晰地区分开来。LSR高但准确率低，说明AI有"注意失明"问题——它确实看到了目标，但没能从中提取出正确答案；LSR和准确率都低，说明AI根本没搜索到正确区域，是纯粹的定位失败。

为了应对答案歧义问题，Pinpoint-Bench还为每道题准备了多个同义答案，配合大语言模型担任裁判，只要AI的回答和任意一个同义答案语义一致，就算回答正确，从根本上杜绝了因文字表述不同而被误判扣分的情况。

六、实验数据说明了什么

研究团队在多个基准测试上对PixelEyes进行了全面评估，对比对象包括封闭源前沿模型（Gemini-3-Flash）、开源基础视觉语言模型（Qwen-2.5-VL、Qwen-3-VL系列），以及专门的主动感知智能体（DeepEyes、Pixel-Reasoner、Thyme、Mini-o3）。

在标准的高清视觉搜索测试集V*和HR-Bench上，PixelEyes-8B版本取得了94.24%和85.00%的准确率，超过了参数量达到235B的Qwen-3-VL-235B，尽管PixelEyes-8B的参数量只有其约3.5%。这说明在这类任务上，方法的结构设计比单纯堆砌参数量更有效。

在更复杂的VisualProbe测试集上，PixelEyes-4B在"困难"子集上的准确率从基础模型的34.91%提升到了54.72%，提升幅度接近20个百分点。

Pinpoint-Bench上的数据最能说明问题。竞品Mini-o3的定位成功率高达78.52%——说明它大多数时候确实能找到目标区域，但最终准确率只有44.34%，中间差了34个百分点，这34个百分点就是"注意失明"的规模。而且Mini-o3完成一道题平均要用5.29轮交互，效率指标TAE只有8.38。PixelEyes-4B的准确率提升到54.73%，平均只需要2.09轮交互，TAE达到26.13——大约是Mini-o3的三倍效率，同时准确率还高了10个多百分点。PixelEyes-8B进一步把准确率推到55.20%，TAE达到26.64。

从失败案例的分解分析来看，Mini-o3有38.34%的样本属于"找到了但答错了"——遮罩太粗太大，目标虽在视野里但被太多背景干扰，推理无从下手。PixelEyes-4B的这一比例降低到26.56%，"找到且答对"的比例从40.18%提升到50.35%，说明精确遮罩裁切确实让推理模块更容易从证据中提取答案。

按任务类型细分，PixelEyes在属性识别（比如"那件外套是什么颜色"）和OCR（找图里的文字）这两类需要精细视觉特征的任务上优势最明显，分别比Mini-o3高出约12个百分点。在空间关系判断（比如"A在B的左边还是右边"）这类需要整体布局理解的任务上，基础大模型的全局感知反而更有优势，这说明PixelEyes的遮罩裁切策略对"局部细节识别"帮助最大，而"整体空间关系"仍是当前方法需要继续改进的地方。

研究团队还做了一个很有意思的验证：把SAMTok工具以插件形式直接接入Gemini-3-Flash，不做任何训练，只是在推理时使用这套工具。结果发现，Gemini在VisualProbe困难集上的准确率从47.17%提升到61.32%，在Pinpoint-Bench上的准确率从42.26%提升到68.36%，提升幅度高达26个百分点。这个实验说明，PixelEyes的核心机制具有很强的迁移性，即使不重新训练模型，只是给它配上正确的工具和搜索策略，效果提升也相当可观。

消融实验（就是逐一去掉某个组件看效果会下降多少的实验）进一步证实了各个设计决策的价值。用Mini-o3的训练数据替换PixelEyes-6K来训练同一个基础模型，VisualProbe困难集的准确率从34.91%下降到24.52%——Mini-o3的训练数据会诱导模型陷入反复在同一区域深挖的僵局。把SAMTok换成另一个分割模型Sa2VA，工具调用成功率从99.17%暴跌到65.29%，定位成功率从76.91%降至50.58%，说明SAMTok的高可靠性对整个系统至关重要。

七、系统的局限与未来空间

研究团队在论文中坦诚地提到，PixelEyes的解耦设计引入了一定的架构复杂度：系统需要同时维护一个大模型和一个独立的分割模型，相比端到端系统，部署和推理的工程成本更高，这是目前需要进一步优化的方向。

从实验的失败案例来看，PixelEyes在"宏观搜索能力"上仍有不足——当目标在图中的大致位置需要较强的整体场景理解才能推断时，系统有时会在错误的大区域里花费过多时间。此外，对于有多个相似干扰项的场景（比如图里有好几个穿白衬衫的人，要找其中戴耳机的那个），系统有时会把属性条件理解错误，定位到错误的人，这属于推理模块本身的局限，与感知精度无关。

归根结底，PixelEyes这项研究告诉我们一件很朴素的事：当一个任务需要多种能力协作时，不一定非得让一个模型同时学会所有能力。把任务拆开，让最擅长各自领域的工具各司其职，再通过合理的协调机制把它们串联起来，往往能比"全能选手单打独斗"走得更远、更快、更准。这个思路不仅适用于视觉搜索，也许对整个AI系统的设计都有参考意义。

对于普通用户而言，这项研究离实际应用并不遥远。卫星图像分析、医学影像中的病灶定位、工厂质检中的微小缺陷检测、超高清监控画面中的目标追踪——这些场景都在每天发生，都面临着同样的"大海捞针"困境。PixelEyes提供的解决思路，或许会成为未来这类应用的技术基础之一。

Q&A

Q1：PixelEyes和普通的视觉AI有什么区别？

A：普通的视觉AI通常让同一个模型同时负责"找目标"和"理解内容"，两件事互相拖累。PixelEyes把这两件事分开：一个通用大模型负责规划搜索路径和分析答案，另一个专门的图像分割工具SAMTok负责精确定位目标，返回像素级别的精确轮廓。这种分工让定位更准、推理更清晰，搜索效率也大幅提升，平均只需2.09轮交互就能找到目标并给出答案。

Q2：Pinpoint-Bench和其他视觉搜索测试集有什么不同？

A：Pinpoint-Bench最大的特点是"极难"加"有诊断能力"。目标平均只占图片面积的0.07%，问题完全不给位置提示。更重要的是，每个目标都有精确的像素遮罩标注，测试集能区分"没找到"和"找到了但没认出来"两种不同的失败，而不是笼统地都算答错。这让研究者能精准定位AI的问题所在，而不只是知道它答对了几道题。

Q3：PixelEyes-6K数据集是怎么来的？

A：研究团队没有手工标注训练数据，而是让谷歌的Gemini-3-Flash大模型配上SAMTok工具，按照PixelEyes的搜索策略自动跑任务，完整记录每一轮的搜索过程。跑完之后，只保留最终答案正确的轨迹，丢掉答错的，从约7000个原始任务里筛出了5800条高质量搜索轨迹，形成了PixelEyes-6K数据集，用于后续的监督微调训练。