加州大学洛杉矶分校最新研究：让AI看图说话时，也能"指出"它在看哪里

这项由加州大学洛杉矶分校（University of California, Los Angeles）研究团队完成的工作，以预印本形式于2026年6月15日发布于arXiv，编号为arXiv:2606.16122v1，研究方向隶属于计算机人工智能领域（cs.AI）。感兴趣的读者可以通过上述编号在arXiv平台上检索到完整论文。

一、 一个关于"指认证据"的故事

假设你是一名法庭陪审员，面前站着两位证人。第一位证人说："被告当时就在现场，我看得清清楚楚。"第二位证人说："被告当时站在法庭门口左侧第三根柱子旁边，我从对面的走廊里一眼就看到了他。"请问，你会更相信哪一位？

几乎所有人都会更倾向于信任第二位证人，因为他不仅告诉了你结论，还告诉了你他的依据在哪里。这种"给出证据位置"的行为，在法律上叫做"指认"，在科学研究中叫做"可验证性"，而在本篇论文所探讨的人工智能领域，它被称为"视觉定位"（Visual Grounding）。

当前，能同时理解图片和文字的人工智能模型（学术上称为视觉语言模型，Vision-Language Model，简称VLM）已经相当普及。你可以给这类模型发一张图片，问它"图里有几只猫"或者"桌子左边是什么东西"，它会给出一个回答。更先进的模型还会在回答之前先"想一想"，就像人类做题时会打草稿一样，模型会生成一段中间推理过程，然后再给出最终答案。这种"先思考再回答"的模式被称为"思维链推理"（Chain-of-Thought Reasoning），它确实让模型的表现变好了不少。

然而，问题就藏在这个"思考过程"里。当模型说"红色的轿车停在门口旁边，所以答案是B"时，它只是在用文字描述一个它声称看到的场景。但到底有没有红色的轿车？它真的在门口旁边吗？你没有办法从模型的文字推理中验证这一点。更麻烦的是，研究者们发现，有时模型给出的最终答案是对的，但它的推理过程其实根本没有参考图片，纯粹是靠语言模式猜出来的。换句话说，模型可能在"撒谎"——或者更准确地说，它的推理过程与图片内容脱节了，却恰好蒙对了答案。

加州大学洛杉矶分校的研究团队注意到了这个根本性的缺陷，并提出了一个解决方案：让模型在推理时，不仅用文字描述它在图片中看到的东西，还要同时"指出"它在说的是图片的哪个位置。这就是本文提出的核心概念——"视觉定位思考"（Visually Grounded Thinking）。

二、 什么叫做"边想边指"

用一个更具体的场景来理解这个概念。假设你在玩一个游戏：一位裁判给你看一张照片，上面有很多人，然后问你"离棕色椅子最近的蓝色物体是什么"。你的回答过程可能是这样的：你先用手指点住照片中的蓝色马克杯，再用另一根手指点住棕色椅子，然后说"这个蓝色马克杯（手指在这里）离那把棕色椅子（手指在那里）最近，所以答案是马克杯"。

你的推理是文字，但你同时用手指锚定了图片中的具体位置，让裁判可以核实你说的对不对。研究团队希望AI模型也能做到类似的事情。

在论文提出的格式里，模型在思考过程中每次提到一个重要的物体时，会在文字旁边附上一个坐标标记，指明这个物体在图片中的位置。坐标有两种形式：一种是"框"（bounding box），用四个数字描述一个矩形区域，把物体框起来；另一种是"点"（point），用两个数字标注物体内部的一个具体位置。整个思考过程就像是这样的文字："图片中有一个蓝色的马克杯（坐标：左131，上138，右440，下502），还有一把棕色的椅子（坐标：左0，上2，右204，下670）。蓝色马克杯是最近的蓝色物体，所以答案是A。"

在这个格式里，自然语言承担了表达思路的任务，坐标则锁定了每一步推理所依赖的图片证据。任何人，包括研究者、用户，乃至其他AI模型，都可以通过坐标去图片上核实模型说的是否属实。

三、 如何教会一个模型"边想边指"

要让一个模型学会这种行为，首先需要大量的训练数据，也就是带有坐标标注的推理样本。但问题是，这种数据在自然界里几乎不存在——没有人会在日常对话中把每句话都配上图片坐标。因此，研究团队设计了一套全自动的数据生成流水线，从零开始制造这类训练数据。

整个流程可以理解成一条精密的工厂生产线，分成七个环节。

生产线的起点是大量现成的视觉问答数据集，涵盖数量计算和空间关系理解两大类任务。研究团队从中选取了来自TallyQA（复杂计数问题）、Pixmo-Count（图片计数）、VSR（视觉空间推理）、MultihopSpatial（多跳空间推理）和SpatialMQA（空间关系多选题）这五个数据集的训练部分，测试集则被严格锁起来，不参与任何训练过程。

拿到原始数据之后，研究团队先用一个已经非常强大的AI模型——腾讯开发的Qwen3-VL-Plus——去回答这些问题，并要求它在回答时展示思考过程。只有当这个大模型给出了正确答案时，它的思考过程才会被保留下来作为素材。如果第一次没答对，再换另一个强模型Qwen3.5-Plus重试一次。这一步的目的是获取"正确的推理轨迹"——也就是说，先确保推理过程的方向是对的，才值得继续加工。

有了正确的推理文字之后，下一步是从中提取出"关键物体"——那些推理过程中被提到、且对得出答案至关重要的具体东西。比如在一道关于空间关系的题里，"黑色笔记本电脑"和"穿黑色T恤的男人"就是关键物体。每个关键物体都被记录下一个名字（比如"黑色笔记本电脑"）和一个区分性的场景描述（比如"在桌子上，靠近这边"），这个描述用来区分图片中可能出现的多个同类物体。

接下来就是整个流水线中技术含量最高的一环：用坐标精确标注每一个关键物体在图片中的位置。这件事做起来非常困难，因为AI模型直接给出的坐标往往不够准确。研究团队的解决方案是使用一个专门做图像分割的工具——SAM3（"分割任何东西3"，Segment Anything Model 3，由Meta AI开发）——来生成精确的物体轮廓蒙版（mask）。SAM3的特长是：给它一个简单的文字描述，它能在图片上画出精确的物体边界。但SAM3也有局限，它不善于处理复杂的上下文描述（比如"桌子上靠近这边的那台黑色笔记本"）。

为了解决这个问题，研究团队设计了一个"智能体"（agent）系统，让一个语言模型来驾驭SAM3。这个智能体会先把复杂的物体描述转化成SAM3能理解的简短词组，调用SAM3得到候选蒙版，然后仔细核查候选结果是否真的对应了目标物体，如果不对就调整词组重试。这个反复试验的过程就像是一个人助手帮你在图书馆找书：他先按分类去找，看看找到的对不对，不对就换个关键词再找，直到确认找到了你要的那本书。

一旦智能体锁定了目标物体的精确轮廓蒙版，就可以从中同时派生出两种坐标：对于"框"模式，把轮廓的外接矩形转化为四个坐标数字；对于"点"模式，从轮廓内部找到距离边界最远的那个点（这样能保证即使对形状奇特的物体，点也稳稳地落在物体内部，而不会跑到边界外面）。

有了坐标之后，最后两步是把坐标嵌回推理文字里，并做质量过滤。嵌入时有一个巧妙的设计：模型只看到物体的文字描述，坐标是后来填进去的，这样就避免了模型自己编造坐标数字。质量过滤则剔除了那些坐标嵌入后推理文字变形严重的样本，以及格式错误或推理过度重复的样本。

整个流水线最终产出了19,909条推理样本，每条样本里平均有5.41个带坐标的物体标注，覆盖了72,381个独立的物体定位目标。这些数据同时以"框"和"点"两种格式提供，形成两套平行的训练集。

四、 用"定位奖励"让模型越练越准

光有训练数据还不够。研究团队在第二阶段采用了强化学习（Reinforcement Learning，简称RL）的方法来进一步打磨模型，而这里有一个专门针对坐标准确性的"定位奖励"设计，是论文的另一大技术贡献。

强化学习的基本逻辑可以用训练宠物来类比：你希望宠物做某件事，每次它做对了就给奖励，做错了就不给。随着不断练习，宠物会越来越倾向于做对的事。在这篇论文里，研究团队希望模型不仅答对问题（这是基本的答案正确性奖励），还要在推理过程中把物体的坐标标得准确（这是新增的定位质量奖励）。

定位质量奖励有两种计算方式，分别对应框和点两种模式。对于"框"模式，用的是"交并比"（IoU）：把模型生成的框和正确答案的框分别理解成两块区域，计算它们重叠部分的面积除以两者合并区域的面积。如果完全重合，得分是1；如果完全不重叠，得分是0；部分重叠则得到0到1之间的分数。这个分数会随着框的位置变化而平滑变化，给模型提供连续的反馈信号。对于"点"模式，用的是F1分数：检查每个模型生成的点是否落在对应物体的正确轮廓区域内，然后用精确率和召回率的调和平均来综合打分。

有一个设计细节值得特别说明：在计算定位质量之前，需要先解决一个"对号入座"的问题。模型在推理时可能会用不同的措辞称呼同一个物体，比如训练数据里叫"黑色笔记本电脑"，模型可能说"桌上的那台笔记本"。为了把模型生成的坐标和正确答案的坐标对应起来，研究团队专门设计了一个"路由"模块：用一个轻量级的语言模型Qwen3.5-4B来阅读模型的推理文字，找出哪些被提及的物体对应了哪些正确答案目标。这个过程就像是一个翻译员，负责把模型的"方言"翻译成标准答案的"普通话"，然后再进行比较打分。

另一个值得注意的设计决策是：研究团队故意不惩罚模型标注了"额外的"物体坐标——也就是说，如果模型在推理中定位了一些训练数据里没有记录的物体，这不会被扣分。原因很合理：训练数据中记录的关键物体并不是图片中所有有用信息的完整列表，模型在思考时发现并标注了其他有帮助的参考物，是一种合理的自主行为，不应该被压制。

最终，每条训练样本的总奖励是答案正确性奖励、格式正确性奖励、定位质量奖励以及截断惩罚的加权组合，通过GRPO算法（一种强化学习优化方法）来优化整个模型。

五、 实验结果：4B模型打赢27B模型

研究团队选择了Gemma3-4B-IT作为基础模型，这是谷歌DeepMind发布的Gemma3系列中参数量为40亿的版本。为了对比不同设计选择的效果，他们同时训练了三个变体：不含坐标的纯文字推理版本、含框坐标的推理版本，以及含点坐标的推理版本。每个变体都有"含定位奖励"和"不含定位奖励"两个子版本。评测在六个公开基准数据集上进行，涵盖计数类（TallyBench、CountQA）和空间关系理解类（VSR-zeroshot、EmbSpatial、SpatialMQA、MultihopSpatial）两大类任务。

实验结果给出了几个非常清晰的结论。

在计数任务上，含点坐标的视觉定位推理版本表现最佳。以TallyBench为例，原始Gemma3-4B-IT模型的平均准确率为33.33%，而含点坐标且加入定位奖励的版本达到了39.31%，提升幅度相当显著。CountQA上的情况类似，原始模型仅有9.87%的准确率，而含点坐标不加定位奖励的版本达到了12.34%，提升了约25%。

在空间关系理解任务上，结果更加令人印象深刻。以MultihopSpatial这个需要多步推理的空间关系任务为例，原始4B模型的准确率只有22.70%，而加入框坐标和定位奖励之后，准确率跃升到了37.68%，几乎提升了一倍。更戏剧性的是，作为参照的Gemma3-27B-IT——也就是同一模型家族中参数量是训练模型近七倍的大哥——在这个任务上的准确率只有30.94%，反而被4B的视觉定位思考版本远远甩在了身后。

在pass@4这个指标（即连续运行四次后只要有一次答对就算成功）上，差距进一步拉大。所有视觉定位推理版本的4B模型，在空间关系任务上的pass@4成绩都大幅超过了27B的模型。这说明视觉定位推理让模型的"天花板"也得到了显著提升。

相比之下，不含坐标的纯文字推理版本却出现了一个有趣的反常现象：它的表现有时反而不如原始模型，尤其是在空间关系任务上，准确率从原始模型的56.65%跌到了51.84%（VSR-zeroshot），从49.13%暴跌到20.54%（EmbSpatial）。研究团队对此给出了解释：纯文字推理版本在强化学习训练过程中出现了"长度崩溃"——模型的回答越来越短，越来越不探索，最终陷入了一种懒惰的思维模式。相比之下，含坐标的版本由于推理中存在坐标标注这一固定结构，加上对坐标格式的奖励，天然地维持了较长且稳定的思维链，避免了这种退化。

六、 框还是点，哪个更好用

研究团队还专门对比了框模式和点模式这两种坐标格式的差异，发现它们各有所长，适合不同的任务类型。

在计数任务上，点模式明显优于框模式。背后的道理并不复杂：数数的关键是"认出每一个个体并把它和其他个体区分开"，而点坐标恰好提供了这种"每个物体一个标记"的能力，不需要精确框出物体边界。事实上，给形状不规则、部分遮挡的小物体精确画框，本身就是一件很难的事情，而标一个点则容易得多。点模式的这种轻量级特性，在计数场景下反而成了优势。

在空间关系任务上，两种模式的表现相当接近，没有一边压倒性胜出。框模式的潜在优势在于：框的大小和位置能够反映物体的实际范围，这对于判断"A是否在B的左边"、"A和B是否有重叠"这类问题是有帮助的几何信息。然而，点模式虽然不提供范围信息，但只要能准确锚定物体的大概位置，结合模型对图片的整体理解，通常也足以推断空间关系。因此两种模式在这类任务上难分高下。

关于定位奖励（也就是对坐标准确性的额外奖励），研究团队也发现了一个有趣的不对称现象：定位奖励对框模式的提升效果明显，但对点模式的帮助则不那么稳定，在不同数据集上有得有失。原因在于两种奖励信号的性质不同。框模式的IoU奖励是连续的——框稍微移动一下，分数就会跟着变化，模型能得到细腻的方向反馈。点模式的F1奖励则是跳跃式的——只要点还在物体内部，不管在哪里分数都一样，但一旦点跑出了物体边界，分数就急剧下降。这种粗粒度的反馈信号让模型更难从中学到有效的优化方向，因此定位奖励对点模式的改进效果不如框模式显著。

归根结底，这项研究的核心贡献不在于某个单一技术突破，而在于它建立了一套完整的框架，让AI在视觉推理时的"思考过程"可以被追踪和核实。当AI说"因为我看到了X，所以答案是Y"，现在它必须同时告诉你X在图片的哪个位置，让你能去核对。这种可验证性，既提升了AI推理的可靠性，也提供了更丰富的监督信号来进一步改进模型。

说到底，这项工作解决的是一个根本性的信任问题。我们之前让AI看图回答问题，却从来不知道它到底在"看"哪里，推理过程是真的基于图片还是靠语言猜测。现在，视觉定位推理给了这个过程一个"存证"机制——每一步推理都要对应图片中的具体证据，就像法庭上的证人不仅要说出结论，还要指出证据在哪里。实验结果表明，这种约束非但没有让模型变得笨拙，反而让40亿参数的小模型在某些任务上超越了270亿参数的大模型，说明"想清楚"有时候比"想得多"更有价值。

对于普通用户来说，这项研究意味着未来看图类AI助手的回答将更加可靠，你不仅能得到一个答案，还能看到AI用来支撑这个答案的图片证据位置，从而自己判断AI说得对不对。对于AI研究者来说，这项工作提供了一套可扩展的数据生成和训练方法，无需人工标注坐标，就能让模型学会"边想边指"。

至于这套方法未来能走多远——它目前只在计数和空间关系这两类相对明确的视觉任务上经过验证，是否能推广到更复杂的场景（比如需要理解人物表情、抽象概念或跨图推理的问题），还有很大的探索空间。感兴趣的读者可以通过arXiv编号2606.16122查阅原始论文，追踪这个方向的后续进展。

Q&A

Q1：视觉定位思考（Visually Grounded Thinking）和普通的视觉推理有什么区别？

A：普通的视觉推理只输出文字描述，比如"红色轿车在门口旁边"，但没法核实模型到底在图片的哪里看到了这辆车。视觉定位思考要求模型在每次提到重要物体时，同时给出该物体在图片中的坐标（框或点），让推理过程可以被追踪和验证。这就像证人不只说结论，还要指出证据的具体位置。

Q2：为什么4亿参数的小模型在某些任务上能超过270亿参数的大模型？

A：关键在于视觉定位推理这种训练方式让模型在思考时必须把每个关键物体"锚定"在图片的具体位置，这迫使模型真正参考图片内容，而不是靠语言模式猜测。这种高质量的推理过程弥补了参数量的差距，说明在视觉任务中，"想清楚"有时比"想得多"更有效。

Q3：SAM3在这套数据合成流水线中起什么作用？

A：SAM3（Segment Anything Model 3）负责生成精确的物体轮廓蒙版。由于直接让语言模型预测坐标往往不准确，研究团队改为让一个AI智能体调用SAM3，把物体描述转化为精确的像素级轮廓，再从轮廓中派生出框坐标和点坐标，从而保证训练数据中的坐标标注具有足够高的准确性。