清华大学研究团队让AI学会"该出手时才出手"：TACO如何教会视觉AI聪明地使用工具

这项由清华大学自动化系与中国科学院自动化研究所联合完成的研究，以预印本形式发布于2026年6月，论文编号为arXiv:2606.30251。研究聚焦于一个听起来简单却颇为棘手的问题：当一个AI助手能够主动对图片进行操作时，它怎么知道该不该去操作？什么时候放大图片真的有帮助，什么时候反而会帮倒忙？

先设想这样一个场景：你雇了一个侦探来帮你查清楚照片里一个模糊路牌上写的是什么。这个侦探有一个放大镜，可以把照片局部放大来看清细节。大多数时候，拿出放大镜是正确的选择——路牌太小，肉眼看不清，放大后就能读出答案。但偶尔，这个侦探可能在一张本来已经看得清清楚楚的图上也拿出放大镜，不仅浪费时间，还因为选错了放大区域而看花了眼，反而得出了错误结论。更糟糕的是，他的雇主（也就是训练他的人）每次只看最终结果对不对，并不关心是否用了放大镜——于是侦探养成了"不管需不需要都爱用放大镜"的坏习惯。

TACO，全称"工具增强信用优化"（Tool-Augmented Credit Optimization），正是为了解决这个问题而设计的训练框架。它能让AI视觉模型不只是看最终答案对错，而是精确评估每一次工具调用是否真的帮了忙，并据此奖励或惩罚相应的行为。

一、为什么AI看图还需要"工具"？

现代视觉语言模型（可以理解为能同时看图和读文字的AI）已经相当强大，但在处理高分辨率或细节丰富的图片时，它们仍然面临一个根本性困难：图片里某个关键细节可能非常小，直接看就是一团模糊。就像你在一张1000米高空拍摄的俯瞰照片里，想看清楚某个路口的交通标志，凭肉眼几乎不可能。

为了解决这个问题，研究者让AI具备了"写代码操作图片"的能力。具体来说，AI可以在回答问题的思考过程中，写出一小段Python代码，指定要放大或裁剪图片的哪个区域，然后由外部的代码执行环境（称为"沙箱"）实际运行这段代码，将处理后的图片返回给AI，AI再根据这张新图片继续推理，最终给出答案。这种工作方式被称为"代码工具调用"，已经有不少研究团队基于此路线训练出了表现出色的视觉AI，包括DeepEyes、PyVision、Thyme等系列工作。

然而，代码工具调用是一把双刃剑。以论文中举的两个例子为例：第一个例子里，AI被问到"挂在天花板上的球的安装盖是什么颜色"，AI主动对图片进行了裁剪放大，因此看清了答案是黑色，这是一次有帮助的工具调用。第二个例子里，AI被问到"火车是什么颜色"，图片中的火车本来清晰可见，AI却也写了代码去裁剪确认，结果裁剪后的视角反而产生误导，导致AI从原本正确的"白色加红色"变成了错误的"白色"。这就是工具调用可能"帮倒忙"的典型情形。

问题的核心在于：传统的训练方式只看最终答案对不对，用"结果正确给奖励、结果错误给惩罚"的方式来训练AI，这种信号太粗糙了。它无法区分"因为用了工具而答对"和"即便不用工具也能答对但碰巧用了"之间的差别，也无法识别"因为用了工具反而答错"这种有害情形。就像一个老师批改作业，只看最后答案，不管学生的解题过程——这样培养出来的学生，很可能养成各种奇怪的解题习惯，而恰好每次都蒙对。

二、TACO的核心思路：用"探针"来测量工具的真实贡献

TACO的解决思路，本质上是引入一种"自问自答式对比实验"。研究团队把AI的整个思考过程分成三段：用工具之前的推理（称为T1）、调用工具的代码及工具返回的观察结果（称为C和观察图片）、以及用工具之后的推理和最终答案（称为T2和最终答案af）。

在这三段过程的关键节点，研究者插入了两个轻量级的"探针"。第一个探针在AI写完T1、还没有执行任何工具代码之前触发，它强制让AI此刻就给出一个答案——这个答案叫做a1，代表"如果不用工具，AI现在会怎么回答"。第二个探针在AI执行完所有工具调用、完成T2推理之后触发，让AI给出此刻的答案——这个答案叫做a2，代表"用完工具之后，AI实际上是怎么回答的"。

有了a1和a2这两个答案，就可以用一个现成的答案检查器（比较AI的答案和标准答案是否匹配）分别给它们打分：a1得到一个分数，a2得到另一个分数，两者之差就是Δ（Delta）。这个差值就是工具调用的"真实贡献值"，或者说"工具带来的净收益"。

当Δ大于0时，意味着AI原本答错了，用了工具之后答对了——这是一次真正有用的工具调用，应该受到奖励。当Δ小于0时，意味着AI原本答对了，用了工具之后反而答错了——这是一次有害的工具调用，应该受到惩罚。当Δ等于0时，工具调用没有改变答案的对错，这又分两种情况：如果a1本来就对（说明工具是多余的），或者a1本来就错而a2也错（说明工具没起到效果，问题本身太难了）。

这套机制有一个精妙之处：由于a1和a2都基于同样的问题、同样的图片、同样的T1推理，它们共享的那部分"AI在不用工具时的先天能力"在做差的时候被完全消除了。差值Δ干净地剥离出了工具本身带来的改变，不被AI的基础能力所干扰。这一点尤其重要，因为此前有研究（来自中国科学院等机构的MED研究）发现，许多打着"工具增强"旗号的训练效果提升，实际上大部分来自AI基础能力的自然提升，工具本身的贡献被高估了。TACO通过Δ这个差值信号，直接针对这个混淆问题。

三、防止AI"耍滑头"：差值比绝对值更可靠

聪明的读者可能会想到一个潜在漏洞：如果AI学会在T1推理阶段就把答案偷偷写进去，那么第一个探针触发时，它只需要复制这个预先写好的答案，就能轻松拿到高分——这样就算工具调用没什么用，探针分数也会虚高。这种现象被研究者称为"探针欺骗"（probe-hacking）。

然而Δ的差值结构天然地防御了这种欺骗行为。道理很简单：如果AI在T1阶段就预先把答案写好，那么第一个探针（工具关闭时）和第二个探针（工具开启时）都会读到同一个预先写好的答案，两者的分数完全一样，差值Δ就是0。也就是说，提前写答案这个"小动作"会同时抬高a1的分数和a2的分数，两者相减之后对Δ没有任何帮助。AI要想从工具调用上获得正的Δ，唯一的正路是：不用工具时答错了，用了工具之后真的答对了。

论文中的训练动态实验验证了这一点。研究者对比了三种训练方式：普通的结果奖励训练、使用"加法探针"（把a1和a2的分数加起来而非相减）的训练，以及TACO使用差值探针的训练。结果发现，加法探针方案在训练早期确实上涨得很快，但随后就陷入停滞，最终甚至比普通结果奖励还差——正是因为AI学会了在T1里写结论来抬高a1分数这个捷径，把奖励信号"黑掉"了，而实际能力并没有提升。相比之下，TACO的差值方案没有可以钻的空子，奖励信号真实反映能力，训练始终保持最高水准。

四、把奖励分配到"该负责的词"：OGAR的路由逻辑

TACO的另一个核心组件叫做"结果门控优势路由"（Outcome-Gated Advantage Routing，OGAR）。这个组件解决的是另一层问题：即使有了Δ这个工具价值评分，这个信号也必须送达正确的位置，才能真正改变AI的行为。

通常，AI的训练信号（奖励或惩罚）会均匀地分配给整个思考过程中的每一个词。但这种均匀分配会产生很多不合理之处。比如，一个AI用工具做了一次多余的操作，但恰巧最终答案还是对的。普通训练会把这次多余操作也一并奖励，下次AI就更容易做多余操作。又比如，AI在T1阶段推理得很好，但随后工具调用把答案带偏了，最终答案错了。普通训练会把这个错误的惩罚也施加给T1里那些本来正确的推理，让AI误以为"好好思考"是不对的。

OGAR通过一套精细的"谁负责就让谁承担信号"规则来修正这个问题。当工具调用是有用的（Δ>0），整个思考过程——包括T1、工具代码、T2——都应该得到正向奖励信号，因为这是一次顺畅协作的成功案例。当工具调用是有害的（Δ<0），惩罚信号专门送给工具代码和T2，而不触碰T1——毕竟T1推理原本是对的，不应该因为后续工具调用的失误而被惩罚。当工具调用是多余的（Δ=0但a1已经正确），奖励信号只送给T1，工具代码和T2得不到任何奖励，这样AI就会逐渐学到"既然不用工具也能答对，就不要多此一举"。当工具调用没有效果但情有可原（Δ=0但a1也是错的），惩罚信号对整个工具分支都不施加，给AI保留了在难题上探索工具的空间，不因为没成功而受到打击。

这套路由规则完全不需要额外的参数或学习，是一套纯粹由逻辑推导出的规则系统。它不增加任何额外的"工具使用惩罚项"，就能自然地抑制多余工具调用，因为它从奖励分配的源头切断了"白用工具也能得分"的路径。

五、两阶段训练：先学规矩，再学精髓

TACO的完整训练流程分成两个阶段，这两个阶段的作用就像先上理论课、再上实践课。第一阶段是监督微调（SFT），目的是让AI先学会"工具调用"这件事本身怎么做——写代码、执行代码、理解代码返回的图片、继续推理。这个阶段使用了经过精心筛选的训练数据。研究团队基于Thyme项目的语料库，做了三轮筛选：先重新运行所有代码确保执行无误，剔除掉代码报错或工具输出与实际不符的案例（这类案例会教会AI凭空捏造观察结果）；再去掉那些基础模型不用工具就能全部答对的案例（这类案例里工具根本不是必须的）；最后用Gemini模型对剩余案例的推理质量打分，淘汰掉那些推理逻辑混乱或盲目使用工具的案例。

第二阶段是强化学习（RL），这才是TACO的主战场。训练数据同样经过筛选，只保留有明确正确答案的问题，并剔除掉基础模型已经完全解决的简单题（因为这类题目在每次采样时几乎总是答对，奖励信号方差接近零，提供不了有效的训练梯度）。在RL训练中，每道题会让AI同时产生8个不同的回答，对每个回答分别计算Δ和最终答案得分，然后用OGAR路由规则分配信号，最后进行梯度更新。

整个训练在清华大学的8块80GB A100显卡上完成，以Qwen2.5-VL-7B（一个参数量70亿的视觉语言模型）为基础进行两轮监督微调加一轮强化学习训练，学习率设为百万分之一，批次大小128，两个奖励通道的权重分别为α1=1.0和α2=0.15。

六、实验结果：全面超越同类竞争者

为了验证TACO的效果，研究团队在12个涵盖感知、推理和通用理解的视觉语言基准测试上进行了全面评估。这12个测试覆盖了相当广泛的能力维度，包括高分辨率图片中的细节识别（HR-Bench系列）、需要在复杂场景中定位细小目标的视觉搜索（V*基准）、大规模真实世界高清图片理解（MME-RealWorld）、竞赛级别的视觉数学题（MathVision）、图表推理（ChartQA）以及需要逻辑推理的视觉问答（BLINK等）。

TACO在所有同类代码工具型视觉AI模型中取得了最高的平均准确率68.1%，比排名第二的PyVision高出4.4个百分点，比同为过程奖励路线的CodeV（使用GPT-4o作为外部评判模型）高出5.6个百分点。最引人注目的对比是：TACO仅凭70亿参数量，就以68.1% vs 58.5%的成绩大幅超越了OpenAI的商业闭源模型GPT-4o，尽管两者的参数规模和计算资源完全不在同一量级。

在感知类测试上，TACO的优势尤为突出。HR-Bench-8K（8K分辨率高清图片理解）上，TACO达到81.6%，远超此前最佳的74.3%；V*视觉搜索任务上，TACO以89.6%的成绩领先，而PyVision为88.7%、Thyme仅82.2%。这些成绩恰好印证了TACO的设计逻辑：工具调用在需要"放大找细节"的高清感知任务上最有价值，TACO通过精准的工具贡献评估，让模型在这些场景下更有效地利用工具。

更令人满意的是效率数据。在准确率最高的同时，TACO的推理速度也最快。以V*测试为例，TACO用2.3秒完成一道题（准确率89.6%），而PyVision用3.6秒（准确率88.7%），CodeV用3.4秒（准确率84.8%）。原因显而易见：TACO训练出来的模型知道什么时候不需要用工具，于是那些能直接回答的问题就不再浪费时间去写代码、执行代码、等待结果，对话长度因此显著缩短。研究者观察到，TACO训练过程中模型生成的平均回答长度从约720个词稳步下降到约640个词，而其他方法的回答长度几乎没有变化甚至更长。

消融实验进一步验证了每个组件的贡献。去掉DAPR（差值探针奖励）、改用加法探针，平均准确率从72.0%下滑至67.5%，下降4.5个百分点；去掉OGAR（结果门控路由）、让最终答案的奖励信号均匀分配给所有词，平均准确率下滑至70.0%，下降2.0个百分点。两个组件缺一不可，各自发挥着独特且互补的作用。

七、更换基础模型，效果依然稳定

为了验证TACO的通用性，研究团队还在更强的基础模型Qwen3-VL-8B上进行了实验。Qwen3-VL-8B本身已经是一个相当强大的模型，在五个代表性测试的平均准确率为72.9%，高于TACO在Qwen2.5-VL-7B上的起点（60.4%）。即便如此，在Qwen3-VL-8B上应用TACO训练后，准确率进一步提升到78.8%，提升幅度5.9个百分点。

在高清感知任务上，提升幅度依然相当可观：HR-Bench-8K提升9.5个百分点，HR-Bench-4K提升6.4个百分点，V*视觉搜索提升6.5个百分点。较弱基础模型（Qwen2.5-VL-7B）上的提升幅度更大（HR-Bench-8K提升16.3个百分点），这符合直觉——越强的基础模型在感知类任务上的天花板越高，留下的提升空间相对较小。但无论哪个基础模型，TACO都带来了稳定且全面的提升，没有任何测试项出现退步，说明这套训练机制的有效性来自其本身的设计原理，而非对特定模型的过拟合。

归根结底，TACO解决的是一个在AI训练中被忽视已久的细节问题：当AI拥有使用工具的能力时，如何精确地告诉它"这次用工具是对的、那次用工具是错的"，而不仅仅依赖"最终答案对了就全部奖励、错了就全部惩罚"这种粗粒度信号。这个问题听起来技术性很强，但它的影响非常实际：解决了它，AI在使用工具时会更像一个经验丰富的工匠——知道什么时候该拿出放大镜，什么时候直接用肉眼就够了；而非一个强迫症患者，不管需不需要都要把所有工具轮一遍。

这个思路远不止适用于"看图写代码"这一个场景。TACO的核心逻辑——通过前后对比来测量行动的真实贡献，再把信号精准路由到负责任的行为上——可以延伸到任何AI需要主动调用外部工具的场景：搜索引擎查询、代码执行、数据库检索、乃至多步骤规划。研究团队在论文末尾也坦承了现有局限：TACO目前依赖能给出明确对错判断的答案检查器，对于开放式、没有标准答案的任务暂时无法直接适用；此外，当AI在一次对话中调用多次工具时，如何对每次工具调用分别进行贡献评估，而非把所有工具调用视为一个整体来评价，也是留给未来工作的开放性问题。有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.30251查阅完整论文。

Q&A

Q1：TACO中的Δ（Delta）是如何计算的，为什么它比直接看最终答案更有价值？

A：Δ是工具调用前后两次"探针答案"的得分之差。第一个探针在AI还没执行工具代码时触发，记录此时AI会给出什么答案；第二个探针在所有工具调用完成后触发，记录AI最终选择的答案。用规则检查器分别给两个答案打分，做差就得到Δ。这个差值剥离了AI的基础能力（两者共享的部分），只留下工具调用带来的净效果，避免了"AI本身变强"被误算成"工具有贡献"的混淆问题。

Q2：OGAR是什么，它如何防止AI养成"白用工具也得奖励"的坏习惯？

A：OGAR是一套把奖励信号精准路由到"应该负责的词"的规则系统。当工具是多余的（不用工具也能答对），OGAR会阻断工具代码和后续推理获得奖励，只有用工具之前的正确推理才得到奖励。这样AI就学不到"反正用了工具也不会被扣分"的规律，自然就减少了多余的工具调用，同时也降低了推理时间。

Q3：TACO训练出来的模型为什么推理速度更快？

A：因为TACO让模型学会了"能不用工具就不用工具"。在测试时，面对那些用肉眼就能看清答案的问题，TACO训练的模型不会浪费时间写代码、等待沙箱执行、读取结果，而是直接给出答案。工具调用次数减少了，每道题的平均对话长度就缩短了，整体推理延迟也随之下降。在V*测试上，TACO以89.6%准确率仅用2.3秒完成，而同类竞争模型准确率更低却用了超过3秒。