中科院计算所等机构联手打造"工业侦探"：让AI像人类专家一样检测产品缺陷

这项由中国科学院计算技术研究所、纽约大学、斯坦福大学、南洋理工大学、中山大学等多所国际机构联合完成的研究，以预印本形式发布于2026年5月20日，论文编号为arXiv:2605.20682。有兴趣深入阅读原文的读者可以通过该编号在arXiv平台上找到完整论文。

**当质检员也会"看走眼"时**

工厂里的质检员有一项公认最难的工作：在几秒钟内判断眼前的产品是否合格。一块印刷电路板上细如发丝的裂纹、一颗腰果表面不足一毫米的瑕疵、一段电缆绝缘层上几乎看不见的破口——这些缺陷不仅细小，而且在不同产品、不同批次之间形态各异，几乎没有任何规律可循。人工智能研究者们很早就盯上了这个场景，希望用计算机代替人眼来完成这项高强度工作。

然而，现实远比设想困难。传统的AI视觉系统就像一个只背过教科书的学生——它能认出教科书里出现过的那些缺陷样式，一旦遇到从未见过的产品类型或者从未出现过的缺陷形态，就会束手无策。更麻烦的是，这类系统在训练时需要大量"合格品"样本，而在真实工厂中，很多新产品根本来不及积累这些数据。换句话说，传统AI质检系统的能力边界非常清晰：它只认识已经教给它的东西。

近年来，一类被称为"多模态大语言模型"的AI系统（可以理解为同时具备图像理解和语言推理能力的超级助手，GPT-4V就是其中的代表）开始进入研究者的视野。这类系统拥有海量的世界知识，理论上可以像有经验的工程师一样，凭借对各类工业产品的背景了解来判断一个样品是否存在缺陷——甚至对从未见过的新产品也能给出判断。这就是研究者们所说的"开放词汇工业异常检测"：不依赖预先定义好的缺陷类别，而是开放地判断"有没有问题"。

但问题也随之而来。把这些通用AI直接用于工业质检，效果往往差强人意。它们会误把正常的焊点反光当成污染，会把合理的结构变形解读为断裂，会信誓旦旦地描述一个根本不存在的划痕。这就好比请一位博学的文学教授来担任汽车零件质检员——知识渊博不假，但缺乏专业训练和放大镜，很多关键细节他就是看不清、判断不准。

正是为了解决这个核心矛盾，来自中科院计算所等机构的研究团队提出了一套名为"IndusAgent"的新框架。他们的思路用一句话概括就是：给AI配上一套专业工具箱，让它学会像经验丰富的工业质检专家一样，主动拿起工具、仔细检查、再做判断。

**一、三种失败模式：通用AI为何在工厂里"翻车"**

在正式介绍IndusAgent之前，研究团队花了相当的篇幅来诊断通用AI在工业质检场景中究竟败在哪里。理解这些"症结"，才能理解后续解决方案的设计逻辑。

第一种失败叫做"领域推理偏移"。这些大模型在训练时主要接触的是日常对话、新闻文章、通用图片描述等内容，它们的"思维习惯"是为了应对开放性问题而优化的。但工业质检有一套非常严格的、近乎固定的诊断流程——你需要先观察整体结构，再重点检查关键区域，再与正常标准对比，最后给出判断。通用AI不懂这套"检查协议"，它会用写作文的方式来"鉴定"产品，这必然导致诊断过程杂乱无章，结论漂移不定。

第二种失败叫做"感知稀释"。工业图像通常以较低分辨率编码整张图片，一个细小的缺陷往往只占整张图像的极小一部分，在整体的"大画面"里被"稀释"掉了。就像你用手机拍一张大合影，想从里面辨认角落里某人眼角的一条细纹——从全景照片里根本看不出来。很多AI系统就是因为"没拿放大镜"，把关键瑕疵遗漏在了全局编码的汪洋大海中。

第三种失败叫做"跨模态幻觉"。当视觉信号模糊、不确定时，这类AI系统会用自己的"想象"来填补空白——它会自信地描述一个看起来合理但实际上并不存在的缺陷，或者反过来，把一个真实存在的异常解释成"正常的光线反射"。这种"幻觉"现象在工业质检场景中尤其致命，因为一旦误判，代价可能是一整批次的产品被错误放行或错误报废。

这三种失败模式共同揭示了一个核心问题：通用AI在工业质检中的失败，不是因为它不聪明，而是因为它缺少专业训练、缺少精密工具、也缺少主动获取额外证据的能力。

**二、工业侦探的工具箱：四种专业武器**

IndusAgent的核心思路可以用一个侦探的工作方式来理解。一位经验丰富的工业质检专家在面对一件可疑产品时，不会只是目测一眼就做判断。他会拿起放大镜检查细节，翻出设计图纸对比标准，用特殊光源照射表面，用卡尺测量关键尺寸——然后综合所有证据，才给出最终判断。

IndusAgent为AI质检员配备了四种专业工具，分别对应四种不同的检查需求。

第一种工具叫做"动态区域裁切工具"，可以简单理解为AI的"放大镜"。当系统在全局图像中发现某个可疑区域时，它可以主动调用这个工具，对那个区域进行高分辨率的局部放大，提取出清晰的细节图像。这样一来，那些在全景图中被"稀释"掉的微小缺陷，就能重新清晰地呈现出来。

第二种工具叫做"正常外观先验检索工具"，相当于AI的"参考手册"。工业产品千种万样，一个从未见过的零部件到底"应该长什么样"？这个工具可以从外部知识库中检索出该类产品在无缺陷状态下的结构描述、纹理特征和形状标准，为AI提供一个对比基准。有了这个"标准答案"，AI就能更准确地判断眼前的偏差是真正的缺陷，还是正常的制造公差。

第三种工具叫做"低层视觉增强工具"，可以理解为AI的"特殊光源"。工业表面经常出现强烈的金属反光、低对比度的污渍或者细微的纹理变化，这些在普通图像处理下很难辨认。这个工具会在后台调用专业的图像处理算法——比如一种叫做CLAHE（自适应直方图均衡化）的对比度增强技术，或者Canny边缘检测算法——生成一张强化了高频纹理信息的处理图像，让那些原本隐藏在噪声和光线背后的缺陷变得可见。

第四种工具叫做"几何度量验证工具"，相当于AI的"精密卡尺"。对于印刷电路板、螺纹零件等结构性产品，缺陷往往不是"多了什么"或"少了什么"，而是"某些部分之间的距离或角度不对"。这个工具允许AI指定两个参考点，精确计算它们之间的像素距离、相对位置或角度关系，从而验证是否存在错位、形变、间距异常等几何类缺陷。

这四种工具的设计思路非常清晰：每一种都针对一类典型的感知盲区，组合起来恰好覆盖了工业质检中最常见的几类挑战。

**三、从"被动观看"到"主动探查"：IndusAgent的三阶段训练之路**

光有工具箱还不够，关键是要让AI学会什么时候用哪个工具、怎么用。IndusAgent的训练过程分为三个环环相扣的阶段，可以类比为培养一名工业质检专家的完整成长路径。

第一阶段是构建"教学案例库"，研究团队将其命名为Indus-CoT。这个数据集的构建思路相当有意思：研究人员让一个性能强大的"老师模型"（Qwen3-VL-Max，一个参数量极大的旗舰级多模态AI）来处理来自"Real-IAD"工业图像数据集的约3000张图片。注意，这里的"老师"在检查图片时，没有配对的"合格品参考图"可以对比——它只有待检查的图片本身，以及自己内部的工业知识储备，这和真实推理场景完全一致。

老师模型对每张图片生成了一个完整的诊断推理轨迹，包含四个部分：全局观察（整张图片看起来怎么样？有哪些可疑之处？）、工具路由决策（需要调用哪个工具，针对哪个区域？）、工具观察结果（工具返回了什么信息？）、最终诊断验证（综合所有证据，有没有缺陷，缺陷在哪里，是什么类型？）。

为了确保训练数据质量，研究团队还引入了自我纠错机制和"AI评审"流程：让另一个AI来评估这些生成的推理轨迹是否合理、格式是否正确，保留质量最高的版本，剔除前后矛盾或格式混乱的样本。

特别值得一提的是，研究团队在数据准备阶段做了严格的"防泄露"处理。他们把训练集中所有与测试基准（MVTec-AD、VisA、MPDD、DTD、SDD这五个数据集）有重叠的产品类别全部剔除——不仅是精确名称匹配，连语义相近的变体也一并清除，比如"pcb"和"pcb1/pcb2/pcb3/pcb4"被视为同一类，"transistor1"和"transistor"也被认定为等效。这样一来，训练集和测试集在产品类别上完全不重叠，确保了后续评测反映的是真正的"从未见过的产品"上的泛化能力，而非对训练数据的记忆。

第二阶段是"监督微调"，用前一阶段构建的教学案例库来训练实际部署的轻量级模型（Qwen3-VL-8B，参数量仅为80亿）。这个阶段的目标是让模型学会两件事：一是掌握工业质检的标准诊断流程，二是学会正确的工具调用语法。

研究团队在这里采用了一个叫做"选择性掩码"的训练策略。简单来说，就是在训练时只计算模型自己生成的推理过程的学习损失，而不对输入的图片和任务描述部分计算损失。这样做的目的是让模型真正"理解并内化"推理逻辑，而不是简单地背诵输入内容。

研究人员也坦承，如果跳过这一阶段直接用强化学习来训练，模型很容易陷入"奖励黑客"的陷阱——它会学会不做任何实质性的视觉检查，直接靠随机猜测"有缺陷"或"没有缺陷"来碰运气获取奖励。监督微调阶段的作用，就是给后续的强化学习提供一个稳定、有结构的起点。

第三阶段是"带工具的强化学习"，这是整个框架中最具创新性的部分。研究团队使用了一种叫做GRPO（群体相对策略优化）的强化学习算法。与传统强化学习相比，GRPO不需要额外训练一个"价值评估网络"，而是通过同时生成多个候选回答，然后比较这些回答的相对好坏来指导学习方向，大幅降低了计算资源消耗。

在每一轮训练中，系统会针对同一张图片生成多个不同的诊断推理轨迹，然后用一个精心设计的奖励函数来评价每条轨迹的质量，得分高的轨迹会被强化，得分低的会被抑制。

**四、奖励机制的精妙设计：让工具调用与正确诊断牢牢绑定**

奖励函数的设计是IndusAgent中技术含量最高的部分，也是这项研究最核心的创新之一。研究团队面临一个两难困境：如果简单地奖励每次工具调用，AI会学会"拼命调用工具"来刷奖励分数，导致无谓的工具滥用和推理效率下降；但如果不奖励工具调用，AI又没有动力去主动探查。

研究团队的解决方案被称为"精度门控奖励机制"，其核心逻辑可以用一个门卫比喻来理解：只有当"门票"（最终诊断正确）被验证通过后，其他所有奖励才能兑现。

具体的奖励公式由五个部分构成，它们按层级组合在一起。最外层是"分类准确度奖励"：最终的"有缺陷/没有缺陷"判断是否正确？这个奖励是一个乘法门控开关——如果最终判断错了，这个值为零，后面所有与定位、类型识别、工具调用相关的奖励全部清零，不管中间推理过程看起来多么精彩。这个设计从根本上杜绝了"推理过程头头是道、最终结论还是错的"这种情况下模型仍然获得奖励的可能性。

在这个门控开关之内，还有三个附加奖励层叠在一起。"空间定位奖励"使用IoU（交并比，一个衡量两个区域重叠程度的指标）来评估AI预测的缺陷位置与真实位置的重合程度。"语义分类奖励"评估AI预测的缺陷类型是否正确，这里不是简单的字符串匹配，而是基于语义距离的评分，对于预测接近但不完全一致的类型给予部分分数。"工具效用奖励"则是最精妙的部分：它的计算方式是"工具调用后的诊断置信度提升量乘以一个正向系数，减去工具调用次数乘以一个惩罚系数"。也就是说，只有当工具的使用真正提高了AI对最终结论的确信程度时，工具调用才能获得正向奖励；如果调用了很多工具但置信度没有提升，反而会因为调用次数过多而被扣分。

此外还有第五个独立部分："格式合规奖励"，用于惩罚输出结构混乱、缺少必要标签等格式问题。这个奖励不经过门控开关，无论最终判断正确与否都会生效，目的是确保训练过程中模型的输出始终保持可解析的格式，防止训练崩溃。

这套门控奖励机制在实践中的效果是：AI学会了把工具调用视为一种高风险高回报的"赌注"——只有在它真正认为工具能帮助自己做出更准确判断时，才会选择调用工具，而不是无脑地每次都调用全套工具。

**五、实验结果：在五个战场上全面领先**

研究团队在五个标准工业异常检测基准数据集上验证了IndusAgent的性能，涵盖两大类场景：工业零部件（以MVTec-AD、VisA、MPDD为代表，包含螺丝、腰果、PCB板等各类工业品的结构性缺陷）和表面纹理（以DTD和SDD为代表，关注材料表面的纹理异常）。

评价指标采用"平衡准确率"而非简单的正确率，这是因为工业质检数据集中正常样品往往远多于异常样品，简单的正确率会掩盖模型在异常检测上的真实能力。

最终的比较结果相当令人印象深刻。IndusAgent（80亿参数）在五个数据集上的平均得分为83.4%。作为对比，OpenAI的GPT-4.1（参数量远大于IndusAgent，且属于商业API）的平均得分为77.5%，Anthropic的Claude-Sonnet-4为73.4%，最优的开源对手Anomaly-OV（70亿参数）为79.6%。

分项来看，IndusAgent在MVTec-AD数据集上得分83.6%，比此前最优方法高出9.3个百分点；在VisA上得76.8%，在MPDD上得72.7%，在DTD上得95.6%，在SDD上得88.9%。这意味着一个80亿参数的经过特定训练的小模型，在这个专业任务上全面超越了参数量大得多的通用大模型，包括各大商业API服务。

除了整体准确率，研究团队还特别关注"异常召回率"，也就是"有缺陷的产品中，AI正确识别出来的比例"。在工厂质检中，漏报（把有问题的产品放行出去）的代价通常远比误报（把好产品当废品报废）严重，因此召回率是一个尤为关键的指标。

在这个指标上，IndusAgent在五个数据集上的平均召回率为86.3%，而Claude-Sonnet-4为72.5%，IAD-R1为79.1%，底层的Qwen3-VL-8B只有65.8%。特别值得关注的是，IndusAgent在背景干扰严重的MPDD数据集上的召回率高达95.4%，比IAD-R1（78.0%）高出17.4个百分点；在复杂纹理的DTD数据集上的召回率为94.1%，比IAD-R1（83.7%）高出10.4个百分点。这些数据说明，强化学习驱动的主动探查策略，对于"容易漏看"的复杂场景尤其有效。

**六、拆解验证：每个组件的贡献**

为了搞清楚IndusAgent性能提升究竟来自哪里，研究团队进行了系统性的消融实验——也就是依次"拆掉"某个组件，看性能下降多少。

从训练阶段的贡献来看，如果去掉监督微调阶段（只用初始模型加上强化学习），在VisA数据集上的准确率从76.8%骤降到55.5%，验证了领域对齐是工业质检任务的前提条件。如果去掉强化学习阶段（只用监督微调而不继续强化），准确率为57.6%，也远低于完整框架，说明SFT为模型提供了良好起点，但不足以实现开放词汇场景下的泛化。如果去掉工具增强（保留SFT和RL但不允许调用工具），MVTec、VisA、DTD的准确率分别降至78.1%、67.5%、87.9%，说明主动工具使用对于缓解感知稀释问题具有独立且显著的贡献。

从工具类型的单独贡献来看，去掉动态裁切工具后VisA准确率从76.8%降至68.6%，这是下降最大的单一工具去除，印证了裁切工具对于隔离精细结构缺陷的核心作用。去掉纹理增强工具后DTD准确率从95.6%降至88.8%，说明高频纹理增强对表面纹理类检测场景不可或缺。去掉几何验证工具和正常先验检索工具，在三个数据集上都有一致的性能衰退，但幅度相对较小，说明这两类工具在特定场景下（几何类缺陷、结构复杂零件）发挥着不可替代的作用，但并非每张图片都需要。

从奖励机制的设计来看，研究团队将完整的门控奖励与各种简化版本进行比较。仅使用基础奖励（没有门控机制）的版本，MVTec准确率只有76.0%，VisA只有64.9%，比完整框架低了将近12个百分点。去掉格式合规奖励的影响最大，VisA准确率降至65.7%——这印证了格式约束对维持结构化推理一致性的基础作用。去掉定位奖励和类型奖励，分别导致了5到8个百分点不等的性能下降，而去掉工具效用奖励也带来了显著的性能衰减，验证了将工具调用与诊断正确性显式绑定的重要性。

研究团队还发现，奖励权重的平衡对最终性能有一定影响，但不过于敏感。将定位权重α设为0.8、类型权重β设为0.6、工具权重γ设为0.5时，在五个数据集上的平均准确率达到83.4%的峰值。而如果把三个权重都设为1.0（等权重处理），平均准确率降至81.1%，说明适度降低辅助任务的权重、保持分类准确率的主导地位，有助于避免奖励干扰。

**七、工具在实战中的真实使用模式**

研究团队对IndusAgent在推理时的工具调用行为进行了统计分析，结果揭示了一些有意思的规律，也验证了框架的设计意图。

在MVTec-AD数据集上，动态裁切工具的调用率为62.4%，纹理增强工具为21.3%，正常先验检索工具为18.7%，几何验证工具为9.8%，每张图片平均调用工具1.12次。这说明对于结构性工业零部件，"拿放大镜看细节"（裁切）是最常用的操作，符合直觉。

在VisA数据集上，工具调用模式类似，平均调用次数为1.06次，裁切工具仍然主导（54.8%），符合VisA中包含大量精细零件检测的特点。

在DTD纹理数据集上，模式发生了明显转变：平均调用次数降至0.72次，纹理增强工具的调用率上升至34.7%，而裁切工具只有28.5%。这说明面对纹理类场景，增强高频细节比放大局部区域更关键，AI确实根据图像类型自适应地调整了工具使用策略。

所有工具调用的执行成功率都在98%以上，说明工具接口的设计是稳定可靠的。更重要的是，每张图片平均不到1.2次的工具调用次数，印证了门控奖励机制成功地让AI学会了"按需使用工具"而非"滥用工具"。

**八、这对真实工厂意味着什么**

归根结底，IndusAgent这项研究的价值在于它验证了一种新的AI工业质检范式的可行性。过去，要让AI系统在工业质检中表现出色，要么需要针对每种产品收集大量标注数据并专门训练，要么只能使用大型商业AI（成本高、速度慢、数据可能要上传外部服务器）。

IndusAgent的出现证明，通过精心设计的训练流程和工具系统，一个80亿参数的轻量级AI，在"零样本"（不依赖目标产品的任何训练数据）条件下，可以在多个工业质检基准上超越参数量大出数倍甚至数十倍的通用AI。这对于中小制造企业来说具有相当的现实意义——部署成本大幅降低，数据不需要外传，新产品无需重新训练即可检测。

当然，研究团队也在论文末尾坦诚地列出了当前的局限。主动工具调用会带来额外的推理时间开销，相比单次扫描更慢。工具本身的可靠性也会影响诊断结果，如果裁切坐标不准确或者纹理增强引入了新的伪影，反而可能干扰判断。此外，当前的Indus-CoT数据集由一个强大的"老师模型"生成，这个生成过程可能引入该老师模型固有的偏见或提示模板带来的格式偏好。未来的研究方向包括更高效的工具调用策略、更强的工具抗噪能力，以及引入更多样化的专家监督数据。

说到底，这项研究最有价值的贡献，不是某个具体的数字提升，而是它提供了一套完整的框架设计思路：通过领域对齐训练打好基础，通过专业工具扩展感知边界，通过门控强化学习让工具使用与任务目标紧密绑定。这套思路不仅适用于工业质检，也对其他需要精细视觉判断的AI应用——医学影像诊断、卫星遥感分析、材料科学检测——具有直接的借鉴意义。对这项研究有兴趣的读者，可以通过arXiv编号2605.20682获取完整论文。

Q&A

Q1：IndusAgent和普通的AI质检系统有什么区别？

A：普通AI质检系统需要针对每种产品类型收集大量训练数据，遇到新产品就束手无策。IndusAgent采用"开放词汇"方式，配备放大镜、纹理增强、几何测量、标准参考检索四种专业工具，让AI像有经验的质检员一样主动探查证据，即使面对从未见过的产品类型也能给出判断，80亿参数的规模还超过了参数量大得多的商业AI。

Q2：IndusAgent的门控奖励机制是怎么防止AI滥用工具的？

A：门控奖励的核心逻辑是：只有当最终的"有缺陷/没有缺陷"判断正确时，定位奖励、类型识别奖励和工具使用奖励才全部生效；如果最终判断错了，这些奖励全部清零。同时工具调用奖励还包含一个"调用次数惩罚项"，每多调用一次工具就扣一点分。这样AI就学会了只在工具真正有助于做出正确判断时才去调用。

Q3：IndusAgent在工业缺陷检测中的召回率表现如何？

A：IndusAgent在五个数据集上的平均异常召回率为86.3%，显著高于Claude-Sonnet-4的72.5%和IAD-R1的79.1%。在背景干扰严重的MPDD数据集上召回率高达95.4%，比次优方法高出17.4个百分点；在复杂纹理的DTD数据集上达到94.1%，高出10.4个百分点，说明主动探查策略对"容易漏看"的复杂场景尤其有效。