Sherlock：让视觉-语言模型学会自我纠错推理的突破

近日，来自普渡大学计算机科学系的研究者Yi Ding和Ruqi Zhang发表了一项令人瞩目的研究成果《Sherlock: Self-Correcting Reasoning in Vision-Language Models》。这篇论文于2025年5月28日在arXiv平台上发布（arXiv:2505.22651v1），探索了如何让视觉-语言模型（VLMs）具备自我纠错能力，从而提升模型在复杂多模态任务中的表现。有兴趣深入了解的读者可以通过论文项目页面（https://dripnowhy.github.io/Sherlock/）获取更多信息。

为什么我们需要会自我纠错的AI？

想象一下，你正在向一个朋友讲解一道复杂的数学题。在解题过程中，你突然意识到自己前面的计算有误，于是你会说"等等，我算错了"，然后重新修正你的推理过程。这种"意识到错误并纠正"的能力对人类来说再自然不过，但对AI模型却是一项巨大的挑战。

当前的视觉-语言模型（VLMs）在处理图像和文本的复杂任务上已经取得了显著进步，特别是一些具备推理能力的模型可以像人类一样，通过分步思考来解决复杂问题。然而，这些模型面临三个主要挑战：首先，它们对推理错误极为敏感——一旦在多步推理过程中出现一个错误，这个错误就会像滚雪球一样影响后续步骤，最终导致错误的结论；其次，它们需要大量标注数据或精确的验证器才能取得一致的改进；第三，它们难以泛化到缺乏精确监督的更广泛领域。

普渡大学的研究团队提出了一个引人深思的问题：如果我们能教会这些模型自我纠错，是否能同时解决上述所有挑战？

Sherlock：像侦探一样自我纠错的AI

研究团队设计的系统被命名为"Sherlock"，这个名字灵感来自于著名的侦探夏洛克·福尔摩斯，寓意这个系统能够像侦探一样发现并纠正自身的推理错误。

在深入了解Sherlock之前，研究团队首先对现有推理VLMs的自我纠错能力进行了详细分析，发现了几个关键问题：

当前的推理VLMs，无论是通过监督微调（SFT）还是强化学习（RL）训练的，都基本上不具备有效的自我纠错能力。他们的实验表明，即使在模型出现明显错误的情况下，这些模型也很少能触发自我反思机制（少于10%的案例），而且即使出现自我反思，也只有一半能够导致正确的最终答案。更糟糕的是，当被明确提示进行自我纠正时，这些模型的表现不仅没有提高，反而可能会下降。

基于这些发现，研究团队设计了Sherlock框架，它包含三个训练阶段，每个阶段都有其独特的功能：

第一阶段是"SFT冷启动"。团队首先从LLaVA-CoT数据集中随机抽取10,000个样本，用这些样本训练一个基础的VLM，然后再抽取另外10,000个样本，构建一个包含低质量推理和高质量推理的数据集。通过同时优化推理和自我纠正两个目标，模型初步具备了这两种能力。

第二阶段是"离线偏好训练"。这个阶段的关键创新在于，Sherlock引入了"轨迹级自我纠正目标"，它只关注修正错误的推理步骤，而不是重写整个答案。这样做的好处是可以保留正确的推理部分，只针对错误部分进行精确修正。此外，他们还设计了一种基于视觉扰动的偏好数据构建方法，通过向图像添加随机噪声来生成质量差异可控的样本对。最后，他们引入了动态β参数，根据样本对之间的质量差距自适应地调整学习信号的强度。

第三阶段是"在线自我改进"。一旦模型掌握了自我纠正能力，它就能在没有外部监督的情况下继续自我改进。在每次迭代中，模型对随机抽取的问题生成初始回答，然后进行三轮自我纠正。如果三轮纠正后的答案一致，那么最终答案被视为高质量参考，而初始回答则被降级为低质量样本。这样构建的偏好数据集被用于进一步训练模型，使其在没有任何外部标注的情况下不断提升性能。

Sherlock如何像侦探一样工作？

为了帮助理解Sherlock的工作原理，让我们来看一个实际例子。假设模型需要回答关于著名的Chubb错觉的问题："图像中左侧的中心区域是否比右侧的中心区域小？"

在直接生成回答时，模型对图像进行了错误的理解，它写道："两侧图像中的中心圆的大小相同。然而，右侧中心圆嵌入在繁忙的黑白图案中，这可能造成大小的错觉...尽管有这种视觉效果，中心圆的物理尺寸并没有改变，并且它仍然小于整个右半部分的图像。"最后得出了错误的结论："是的。"

但在进行自我纠正后，模型重新审视了图像，并正确地分析道："为了评估中心区域的大小，我将比较两者：左侧的圆形图案在灰色背景上清晰可见，暗示其较小；右侧的中心区域由黑白图案中的低密度区域定义，暗示其具有更大的视觉影响。然而，两个区域的物理尺寸是相同的。"从而得出了正确的结论："否。"

这个例子展示了Sherlock的核心能力：它能够发现自己的推理错误，然后有针对性地修正这些错误，最终得出正确的结论。

Sherlock的性能表现令人印象深刻

研究团队在八个具有挑战性的多模态基准测试上评估了Sherlock的表现，包括综合视觉问答基准（MMBench-V1.1、MMVet、MME、MMStar）、数学和科学基准（MathVista、AI2D、MMMU）以及幻觉基准（HallusionBench）。

实验结果令人惊叹：基于Llama3.2-Vision-11B模型构建的Sherlock在直接生成回答时平均准确率达到了64.1%，经过自我纠正后进一步提升至65.4%。这超过了使用更多标注数据训练的模型，如LLaVA-CoT（准确率63.2%，使用了100,000个标注样本）、Mulberry（准确率63.9%，使用了260,000个标注样本）和LlamaV-o1（准确率63.4%，使用了175,000个标注样本）。而Sherlock仅使用了20,000个随机抽样的标注数据，不到这些模型使用数据量的20%。

更令人惊讶的是，当Sherlock配合验证器作为停止标准时，它可以减少40%的GPU使用量，同时实现更高的准确率（从54.0%提升到55.9%）。这种组合方法在推理时先生成一个回答，然后使用验证器检查是否正确；如果不正确，就引导下一轮自我纠正，直到得到正确答案或达到最大尝试次数。

Sherlock的秘密武器

深入分析Sherlock的设计，我们可以发现几个关键的创新点：

首先是轨迹级自我纠正目标。传统的自我纠正方法要求模型重写整个回答，这可能会引入噪声，因为模型可能会被迫修改已经正确的部分。相比之下，Sherlock只要求模型修正错误的后缀部分，保留前面正确的推理步骤。这种精细的修正方式提供了更清晰的学习信号。

其次是基于视觉扰动的偏好数据构建方法。研究团队通过向图像添加随机噪声来生成质量可控的推理轨迹，这些轨迹形成了天然的偏好对，其中没有噪声的推理被视为优质，有噪声的推理被视为劣质。这种方法不需要大量人工标注的数据，大大降低了训练成本。

第三是动态β设计。在偏好学习中，β参数控制着模型对偏好信号的敏感度。Sherlock根据样本的截断步骤和视觉扰动强度动态调整β值，为质量差距大的样本对分配较大的β，鼓励更谨慎的更新；为质量差距小的样本对分配较小的β，鼓励更积极地从微妙的偏好中学习。

最后，自我改进框架使模型能够在没有外部监督的情况下持续提升性能。模型生成的原始回答和纠正后的回答自然形成偏好对，这些自生成的数据被用于进一步训练模型，形成一个良性循环。

Sherlock启示录：对AI未来的思考

Sherlock研究带给我们几点深刻启示：

首先，自我纠错和推理能力并不是相互独立的，而是相互促进的：学习一种能力会提升另一种能力。研究表明，即使只使用自我纠正目标训练的模型，其直接推理能力也能达到与使用全部目标训练的模型相当的水平。这表明教会模型如何批判性地审视自己的答案，可以间接提升其初次回答的质量。

其次，轨迹级自我纠正比全回答纠正更有效。在在线迭代中，使用全回答纠正策略的模型自我纠正能力反而下降，而使用轨迹级纠正策略的模型持续提升。这说明精确定位和修正错误比重写整个答案更有效。

第三，自我纠正为模型提供了一种高效的推理时间缩放策略。通过多轮自我纠正，模型可以在不增加参数量的情况下显著提升性能。这种方法比传统的集成方法（如生成多个独立回答然后投票）更高效，使用更少的计算资源达到相同甚至更好的效果。

最后，Sherlock证明了我们可以用更少的标注数据训练出更好的模型。通过充分利用自我纠正和自我改进机制，Sherlock仅使用20,000个随机标注样本就超越了使用多达260,000个标注样本训练的模型。这对于资源有限的研究团队和应用场景具有重要意义。

未来展望：自我纠错AI的可能性

Sherlock研究开启了视觉-语言模型自我纠错的新篇章，但这仅仅是开始。未来的研究方向可能包括：

将Sherlock的自我纠错框架扩展到其他类型的推理模型，如纯文本大语言模型或多模态模型。Sherlock的设计原则是通用的，可以适应不同的模型架构和任务领域。

探索步级自我纠正与轨迹级自我纠正的结合。目前的Sherlock主要关注轨迹级自我纠正，未来的研究可以探索如何在单次推理过程中实现更精细的自我纠正，进一步提高效率。

研究自我纠错与外部知识整合的协同效应。如何让模型在自我纠正过程中有效利用外部知识源，是一个值得深入探索的方向。

开发更高效的验证机制，使模型能够更准确地判断自己的推理是否正确。这可以进一步减少不必要的纠正尝试，提高整体效率。

正如著名的侦探夏洛克·福尔摩斯擅长从错误中学习并不断完善自己的推理，Sherlock系统展示了AI也可以具备这种能力。当AI能够像侦探一样发现并纠正自己的错误时，它们将变得更加可靠、高效，并能够处理更加复杂的任务。这项研究不仅推进了视觉-语言模型的发展，也为我们构建更加智能、更具自主性的AI系统提供了新的思路。