蚂蚁集团揭开AI问答系统的"作弊之谜"：检索增强系统真的在认真思考吗？

这项由蚂蚁集团研究团队主导的研究于2026年6月发表，论文编号为arXiv:2606.05633，感兴趣的读者可通过该编号在arXiv平台查阅完整论文。

**当机器"阅读理解"时，它究竟在做什么？**

假设你正在参加一场开卷考试。考前，老师允许你带一本参考书入场。考试结束后，老师发现你的答案准确率大幅提升。问题来了：你的进步，究竟是因为你认真读懂了书中的知识，还是因为你只是在书中找到了那个答案，然后直接抄了下来？

这个看似简单的问题，正是蚂蚁集团这支研究团队花费大量精力去追问的核心。他们的研究对象，是当前人工智能领域一种非常流行的技术架构——检索增强生成（RAG）系统。这套系统的工作方式，确实和"开卷考试"如出一辙：当你向AI提问时，它不仅靠自己的"记忆"回答，还会先去查阅一批相关文档，然后综合这些文档给出答案。为了让整个流程更高效，工程师们通常会让一个大型语言模型先把检索到的文档"整理"一遍，生成一份更精炼的参考材料，再交给另一个稍小的模型来最终作答。这个负责整理材料的大模型，研究者把它叫做"编译器"（compiler）或"改写器"（rewriter）。

在多跳问答（multi-hop QA）这类复杂任务上，加入这个"改写器"之后，系统的答题准确率会提升几十个百分点。研究界普遍认为，这种提升来自于改写器出色的信息整合能力——它把散乱的文档梳理得井井有条，让小模型读起来更轻松，推理起来更准确。这个解释听起来非常合理，甚至可以说令人满意。

然而，蚂蚁集团的研究者们发现了一个被忽视的细节：在改写器整理后的材料里，正确答案本身（也就是那个具体的答案字符串）出现的概率高达约80%。换句话说，改写器很可能不只是在"整理逻辑"，它同时也在把正确答案"搬运"到了一个更显眼的位置。于是，一个严峻的问题浮现了：这几十个百分点的准确率提升，到底有多少是因为"信息整合得更好了"，又有多少只是因为"正确答案被明晃晃地摆在了那里"？这两件事情长期以来混在一起，没有人真正分清楚过。

**一、一场精心设计的"拆弹实验"**

面对这个问题，最直接的处理方式，是把改写后材料里的正确答案"藏起来"，看看系统的表现会不会崩掉。如果崩了，就说明系统确实在依赖答案本身；如果没崩，就说明它真的理解了内容。学界此前最常用的做法，是用一个特殊符号——[MASK]——来替换掉正确答案的文字，然后重新测试。

但研究团队对这个方法本身提出了质疑。他们通过一组对照实验发现，在2WikiMultihopQA这个数据集上，用[MASK]替换答案后，系统仍然比原始状态高出4.12分。这乍看之下意味着系统有"真实理解能力"，不只是靠答案作弊。然而，当研究者换了另外四种替换符号来做同样的实验时，结果彻底翻转：用[REMOVED]、用一句自然语言"the answer was removed"、用一个普通名词"thing"、用一串符号"###"来替换答案，这四种情况下的测试分数，全部都在原始基准分以下，范围从负3.33分到负7.81分不等。

这意味着什么？意味着那个看起来"稳定"的4.12分残差，根本不是真实理解能力的体现，而是[MASK]这个符号本身对模型产生了某种奇特的暗示作用——可能是因为模型在训练时见过大量含有[MASK]的填空题，看到它就会以某种方式"补全"答案。换句话说，这个诊断工具本身就是带病的。一把不准的尺子量出来的结论，自然也靠不住。

正因如此，研究团队设计了一套全新的实验方案。这套方案的核心思路，是把一场"考试"设计成一场"受控手术"——不是简单地遮住答案看结果，而是用四种精确的干预手段，在保持其他一切条件不变的情况下，单独操控"正确答案是否出现"这一个变量。

**二、四把手术刀，精准剖开因果**

研究团队针对改写器生成的每一份材料，设计了四种干预操作，以此来测量"答案是否出现"对最终得分的真实影响。

第一种操作叫做"移除"（remove）：把改写材料里所有出现正确答案的地方，全部替换为[MASK]符号。这直接剥夺了小模型从改写材料中直接读到答案的机会。第二种操作叫做"安慰剂"（placebo）：不动正确答案，而是找一段字数完全相同的无关内容，用[MASK]替换掉它。这个操作的作用，是模拟"同样对材料动了手脚"的干扰效果，但不触碰答案本身。通过对比"移除"和"安慰剂"这两种操作造成的分数差异，研究者就能把"答案消失"的真实影响，从"材料被篡改"的一般性干扰中分离出来。

第三种和第四种操作，针对的是另一种情况——那些改写材料里本来就没有出现正确答案的题目。这时，研究者人工把正确答案"注入"进去：第三种方式是"前置注入"（insert_prepend），在材料开头加上一句"注意：正确答案是XXX"；第四种方式是"中段注入"（insert_mid），把同样的信息插入材料的中间某个句子边界处。如果注入之后分数提升，就说明答案的出现确实能帮助小模型答题；如果插入位置不同导致效果不同，则说明小模型对答案的位置也很敏感。

整个实验在三个不同的阅读模型系列（Qwen2.5系列、Qwen3.5系列和GLM系列）、两个多跳问答数据集（HotpotQA和2WikiMultihopQA）、三种改写器配置上分别进行，共产生了十二组完整的对照结果。每组结果都经过1000次自助采样（bootstrap）来计算置信区间，确保结论的统计可靠性。

这套设计的精妙之处在于，"移除"和"安慰剂"两种操作都会往材料里写入[MASK]符号，因此这个符号本身对模型的影响会在两者相减时自动抵消，最终得出的分数差异，就是干干净净的"答案存在与否"的因果效应。

**三、真相浮出水面：答案才是那个"幕后推手"**

实验结果令人印象深刻，而且出奇地一致。

在每一组"移除"实验里，当正确答案从改写材料中消失后，小模型的得分会暴跌37到65个百分点。相比之下，"安慰剂"实验里，同样大小的内容被替换掉之后，得分的变化幅度只在0到13个百分点之间，有些情况下甚至还略微上升了。两者相减，得到的"净因果效应"在每一组实验里都超过了25个百分点，范围是负28.2到负64.1。更关键的是，十二组结果里，这个数字的方向完全一致，无一例外。

其中有一组数据特别值得单独说明。在使用Qwen3.5-35B这个较强阅读模型的实验里，安慰剂操作的得分变化是略微正数（大约正1.9到正4.2个百分点）——也就是说，换掉那些无关内容，反而还稍微有点帮助。但在同样的条件下，移除正确答案之后，得分依然暴跌几十个百分点。这就更加有力地说明：崩溃的原因不是"材料被动了手脚"，而是"答案消失了"。

答案注入实验的结果，则揭示了另一面的镜像现象。把正确答案前置注入到那些原本缺少答案的改写材料里，在十二组实验中的十组里，得分出现了正向提升，幅度在正0.7到正9.7个百分点之间。但把同样的信息插入材料中段，结果却大相径庭——十二组里有九组出现了负向或零变化，幅度在负13.3到正5.5之间。这意味着，小模型不仅依赖正确答案的存在，还对答案出现的位置非常敏感：放在最前面最有用，藏在中间则效果大打折扣，甚至适得其反。

这是一个相当重要的发现，因为它说明改写器真正在做的一件关键事情，就是把答案"摆到显眼位置"——而不仅仅是"把信息组织得更清晰"。

**四、排除干扰，确认结论的可靠性**

研究团队非常谨慎，他们设计了多重检验来确保这些结论不是技术误差造成的幻觉。

一个最基础的检验是"同一性测试"：对于那些原本就没有正确答案出现在改写材料里的题目，"移除"操作其实什么都没有改变。研究者对这些题目重新跑了一遍阅读模型，发现每道题的得分变化中位数精确地等于零。这就排除了一种可能性：也许只是"再跑一遍模型"这件事本身引入了随机性。结论很清晰——实验里观察到的所有变化，都是真实干预造成的，不是测量误差。

与此同时，研究团队还通过附录里的一系列补充实验，进一步描绘了这个现象的边界和上下文。在阅读模型规模上，从Qwen2.5的0.5B版本一路到72B版本，改写器带来的增益在HotpotQA数据集上随着模型变强而减弱——0.5B时约有20个百分点的增益，72B时只剩约1个百分点。这说明，改写器对小模型帮助巨大，但对强模型几乎没有额外价值。

在另一个数据集Qasper（这是一个学术论文问答数据集，答案更加开放灵活）上，同样的改写操作不仅不能稳定提升得分，有时甚至会拖低得分。研究者还专门测试了换用更强的改写器（Qwen3-235B）是否能弥补这个缺陷——答案是：稍有改善，但HotpotQA和Qasper之间的根本差距依然存在。这说明，改写器的效果不只取决于改写器本身有多强，还深刻依赖于数据集的性质和阅读模型的能力。

此外，研究者还做了一个"蒙眼实验"：让改写器在不知道当前问题是什么的情况下整理文档。结果改写器整理出来的材料里，答案出现率大约从79%直降到50%左右，且没有任何一条材料以"只写出答案"的极简形式出现（这种极简形式在有问题引导时占约20%-39%）。这证明了改写器之所以频繁把答案搬运到显眼位置，很大程度上正是因为它知道要回答什么问题——它是有意识地在"针对性地提炼答案"，而不只是在做通用的文本清理。

**五、数字背后的完整图景**

研究中的一张完整结果表格，把十二组核心实验的数字清晰地呈现出来。以其中最显著的案例为例：在使用GLM-4.7作为阅读模型、GLM-5作为改写模型的设置下，仅使用改写器（B2配置）的实验里，移除正确答案导致得分下降65.3个百分点，而安慰剂操作反而让得分微微上升了1.2个百分点，最终的净因果效应高达负64.1个百分点——这几乎等于说，正确答案就是系统得分的全部来源。

在Qwen2.5-7B作为阅读模型的实验里，三种改写配置（仅MA改写、仅MB改写、MA改写后MB验证）下的净因果效应分别是负28.2、负32.8和负28.7个百分点，置信区间的上下界都明显不包含零，统计上非常可靠。

回到哨兵符号的对照实验（Table 2），结果同样一目了然。HotpotQA数据集上，五种替换符号都让得分跌到了原始基准线以下，结论一致，没有争议。但2WikiMultihopQA数据集上，[MASK]独树一帜地留下了正4.12分的"残差"，而其余四种符号全部反转为负数，从负3.33到负7.81不等，等价性检验（equivalence test）中只有一种符号通过标准，四种里三种未通过。这就是研究者所说的"哨兵脆弱性"（sentinel fragility）——一个依赖单一特殊符号的诊断工具，本身就是不可靠的。

**六、这项研究说了什么，又没说什么**

研究团队在论文里对自己结论的边界保持了相当清醒的认识。

他们明确指出，这项研究并不是在说"改写器毫无价值"。事实上，改写器可能确实在帮助模型过滤噪音、整理逻辑结构，但这些好处在当前的实验框架里和"答案搬运"效应纠缠在一起，无法干净地分离。研究者所能说的是：在他们测试的条件下，大部分的得分提升，都能被"正确答案是否出现在改写材料里"这一个因素所解释。

同时，他们也指出了这项研究的局限。实验覆盖的是字符串级别的完全匹配——如果改写器用同义词、换一种说法把答案改写进材料，这套检测方法就追不上了（这叫做"释义性泄露"，paraphrastic leakage）。此外，实验只在四个特定的"阅读模型-改写器-数据集"组合上进行，不应被直接推广到所有场景。对于离线的、与查询无关的文档整理场景（比如用AI来预处理百科全书），研究者认为他们的结论不直接适用，但认为类似的"移除与安慰剂"对照设计，依然是评估这类增益来源的合理思路。

他们也没有提出任何新的改写器设计，或者建议用什么方法来"修复"这个问题。正如他们在论文里所说，这项贡献的本质是诊断性的——他们提供了一把经过校准的尺子，让其他研究者能用它来检验自己的结论，而不是提供一个现成的解决方案。

为了让这把尺子能被别人用上，研究团队还随论文公开发布了他们的实验工具，包括干预实验的运行代码（scripts/p0_intervention.py）和哨兵对照面板，让未来的研究者可以用同一套标准来检验他们自己的RAG改写器。

---

说到底，这项研究做的事情，类似于一位考官在"开卷考试"之后，把所有考生的参考书收走，重新考了一遍。结果发现，绝大部分考生的"提升"，都消失了。这不一定意味着那本参考书没有价值，但它至少告诉我们：在考场上，"能找到正确答案并抄下来"和"真正理解了知识"，是两件非常不同的事情，而这两件事之前一直被算在一起。

对于真正想在AI问答系统中获得可靠推理能力的开发者来说，这意味着在评估一套改写器的效果时，必须同时追问两个问题：它是否让正确答案更容易出现在材料里？它在答案已经存在的前提下，是否还额外帮到了阅读模型？只有两个问题都有明确的回答，才算是对这套系统有了真正的理解。

对于使用这类系统的普通用户来说，这个研究则提醒我们：一个AI系统在某类任务上表现出色，背后的原因可能远比"它很聪明"要复杂。有时候，它只是恰好在对的位置放了一个对的词，然后另一个更小的AI把它抄了下来。

有兴趣深入了解这项研究的读者，可以通过arXiv编号2606.05633找到完整的论文，其中包含十三个附录章节，涵盖了从模型规模影响、跨改写器对比，到每道题的"上限分析"和别名检测等大量补充实验。

---

Q&A

Q1：RAG改写器（rewriter）究竟是什么，它在AI问答系统里起什么作用？

A：RAG改写器是检索增强问答系统里负责"整理参考材料"的大型语言模型。当用户提问时，系统会先检索一批相关文档，再由改写器把这些散乱文档梳理成一份更精炼的摘要，最后交给较小的阅读模型来生成最终答案。通俗地说，改写器就像一个"助理"，先帮你把参考书里的要点提炼出来，阅读模型再根据这份提炼稿作答。

Q2：蚂蚁集团的研究发现改写器提升了多少分数是靠"搬运答案"而非真正的理解？

A：研究发现，在移除改写材料中的正确答案之后，阅读模型的得分会暴跌37到65个百分点；而移除同等大小的无关内容（安慰剂对照），得分几乎不变甚至略微上升。两者的净差异高达负28到负64个百分点，涵盖了全部十二组实验，方向完全一致。这说明大部分性能提升都依赖于答案字符串本身的出现，而非信息整合质量。

Q3：为什么之前常用的[MASK]替换方法不足以检测这个问题？

A：因为[MASK]符号本身对语言模型具有特殊的激活效果，模型在预训练时大量接触过这种"填空题"格式，看到[MASK]会以某种方式补全内容，导致得分并不真正反映"答案缺失"的状态。蚂蚁集团的研究用四种替代符号做了对照，发现[MASK]留下的"非泄露残差"在其他符号下全部消失甚至反转，证明这是符号本身的伪影，而非真实的理解能力。