AI大模型为什么总对自己的答案"盲目自信"？约翰内斯·古腾堡美因茨大学揭开这一谜题

这项由德国约翰内斯·古腾堡美因茨大学与美国科罗拉多大学博尔德分校联合开展的研究，于2026年6月发表在预印本平台arXiv，论文编号为arXiv:2606.03437。研究团队深入剖析了一个让人工智能领域从业者和普通用户都深感困扰的现象：为什么那些经过精心训练的AI对话助手，在评估自己答案的把握程度时，往往表现得过于自信，甚至在给出错误答案时依然信心满满？

你有没有遇到过这样的场景：向一个AI助手提问，它给出了一个错误答案，但说话的口气却无比笃定，完全没有任何犹豫或保留？这种现象不只是令人烦恼那么简单，在医疗诊断、法律咨询、金融决策等高风险场合，一个过度自信的AI可能带来严重的后果。研究团队发现，问题的根源出人意料地隐藏在AI的"对话角色意识"当中——当AI以"我自己给出的答案"来评估一个回答时，它的自信程度会比把同一个答案当作"别人给出的答案"来评估时高出多达26%。这个发现催生了一个极其简单却效果显著的改进方案，完全不需要重新训练模型。

一、为什么AI的"自信程度"如此重要

一个真正可靠的AI助手，理想状态下应该表现得像一位经验丰富的专家：当它真的懂的时候，应该表现出高度的把握；当它不确定的时候，应该坦然承认自己的局限。用专业术语来说，这叫做"校准良好"——也就是模型的自信程度与它实际答对的概率高度吻合。

然而，现实情况并不那么美好。研究者们早已发现，那些经过额外训练来更好地与人类对话的AI模型（也就是我们日常使用的各种聊天助手），在这种"自信程度与准确率匹配"方面，反而比那些未经额外训练的原始模型表现更差。原始模型虽然不擅长聊天，但它的自信程度和实际答对率往往更加匹配；而聊天助手版本虽然更善于沟通，却倾向于无论对不对都显得信心十足。

造成这一问题的机制并不是单一的。就好比一道菜的口味受到食材、烹饪方式和摆盘方式共同影响，AI模型的过度自信也来自多个层面：既有训练过程本身带来的影响，也有模型与人对话时使用的特定格式带来的额外影响。研究团队决定像侦探一样，逐一排查这些"嫌疑人"，弄清楚究竟是谁在什么程度上"作案"。

二、剥开洋葱：把训练影响和格式影响分开来看

要弄清楚过度自信的真正来源，研究团队想到了一个巧妙的实验设计。他们把问题拆解成两个独立的变量，就像厨师分开测试每种调料对菜肴口味的影响一样。

他们选取了六款来自不同家族的开源AI模型，分别覆盖小型和大型版本：来自Meta的Llama 3.1（8B和70B两个规模）、来自阿里巴巴的Qwen3（4B和30B两个规模），以及来自谷歌的Gemma 3（4B和27B两个规模）。每款模型都有两个版本：一个是仅经过基础预训练的"原始版"，另一个是经过进一步训练以便更好地对话和遵从指令的"聊天助手版"。

实验的核心思路是把"额外训练"和"对话格式"这两个因素分开测试。具体来说，团队对每个模型都测试了三种情况：第一种是原始版模型，按照普通文本的方式提问；第二种是聊天助手版模型，但也按照普通文本的方式提问，假装它还是原始版；第三种是聊天助手版模型，按照正规的对话格式提问，也就是实际用户与AI对话时的标准方式。

测试的题目来自MMLU数据集，这是一个包含57个不同学科领域多项选择题的大型测试集，题目难度从基础到专业不等，是评估AI知识和推理能力的经典基准。通过比较三种情况下模型的表现，研究者们能够分别衡量"额外训练"和"对话格式"各自对过度自信程度的贡献。

评估自信程度的方法也很直接：对于多选题，研究者直接从模型的输出概率中读取它对每个选项的把握程度，然后用一个叫做"期望校准误差"（ECE）的指标来衡量自信程度与实际准确率的差距——这个数字越小越好，意味着自信程度和实际答对率越匹配。此外还用了"布里尔分数"来从另一个角度衡量预测准确性。

实验结果揭示了清晰的层次关系：额外训练是过度自信的主要来源，对话格式是次要但不可忽视的推手。具体来看，额外训练平均让ECE升高了13.1%，同时把准确率提升了3.7%；在此基础上，对话格式又让ECE额外升高了2.74%，同时只带来了1.1%的准确率提升。总体算下来，与原始版模型相比，日常用户使用的聊天助手版本（既经过额外训练，又使用对话格式）的ECE高出了整整15.8%。简单来说：额外训练让AI变得更能干，但代价是它开始对自己的能力过于乐观；而对话格式则在此基础上进一步推波助澜。

三、换一种问法，问题会消失吗？

知道了过度自信的存在之后，研究团队想到一个问题：如果不是通过观察AI输出的概率数字，而是直接用语言问AI"你有多大把握？"，结果会不会不同？

这个想法并非空穴来风。之前的研究确实发现，对于聊天助手版模型，直接用语言询问它的把握程度，比读取它的内部概率数字，往往能得到更准确的自信评估。于是研究团队测试了三种不同的"问把握"方式。

第一种叫做P(True)，也就是在给出一个答案后，问模型"这个答案是对的吗？"，然后读取模型回答"对"这个词的概率。这种方法还是依赖内部概率，只是换了个问法。第二种叫做"百分比语言表达"，直接让模型用0%到100%的百分比数字来表达自己的把握程度，完全用语言来表达而非读取内部数字。第三种叫做"语言等级表达"，让模型从"非常低、低、有点低、中等、有点高、高、非常高"这七个选项中选一个来表达自己的把握。

测试的结果与之前的发现保持了高度一致：不管用哪种方式来问把握，聊天助手版模型都比原始版模型更过度自信，而且额外训练依然是过度自信的主要来源，对话格式依然起到推波助澜的作用。这说明过度自信是个根深蒂固的问题，换个提问方式并不能从根本上解决它。

四、最出人意料的发现：AI为自己的答案"护短"

正是在深入追问过度自信的具体来源时，研究团队有了一个令人眼前一亮的发现。他们注意到，聊天助手模型在评估一个答案时，对"自己给出的答案"和"用户给出的同一个答案"表现出截然不同的态度。

实验的设计非常精妙：同一道题，同一个答案，只是呈现方式不同。在一种情况下，这个答案被呈现为AI助手自己刚刚给出的回答；在另一种情况下，同一个答案被呈现为用户在对话中提供的内容，然后请AI评估这个答案的正确概率。除此之外，两种情况下的一切都完全相同。

结果令人印象深刻：当答案被框定为"AI自己的答案"时，AI对它的把握程度显著高于把同一个答案框定为"用户给出的答案"时的把握程度。而且这种差异与答案是否正确无关——不管答案对不对，只要是"自己的答案"，AI就倾向于给它更高的把握评分。

具体数字上，用ECE这个校准指标来衡量，P(True)方法下两种情况的差距平均为9.8%，"百分比语言表达"方法下平均差距为17.9%，而"语言等级表达"方法下的差距最为惊人，平均达到26.1%。从原始把握程度来看，"百分比语言表达"方法下AI对自己答案的把握程度比对用户相同答案的把握程度平均高出18.1%，"语言等级表达"方法下这一差距更是高达26.8%。

研究团队把这一现象命名为"所有权偏见"——AI对于自己"生产"的答案，有一种类似于所有权归属感的偏爱，会本能地给予更高的信任。这背后的逻辑可以这样理解：AI在训练过程中形成了一种隐含的自我一致性逻辑——"如果我选择输出了这个答案，那一定是因为我认为它是对的；如果我不确定，我就不会输出它了。"这种逻辑导致AI在回顾自己的答案时，系统性地高估了它的正确概率。

有趣的是，这种"所有权偏见"与AI领域另一个已知问题"谄媚现象"恰好相反。谄媚现象是指AI倾向于顺着用户的想法说话，给用户的观点更高的认可度。而"所有权偏见"则告诉我们，至少在评估答案把握程度这件事上，AI更信任的是自己，而不是用户。

从可视化数据来看，当把所有模型的数据汇集在一张图上，对照"用户答案的把握程度"（横轴）和"AI自己答案的把握程度"（纵轴），绝大多数数据点都落在对角线的上方，意味着AI给自己答案的把握程度几乎总是高于给相同用户答案的把握程度。在那些答案错误的数据点中，这一现象尤为突出：用户版本的把握程度接近于零（AI正确地意识到那个答案很可能是错的），而AI自己版本的把握程度却高达60%，完全没能意识到自己答错了。

还有一个从总量角度来看的有趣数据：在多选题场景中，一道题有四个选项，所有选项的把握程度加起来理论上应该等于100%（因为只有一个正确答案）。然而实验发现，当答案被框定为AI自己给出时，四个选项把握程度的总和平均达到了198%到315%，远超100%；当答案被框定为用户给出时，这一数字虽然也超过了100%（在135%到243%之间），但明显低于前者。这说明AI在评估自己答案时存在系统性的把握膨胀。

五、"所有权偏见"是普遍现象，还是特定场景下的偶发？

为了确认这个发现不只是在多项选择题这种特定格式下才会出现，研究团队把实验范围扩展到了更多类型的测试场景。

第一个扩展场景是GSM8K，一个数学文字题数据集，答案是开放式的数字而不是ABCD选项。第二个是TruthfulQA，专门测试AI在面对容易引发误解的问题时是否能保持诚实和准确。第三个是开放式MMLU，把原本的多选题改造成开放式问题，不给出选项，让AI自由回答。

在所有这些不同类型的测试中，"所有权偏见"都持续出现。在GSM8K数学题场景中，AI对自己答案的把握程度比对用户相同答案的把握程度平均高出19.5%，ECE也相应升高14.2%。在TruthfulQA场景中，把握程度的差距平均约为10.9%。在开放式MMLU场景中，把握程度差距平均约19.6%，ECE差距约18.1%。这说明"所有权偏见"不是多选题的特有现象，而是一种跨任务、跨格式的普遍规律。

研究团队还进一步测试了这一现象是否在商业闭源模型中同样存在。他们选择了GPT-5.2进行测试，结果与开源模型高度一致：当答案被框定为AI自己的答案时，ECE、布里尔分数和原始把握程度都显著高于把相同答案框定为用户答案的情况。这意味着"所有权偏见"并非某几款特定模型的特有缺陷，而是当前AI技术路径下的一个普遍特征。

六、一个出人意料简单的解决方案

发现了"所有权偏见"，研究团队顺理成章地想到了一个应对策略：既然AI对"用户的答案"比对"自己的答案"评估得更客观，那么在需要AI评估自己答案把握程度的时候，何不把它的答案"伪装"成用户给出的？

操作起来极其简单。正常流程是：让AI回答问题，得到答案，然后在同一个对话里问AI对这个答案有多大把握。改进后的流程是：让AI回答问题，得到答案，然后开启一个新的对话，把这个答案包装成"用户提供的答案"，再问AI对这个答案有多大把握。表面上看，AI就像在评估一个陌生人的答案，而不是在评估自己的答案，从而能够给出更客观的把握评估。

这个方法完全不需要修改AI模型本身，不需要重新训练，不需要额外的计算资源，只需要在提问方式上做一个小小的调整。然而效果却相当可观：根据论文附录中的完整数据（表6），这一方法在大多数情况下能够显著拉近聊天助手版模型与原始版模型之间的校准差距，某些情况下甚至让聊天助手版模型的校准程度超过了原始版模型。

以Llama 3.1（8B）为例，在"百分比语言表达"方法下，原始版模型的ECE为0.3483，聊天助手版模型（使用对话格式，AI自己提供答案）的ECE高达0.5133，而改用"用户提供答案"的方式后，ECE降低到了0.4373，接近了原始版的水平。在"语言等级表达"方法下效果更加明显：原始版ECE为0.3161，AI自己答案版本为0.4414，而用户答案版本降至0.2064，甚至优于原始版。

这一发现的实际意义在于：在当前AI技术还无法彻底根除过度自信问题的情况下，普通用户和应用开发者可以通过这种简单的提示工程技巧，获得更可靠的把握度估计，从而更好地判断何时应该相信AI的答案，何时应该保持额外的怀疑。

七、这项研究的局限与未解之谜

研究者们非常坦诚地指出了这项研究目前尚存的边界。

尽管测试覆盖了六款开源模型和GPT-5.2，但对于其他商业闭源模型的情况还难以完全确定，因为那些模型的训练方式和数据来源并不公开，"所有权偏见"在那些模型中的强度可能有所不同。

此外，研究者提出的解决方案本质上是一种"治标"的手段。它能减少过度自信带来的表面影响，但并没有从根本上改变模型在训练过程中形成的那些导致过度自信的权重和模式。要真正解决这个问题，可能还需要在训练阶段就引入专门的校准机制，这是目前相关领域研究者正在探索的方向，但远比在提示方式上做调整要复杂得多。

最后，整个研究关注的是有明确对错答案的客观问题。对于那些没有标准答案的主观问题——比如写作风格评价、创意想法的质量判断——AI是否同样存在"所有权偏见"，目前还是个开放的问题。在那些场景中，"正确"和"错误"本身就是模糊的，校准的定义也变得复杂，需要专门的研究来探索。

说到底，这项研究揭示的是一个关于AI自我认知的基本特征：当AI扮演"作者"角色时，它看自己作品的眼光，与扮演"评审"角色时看别人作品的眼光，存在系统性的差异。这种差异让AI在最需要客观自我评估的时候，恰恰最不客观。而研究者找到的应对方法，本质上是通过角色切换来借用AI那套相对更客观的"他人评审"眼光来评估自己的答案。

这个发现对所有依赖AI辅助决策的场景都有现实意义。当你使用AI助手处理重要事务，不妨在让它评估自己答案的把握程度时，换一种提问方式——把它的答案当作一个"第三方的回答"来请它评价。这个小小的技巧，可能比你想象的更能帮助你判断何时该相信AI，何时该多加核实。有兴趣深入了解这项研究的读者，可以通过arXiv平台搜索编号arXiv:2606.03437获取完整论文。

Q&A

Q1：AI大模型过度自信的根本原因是什么？

A：根本原因来自训练过程本身，也就是让AI学会对话和遵从指令的"额外训练"阶段。这个阶段会让模型系统性地提高对自己答案的信心，不管答案是否正确。对话格式也会加重这个问题，但程度比训练过程本身要小。

Q2：用户在日常中怎么利用"用户答案框架"这个技巧？

A：操作方式是：先让AI回答你的问题，拿到答案后，开启新的对话，把这个答案作为"别人给出的回答"提供给AI，再问它觉得这个答案有多大把握是正确的。这样AI会用更客观的眼光评估，给出的把握度估计会更准确，帮助你判断是否需要额外核实。

Q3：所有权偏见在不同类型的题目中都存在吗？

A：是的，研究在多种不同类型的测试中都发现了所有权偏见，包括有固定选项的多选题、数学文字题、测试诚实度的问题，以及没有预设选项的开放式问题，甚至在不同规模和不同家族的模型中都观察到了这一现象，商业闭源模型GPT-5.2也不例外。