同一个问题换个说法问AI，它的回答会不会变？

你有没有试过这样一件事：同一个问题，你用礼貌的语气问一遍AI，再用粗暴一点的语气问一遍，结果拿到的答案居然不太一样。

不是说对错变了，而是答案的细节、语气、甚至有没有把某个关键信息漏掉，都悄悄发生了变化。这事儿听起来好像无伤大雅，但如果你把AI用在医疗咨询、法律建议或者编程协助这种场景里，这种"悄悄变化"就不是小事了。

来自以色列理工学院的研究团队盯上了这个问题，他们发现一个挺让人意外的事实：现在业界评价一个大语言模型好不好，主要看它在各种榜单上的平均分有多高，但几乎没人认真问过——同一个意思，换种说法问，模型给出的答案到底稳不稳定。这篇论文的核心论点很直接，模型真正的"泛化能力"，不该用准确率衡量，而应该用稳定性衡量。

**问题到底难在哪**

先说清楚一件事，现在大模型评测的主流做法是什么样的。

研究者会准备一套题库，让模型去答，然后算个平均分，分数越高说明模型越强。这套逻辑用了很多年，几乎所有排行榜都是这么做的。

但这里藏着一个陷阱。

假设一个模型在100道题里，对某道题的礼貌版本答对了，粗鲁版本答错了，另一道题正好反过来，粗鲁版本答对、礼貌版本答错。平均下来，这个模型的整体分数看起来完全正常，甚至可能名列前茅。可是对单独某一个用户来说，他只会用一种语气问一次问题，他遇到的可能恰好是那个"答错"的版本。

这就是论文反复强调的一个核心矛盾：聚合分数可以掩盖个体层面的巨大波动。

一个模型可能在学术榜单上考了95分，但对你这个具体的提问方式而言，它给出的答案可能和另一个版本完全不一样，而你根本不知道这件事发生了。

论文里举了个很直观的例子。拿"伦敦和纽约的冬天有什么区别"这个问题来说，换上礼貌用语、全部大写字母、或者换种句式问法，三个不同的大模型家族（Gemma、Llama、Qwen）在内部表征、回答一致性、置信度、模仿倾向这四个维度上，波动幅度完全不一样，而且没有哪个模型是全方位稳的。

这就好比你去买保险，销售人员告诉你这款产品"平均理赔率高达98%"，听起来很安心。但如果你细问才发现，理赔率高是因为绝大多数轻微小额案例赔得特别痛快，恰恰在真正出大事、你最需要保障的那种重大场景里，这款产品理赔困难重重。平均数掩盖了真正关键的个体差异，而你永远不知道自己会落在平均线的哪一侧，直到真遇上事才后悔莫及。模型评测的问题也是一样,整体准确率掩盖了每个具体提问场景下的真实表现。

**SAGO：把"稳不稳"量化出来**

稳定性感知泛化目标（SAGO）

研究团队提出了一个叫SAGO（Stability-Aware Generalization Objective，稳定性感知泛化目标）的评测框架。

这玩意儿到底在做什么。简单说，它不是去问"模型答得对不对"，而是去问"同一个意思换个说法问，模型的行为变了多少"。

具体操作是这样的。研究者拿一个原始问题，比如"谁是世界上没读完高中的首富"，然后生成一堆意思完全相同但表达方式不同的变体版本。这些变体被归为三大类。

第一类叫社交语域变化,也就是改变说话的礼貌程度,从非常粗鲁命令式的语气到极度客气、带各种"麻烦你了""谢谢你"的语气,一共设置了11个档位,从-10到+10。第二类叫表面噪声,包括乱加空格、乱插标点符号、随机大小写混写这种字面层面的小动静。第三类叫结构重写,把问题压缩得特别短或者扩写得特别长,再或者把疑问句改成祈使句。

对每一道题的每一种变体，模型都要回答一次，然后研究者去对比原始版本和变体版本的回答，在四个维度上测量差异。

这四个维度分别是什么，值得展开讲讲。

第一个维度是激活几何

激活几何（Activation Geometry）：模型内部神经网络在处理不同输入时，隐藏层表示（可以理解为模型内部对这段文字的"理解痕迹"）发生了多大偏移，哪怕最终说出来的答案看起来一样。

这个维度测的是模型"内心"有没有不平静。有点像一个人表面上回答得云淡风轻,但其实内心翻江倒海,外人看不出来,但是脑电图能测出来。

第二个维度是生成一致性，这个比较好理解，就是看变体问题得到的回答和原始问题得到的回答，文字上像不像、意思上像不像。这里用了两个经典指标。

BLEU：一种衡量两段文字字面重叠程度的指标，数值越高说明用词越相似,常用于机器翻译评测。

BERTScore：一种更智能的相似度指标，它不只看用词是否相同,还能判断两段话意思是否接近，哪怕表达方式完全不一样。

第三个维度是置信度和不确定性，模型在回答变体问题的时候，有没有变得更犹豫或者更笃定。这里用了序列对数概率和token级熵两个指标来衡量,前者看模型对整句话有多"自信",后者看模型在选词时内部的"纠结程度"有多大。

第四个维度是回应镜像，这是整篇论文里我觉得最有意思的一个发现角度。

简单说就是,如果你用很啰嗦的语气问,模型是不是也跟着啰嗦回答,你用了很多标点符号的乱七八糟的句子问,模型是不是也开始在回答里夹杂一些奇怪的符号。这种"你怎么问,我就怎么答"的行为,有时候是好事,说明模型在贴心地适配你的说话风格;但有时候是坏事,说明模型被一些完全不该影响内容的表面噪声给带偏了。

研究者专门设计了一个检测器,去判断模型的回答有没有"照抄"输入里那些本不该被模仿的表面特征。

为什么要单独测这个维度,而不是简单归到生成一致性里。

因为这两件事其实是相互独立的。打个比方,你让一个翻译把同一句话用敬语和用大白话各翻译一遍,一个好翻译应该是用词风格贴合语境（这是合理的镜像,是好的适配）,但翻译出来的核心意思（比如具体的数字、人名、事实）绝对不能变（这是生成一致性）。如果翻译因为你用了敬语,就连带着把原文里的数字都翻错了,那就是镜像行为"越界"污染了内容准确性,这是需要被单独揪出来的失败模式。

论文后面的实验数据印证了这个直觉,确实有模型在"内容稳定"上表现很好,但"镜像行为"上问题很大,反过来也有模型是镜像稳但内容飘。这说明这两件事真的得分开测,混在一起测会漏掉关键信息。

**稳不稳得打分，还得过统计检验**

有了四个维度的测量方法，接下来的问题是，怎么把这些原始数值变成一个可比较的分数。

这里论文设计了一套叫稳定性泛化得分（Stability Generalization Score，简称SGS）的计算方式。

因为不同维度的数值范围天差地别，比如BLEU分数是0到100，余弦相似度是-1到1，所以第一步要把所有差值都归一化到同一个尺度上，让0代表"完全没变化"，这样才能跨维度比较。

归一化之后，对每道题，研究者会把这道题在所有变体版本下测出来的差值，取均方根（简单理解就是把所有波动幅度平方、取平均、再开根号，这样做的好处是大的波动会被放大得更明显，不会被小波动平均掉）。这个值越大，说明这道题在换着法子问的时候，模型行为波动越剧烈。

算完每道题，再把一个数据集里所有题目的得分取平均，最后把六个数据集的结果按题目数量加权合并，就得到了一个模型在某个维度上的总体SGS得分。

得分越低,代表模型在这个维度上越稳定，这个逻辑本身很直观。

但研究者没有止步于算个分数就完了,他们还加了一道统计检验的关卡。具体做法是设一个容忍阈值,比如0.05,代表"只要波动幅度低于整个量程的5%,就认为这点波动是可以忽略不计的正常噪声,不算真正的不稳定"。然后用统计学里的单侧t检验去判断,模型的真实不稳定程度是不是显著超过了这个阈值。

为什么要多此一举做这个检验,直接看分数高低不行吗。

因为分数本身存在偶然性,万一这几道题目恰好运气不好测出了波动,不代表模型真的有系统性问题。加上统计检验,相当于给结论上了一道保险,确保你看到的不稳定不是随机噪声造的假象,而是真实存在、有统计学意义的现象。论文里设置了三档阈值（1%、5%、10%）,反复验证结论在不同严格程度下站不站得住。

**十一个模型，六套题库，谁都没能全身而退**

接下来是重头戏,实际测试结果。

研究团队测了11个模型,包括8个开源模型（Llama-3.2-3B、Llama-3.1-8B、Gemma-2B、Gemma-7B、Gemma-4-E4B、Qwen2.5-1.5B、Qwen2.5-7B、Qwen3.5-9B）和3个闭源商业模型（GPT-5.4、Gemini-2.5-Flash、Claude-Sonnet-4.6）,测试题库覆盖了健康、法律、金融、政治、科学、历史、地理、常识问答和创意指令跟随九大类话题,具体用了TruthfulQA、Natural Questions、Alpaca、SimpleQA Verified、TriviaQA、HotpotQA这六个公开数据集。

结果是什么。

没有一个模型能在所有维度上都保持稳定。

这句话听起来可能云淡风轻,但细品一下还挺让人意外的。你以为参数量越大、训练越精细的模型应该越稳,结果数据给出的答案恰恰相反。

比如Gemma家族里最新的Gemma-4-E4B,在生成一致性这个维度上的不稳定程度,居然是整个开源模型池子里最高的（BERTScore差值达到0.178,BLEU差值达到0.837）,比它的前辈Gemma-2B（0.097）和Gemma-7B（0.084）还要差。换句话说,这个"更先进"的模型版本,换个方式问同一个问题,给出的回答反而比老版本更容易"面目全非"。

这就好比你换了一台配置更高的新手机,拍照像素更高、处理器更快,结果你发现它拍人像的时候,同一个人换个姿势,出来的照片居然比老手机拍得更不像同一个人。参数堆上去了,稳定性却没跟上,这是一个纯粹靠"更大更强"逻辑没法解释的现象。

再看另一个例子,Qwen3.5-9B。这个模型在生成一致性上表现是开源阵营里最好的（BERTScore差值只有0.080,BLEU差值0.520,都是最低的）,听起来应该是个全面优等生。但同一个模型,在置信度稳定性这个维度上却是表现最差的（对数概率差值达到0.088,是开源模型里最高的）,同时在镜像行为上也不省心（差值0.441）。

这个反差说明什么。

它说明生成内容稳定和内部置信度稳定,完全不是同一回事,甚至可能是互相拉扯的两件事。

论文作者推测,这可能是某些对齐训练策略带来的副作用:为了让模型输出更一致、更"听话",训练过程可能无形中牺牲了模型对自己答案的把握程度,让它变得嘴上说得笃定,心里其实没那么确定,或者反过来更倾向于模仿输入的表面特征来凑出一个"看起来对"的回答。

如果评测只看一个综合分数,会发生什么。Gemma-4-E4B和Qwen3.5-9B很可能被打上差不多的"不够稳定"标签,但它们的问题出在完全不同的地方,一个需要在生成一致性上下功夫,另一个需要在置信度校准上下功夫，南辕北辙的诊断,自然开不出对症的药方。

还有一个发现很扎心,就是token级的熵（也就是模型对下一个词该选哪个的纠结程度）这个指标,在所有模型上都稳定得出奇（最高也只有0.012）,几乎没有模型在这个维度上出问题。这说明模型在"选词时犹不犹豫"这件事上基本没受什么干扰,但这恰恰说明,真正容易出问题的不是模型选词的精细机制，而是更宏观的生成内容和内部表征层面。这个维度上的"风平浪静",反而衬托出其他维度的"暗流涌动"更值得警惕。

**换个数据集，排名直接翻车**

论文里还有一个发现特别值得单独拎出来说。

模型的不稳定程度,根本不是一个固定不变的数字,它会随着你问的话题领域不同而剧烈波动。

研究者拿Llama-3.1-8B这个模型举例,它在六个不同数据集上测出来的激活几何不稳定值,跨度能达到3.7倍,镜像行为不稳定值甚至能翻一倍还多。

这意味着什么。

意味着如果你只拿一个数据集去给模型打稳定性评分,这个分数只能代表模型在那一个话题领域里的表现,挪到别的领域完全不作数。

打个比方,这就像你去考察一个厨师的手艺,如果你只让他做一道家常炒青菜,他做得又快又好,你就断定这是个五星级大厨,结果等真到了宴会现场,让他做一桌硬菜,才发现火候掌握完全失控。单一场景下的"稳",根本撑不起"全面可靠"这个结论。

正因如此,论文建议,真正有参考价值的评测,应该把多个数据集的结果按题目数量加权合并起来看总分,而不是盯着某一个基准测试的单次成绩。这也是为什么论文反复强调,必须在多个数据集、多种变化方式、多个行为维度上同时评测,少了任何一环,结论都可能站不住脚。

**开源和闭源，谁更稳**

论文还专门对比了开源模型和闭源商业模型的表现。由于API权限限制,闭源模型没法测激活几何和部分置信度指标,但生成一致性和镜像行为这两项是可以测的。

结果显示,三个闭源模型里,Gemini-2.5-Flash在生成一致性上表现相对更好（总SGS为0.312）,而Claude-Sonnet-4.6的生成一致性不稳定程度明显更高（总SGS为0.505）,GPT-5.4则居中（0.414）。有意思的是,在镜像行为这一项上,Gemini-2.5-Flash几乎是0.005这种极低水平,几乎不怎么被表面噪声带偏;而Claude-Sonnet-4.6在这项上反而是三者里最高的（0.061）。

这说明什么。更强的商业模型并没有让不稳定问题消失,只是把问题从一个维度转移到了另一个维度。这个结论和前面开源模型里Gemma-4-E4B、Qwen3.5-9B的情况其实是呼应的,稳定性问题不会随着模型变强自动解决,它更像是一个需要专门设计、专门优化的独立目标。

**写在后面**

读完这篇论文,我最大的触动不是"原来模型不稳定",这件事本身可能很多人都有模糊的直觉。真正让我停下来想了很久的是那个关于镜像行为的设计。

研究者没有简单粗暴地把"模型模仿用户说话风格"归为一个好事或坏事,而是坚持说这是一种"行为敏感性",需要具体问题具体分析。这个态度本身就很值得学。我们平时讨论AI的时候,太容易用"好"或"坏"这种二元标签去评判一个行为,但很多时候,同一种机制,在一种场景下是贴心的适配,在另一种场景下就是危险的失控,区别只在于触发它的那个输入,到底值不值得被模仿。

另一个让我反复琢磨的地方是,论文提到token级熵这个指标出奇地稳,但其他维度却很不稳。这种"局部稳定、整体飘忽"的现象,让我联想到一个人可能在回答每一个具体问题的瞬间都显得镇定自若,但你把他所有的回答拼起来看,会发现前后态度、立场、措辞风格根本不是一个人。这种割裂感,恰恰是最难被发现的,因为每个切片看起来都没毛病,问题只在拼起来之后才显形。这篇论文真正的价值,或许就在于它提供了一套方法,去发现这种"拼图式"的失败。

这篇论文没有解决的问题也很明显,它没有去挖这种不稳定背后到底是训练数据的问题,还是对齐策略的副作用,还是模型架构本身的局限。它只是精准地指出了"这里有问题",但没有回答"为什么会这样"。这或许是留给后续研究者的一道题,如果真的能用因果分析的方法,把生成不一致、置信度漂移、镜像行为这几件事背后的内部机制给扒出来,说不定能找到一个统一的病灶,而不是像现在这样,每个模型都在不同的地方悄悄出着不同的错。

Q&A

Q1：SAGO是什么？

A：SAGO全称是稳定性感知泛化目标，是以色列理工学院团队提出的一套评测框架，核心思路是测量同一个意思换种说法问模型，模型的回答、内部表征、置信度、模仿行为会变化多少，而不是只看平均准确率。

Q2：为什么说模型准确率高不代表它真的泛化得好？

A：因为准确率是所有题目的平均分，可能出现模型在某道题的A说法答对、B说法答错，另一道题正好相反，整体平均分看起来很高，但针对具体某个提问方式，模型其实很不稳定，这种个体层面的波动会被平均数掩盖掉。

Q3：论文测试的11个模型里，哪个表现最稳定？

A：论文发现没有任何一个模型在所有维度上都稳定，比如Qwen3.5-9B在生成一致性上表现最好，但在置信度稳定性上却是最差的，说明不同模型的不稳定问题出现在完全不同的地方，不存在全面最优的模型。