AI订酒店，为什么总帮你选那几个品牌？

你有没有想过这样一个问题：如果有一天，你让AI帮你订酒店、买耳机、找论文，它会不会悄悄偏心某些网站？

这不是一个假设性的问题。首尔大学的研究团队真的去测试了这件事，而且结果有点让人意外。他们找来12个主流的AI模型，包括GPT、Gemini、GLM、DeepSeek、Llama、Qwen等一系列我们熟悉的名字，让它们在购物、订酒店、找学术论文这三个场景里真实地去搜索、去挑选。结果发现，几乎每一个模型都有自己偏爱和嫌弃的网站,而且这种偏爱严重到可以让AI主动放弃明明更好的选项。

这篇论文的标题叫《Source Preference in the Wild》,直译是"野外环境中的来源偏好"。"野外"这个词用得挺讲究的,意思是这不是实验室里精心设计的测试,而是AI在真实搜索场景里会自然暴露出来的问题。

### 这件事到底难在哪里

先说清楚一个容易被忽略的点:判断AI是不是"偏心"某个网站,比想象中难得多。

假设你发现一个AI特别喜欢选Booking.com上的酒店,这能说明AI偏心吗?不一定。可能Booking.com上的酒店本来就更便宜、更符合你的要求,AI选它纯粹是因为它更好,这跟偏心没关系。又或者Booking.com的结果恰好总是排在搜索结果的前面,AI选它可能只是因为"看得更顺眼"的位置效应,跟来源本身也没关系。

requirement-matched pair（需求匹配对）：指两个来自不同网站的商品或酒店,它们满足用户需求的程度完全一样,比如都符合"蓝色、带麦克风、价格低于40美元"这几个条件,这样比较时才能排除"东西本身更好"这个干扰因素。

所以研究者想要证明AI存在真正的来源偏好,就必须把两个变量死死锁住:商品满足需求的程度要一样,显示的位置也要一样。只有在这两个条件都控制住的情况下,如果AI还是更倾向于选某个来源的商品,那才叫真正的偏好。

这就像你想知道一个面试官是不是对某个大学的毕业生有偏见。如果你只是看"这个面试官录用了很多清华的人",这证明不了什么,因为清华的学生本来可能就更优秀。真正能证明偏见的办法,是找两份能力、经历、面试表现完全一致的简历,只在毕业院校这一项不同,然后看面试官会不会区别对待。如果不做这种严格的配对控制,任何关于偏见的结论都只是猜测,甚至可能是错的。研究团队就是这么干的,他们在三个领域里,把搜索结果列表做成了一种叫做"循环拉丁方"的排列。

cyclic Latin square（循环拉丁方）：一种让列表里的每个商品轮流出现在每一个位置上的排列方式,目的是彻底消除"位置靠前就容易被选中"这种干扰。

举个例子,如果一个搜索结果列表有3个商品,系统会把这3个商品轮换着放在第一、第二、第三的位置上,跑三次,这样每个商品在三个位置上都出现过一次。这样一来,位置带来的优势就被完全抵消了,剩下的差异才可能真正来自"来源"本身。

### 用什么办法量化"偏好"这个模糊的东西

控制好变量之后,还有一个技术问题:怎么把"AI喜欢某个网站"这种模糊的感觉,变成一个具体的数字?

研究者借用了一个有一百多年历史的统计方法,叫Bradley-Terry模型。

Bradley-Terry model（布拉德利-特里模型）：一种最早用来给围棋选手、象棋选手打等级分的统计模型,核心思路是通过大量两两对决的胜负结果,反推出每个选手真实的实力分数。这个模型最大的优点是,就算两个选手从没直接交手过,只要他们都跟别的选手交手过,也能通过间接比较算出相对实力。

这个模型原本是用来算选手实力的,现在被拿来算"网站实力"。每一次AI在两个来源之间做选择,就相当于一场比赛的胜负。把成千上万次这样的"比赛"结果喂给模型,就能算出每个网站的一个"评分"。

这里有个细节处理得挺巧妙,叫Davidson扩展,用来处理"平局"的情况,比如AI同时选了两个商品,或者两个都没选,这些都算平局,不是单纯的胜负。算出评分之后,研究者又把它转换成了一个更直观的指标,叫偏好分数τ。

preference score τ（偏好分数）：表示某个来源相比于一个"平均水平"的来源,在AI眼里能多出多少被选中的概率,单位是百分点。比如τ等于+15,意思是这个来源的商品比一个普通来源的商品,平均能多15个百分点的被选中概率。

算出分数之后,还需要判断这个分数是不是"真的"存在,而不是随机波动造成的。为此研究者用了一种叫做request-level cluster bootstrap的统计检验方法,简单说就是反复从数据里随机抽样、重新计算,看看结果是否稳定。最终把每个来源打上三个标签:SOURCE+(偏好)、SOURCE-(排斥)、SOURCE0(中立,证据不足以说明有明显偏好)。

### 结果:AI们心照不齐地达成了共识

把这套方法套到12个模型、三个领域的真实搜索数据上,结果是:每一个模型,在每一个领域里,都至少偏好一些来源、排斥另一些来源。

更让人意外的是,这些模型之间的偏好高度一致。在购物领域,所有12个模型都偏好Walmart;在订酒店领域,10个模型偏好Booking.com,而一半的模型排斥Expedia。在144个"模型-来源"组合里,有110个被明确打上了偏好或排斥的标签,偏好来源的中位分数是+15个百分点,排斥来源的中位分数是-18个百分点。

这意味着什么?意味着如果你的网站不小心落在了AI的"黑名单"里,哪怕你的商品质量和别人一模一样,你被选中的概率也会系统性地低一截,而且这不是某一个AI的个性问题,是一种跨模型的集体现象。

这就好比一群完全不认识的面试官,在从未互相交流的情况下,居然都更偏爱录用同一所大学的毕业生,同时都对另一所大学的毕业生态度冷淡。如果只是一两个面试官这样,你可能会说这是个人偏见。但当十几个独立的面试官都做出了同样的选择,这就不再是巧合,背后一定存在某种共同的、系统性的成因。

有一个特别有意思的例外:GPT-5.4-nano对Amazon和eBay的态度跟所有其他模型都相反,别人偏好它排斥,这说明虽然大趋势一致,但模型之间也不是完全没有分歧。研究者还发现一个规律,在Qwen和Llama这两个模型家族里,越新的版本,偏好的强度反而越强,不是越弱。

### 偏好有多严重:它能压过"东西更好"这件事吗

知道AI有偏好还不够,真正值得担心的问题是:这种偏好会不会严重到让AI选一个明明更差的东西?

研究者设计了一个专门的指标来回答这个问题,叫inversion rate(逆转率)。

inversion（逆转）：指AI选择了两个商品中satisfaction（需求满足度）更差的那一个,而放过了更好的那一个。举个例子,如果一个商品满足了用户的全部5个要求,另一个只满足4个,但AI偏偏选了满足4个要求的那个,这就是一次逆转。

结果非常震撼。当"满足需求更少的那个商品"来自AI偏好的来源,而"满足需求更多的那个商品"来自AI排斥的来源时,AI选错(也就是选中那个更差的)的概率中位数达到了68%。反过来,当偏好来源的商品更好、排斥来源的商品更差时,AI选错的概率只有2%,几乎不会犯错。

这个68%和2%的对比,翻译成人话就是:只要一个商品挂着AI喜欢的招牌,就算它比别的差一截,AI依然有三分之二的概率会把它挑出来;而一个商品如果挂着AI不喜欢的招牌,哪怕它明明更好,AI几乎不会给它机会。

这就像一个挑西瓜的人,手里有两个瓜,一个甜度8分来自他信任的摊位,一个甜度9分来自他陌生的摊位。如果没有任何品牌偏见,理性的做法应该是直接拿那个9分的瓜。但现实中这个人有三分之二的概率会选那个8分的,仅仅因为摊位的招牌让他感觉更靠谱。如果这种偏见不存在,挑瓜这件事本该完全由甜度决定,但现在招牌的分量,居然盖过了瓜本身的质量差异。

更细致地说,研究者还把排斥来源单独拎出来对比,发现"排斥"这件事带来的伤害,比"偏好"带来的好处影响更大。换句话说,一个来源被AI嫌弃之后,它吃的亏,往往比另一个来源被AI喜欢所占到的便宜,还要大。

### 这种偏好到底是不是因为"来源信息"本身

到这里还有一个关键疑问没解决:AI对来源的偏好,是不是真的因为"来源信息"这个标签本身在起作用?还是说,只是碰巧偏好来源的商品描述写得更好、更吸引人,跟来源这个标签本身没关系?

研究者设计了两个很干净的对照实验来回答这个问题。

第一个实验叫"隐藏实验"。他们把同一批搜索结果,分成三种展示方式:完全隐去网址和品牌名(HIDDEN)、只露出网址但隐去文字里的品牌名(URL-ONLY)、完全保留原始信息(ORIGINAL)。结果发现,当来源信息被隐藏时,偏好明显减弱;当信息逐步恢复,偏好又重新拉大。而且这个拉大过程里,绝大部分变化发生在"恢复网址"这一步,文字里的品牌名反而影响不大,这说明AI对网址本身特别敏感。

第二个实验更直接,叫"身份互换实验"。研究者找来两个商品,保持它们的标题和内容完全不变,只把展示的来源标签互换,原本挂Booking.com的现在显示成另一个牌子,反之也一样。结果显示,同样的内容,只要换上一个AI偏爱的来源标签,被选中的概率就会明显上升。12个模型在三个领域里,这个效应全部显著成立,最夸张的一个案例里,仅仅换个标签,被选中的概率差距就能拉大到60多个百分点。

这个结果相当于证明了一件事:来源标签本身,就像一个贴纸,贴上去就能改变AI的判断,跟商品内容到底是什么没有必然关系。

这就好比两瓶完全一样的矿泉水,成分、口感、包装设计全部相同,唯一的区别是贴纸上印的品牌不一样。如果消费者愿意为某个品牌多付两倍的钱,那说明他买的根本不是水,买的是贴纸带来的心理暗示。如果不做这种贴纸互换实验,你永远分不清消费者到底是因为水真的更好喝,还是单纯被贴纸说服了。AI在这里扮演的角色,和那个被贴纸左右判断的消费者,其实没什么本质区别。

### 偏好是怎么产生的:训练数据里埋下的陷阱

发现问题之后,自然要问:这种偏好是从哪儿来的?

研究者提出了一个很有意思的猜测:如果某个来源在训练数据里,反复跟"更好的选项"绑在一起出现,AI可能会学会把这个来源当成一种捷径,直接把"这是来自A网站的"当成"这个东西更好"的信号,而不去真正判断商品本身的质量。

shortcut learning（捷径学习）：指模型没有学会真正解决问题所需的核心能力,而是找到了一个表面上能提高准确率、但实际上和任务本质无关的捷径特征。这是深度学习里一个很有名的陷阱,因为模型只关心能不能拿到对的答案,不关心这个答案是不是真的靠谱。

为了验证这个猜测,研究者做了一个巧妙的实验。他们编造了两个完全虚构、AI从未在训练数据里见过的网站名字,比如Kelto和Varnis,然后用DPO(直接偏好优化)方法去训练模型。

DPO（Direct Preference Optimization,直接偏好优化）：一种让AI学会"更喜欢A而不是B"的训练方法,原理是给模型看大量"A更好、B更差"的配对样本,模型通过反复学习这些配对,慢慢调整自己的判断倾向。

在训练数据里,研究者故意控制Kelto这个虚构来源跟"更好的商品"绑定的比例,设置了三种情况:50%(完全平衡,没有任何关联)、80%(强烈正相关)、20%(强烈负相关)。训练完之后,再拿两个质量完全相同、只是分别贴着Kelto和Varnis标签的商品去测试模型。

结果非常清晰:在完全平衡的情况下,模型选Kelto的概率还是接近50%,说明它没学到任何偏见。但在80%正相关的训练下,模型选Kelto的概率涨到了70%到75%,在20%负相关的训练下,这个概率又跌到24%到28%。

这证明了一件事:即便两个来源从未在真实世界存在过,仅仅因为训练数据里把某个虚构名字反复跟"更好的答案"配对,AI就能凭空学出一种偏好,哪怕测试时两个选项质量完全一样。

这个发现有点像一个孩子在成长过程中反复听到"穿红衣服的小朋友总是考第一名",久而久之,他可能真的会觉得穿红衣服的人更聪明,即便这个说法本身毫无逻辑可言。如果训练数据里从来不存在这种虚假关联,孩子根本不会形成这种偏见,他会老老实实根据每个人的真实表现来判断。AI在这里学到的,其实是一种统计意义上的"错觉关联",而不是真正理解了什么是"好"。

好消息是,这个实验同时也证明了偏好是可以被"矫正"的。研究者用同样的方法,把Amazon这个模型原本就偏好的真实来源,拿去跟eBay、Etsy、AliExpress这几个来源对比训练。原本Amazon的选中率在53%到62%之间,经过"平衡训练"之后,这个数字被拉回到接近50%,甚至还可以反过来,把原本不被偏好的来源训练成被偏好的来源。这说明只要调整训练数据里来源和质量的绑定比例,就能主动修正模型已经养成的偏好习惯。

### 另一个成因:信息缺失时AI会"脑补"

除了训练数据的问题,研究者还发现了第二个会触发偏好的场景:当商品描述里缺少用户关心的某个信息时。

比如用户要求"价格低于40美元",但搜索结果的商品描述里恰好没写价格,这时候AI会怎么办?研究者观察到一个很具体的现象:AI会在推理过程里,主动用"这个牌子通常价格便宜"这种刻板印象去填补信息空白,然后据此做出选择。

这背后的逻辑有点像人在信息不足时的本能反应。如果你去一个陌生的菜市场买菜,摆在你面前的两家摊位,一家你认识、一家你完全没听过,但两家都没标价,这时候你很可能会下意识觉得你认识的那家应该更便宜或更靠谱,即便这个判断没有任何真实依据。信息缺失的那一刻,大脑就会自动调用过去的印象去填空,而这个印象未必准确。

为了验证这个机制,研究者做了两类干预。第一类叫"补全信息",他们直接给两个商品的描述里都加上一个相同的、满足要求的价格,结果发现一旦价格信息补全,AI对偏好来源的选中率立刻下降,在所有测试模型里都是如此,下降幅度最大的一个案例里跌了28个百分点。这说明确实是信息缺失触发了AI的刻板印象,一旦把空白填上,偏见就没了着力点。

第二类干预是在系统提示词里直接给AI下指令。研究者试了两种说法,一种是泛泛地说"来源网址和价格没有任何关系",结果几乎没用,AI的选中率几乎没变化。另一种是更具体地说"通常,某个具体的、原本被排斥的品牌反而是便宜的",这种直接反转刻板印象的说法,在所有模型里都明显降低了偏好来源的选中率。

这个对比很值得琢磨。泛泛的提醒没用,具体的反向暗示才有用,这说明AI的偏见不是靠一句空洞的"不要有偏见"就能化解的,得给它一个具体的、能替代原有刻板印象的新信息,才能真正撬动它的判断方式。这就跟劝一个人改掉偏见很像,光说"你不该有偏见"几乎没用,但如果你给他看一个具体的反例,让他亲眼见到那个被他轻视的群体里有人表现得特别优秀,这种具体的冲击往往比空洞的道理管用得多。

### 写在后面

读完这篇论文,最让我感到不安的其实不是AI有偏好这件事本身,毕竟人也有偏好,这好像是信息处理系统的某种天然倾向。真正让我停下来想了很久的,是那个68%和2%的数字对比。

一个推荐系统如果只是稍微偶尔犯错,那是噪音,是可以接受的误差。但68%这个数字意味着,只要给商品贴上一个"对的"标签,它就能系统性地、大概率地击败一个客观更好的选项。这不是偶然的失误,这是一种可以被预测、被利用的规律。

更让我多想一层的是那个虚构来源的实验。研究者用两个完全编造的名字,就能在短短几千条训练样本里,让AI凭空学出一种毫无根据的偏好。这意味着这种偏见的产生门槛,比我想象的要低得多。不需要什么复杂的恶意设计,只需要训练数据里存在哪怕是无意的、统计学意义上的关联,AI就会把这种关联内化成一种判断倾向,然后在它完全不知情的情况下,把这种倾向带到每一次它替用户做的选择里。

论文里还提到一个细节,我觉得特别值得单独说一说。研究者发现,如果AI的选择结果被反过来用作新一轮训练的数据,这种偏好有可能会被进一步放大,形成一个自我强化的循环。换句话说,今天AI稍微偏爱某个品牌一点点,如果没人干预,这个偏爱可能会在一轮又一轮的迭代里越滚越大,最后变成一种很难撼动的结构性倾斜。这让我想到社交媒体上的信息茧房,一开始可能只是算法轻微的倾向,但经过无数次反馈循环,最后变成了彻底的信息割裂。AI的来源偏好,会不会也走上同样的路?

这篇论文没有回答的一个问题是:当这些AI开始大规模替代人类做购物、订酒店、找资料的决策时,谁来监督这种偏好,谁又有能力去纠正它?如果连研究者都需要用这么复杂的统计方法才能把偏好从真实需求里剥离出来,普通用户又怎么可能察觉自己正在被悄悄引导?

Q&A

Q1：AI助手选购商品或酒店时真的会偏好某些品牌吗？

A：是的，研究测试了12个主流AI模型，发现在购物、订酒店、找论文三个场景里，每个模型都对特定来源有明显的偏好或排斥，而且不同模型之间的偏好高度一致，比如几乎所有模型都偏好Walmart和Booking.com。

Q2：AI的来源偏好会不会让用户买到更差的东西？

A：会。实验发现，当更差的商品来自AI偏好的来源、更好的商品来自AI排斥的来源时，AI选中更差商品的概率高达68%；反过来，这种情况几乎不会发生，概率仅为2%。

Q3：AI的来源偏好能不能被纠正？

A：可以。研究发现通过调整训练数据中来源和商品质量的绑定比例，可以减弱或反转已有的偏好；另外，直接给AI补全缺失信息，或用具体的反向提示词替代刻板印象，也能有效降低偏好程度。