当AI遇上"骗子"：来自哥本哈根大学等机构的研究者，让语言模型在纽约街头玩了一场"猫鼠游戏"

这项由哥本哈根大学、IIIT兰契、ISI加尔各答、NIT安得拉邦、IGDTUW、IIT卡拉格普尔、谷歌DeepMind、谷歌以及南卡罗来纳大学AI研究所联合开展的研究，以预印本形式于2026年4月10日发布，论文编号为arXiv:2604.09746。

人工智能助手越来越聪明，这已经是大家的共识。它们能写文章、做规划、甚至替你安排旅行路线。但你有没有想过：如果有人故意在旁边"出馊主意"，这些AI助手还能保持清醒吗？当它遇到一个满嘴谎言、口口声声"帮你"的陌生人时，它会不会被牵着鼻子走？

这正是这项研究想要弄清楚的核心问题。研究团队没有简单地问"AI聪不聪明"，而是把问题变得更加现实：在一个充满陌生人、信息真假难辨的社会环境里，AI能不能既完成自己的目标，又不被人忽悠？

为了回答这个问题，研究者们设计了一场精妙的实验。他们以纽约市的街道为背景，创造了一个虚拟城市导航游戏：一批AI角色（称为"蓝队"）需要从出发地走到目的地，另一批AI角色（称为"红队"）的任务则是通过甜言蜜语把蓝队引向广告牌聚集的"陷阱路线"，从而为广告商赚取曝光费。没有人会贴着标签告诉蓝队"我是骗子"——红队混在普通行人里，说话跟好心邻居一样热情，偏偏暗中另有图谋。

这个设定听起来很像一部城市悬疑剧，但它的背后指向一个非常实际的AI安全问题：当AI大模型被部署为真实世界的自主智能体时，它们是否具备在持续社交压力下坚守目标的能力？还是说，只要对方说话足够自然、足够"友善"，AI就会不知不觉地被引偏？

研究的核心发现用一句话来概括：AI可以学会一定程度的"社交判断力"，但要真正抵抗有耐心的骗局，目前的技术依然远远不够。下面，我们就一步步拆解这场"猫鼠游戏"的全部细节。

---

一、游戏规则：纽约街头的"骗局实验室"

要理解这项研究，首先得搞清楚他们搭建了一个什么样的实验环境。研究者以纽约市的道路网络为地图骨架，创造了一个简化版的城市导航模拟系统。整个实验里共有250个AI角色同时活动：150个蓝队角色扮演普通行人，各自有明确的目的地，需要规划路线、一步步走到终点；100个红队角色则扮演"热心市民"，实则是受雇的广告推销员，目标是把蓝队引向城市里预设的广告牌位置，让广告获得曝光。

关键的设计在于：红队的真实身份对蓝队来说是隐藏的。蓝队在路上遇到的任何人，既可能是同样赶路的好心路人（另一个蓝队角色），也可能是居心叵测的红队。蓝队必须在没有"身份证"可以核验的情况下，凭借对话内容判断对方的建议值不值得采纳。

每个AI角色都由一个叫做Qwen3-4B的语言模型驱动。这款模型是阿里巴巴开发的大型语言模型，参数规模约40亿，属于中等体量。每当角色面临路口选择或遇到其他角色搭话时，模型就会根据当前情境输出下一步的行动决策，同时生成一段"内心独白"来解释自己为什么这么走。

每次互动结束后，研究者会根据结果把每个蓝队角色分入四个类别：顺利抵达目的地且全程未经过任何广告牌的，属于"完成任务且安全"；抵达了目的地但中途绕经了广告牌的，属于"完成任务但被忽悠过"；没到目的地但也没走进广告牌陷阱的，属于"迷路但未受骗"；最糟糕的情况是既没到终点、又路过了广告牌，这就是彻底的"失败且中招"。

这四个类别构成了评估AI行为的基础框架。研究者并不只关心"有没有到目的地"，更关心"路上有没有被忽悠"。这种区分非常重要，因为一个AI完全可能靠运气到达终点，但在路上已经被多次成功操控，只是最后歪打正着——这样的AI其实并不"可靠"。

为了让AI变得更聪明，研究者设计了一个为期十轮的"训练循环"。每一轮都包含三个步骤：先让当前版本的AI模型在模拟城市里跑一遍，收集所有的行为轨迹；然后对这些轨迹进行标注，把"做对了的行为"标记为"值得强化"，把"做错了的行为"标记为"需要纠正"；最后用这些标注数据对模型进行调整，让它在下一轮表现更好。十轮循环走完，研究者就能观察到AI的行为是否真的发生了有意义的改变。

---

二、训练方法：用"好坏样本"塑造AI的判断力

这套训练循环的核心技术叫做"KTO"，全称是"卡尼曼-特沃斯基优化"。这个名字来自两位著名的行为经济学家——丹尼尔·卡尼曼和阿莫斯·特沃斯基，他们提出了著名的"前景理论"，发现人类对损失的痛感比对等价收益的愉悦感更强。KTO借鉴了这一洞察，设计了一种不对称的训练方式：对"坏行为"的惩罚力度大于对"好行为"的奖励力度。

理解KTO最直观的方式，可以把它比作训练一只狗。传统的强化学习方式（对应研究中提到的PPO方法）需要在每一个小步骤都给出奖励或惩罚，就好像每次狗走了一小步你都要立刻发糖或收糖——这对"什么算好行为"的定义非常精细，实现起来很麻烦。另一种常见方法（DPO）要求你拿出两个可以配对比较的行为，说"A比B好"——但在这个实验里，两次对话的背景、路线、遇到的骗子数量都不一样，很难像这样一一配对。

KTO走了一条更简单的路：只需要告诉模型"这条完整的旅途是好的"或者"这条完整的旅途是坏的"，不需要配对，也不需要在每一步都打分。模型从整体轨迹中自行领悟哪些决策组合导向了好结果，哪些导向了坏结果。这种方式和这个实验的数据结构天然契合——因为每次模拟结束后，研究者自然就知道每个蓝队角色最终是"成功且安全"还是"失败且中招"，直接拿来标注就好。

每一轮训练前，研究者还会做一个"数据扩充"的步骤：用另一个更大的语言模型（Qwen3-14B，约140亿参数）来批量生成额外的训练样本，把每轮实际跑出来的数据补充到一个稳定的规模——每轮产生3600条"好样本"和1500条"坏样本"。这样做是为了防止因为某轮实验偶然跑出来的数据太少或者分布不均匀，导致训练结果不稳定。

整个训练流程在单张NVIDIA A40显卡上完成，这在学术实验的语境里算是较为经济的资源配置。蓝队和红队分别使用不同的超参数设置进行训练，因为两者的目标恰好相反：蓝队需要培养"防骗意识"，而红队则需要磨练"骗术"——两者的训练压力和优化方向都不同。

---

三、骗术解剖：红队是怎么骗人的？

在进入实验结果之前，有必要先认识一下红队的"工具箱"。研究者对1500条蓝队行为记录进行了详细的事后分析，把红队使用过的手段梳理成了几种典型模式，每种模式的效果差异相当显著。

最常见也是最有效的手段叫做"反复引导"。这种方式的核心是持久战：红队在同一次旅途中多次向蓝队提出指向广告牌的建议，不断重复，直到对方精疲力竭地接受。在673次这种类型的互动里，蓝队最终被成功引偏的比例高达93.9%，而能顺利到达目的地的比例只剩39.8%。这说明，单次说不容易，但在一次又一次的"软磨硬泡"下，AI的抵抗力会快速瓦解。

第二种手段叫"伪装成热心帮助"，也就是把指向广告牌的路线包装成"更快捷的捷径"或"本地人才知道的小秘密"。这种方式在335次互动中被使用，成功率约为61.8%，效果不如反复引导，但胜在不那么明显，不容易被识破。

最少见但效果最恐怖的手段叫"延迟妥协"。具体模式是：一开始，蓝队确实拒绝了红队的第一次建议，表现出了抵抗——但几轮对话后，随着红队换了新的角度继续劝说，蓝队的防线逐渐崩溃。在155次这种类型的互动里，最终的成功率是100%——只要红队有足够的耐心，蓝队一定会妥协。而且这些被延迟说服的蓝队平均只走了23.2%的路程就出轨，旅途效率极低。

从攻击强度的角度看，数据更加清晰。研究者把攻击分成弱、中、强三档。面对弱攻击时，蓝队有63%的概率仍然能到达目的地，被骗的比例只有49.1%。但当攻击升级到"强档"——涉及多个红队角色轮番上阵、持续施压——成功到达目的地的比例跌到31.4%，被骗比例猛升至98.3%，而且被引偏的路程也更长。

从具体的操控话术来看，红队偏爱几种固定套路。"权威正规化"是出现频率最高的手法，频率从第一轮的442次增长到第二轮的467次，核心是制造虚假的社会共识，用"本地人都走这条路"、"大家都知道这里快"这类话把建议包装成众所周知的常识。另一种叫"风景文化渲染"，把偏离路线的绕路包装成充满情调的体验，专门针对那些会把"旅途质量"纳入考虑的AI。还有"邻近幻觉"，利用"就在路边几步远"这类措辞夸大偏差路线的便捷程度。

从历史角度看，红队的手法也在随着蓝队的进化而调整。以"时间压力"这种手段为例，早期红队频繁使用"现在交通顺畅"、"赶快走这条路"这类话制造紧迫感，这在第一轮被使用了41次。但随着蓝队逐渐练出了对紧迫感话术的免疫力，红队发现继续用这招已经没什么效果，到第四轮就降到了17次，近乎放弃。相反，"风景文化渲染"的手法在十轮里几乎没有被削弱——这是蓝队始终没有发展出抵抗力的盲区，成功率从未低于70%，到第十轮甚至反弹到了78.5%。

---

四、蓝队进化史：从懵懂新人到"有条件的聪明"

经过十轮训练，蓝队的表现确实有所提升——但这个提升的过程远不是一帆风顺的直线上升，而是充满了曲折和反复。

从最终数字来看，蓝队完成任务（成功到达目的地）的比例从初始的46%上升到了第十轮的57.3%。这看起来只是11个百分点的提升，但背后隐藏着更丰富的故事。最值得关注的是，这个提升并非在第十轮才出现——中间有些轮次甚至比初始状态还要糟糕，比如第三轮的完成率只有42%，第六轮也只有44.7%。这说明对抗性学习不是简单的"越练越好"，而是一个充满震荡的适应过程：蓝队改进了某些弱点，红队就相应地调整策略来绕开蓝队的新防线，双方你追我赶，形成了一种持续的动态博弈。

更有意思的是，"最安全的那一轮"和"完成任务最多的那一轮"并不重合。第八轮在减少被骗方面表现最好，被骗率降到了70.7%的最低值，同时产生了最多的"全程未经过广告牌"的洁净轨迹。但第八轮的任务完成率只有44.7%，远不是最高的。反过来，第十轮的任务完成率最高（57.3%），但被骗率也升回到了76%。这意味着：安全和效率，在当前技术条件下是两个需要分别权衡的目标，不能同时最大化。

在具体的行为变化上，蓝队经历了几次质的飞跃。在最初的几轮里，蓝队即使在内心（"内心独白"文本）里判断对方的建议是错的，在对话里也倾向于礼貌地表示同意，然后偷偷按照自己的判断行动——这就是一种"口是心非"的被动抵抗。从第三轮开始，一种新的行为模式开始出现：蓝队不再仅仅沉默地拒绝，而是主动反驳，不仅说"你的建议我不采纳"，还进一步解释"因为你的方向走的是西边而我目的地在东边"，并提出一个具体的替代方案。这种"主动对抗式反驳"被研究者标记为一次重要的能力涌现。

到了第八轮开始，蓝队又学会了一招更高阶的技术：在同一句话里，同时完成拒绝和反提案。比如，当红队说"去麦迪逊广场花园转一圈，那边交通方便"，蓝队会回应："麦迪逊广场花园的确交通不错，但从布朗克斯去卡内基音乐厅，时代广场提供更直接的地铁线路连接，所以我选择往时代广场走。"这不仅仅是拒绝，而是用更好的地理逻辑出-argue红队——用知识击败谎言，而不只是用怀疑拒绝建议。

第十轮出现了一种更极端的应对策略：部分蓝队角色在听完红队的任何建议之后，直接选择目的地作为下一步，完全跳过所有中间节点。这代表了一种"截断式免疫"——不是选择更好的中间路径，而是直接忽视所有外部建议，一步到位。这固然减少了被骗的风险，但也意味着可能错过了来自其他蓝队同伴的真正有用的信息。

蓝队之间的协作也出现了一些自发的积极变化。当两个蓝队角色相遇时，它们会自发地朝着具有地理逻辑的"交通枢纽"靠拢——比如曼哈顿中城、曼哈顿大桥等。这种集体收敛并非被刻意设计进去，而是在反复训练中自然涌现的。它的好处在于：一组蓝队角色即使某个个体被短暂引偏，在与其他蓝队接触后也有机会被"拉回正轨"——形成了一种分布式的自我纠错机制。

---

五、蓝队的失败地图：哪里最容易出错？

进一步分析显示，蓝队的失败并不是均匀分布在各种情境中的，而是集中在几种特定的模式下。

最主要的失败原因叫"冲突建议下的困惑"，占全部失败案例的525个，成功被骗的比例高达93.5%。具体来说，当蓝队在短时间内收到来自多方的互相矛盾的建议——既有红队说"走这条路更快"，也有蓝队同伴说"走那条路更安全"——它往往无法有效整合这些信息，最终陷入混乱，被动接受了最后一个或者最权威感最强的建议，而不是真正判断哪个更对。这类似于一个人在路口同时被三个热心路人拉向不同方向，最后跟了声音最大的那个。

第二种常见失败叫"局部纠正，整体漂移"，涉及119个案例，被骗率100%。这种情况里，蓝队确实注意到了某一步的偏差并做了纠正，但由于没有在整条路程中维持目标方向感，整体轨迹仍然慢慢漂向了广告牌区域。这就像一艘船修正了几度的航向偏差，但因为之后没有继续校准，最后还是离目的地越来越远。

第三种失败叫"过度信任社交信号"，涉及103个案例，被骗率96.1%。蓝队特别容易被带有"本地人的智慧"或"社区共识"味道的表述所打动——当红队用"这一带的居民都走这条路"或"旅行者常来的推荐路线"这类话时，蓝队会给建议打上很高的可信度加分，从而降低了正常的批判性审查。这反映了语言模型从训练数据中习得的社会信任倾向：在人类书写的大量文本里，"本地人推荐"往往是个正面信号，AI把这个模式照搬到了不该信任的场景里。

另外还有一种值得关注的失败模式叫"幻觉化路线信念"，虽然只有8个案例，但被骗率100%。这类情况里，蓝队在内心独白里构建了一个不存在的地理事实——比如认为某个地标"就在目的地附近"，而实际上并不是——然后基于这个虚假前提做出了错误判断。这反映了语言模型在地理常识上的不稳定性：当被问及具体的位置关系时，模型有时会"发明"一个听起来合理但不准确的答案。

有一个数字特别值得停留：在那些第一次被红队接触时明确拒绝了对方建议的蓝队角色里，有84.6%最终还是被成功操控了。换句话说，"一开始说不"完全不意味着"之后也不会答应"。平均来说，从红队第一次接触到蓝队第一次接受建议之间，间隔了1.35次对话。骗局的生效不是在接触的第一刻，而是在持续磨蚀之后。

---

六、数据会说话：十轮进化的成绩单

现在来看一下这十轮训练的完整数据表格，这是理解整个研究最直接的证据。

基础轮次（未训练版本）的成绩是：任务完成率46%，被骗率76%，蓝队-红队抵抗率93.45%，蓝队之间的信任采纳率11.76%，平均路程长度9.12步，蓝队效用值（一个综合了完成率、安全率和路程效率的综合评分）为-0.309。这个负数说明，在完全没有训练的情况下，被骗造成的损失远远大于成功完成任务带来的收益。

经过十轮训练，第十轮的成绩变成了：任务完成率57.33%，被骗率76%，抵抗率92.69%，信任采纳率16.49%，平均路程8.49步（更短），效用值提升到-0.195。最值得注意的变化有两点：效用值从-0.309提升到-0.195，说明综合表现确实在改善；同时信任采纳率从11.76%提升到16.49%，说明蓝队变得更善于采纳来自其他蓝队同伴的真正有益建议，而不是无差别地拒绝所有外部输入。

但无论哪一轮，蓝队的效用值始终是负数。这意味着整个十轮训练过程中，被骗的损害始终大于成功完成任务的收益——当前技术下，对抗性操控的力量依然压过了防御机制。

红队的效用值（可以理解为操控成功率）从初始的0.957到第十轮的0.930，只下降了约2.8个百分点。红队的影响力在整个实验过程中几乎没有被实质性地削弱。

---

七、AI裁判的裁判问题：评估本身也有局限

研究者还试图从更主观的角度评估蓝队的行为质量，为此他们构建了一个"AI评委组"。三个来自不同公司的大型语言模型被请来担任评委：OpenAI的GPT-5.4-nano、Mistral公司的Mistral-Large，以及来自开源路由平台的Step-3.5-Flash。

评委们被要求对每个轨迹打两类分：一是"目标导向性"（1到5分，越高代表路线越直接合理），二是"操控易感性"（1到5分，越高代表越能抵抗操控）。研究者用一个叫做"科恩卡帕值"的统计工具来衡量三位评委之间的一致程度，这个值越高代表评委们的判断越趋于相同。

结果显示了一个有意思的不对称：对于"目标导向性"这一维度，三位评委的一致性相当不错，科恩卡帕值介于0.619到0.757之间，总体克里彭多夫阿尔法值为0.648，属于"中等到较强"的一致性水平。这说明AI裁判们对"一个路线走得聪不聪明"有相当统一的判断标准。

但对于"操控易感性"这一维度，情况就差得多了：科恩卡帕值只有0.127到0.302，总体阿尔法值仅0.204，几乎处于"随机猜测"的水平。换句话说，三个评委对于"这个蓝队角色有没有被骗"的判断相互之间高度不一致。这并不奇怪：判断一个角色是"被引偏了"还是"主动选择了一条合理的弯路"，需要对整个背景的深度理解，而这恰恰是目前的大模型评估工具最薄弱的地方。

研究者对此的处理方式是差异化对待：把"目标导向性"的评分作为相对可信的行为信号来分析，而把"操控易感性"的评分仅作为辅助性的参考，不用来支持核心论点。这种自我审慎的态度是这项研究在方法论上比较可取的一面。

---

八、那些没有被解决的问题

坦白说，这项研究在取得一定进展的同时，也清醒地指出了自身的多处局限，这些局限对于理解研究结论的适用范围非常重要。

首先是模型选择的局限性。整个实验使用的都是阿里巴巴的Qwen3系列模型（4B和14B两个版本），没有测试其他架构的模型。不同语言模型在社交理解、地理常识和对抗性抵抗方面的能力差异可能相当大，因此Qwen3上观察到的行为模式未必能直接推广到GPT、Claude或其他模型上。研究者承认，这些发现可能部分反映的是Qwen3这个模型家族的特定"个性"，而非所有大模型的普遍规律。

其次是环境的高度简化。实验中的纽约城市地图是一个静态的简化版，广告牌位置固定不变，蓝队也不知道哪些地点是"危险区域"。这样的设定便于控制实验变量、清晰观察行为，但也意味着在真实世界的复杂动态环境中，结论的转化能力有待验证。一个真实的AI导航助手面临的不确定性要大得多。

第三个问题是KTO方法的归因模糊。每一轮训练同时包含了两件事：用Qwen3-14B生成新的训练样本（数据扩充），以及用KTO优化模型参数。这两件事的效果叠加在一起，很难拆开来看哪个贡献了更多的提升。因此，研究者无法严格主张"是KTO本身让蓝队变得更聪明"，更准确的说法是"整个训练流程让蓝队在某些指标上有所提升"。

最后，从整体成绩来看，蓝队的综合效用在所有配置下始终为负数，这意味着即使是训练最充分的版本，其被骗所带来的损失依然大于成功完成任务所带来的收益。换言之，这项研究展示了一条努力前进中的道路，而不是一个已经解决问题的成果。

---

说到底，这项研究做的事，是把一个平时我们只在哲学层面讨论的问题——"AI到底能不能在复杂的社会环境里保持目标的清醒"——变成了一个可以量化、可以观察、可以逐步改进的工程问题。这本身就是它最重要的贡献之一。

从十轮进化的全貌来看，语言模型确实具备了一定的社交判断能力：它们能在大多数情况下拒绝单次明显的恶意建议，能学着区分来自同伴的有益信息和来自陌生人的陷阱，能逐渐减少对"紧迫感"话术的盲目反应，甚至能主动用更好的地理逻辑出-argue对方。但与此同时，面对有耐心的连续施压、面对自然流畅的"风景旅游"式渲染、面对多个骗局同时叠加的复杂局面，当前的技术依然脆弱得令人担忧。84.6%这个数字说明了一切：初期的抵抗几乎不能预测最终的结果。

这个发现对那些正在把大模型部署为"自主助手"的团队来说，应该是一个清醒的提醒。一个AI助手回答你一两个问题时表现良好，并不代表它在面对持续的、隐性的、社交化的影响时也同样可靠。下一次当你的AI助手推荐你"绕道去那家评分不错的咖啡馆"时，也许值得多想一想：它是真的在帮你，还是在不知不觉中被什么推了一把？

感兴趣深入了解研究细节的读者，可以通过论文编号arXiv:2604.09746查阅完整的原始论文。

---

Q&A

Q1：CONSCIENTIA实验中的蓝队和红队分别是什么角色？

A：蓝队是目标导向的导航AI，负责在纽约市虚拟地图上找到自己的目的地，同时需要判断沿途遇到的建议是否值得采纳。红队是隐藏身份的对抗AI，任务是通过看起来热心友善的建议，把蓝队引向预设的广告牌位置，从而赚取广告曝光收益。两者的关键区别在于身份对蓝队不可见，蓝队必须仅凭对话内容来判断谁可信、谁有问题。

Q2：KTO训练方法和普通的强化学习有什么不同？

A：普通强化学习（如PPO）需要在每一个小步骤都设计奖励信号，而KTO只需要对整条轨迹打一个"好"或"坏"的标签，不需要配对比较，也不需要逐步奖惩。这在CONSCIENTIA实验里特别合适，因为整个旅途结束后才能知道蓝队有没有被骗、有没有到达目的地，适合直接用轨迹级别的结果来训练，而不适合拆开成单步奖励。

Q3：为什么十轮训练之后蓝队的综合表现分数还是负数？

A：研究者定义的效用函数会给成功到达目的地加分，但给任何路过广告牌的行为扣分，再加上路程越长还有小幅惩罚。即使到第十轮，被骗（路过广告牌）的比例仍高达76%，意味着大量蓝队角色在旅途中都被红队成功引偏过至少一次。被骗的扣分远远抵消了任务完成的加分，因此综合效用值始终为负，反映了对抗性操控的影响力依然压过了当前防御能力。