
你有没有遇到过这样的场景:和同事谈判加薪的时候,对方说"公司今年压力也挺大的",你心里立刻开始盘算,他是真的没钱,还是在试探我的底线?他知不知道我已经拿到了别家的offer?
人和人打交道的时候,大脑其实一直在悄悄运转一套系统,猜测对方知道什么、想要什么、下一步会怎么做。这套系统心理学家叫它"心智理论",而现在的AI智能体,普遍没有这个东西。
这就是加州大学圣地亚哥分校三位研究者在这篇论文里想解决的问题。他们给AI装上了一个"读心"模块,让AI在和别人互动之前,先在脑子里偷偷建一个对方的心理画像。
一、当AI只会"看菜吃饭",却看不懂"菜背后的人"
现在的大语言模型,比如GPT、Qwen这些,聊天能力已经很强了。你让它们扮演谈判专家、客服、游戏里的NPC,它们都能对答如流。
但问题出在哪?
**当前的AI智能体系统,大多是通过提示词设计、记忆模块或者端到端的行为训练来改善表现,但它们普遍没有学习一个可以被复用的"对方状态"表示。**
换句话说,AI知道该说什么话听起来得体,但它不是真的在"猜你心里怎么想",它是在模仿"得体的人会怎么说"。这两者的差别,就像一个演员背熟了台词和一个真正理解角色内心的演员的差别,前者在剧本之外的即兴环节会露馅。
论文里提到几个很扎心的事实:尽管对话能力很强,现有的大语言模型在心智理论推理、遵守互动规范、以及复杂多智能体场景的表现上,依然明显落后于人类。有研究甚至发现,大语言模型在面对theory-of-mind任务的细微改动时就会直接翻车,这说明它们可能只是记住了题型,而不是真的具备"猜测别人想法"的能力。
人类之所以擅长这件事,是因为我们会不断根据有限的线索快速更新对别人的判断。而现在的AI智能体,大多数时候脑子里压根没有一个"对方是谁、在想什么"的持续追踪模块,它只是在读你刚说的那句话,然后生成一个回应,上一轮对方的意图、这一轮没说出口的顾虑,很容易就被遗漏。
心智理论(Theory of Mind,简称ToM):指个体推测他人隐藏的信念、意图、知识等心理状态的能力,是人类社交智能的核心组成部分。
二、给AI造一个"心理建模器":从观察到猜测再到行动
研究团队提出的解决方案,核心思路可以用一句话概括:先学会"猜你在想什么",再学会"根据猜测来行动"。
具体来说,他们设计了一个叫做mental-model-enabled agents(心智模型增强智能体)的框架,整个系统分三步走。
第一步是学一个"隐藏心理状态"的压缩表示。AI会把到目前为止观察到的所有对话历史,压缩成一个数学上的隐变量,这个隐变量不是随便压缩的,它被设计成专门捕捉对方的信念、意图和思考方式。
潜在变量(latent variable):指模型内部学习出来的、无法直接观察但能够影响行为预测的隐藏数值表示,可以理解成AI对"看不见的东西"做的一种数字化猜测。
这里有个细节特别值得展开讲。研究者没有用一个笼统的向量去表示"对方的心理状态",而是把它拆成了两层:第一层猜测对方自己在想什么,第二层猜测"对方认为我在想什么"。这叫递归式心智建模,对应人类心智理论里的一阶和二阶信念。
一阶信念(first-order belief):对方对某件事本身的信念,比如"小明以为钥匙在抽屉里"。
二阶信念(second-order belief):对方关于别人信念的信念,比如"小明以为小红不知道钥匙被人拿走了"。
举个生活化的例子。你去菜市场买菜,摆摊的大姐说"这菜今天刚到的,特别新鲜"。一阶猜测是:她是不是真心觉得菜新鲜,还是在哄你买。二阶猜测则是更进一步:她知道你心里在怀疑她说的话吗?她会不会因此调整说法,比如主动让你尝一口?
**如果只用一层笼统的隐变量去同时装下这两种猜测,会发生什么?论文里专门做了实验验证这一点:把两种猜测混在一起训练出来的隐变量,在后续决策任务上的表现明显更差,因为它没法区分"对方怎么想"和"对方以为我怎么想"这两件完全不同的事情,相当于把两份不同的情报塞进了同一个文件夹,查的时候谁都分不清哪条是哪条。**
更细一步,每一层信念还被拆成了三个子空间:信念、意图、思考过程,分别对应"对方知道什么"、"对方想要什么"、"对方是怎么推理的"。这三者如果混在一起训练,模型容易学到一个大杂烩式的笼统表示,看起来什么都能装,但用的时候谁也靠不上劲。实验显示,拆开训练之后,这三个子空间彼此之间保持相对独立又互相关联,就像一个工具箱里螺丝刀、扳手、钳子各有各的格子,拿起来才不会抓瞎。
第二步,光有一个猜测对方心理状态的隐变量还不够,这个隐变量得能指导AI做出更好的决策。于是研究者又训练了一个"奖励模型",它的任务是,给定AI猜测出来的对方心理状态,去评判某个候选行动好不好。
**这里有个很关键的设计哲学:心理建模和奖励打分,必须联合训练,而不是分开训练。**
为什么?论文说得很直白:如果心理模型只靠标注数据训练,它会变得"可解释但和决策无关",它能准确描述对方可能在想什么,但这些描述对实际做决定毫无帮助。反过来,如果奖励模型训练时不被逼着依赖这个心理隐变量,它就会倾向于只看回复文本表面的流畅度、礼貌程度之类的特征,完全绕过了对方的真实状态。
这就像公司里的产品经理和用户调研员各干各的。调研员写了一份详尽的用户画像报告,产品经理压根没打开看,直接凭自己感觉做了设计决策。报告写得再漂亮也是摆设。研究者的做法相当于强制产品经理必须引用调研报告里的具体数据来做决策,调研员也必须根据产品经理实际用了哪些数据来调整报告的内容侧重,两边互相较劲、互相成就。
第三步,前面两步训练好之后,用这个"心理感知奖励"去训练一个独立的策略模型。训练过程中,AI会尝试生成多个候选回应,奖励模型给每个候选打分,分数高的回应会被策略模型学习巩固。
值得一提的是,训练完成之后,部署阶段只需要这个策略模型自己,不再需要那个心理建模器和奖励模型。
**这意味着AI在真正和人互动的时候,是独立运作、反应迅速的,但它身上已经内化了"考虑对方心理状态"这个习惯,就像一个经验丰富的谈判老手,不需要每次都现场分析对方心理,因为那套直觉已经刻进本能里了。**
三、实验结果:从社交场景到议价谈判,全面开花
研究者在好几个不同类型的测试平台上验证了这套方法,覆盖了纯语言场景和多模态场景。
SOTOPIA(社交互动基准):是一个开放式多轮社交互动测试平台,角色各自有私密目标,评测维度包括关系维护、知识获取、财务收益、目标完成等七个方面。
在SOTOPIA上,用Qwen2.5-7B这个模型做底座,加上心智模型训练之后,整体得分从3.290提升到3.856,相对提升了11.5%左右。更让人意外的是,知识获取和目标完成这两个"任务导向"维度提升特别明显,而"可信度"这个维度几乎没有下降。这说明AI没有为了讨好对方而变得不像人话,反而是在"揣摩对方心思"的同时依然保持真实可信的表达。
有一个细节我觉得特别值得拎出来说。研究者还测试了把这套心智模型训练出来的奖励信号,直接拿去给另一个完全不同架构的AI模型用。结果是LLaMA用了专门为自己训练的奖励模型得分3.541,换成用Qwen训练出来的奖励模型,分数反而小幅提升到3.557。这说明这套"读心"能力学出来的是某种可以迁移、可以共享的通用社交直觉,不是针对某个模型量身定制的死板规则。
这就好比一个资深猎头给A公司培训了面试官的"读人"技巧,这套技巧拿到B公司用居然也照样管用,因为它抓住的是人性共通的判断逻辑,而不是某家公司内部的土味黑话。
BigToM/ToMi(信念追踪基准):是专门考察AI能否正确追踪虚构人物的真实信念和错误信念的测试集,特别考验AI能否同时正确回答"信念没变"和"信念已改变"两种情况下的问题。
在BigToM上,考察的是一种特别刁钻的能力:同一个场景,一个版本是主角不知道情况变了(错误信念),另一个版本是主角知道了(真实信念),AI必须两个版本都答对才算过关,这个指标叫TB∧FB(真信念与假信念联合准确率)。
基础模型在这项考核上经常掉链子:遇到简单的、信念没变的情况答得很好,一旦信念发生反转,就容易answer崩掉,说明它其实没有真正理解"信念"这个概念,只是记住了表面模式。论文里的数据显示,加入心智模型训练之后,六项报告设置下的TB/FB联合准确率平均提升了26.7个百分点。这个提升幅度相当可观,意味着原来每答对不到一半题目,现在能答对接近全部题目。
更有意思的是,这个在BigToM上训练出来的策略,拿去完全没训练过的ToMi测试集上零样本测试,依然能提升平均分和联合分,这说明学到的不是某个数据集的套路,而是某种可以泛化的"信念追踪"底层能力。
MMROLE(多模态角色扮演基准):是一个结合图像和对话的角色扮演评测平台,85个角色、1.1万张图片,考验AI在看图说话的同时能否保持角色性格一致、知识一致、语气一致。
在多模态场景里,研究者给Qwen2.5-VL(视觉语言模型版本)也加上了同样的心智建模训练。结果显示,在"从未见过的角色"(Out-of-domain)这个最考验泛化能力的分组上,提升尤为明显,从0.981提升到1.019。这意味着AI学到的不只是记住了"张三这个角色该怎么说话",而是学到了一种更通用的能力:"看懂这个角色是谁、知道什么、该怎么说话"的推理方式,哪怕换一个完全没见过的新角色,这套推理方式依然能用上。
CRAIGSLIST-BARGAIN(二手物品议价基准):是一个模拟买卖双方在二手交易平台上讨价还价的真实场景数据集,考察AI能否达成合理交易。
这项测试完全没有专门训练过,研究者直接把在SOTOPIA上训练出来的策略拿来做议价谈判,相当于一次"裸考"迁移测试。结果显示,开源模型的成交率反而提升了,撬单(谈崩走开)的比例下降。这说明AI学到的"揣摩对方可能在想什么"的能力,不是针对社交聊天这个狭窄场景专门定制的,而是迁移到了议价这种更讲策略、更讲利益博弈的场景里。
四、拆开看里面装的是什么:几个让人意外的消融实验
论文里有一组对照实验,特别值得多说两句,因为它回答了一个很直接的疑问:这个心智模型学到的东西,真的是"猜测对方心理"吗,还是说,它只是把历史对话压缩了一下,看起来高深,实际上啥都没多学到?
研究者专门训练了一个对照组:一个只做压缩重建、没有专门针对心理推理和奖励打分做训练的普通变分自编码器(VAE),参数规模和心智模型完全一样。然后他们做了一个很有意思的"扰乱实验":把训练好的隐变量,在不同样本之间随机打乱,再看看奖励预测会不会受影响。
结果很有意思,打乱普通压缩VAE的隐变量,奖励预测几乎没受什么影响;但打乱心智模型的隐变量,奖励预测直接乱套。
这就好比两个人各自手里拿着一份"客户资料总结"。一份是秘书随手记的流水账,另一份是销售经理专门整理出来用于判断是否要给客户折扣的决策依据。把流水账的内容打乱,销售经理该怎么报价还是怎么报价,因为她压根没真的依赖那份记录。但把决策依据的内容打乱,报价立刻就乱了,因为那份文件里的每一条信息都真的被用来做了判断。这个实验直接证明了心智模型里存的不是无关紧要的"摘要信息",而是真正影响决策的"决策依据"。
**如果这个心智隐变量只是在做信息压缩而不是在服务决策,这个方法整个就站不住脚了,这也是为什么研究者愿意花这么大篇幅去验证这一点。**
还有一个有意思的发现是关于监督数据量的敏感性测试。研究者只用了25%的心理状态标注数据去训练,整体得分就从基线的3.300提升到了3.650,提升幅度已经相当明显。而用上全部标注数据,分数进一步提升到3.856。
这意味着这套方法不需要海量昂贵的人工标注才能起作用,哪怕标注数据有限,模型依然能从中学到有用的东西,这对实际落地来说是个好消息,因为高质量的心理状态标注本身就不便宜。
论文里还做了一个"隐变量轨迹探测"实验,专门去验证隐变量里真的编码了有意义的方向。研究者先用线性探针找到一个代表"对方是否知道某件事"的方向,然后沿着这个方向轻微扰动隐变量,结果发现不仅"知道/不知道"的分类预测跟着变化,连带奖励预测也跟着系统性变化,即便奖励模型从来没有直接拿这个标签训练过。
这说明隐变量学到的方向不是巧合,而是真的和决策产生了有机联系。另一个类似的实验是沿着"提出报价"这个策略方向做扰动,结果显示往这个方向推进时,模型越来越倾向于把当前情境理解为"该出手报价了",而且这种变化更多体现在二阶(也就是"揣测对方会怎么反应")这一层而不是一阶,说明提议报价这种策略性强的行为,确实更依赖对"对方会如何回应"的预判,这和我们直觉上理解的谈判逻辑是吻合的。
五、这事还没完:局限性在哪
研究团队也坦诚地指出了这个工作目前的边界。
他们目前训练用的场景基本都是两人对话的,也就是"一个AI猜一个对手"的双人场景。真实世界里更复杂的多人场景,比如一群人开会、一群玩家博弈,怎么同时追踪多个人的心理状态并且区分谁知道什么、谁不知道什么,这是个更难的问题。论文里用FANTOM这个多方信息不对称的测试集做了一次零样本迁移测试,结果显示即便没专门训练过,这套方法在二阶信念预测上的表现(52.2分)比基线(49.7分)和纯监督微调版本(41.4分)都更好,这算是一个初步的积极信号,但完整的多方训练体系还没搭建起来。
另外,论文也提到这套方法目前主要验证在语言和图文场景里,还没有扩展到机器人、具身智能这类需要长时间跨度、物理约束不断变化的场景里,这是未来值得探索的方向。
写在后面
读这篇论文的过程中,让我停下来反复想的,是那个"扰乱实验"的设计思路。
很多AI论文证明自己的方法有效,用的是"加了这个模块,分数变高了"这种正向证据。但这篇论文里特意设计了一个"故意把东西搞乱,看会不会出问题"的反向验证,这种思路其实更接近科学实验里的"排除法":不是证明我的方法多厉害,而是证明如果去掉这个核心假设,系统真的会崩,这种自我质疑式的验证方式,比单纯堆砌正面数据更让人信服。
还有一个细节我觉得值得单独说一说。那个"二阶信念方向更多参与报价策略"的发现,其实暗示了一件挺有意思的事:越是需要策略性、博弈性的行为,背后依赖的心理推理层级就越深。这跟我们日常生活里的直觉是吻合的,随口聊天不需要太深的心理揣测,但一旦涉及谈判、博弈、利益交换,你脑子里转的往往不只是"对方怎么想",而是"对方猜我怎么想,所以我该怎么应对"。AI学出来的隐变量结构,居然自发地复现了这种人类社交认知的分层特征,这不是研究者刻意设计出来的结果,是训练过程中自己浮现出来的规律。
这让我想问一个论文里没有直接回答的问题:如果AI真的在越来越多场景里学会了"揣测你在想什么",这种能力的边界应该画在哪里?客服机器人揣测你的真实需求是贴心,但如果换成一个专门设计来说服你多消费的销售机器人,用同样的技术去猜你此刻的心理弱点呢?论文的作者在风险声明里也提到了类似的担忧,这项技术既能用来做更懂你的助手,也可能被用来做更会操纵你的工具。这把双刃剑,刀刃朝哪边,恐怕不是技术本身能决定的事。
Q&A
Q1:Mental-Models for Multi-Agent Systems这篇论文解决的核心问题是什么?
A:论文指出当前的AI智能体虽然对话能力强,但普遍没有学习一个可复用的"对方心理状态"表示,导致它们在谈判、合作等多智能体互动中容易误判对方意图。研究者提出了心智模型增强智能体框架,让AI先学会推断对方隐藏的信念、意图,再据此指导行动决策。
Q2:心智模型增强智能体在实际测试中效果如何?
A:在SOTOPIA社交互动测试中,Qwen2.5-7B模型加入该方法后整体得分从3.290提升到3.856;在BigToM信念追踪基准上,六项设置下真假信念联合准确率平均提升26.7个百分点;在议价谈判等未专门训练过的场景中也表现出良好的迁移能力。
Q3:这套心智模型训练出来的能力能不能用在不同的AI模型上?
A:可以。论文做了跨模型迁移实验,把用Qwen训练出来的奖励模型直接用于LLaMA模型的训练,结果性能没有下降反而略有提升,说明这种"读心"能力具有一定的通用性和可迁移性,不是针对特定模型架构定制的。
好文章,需要你的鼓励
RGPO用"临时脚手架"破解大模型强化学习的奖励稀疏难题:先让模型独立解题,失败则分段放出标准解法引导重写,仅采纳经验证更优的答案。难题测试准确率从0跃至99.5%,语言模型平均分高出最强基线5.0分。
论文提出用MoE模型的路由器输出作为跨语言对齐目标,通过持续预训练对翻译句对施加路由KL散度损失,在不改变分词和架构的前提下让隐藏表示更接近,并在四个开源MoE模型、七种语言上验证了下游任务性能的一致提升。
DiffGate提出难度门控的教师指导机制,让验证器决定何时需要教师介入,仅对失败且困难的轨迹提供有界教师指导,结合GRPO强化学习,在数学与代码任务上显著提升解题覆盖率与跨领域迁移能力。
研究者用固定不变的16位二进制编码替代传统可训练词嵌入表,在17亿参数规模模型上训练1000亿token,证明模型仍可获得实质语言能力,揭示输入表并非必需,但性能略逊于可学习方案。