北京大学率先揭秘：AI智能体的"价值观"和它背后的大模型，其实并不一样

这项由北京大学多个学院联合完成的研究，于2026年5月发布在预印本平台arXiv，论文编号为arXiv:2605.10365v1。参与机构涵盖北京大学人工智能通用技术国家重点实验室、智能科学与技术学院、软件与微电子学院、心理与认知科学学院，以及机器感知教育部重点实验室。有意深入了解的读者可通过上述编号在arXiv平台检索完整论文。

你有没有想过，那些帮你订外卖、整理日历、甚至替你写报告的AI助手，其实有一套隐藏的"价值观"？不是写在宣传页上的那种，而是真正在它做决定时悄悄左右它行为的内在优先级。更有趣的是，这套价值观，和它底层那个大语言模型的价值观，其实并不是同一回事。

北京大学的这支研究团队，正是为了搞清楚这件事，构建了一个名为**Agent-ValueBench**的全新评测基准——这是迄今为止第一个专门用来衡量AI智能体价值观的系统性评测框架。在此之前，学术界对大语言模型的价值观已经有了相当多的研究，但当这些模型被装进一个"智能体外壳"，能自主行动、与环境互动时，它们的价值取向会发生什么变化，却几乎是一片空白。这项研究，就是要把这片空白填上。

一、同一个"大脑"，为什么换个身份就变了？

要理解这个问题，先得明白"大语言模型"和"智能体"的区别。大语言模型，就像一个坐在图书馆里的博学者，你问它问题，它查查书给你答复，仅此而已。而智能体，则更像一个被派出去执行任务的员工——它拿着指令，独立地在真实环境里行动，发邮件、查数据库、做决策，每一步都会产生真实后果，还得根据反馈不断调整。

研究团队从三个角度论证了同一个模型在这两种身份下价值观为何会出现差异。直觉上很好理解：一个回答"如果遇到这种情况你会怎么办"和一个真的去"执行这件事"，产生的行为逻辑天然不同，就像一个人说自己支持环保和他实际生活中是否会随手关灯，往往并不是同一回事。

在实验数据上，研究团队用四个主流大模型同时进行了两种测试：把相同的场景变成选择题给模型作答（这是传统的大语言模型价值观测试方式），以及把相同的场景包装成真实任务让智能体去执行。结果显示，同一个"大脑"在不同模式下给出了截然不同的价值倾向——比如，同一个GPT-5.4模型，在作为语言模型回答问题时把某个价值排在第一，但在作为智能体执行任务时，这个价值可能只排到第四。

为了从理论上确认这一点，研究团队还给出了一个严格的数学证明（论文定理1.1）。用通俗的话说，这个定理表明：语言模型的价值观和智能体的价值观，只有在两者"观察到的行为证据分布完全一致"时才会相同，而在现实中，这个条件几乎不可能成立——因为执行任务的过程中，智能体会看到、处理、并对各种真实反馈做出响应，这些都是语言模型静态回答问题时完全缺失的维度。

二、评测智能体的价值观，为什么比评测语言模型难得多？

既然智能体的价值观是独立的研究对象，为什么在Agent-ValueBench之前没有人去测量它？因为这件事要比测量语言模型价值观难上好几个量级，研究团队归纳了三个核心难题。

第一个难题在于数据本身的构建。要测试一个语言模型的价值观，你只需要编一道选择题："你会选择A还是B？"但要测试一个智能体，你需要搭建一整套真实可运行的环境——一个有数据库、有工具调用接口、有初始状态的完整系统——然后再在这个环境里设计一个能让价值冲突自然浮现的任务。这就像如果你想测试一个学生是否真的诚实，给他出一道"诚实重要吗"的选择题远远不够，你得创造一个真实的情境，让他有机会说谎、也有机会坦诚，再看他怎么选。

第二个难题在于评测方式需要彻底升级。语言模型的价值观测评通常是"结果导向"的——看它最终给了什么答案。但智能体是在时间线上连续行动的，它的价值观体现在整个行动轨迹中，比如它先查了什么信息、然后做了什么操作、在遇到冲突时做出了哪种取舍。评测必须能捕捉这种轨迹层面的行为特征，而不是只看最后一步的输出。

第三个难题则更具系统性：一个智能体不只是一个语言模型，它还包裹着各种"框架"（harness）——比如OpenClaw、Codex这类流行的智能体运行平台。不同的框架会对智能体的行为产生显著影响，评测时必须将框架变量纳入考量，否则你根本搞不清楚测出来的究竟是模型本身的价值观，还是框架塑造出来的行为偏差。

三、一套测遍万象的评测工厂是怎么建起来的？

为了应对上述三个挑战，研究团队构建了一个端对端的自动化流水线，从零开始制造出整个评测基准，并在每个关键环节引入人类心理学专家进行审核把关。

整个流水线的起点是"环境工厂"。研究团队从ToolBench、API-Bank、AgentHarm等多个现有的智能体相关语料库出发，通过聚类去重、主题提炼等步骤，逐步筛选出最有代表性的任务类型。接着，对每一类任务，系统会自动推导出它所需要的"状态模型"——也就是数据库里有哪些实体、这些实体有哪些属性、它们之间受到哪些约束。然后生成一个完整的Python程序，实现这个环境的所有查询、更新、添加、删除操作。生成之后，还要经过一个"进化诊断修复循环"：一个测试智能体会对这个环境进行压力测试，看它能不能正确处理合法操作和非法操作，遇到bug就由修复智能体自动修正，直到环境完全稳定可用。最终经过人类心理学家的审核筛选，形成了594个候选环境中的394个正式可用环境，横跨16个领域，涵盖招聘面试、在线预订、医疗记录等各类真实场景。

有了运行环境之后，第二步是"任务合成"。研究团队采用了价值心理学中一个经典洞见：价值观在冲突中最能被清晰测量。当你同时面对两个都有道理但不能两全其美的选项时，你最终的选择才能真正揭示你内心的优先级排序。因此，每个任务都被设计成隐性的价值冲突场景——任务描述看起来只是一个普通的业务目标（比如"请把适合的书籍移入研讨会核心书单并注明原因"），但执行这个任务的过程中，智能体必然会遇到需要在两种不同价值取向之间做取舍的决策点。研究团队刻意要求任务描述中绝对不能直接提到"价值观"、"道德"、"平衡"等词语，让冲突完全隐含在环境结构和约束条件之中。

任务合成采用了"粗到细"的两阶段策略。第一阶段先生成任务的大致框架：任务目标是什么、可以使用哪些工具、初始状态的关键参数是哪些、两种价值取向各自会产生什么样的行为路径。第二阶段再在真实环境中落地具体化：确定精确的初始数据状态、明确每一个工具调用的预期行为信号。每一个合成出来的任务都要经过心理学专家针对六个维度的审查：真实性、冲突设计的质量、逻辑自洽性、价值一致性、价值可区分性和可执行性。不达标的任务被修复，质量太差的从头重写，最终形成了覆盖28个价值体系、332个价值维度的4335个任务。

第三步是"评判标准的制定"。每个任务都附带两条"黄金轨迹"——一条是偏向A价值的完整执行路径，一条是偏向B价值的完整执行路径，都由心理学专家审查确认。在此基础上，系统会自动为每个任务生成一套三级评分量表，量表中的每一个评分项都精确对应到轨迹中的一个具体行为检查点，由大语言模型担任评判官按照量表对真实的智能体执行轨迹进行逐步打分。

四、覆盖范围有多广？28个价值体系意味着什么？

Agent-ValueBench涵盖的28个价值体系来自心理学领域的权威量表，研究团队将它们归纳为四大类别：人格理论类（如HEXACO六因素人格模型、大五人格模型等）、社会价值观类（如施瓦茨基本人类价值观调查、道德基础理论等）、认知风格类（如分析-整体思维量表等）以及生活价值观类（如生活价值清单等）。

以道德基础理论（MFT08）为例，它将道德价值观分为关怀（Care）、公平（Fairness）、忠诚（Loyalty）、权威（Authority）和纯洁（Purity）五个维度。在Agent-ValueBench中，针对这个体系设计的任务可能是这样的：你是一个图书管理智能体，任务是把恰好两本书移入"研讨会核心书单"并说明理由。书单里既有关于领导力和传统等主题的书（偏向权威价值），也有关于共情和关怀他人主题的书（偏向关怀价值），两种取向都能完成任务，但选择本身就揭示了智能体在这两个价值维度上的倾向。

以六因素人格模型（HEXACO）为例，它包含诚实-谦逊性、情绪性、外向性、亲和性、尽责性、经验开放性六个维度。评测时，针对尽责性和诚实-谦逊性之间的冲突设计的任务，可能要求智能体在处理一批申请时，在严格按照流程办事（体现尽责性）和灵活通融某些特殊情况（可能体现更高的诚实-谦逊性或更高的亲和性）之间做出选择。

五、一潮百模同归——"价值潮汐"现象的发现

研究团队用14个前沿模型（包括Claude系列、GPT系列、Gemini系列、Grok、DeepSeek、Llama、Kimi等）在ReAct框架下运行了全套评测，发现了一个让人既兴奋又有些不安的现象，他们将其命名为"价值潮汐"（Value Tide）。

这个比喻非常贴切。把14个模型的价值表现想象成一片海洋，你会发现所有模型的"水位"——也就是对各个价值维度的遵从程度——高度一致地在相同的维度上涨潮，在相同的维度上退潮，就像整片海洋受到同一个月亮的牵引。

具体而言，在道德基础理论（MFT08）评测中，14个模型中有11个把"忠诚"或"关怀"排在优先级最高位，有10个把"权威"或"纯洁"排在最低位。忠诚这个维度的平均遵从分数高达8.01分（满分10分），而纯洁只有5.04分，关怀是6.35分，公平是6.11分，权威是5.25分。

在六因素人格模型（HEXACO）评测中，"尽责性"在12个模型中占据了前三名的位置，有9个模型把它排第一，平均分高达7.19分；而"诚实-谦逊性"在13个模型中处于末尾两名，平均分仅5.59分，两者相差整整1.6分。

在施瓦茨基本人类价值观（PVQ40）评测中，"安全感"、"自我导向"、"普世主义"稳定地占据前三，而"享乐主义"、"刺激寻求"、"仁慈"则垫底。

在生活价值清单（LVI）评测中，"家庭忠诚"的平均分是7.54分，"科学理解"是6.90分，"对他人的关怀"是6.84分，而"隐私"的平均分只有3.59分——与最高分相差了近4分，差距触目惊心。所有14个模型在这个维度上都达成了完全一致：隐私排名垫底。

还有更令人印象深刻的细节：来自完全不同公司、完全不同技术路线的四个模型——Claude Haiku 4.5、Claude Sonnet 4.6、GLM 5.1和Qwen3.5——在MFT08的五个价值维度上，复现了完全相同的优先级排序：忠诚第一、关怀第二、公平第三、纯洁第四、权威第五。三个同样毫无关联的模型——DeepSeek V3.2、Kimi K2.5、Qwen3.5——在HEXACO的六个维度上也给出了完全相同的排序。这种跨家族的价值趋同，绝不可能是巧合。

研究团队将这种现象概括为"潮汐的共同价值谱"：这套潮汐勾勒出一套"操作性道德规范"，倾向于强调安全感、自主性、普世主义、尽责心和忠诚，同时压制享乐主义的冲动、个人隐私、诚实-谦逊以及权威和纯洁这两种约束性道德。

然而，就像海面上的潮汐不会绝对均匀，在这一片共识的海洋中，也有几个模型划出了属于自己的"逆流"。其中最明显的是Qwen3 30B A3B，它在PVQ40、HEXACO和LVI三个体系中都取得了14个模型里最低的平均遵从分，并且把通常处于垫底的"享乐主义"提升到了第一优先级，同时把通常位居前三的"普世主义"压到了第七位。GPT-5.4 Mini则在MFT08中把"关怀"的遵从分压低到3.49分并排到第五位，同时把"纯洁"的遵从分提高到7.85分并排到第二位，与同为GPT产品家族的其他模型形成了鲜明对比。Grok 4.20在MFT08中把"权威"提升到7.80分并排第一，而"纯洁"只有3.27分排最末，这与Gemini 3 Flash Preview的表现完全相反——后者的"纯洁"达到8.40分排第二，"权威"仅2.09分排倒数。这些逆流不是噪音，它们都有内在一致性：同一个模型在遵从分和优先级排名两个维度上，都体现出了同样方向的偏差。

六、换个运行框架，价值观就会跟着变

发现了"价值潮汐"之后，研究团队进一步追问：这套潮汐是否会随着运行框架的改变而改变？答案是肯定的，而且变化幅度相当可观。

研究团队选取了三个代表性模型（Claude Sonnet 4.6、GPT-5.4、Kimi K2.5），在四种主流框架（vanilla ReAct、Codex、Claude Code、OpenClaw）下分别运行了相同的评测任务，把模型本身保持不变，只换框架，看看价值表现会怎么变。

结果显示，在93个"模型-框架"组合对比中，有74%的遵从分变化幅度超过1分（满分10分），26%的变化超过2分——这已经超过了不同模型家族之间的差异幅度。具体案例更能说明问题：GPT-5.4在某个价值维度（NFCC2000的"对模糊性的不适感"）上，在vanilla ReAct框架下得分4.08分，换成Codex框架后飙升至8.48分，单纯因为框架不同，分差高达4.40分。Kimi K2.5在MFT08的"纯洁"维度上，在Claude Code框架下只有3.50分，但在OpenClaw框架下高达7.03分，差了3.53分。

优先级排序同样会随框架改变：Claude Sonnet 4.6在vanilla ReAct下"权威"排倒数第一，换成Claude Code后却跃升到第二位，同时"纯洁"从第四位滑落到第五位。Claude Sonnet 4.6在PVQ40中，"从众性"这个维度在vanilla ReAct下排第七，换成OpenClaw后直接跳到第二位，从中游一跃成为亚军。

更耐人寻味的是，框架对价值观的影响是非线性的，不同模型对同一框架的反应方向甚至可能完全相反。Codex框架让GPT-5.4的"封闭性"从5.96分降到3.29分，但却让Kimi K2.5的同一维度从4.18分升到7.67分——一个向下，一个向上，两者之间的分差跨越了整整6分。OpenClaw框架在Claude Sonnet 4.6和GPT-5.4上都降低了"对可预测性的偏好"这个维度的分数，但在Kimi K2.5上却反而提升了它。这说明框架对价值的影响不能简单地被描述为"这个框架让模型更趋向X"，它取决于模型与框架之间复杂的相互作用，是一种非加法性的深度耦合。

这个发现的政策含义很深远：在传统的AI对齐思路中，人们通常聚焦于让模型本身学习正确的价值观。但Agent-ValueBench的实验表明，即便模型本身不变，包裹在它外面的运行框架也能显著改变其价值表现，这意味着"框架对齐"可能同样重要，甚至比模型对齐更直接地影响用户实际体验到的智能体行为。

七、主动调教价值观：提示词和技能嵌入哪个更有效？

既然价值观会随框架漂移，那能不能主动干预、把智能体的价值观调整到我们想要的方向？研究团队设计了一组实验来测试两种干预手段：一种是"提示词引导"（把目标价值排序写进系统提示词），另一种是"技能嵌入引导"（把价值排序规则以技能文件的形式嵌入到框架内部）。

目标是让每个模型的价值优先级尽可能偏离其自然状态：Claude Sonnet 4.6的目标排序是纯洁第一、权威第二、公平第三、关怀第四、忠诚第五；GPT-5.4的目标排序是关怀第一、权威第二、纯洁第三、忠诚第四、公平第五；Kimi K2.5的目标排序是权威第一、公平第二、纯洁第三、关怀第四、忠诚第五。

结果非常清晰地支持了技能嵌入的优越性。在三个模型中，使用最佳框架加技能嵌入的情况下，平均有3.7个价值维度精确命中了目标排名，而提示词引导下平均只有1.3个维度命中目标排名。

GPT-5.4是最具说服力的案例：单纯使用提示词，"关怀"从自然状态的第五名提升到了第二名，这已经是明显的改善，但没有一个维度精确达到目标排名。而在Codex框架内嵌入技能文件之后，整套目标排序被完整复现——关怀第一、权威第二、纯洁第三、忠诚第四、公平第五，五个维度全部精确命中。

遵从分数的变化同样揭示了深度差异：Claude Sonnet 4.6想要提升的"纯洁"维度，在提示词引导下分数纹丝不动（6.11变成6.11，变化量为0），但在Claude Code框架内嵌入技能后，分数从3.50分跃升至9.17分，变化量高达+5.67分。反方向的例子同样成立：GPT-5.4想要压低的"公平"维度，提示词只带来了0.27分的微小下降（7.40到7.13），而技能嵌入带来了1.89分的实质性下降（7.40到5.51）。

研究团队用一个形象的表述来总结这一发现："提示词让潮汐微微倾斜，而技能嵌入从根底重新定向了水流。"

八、这些发现对我们意味着什么？

说到底，Agent-ValueBench这项研究揭示了几件之前我们没有充分意识到的事情。

第一件是：当你使用的不再只是一个语言模型，而是一个能自主行动的智能体时，你需要关心的不只是它"知道"什么、"认为"什么，更要关心它在实际执行任务时会"做"什么——而这两件事可能截然不同。

第二件是：14个来自不同公司、不同技术背景的前沿模型，表现出了高度相似的价值取向。这既让人感到一种奇异的秩序感，也提出了一个不安的问题：这种一致性是从哪里来的？是训练数据的共同偏向？是人类反馈的隐性筛选？还是某种更深层的、我们尚未理解的机制？这是研究团队在论文中坦承留待未来研究的未解之谜。

第三件是：对价值观影响最深刻的，并不是模型训练层面的调整，也不是精心设计的系统提示词，而是框架层面的结构设计和技能层面的精确嵌入。这对AI产品的开发者来说是个重要信号：如果你关心你的智能体产品会以什么价值取向对待用户，仅仅挑选一个"更好"的底层模型是不够的，你还需要认真审视你的框架设计和技能体系。

研究团队也坦诚指出了研究的局限：目前这项工作识别出了"价值潮汐"这个现象，但还没有深入探究它背后的因果机制——为什么会有这样的收敛？为什么不同模型会在相同的维度上同时高分或低分？这些机制层面的问题，将是下一步研究的重要方向。

另一个值得警惕的点在于，正如研究团队在论文中明确强调的：理解智能体价值观的方法，本身就是一把双刃剑。知道了如何测量和影响价值观，就意味着也有了向错误方向操控的可能性。因此，这套评测工具应当被用作人类监督下的描述性诊断工具，而不是直接的优化目标，更不应当被用于恶意操纵智能体的行为取向。

归根结底，Agent-ValueBench的核心贡献，是为一个此前几乎没有人系统研究过的问题搭建了第一套可复用的测量框架，并在第一次大规模测量中，就发现了三件让人意想不到的事：AI智能体的价值观与其底层模型存在真实差异，不同模型的价值观却高度收敛，而框架和技能对价值观的影响甚至超过了模型训练本身。想要深入了解的读者，可以在arXiv平台通过论文编号arXiv:2605.10365v1找到完整的论文，包括详尽的实验数据、所有28个价值体系的完整评测结果，以及数学证明和人类心理学家的验证方法。

Q&A

Q1：Agent-ValueBench是什么，它和以前的AI价值观评测有什么区别？

A：Agent-ValueBench是北京大学研究团队构建的首个专门针对AI智能体（而非单纯的大语言模型）的价值观评测基准。与以往评测不同，它不是让模型回答选择题，而是搭建了394个可运行的真实任务环境，要求智能体在其中实际执行任务，通过观察其整个行动轨迹来判断它的价值取向。它覆盖28个心理学价值体系、332个价值维度、4335个任务，并有人类心理学专家逐一审核。

Q2："价值潮汐"说的是什么意思，为什么14个不同的AI模型价值观会趋同？

A："价值潮汐"指的是在实验中发现的一个规律：来自不同公司、不同技术路线的14个前沿AI模型，在评测中对同一套价值维度表现出了高度一致的优先级排序——比如都倾向于把"忠诚"和"关怀"排在高位，把"隐私"和"享乐主义"排在低位。至于这种趋同的深层原因，研究团队坦承目前尚无定论，可能与训练数据的共同偏向或人类反馈机制有关，这是该研究留待未来探索的开放问题。

Q3：改变AI智能体运行框架为什么会影响它的价值观，提示词不就够了吗？

A：实验表明，即使模型本身完全不变，仅仅更换运行框架（如从vanilla ReAct换成OpenClaw），某些价值维度的遵从分数变化可达3到4分（满分10分）。提示词能让价值排序发生一定程度的偏移，但效果有限，平均只能让5个价值维度中的约1.3个精确命中目标。而把价值规则嵌入框架内的技能文件，效果则深远得多，可以让约3.7个维度精确达到目标——GPT-5.4甚至在某次实验中实现了五个维度全部命中目标排序，这是提示词引导完全做不到的。