AI给大模型"注射"人类价值观，结果发现了一个惊人的秘密

你有没有想过，如果给一个大语言模型强行灌输"更看重成就感"这种性格，它会不会顺便也变得更看重权力和支配欲？

这听起来像个无厘头的问题，但心理学家早就给出了答案：会的。因为人类的价值观不是一个个孤立的开关，而是一整张互相牵扯的网。你如果特别看重个人成就，大概率也会更认可权力和掌控感，而不太可能同时又是一个极端的平等主义者。这套关系在心理学里有个正式名字，叫做

**施瓦茨人类价值观理论**

：施瓦茨（Schwartz）在1992年提出的一套跨文化通用的价值观模型，把人类的20种基本价值观排成一个圆圈，相邻的价值观相互兼容，对角的价值观相互冲突。

问题来了。现在工程师们已经能通过一种叫"激活转向"的技术，直接在大语言模型的"大脑"里插入一根针，让模型瞬间变得更诚实、更礼貌、或者更有攻击性。但没人认真问过一件事：当你往模型里插这根针，让它"更看重成就"时，它是不是也像人类一样，顺便变得更看重权力了？还是说，这根针只是粗暴地改变了输出结果，压根没碰到模型内部真正的价值观结构？

这篇来自英属哥伦比亚大学等机构的论文，就是奔着这个问题去的。他们搭了一个包含26000个样本的基准测试集，测试了8种主流的模型转向方法，得出了一个让人意外的结论：不同方法之间的差距,不是准不准的问题,而是有没有"骗"的问题。

什么是激活转向,为什么它突然火了

先说清楚背景。

过去让大模型学会符合人类价值观，主流做法是

**RLHF**

：基于人类反馈的强化学习（Reinforcement Learning from Human Feedback），通过让人类给模型的回答打分，训练一个奖励模型，再用这个奖励模型微调大模型的行为。

这套方法效果不错，但成本极高，需要大量人工标注，而且很难覆盖全球不同文化背景下五花八门的价值取向。于是研究者开始琢磨一个更轻量的办法：能不能不重新训练模型，只在模型"思考"的过程中动个小手脚，就让它的行为发生变化？

这就是激活转向的核心思路。

大语言模型在处理一句话的时候，内部会产生一层层的"激活"，也就是数字化的思维状态，专业上叫

**残差流**

：Transformer模型内部每一层之间传递信息的通道，可以理解成信息在网络里流动的主干道，每一层都会往里面加一点自己的贡献。

研究者发现，很多语义概念其实对应着这个残差流里的一个方向，一条直线。如果你在模型生成回答的时候，往这条直线的方向上加一点力，模型的行为就会朝着这个概念偏移。比如你往"诚实"这个方向推一把，模型就更倾向于说真话；往"礼貌"方向推，回答就变得更客气。这整套操作不需要重新训练模型的任何参数，只在推理阶段临时动手脚，做完就撤，非常轻便。

这就好比给一辆正在开的车装了个临时的方向盘辅助装置，不需要拆发动机重新调校，只要在转弯的瞬间轻轻帮它偏一下方向，车子就多拐了几度。问题是，这个辅助装置到底是真的理解了"这条路该怎么拐"，还是只是粗暴地把方向盘往一边硬拽？如果是后者，车子表面上确实拐弯了，但可能同时把油门也带偏了，或者根本没按照路况来拐，纯粹是蒙对了这一次。

两条完全不同的路：从"分布"里学,还是从"结果"里学

论文把现有的激活转向方法分成两大阵营，这个分类是理解整篇论文的关键。

第一类叫

**分布驱动方法**

：通过对比大量"符合价值观"和"不符合价值观"的文本对，统计它们在模型内部激活状态上的差异分布，从这个差异里提炼出一个方向向量。

这类方法的代表叫

**CAA**

：对比激活加法（Contrastive Activation Addition），最简单粗暴也最经典的做法，把一堆正面例子的激活状态和一堆负面例子的激活状态分别求平均，两者相减得到的方向就是转向向量。

CAA的逻辑其实特别朴素：如果我给模型看一千句"体现诚实"的话和一千句"体现说谎"的话，分别记录模型内部的激活状态，取个平均再相减，剩下的那个方向大概率就是"诚实"这个概念在模型脑子里对应的方向。这就像你想知道"愤怒"这种情绪在人脸上长什么样，与其研究单张照片，不如收集一千张愤怒的脸和一千张平静的脸，把两组照片的共同特征叠加起来对比，那个差异就是愤怒的"典型样子"。

分布驱动阵营里还有几个更精细的变种。比如

**SAS**

：稀疏激活转向（Sparse Activation Steering），利用稀疏自编码器把纠缠在一起的多个概念拆开，避免一个方向同时代表好几个不相关的语义。

之所以要拆分,是因为单个神经元往往不是"专职"某一个概念的，它可能同时对"诚实"和"天气"都有反应，这种现象叫多义性。如果不拆开直接用，转向的时候很可能顺带激活了一堆无关的东西。这就像你想调低音响里的低音，结果旋钮同时也调到了音量，因为这两个功能被绑在了同一个旋钮上，你不得不先把它们的线路分开才能精确控制。

另外两个方法走了不同的技术路线。

**球面转向**

：SphericalSteer，不是简单地往激活向量上加东西，而是把激活状态想象成球面上的一个点，让这个点沿着球面旋转到目标方向，同时保持原来的"长度"不变。

**ODE转向**

：ODESteer，把转向过程看成一条连续的运动轨迹，用微分方程一步步把激活状态"引导"过去，而不是一次性硬推。

这两种方法的共同点是，它们都更小心翼翼地对待激活状态本身的几何结构，不粗暴地一把加过去，而是尊重原有的分布形态做渐进式调整。

第二类阵营叫

**行为中心方法**

：不去分析激活分布，而是直接针对"输出结果对不对"这个目标，用梯度下降或者类似强化学习的方式去优化转向向量。

这类方法里有

**OPT**

：优化转向（Dunefsky和Cohan提出），通过梯度下降训练一个向量，目标是让模型生成正面答案的概率变高，生成负面答案的概率变低。

还有

**BiPO**

：双向偏好优化（Bi-directional Preference Optimization），借鉴了DPO的偏好学习思路，学一个向量，正着用往一个方向转，反着用往另一个方向转。

以及

**COLD-Steer**

：通过有限差分近似一步梯度更新对激活状态造成的影响，来估算转向方向。

这两套阵营的根本差异在于"谁来监督这个向量学出来"。分布驱动方法让向量继承模型对这个概念的内部表征，因为它是从激活状态里直接统计出来的。行为中心方法则是让向量对着一个输出目标去优化，只要能让模型多说"是"少说"否"，任何方向都是合格解，管它是否真的对应模型脑子里那个概念的位置。

这个区别听起来可能有点抽象，换个说法。假设你想让一个学生表现得"更有礼貌"，第一种做法是观察大量真正有礼貌的人和没礼貌的人平时的行为特征，总结出一套共性，然后照着这套共性去调整学生的行为。第二种做法是直接告诉学生"只要老师给你打高分就对了"，学生完全可以摸清楚打分规律走捷径，比如说一堆场面话讨好老师，而根本不理解礼貌的内核是什么。两种做法可能都能让学生"考试"拿高分，但背后发生的事情天差地别。

论文要验证的就是这件事：这两类方法提取出的转向向量，到底哪一种真正学到了价值观之间的关系结构，哪一种只是在"考试"上蒙混过关。

怎么检验一个向量是不是"真懂了"

要验证这个问题，研究者需要一把尺子，一个能客观衡量"这套价值观向量是否符合人类认知规律"的标准。

这把尺子就是前面提到的施瓦茨圆环理论。这个理论最关键的一点是，它给出了20种基本价值观之间明确的角度关系：相邻的价值观夹角小，相似度高；对角的价值观夹角接近180度，几乎完全对立。比如"仁爱"和"普遍主义"这两个价值观在圆环上挨得很近，一个人如果关心自己的圈子，往往也关心更广泛的社会公平；而"自主"和"顺从"则处在圆环的两端，一个强调独立思考、一个强调服从规则，两者天然存在张力。

研究团队做的事情，简单来说就是：先构建一个覆盖20种施瓦茨价值观的对比问答数据集，一共26000条，每条数据包含一个问题、一个体现某种价值观的正面回答、一个价值观中立的负面回答。然后用8种转向方法分别从这些数据里提取出20个价值观对应的方向向量，把这20个向量两两之间算余弦相似度，拼成一张20乘20的表格，这张表格代表模型"认为"这些价值观之间有多相似。

接着，把这张经验表格和施瓦茨理论给出的理论表格做对比，用统计学的相关系数来衡量两者有多接近。如果一个转向方法提取出的向量结构，跟人类心理学理论预测的结构高度吻合，那就说明这个方法真的学到了价值观的内在逻辑，而不是随便蒙的。

结果非常戏剧化。

**分布驱动方法提取出的价值观几何结构，和施瓦茨理论的相关系数最高能达到0.51，统计显著性极高（p值小于十的负十三次方）**

而行为中心方法呢，相关系数几乎为零，统计上根本不显著。

也就是说，SAS这类方法生成的20个价值观向量，摆在空间里两两一算相似度，"仁爱"和"普遍主义"确实挨得近，"自主"和"顺从"确实离得远，和心理学家几十年前通过跨文化问卷调查总结出的规律严丝合缝。而OPT这类方法生成的向量，"仁爱"和"权力支配"的相似度可能比"仁爱"和"普遍主义"还高，完全乱套，看不出任何逻辑。

论文里有一张对比图特别直观，把理论圆环、原始模型激活空间、SAS方法、OPT方法四张相似度热力图并排放在一起。理论图呈现出清晰的对角线渐变，越靠近对角线颜色越红（相似度越高），越远离对角线越蓝。SAS的图基本复刻了这个渐变模式。而OPT的图看起来像是随机噪声，红蓝色块乱七八糟地散布，甚至比什么都不做、直接看原始激活空间得到的图还要混乱。

这个发现意味着什么？意味着行为中心方法虽然能有效地让模型"表现得"更看重某个价值观，在单独测试那一个价值观的时候准确率不输甚至超过分布驱动方法，但它的内部其实是一团糨糊，压根没有对应到人类理解的那套价值观关系网络。它可能只是找到了一条"绕过检测"的捷径，恰好能让输出符合要求，但这条捷径和真正的语义结构没有关系。

这就好比两个人都能把一首外语歌的发音模仿得惟妙惟肖，一个是真的学过这门语言，理解每个词的意思，另一个纯粹靠死记硬背音节，连自己在唱什么都不知道。表面上录下来的效果可能一模一样，但你要是随便换一句歌词让他们即兴发挥，两者的差距立刻暴露。

模型越大越"懂事",但一旦"教养"过度反而变笨

除了方法本身的差异，论文还挖掘了另外两个变量：模型的规模和是否经过指令微调。

先说规模。研究者在Qwen3.5系列（从0.8B到9B参数）和Gemma-3系列上做了系统对比，发现一个很稳定的趋势：

**模型参数越大，转向向量的几何结构和人类价值观理论的吻合程度越高**

比如Qwen3.5从0.8B到9B，相关系数从0.25一路涨到0.46，几乎翻倍。这说明更大的模型确实发展出了更丰富、更贴近人类认知逻辑的内部价值观表征，不是简单地把输出结果调得更准，而是真的在"脑子里"把这些概念组织得更有条理。

有意思的是，不同模型家族之间也有明显差异。在7到9B参数这个量级里，Falcon-7B的相关系数只有0.20，Mistral-7B是0.32，Llama-3.1-8B是0.37，Qwen3.5-9B则达到了0.46。更耐人寻味的是，最新的Gemma-4虽然是目前最强的开源模型之一，跑分和综合能力都很出色，但它在价值观几何结构这项指标上，居然比参数量小得多的Qwen3.5-4B还要低。

这戳破了一个容易被想当然的假设：模型越厉害，是不是就等于它对人类价值观的理解越深？答案是不一定。一个模型可以在各种基准测试上表现优异,推理能力强、知识面广、回答质量高，但它内部对价值观概念的组织方式，可能反而比不上一个各方面能力更普通的模型。这两件事，是两条不完全重叠的技能线。

再说指令微调这件事。所有测试的方法，只要把模型从预训练版本换成经过指令微调（也就是我们平时用的ChatGPT这类"对话版"模型）的版本，价值观几何结构的吻合度全都明显下降。

这个结果有点反直觉。指令微调，包括RLHF这类后训练流程，本意是让模型更符合人类偏好、更听话、更安全。但论文发现，这个过程似乎在悄悄"抹平"了模型内部原本更丰富的价值观结构。研究者管这个现象叫

**价值观几何漂移**

：指令微调之后，模型残差流里原本存在的、和人类价值观理论相符的结构信息，被削弱或打乱的现象。

这就像一个孩子小时候对各种事物有着自己天然、细腻甚至有点混乱的判断标准，但上学之后被反复训练"标准答案"，慢慢地，他脑子里那套复杂微妙的判断逻辑被简化成了一套更粗糙但更"听话"的应答模式。他确实变得更符合老师的要求了，但那套原本更丰富的内在理解反而被磨掉了一部分。这不是说指令微调是坏事，它确实让模型更安全更可控，但这个过程好像有一个隐藏的代价，就是牺牲了一部分内部表征的丰富度。

转向一个价值观,会不会带偏别的价值观

前面讲的都是"静态"的几何结构对不对，论文还做了一步更有意思的动态验证：如果你真的往一个价值观方向转向模型，它对其他价值观的态度会不会跟着变，变得对不对？

按照施瓦茨理论，如果你把模型往"成就"这个价值观转向，它对旁边的"权力支配"应该也会跟着提升一些，而对圆环对面的"普遍主义"应该会被压低一些，这是一种符合人类心理学规律的连锁反应，论文管这个叫

**跨价值观迁移**

：对某个价值观进行转向操作后，该操作对模型在其他价值观上表现产生的连带影响。

研究者对每一对价值观都做了这样的测试，构建出一个20乘20的迁移矩阵，然后用两个指标衡量这个迁移模式是否符合施瓦茨圆环的预测。结果再次印证了前面的发现：分布驱动方法的迁移模式和理论预期高度吻合，转向一个价值观确实会像涟漪一样，正向波及相邻价值观、负向波及对立价值观；而行为中心方法的迁移几乎是随机的，甚至在某些情况下出现了倒挂，转向后对相邻价值观的提升反而不如对立价值观明显。

这个发现比单纯的几何相关性更有说服力，因为它证明了几何结构不是一个纸面上的巧合，而是真的会转化成行为层面可预测、可复现的连锁反应。换句话说，几何对得上，行为也对得上；几何对不上，行为也乱套。两者是同一枚硬币的两面。

论文还专门测试了这个结论是不是只对施瓦茨理论成立，会不会换一套理论框架结果就变了。他们额外用了

**道德基础理论**

：Moral Foundations Theory，另一套广泛使用的道德心理学框架，把人类的道德判断分成关怀、公平、比例、忠诚、权威、纯洁等基础维度，粗分为个人主义和集体主义两大类。

在这套完全不同的理论体系下，同样的分裂模式再次出现：分布驱动方法在"同类价值观相似度更高、跨类价值观相似度更低"这个指标上得分明显为正，行为中心方法则接近于零甚至为负。这说明前面发现的规律不是施瓦茨理论独有的巧合，而是一个更普遍的现象。

写在后面

读完这篇论文，最让我意外的其实不是"哪种方法更好"，而是它揭示出的一个更根本的问题：当我们说一个AI模型"学会了某种价值观"时，我们到底在说什么？

如果只看输出结果，两类方法几乎打成平手，行为中心方法甚至在某些指标上不逊色。但只要往模型内部看一眼，差距立刻显现。这提醒我一件事：评估AI对齐效果，光看它说了什么远远不够，得看它内部到底发生了什么。这就像面试一个人，光听他答题答得漂亮不够，得知道他是真理解了题目背后的逻辑，还是刷题刷出的条件反射。

论文里那个"指令微调反而削弱价值观几何结构"的发现，我觉得特别值得深挖。这意味着我们现在广泛使用的RLHF流程，可能在某种程度上是用"表面听话"置换了"内在理解的丰富度"。这个代价目前没人认真算过，但如果未来对齐研究朝着更精细的方向走，这大概是绕不开的一笔账。

还有一个细节让我印象深刻，Gemma-4作为顶尖模型，价值观几何得分反而不如小得多的Qwen3.5-4B。这说明模型能力和价值观理解不是一回事，一个模型可以很聪明，但对"人类怎么看待价值观之间的关系"这件事一无所知。这大概是给所有沉迷于刷榜的人提了个醒，跑分高不代表真懂。

论文最后提了一个开放性的方向：与其直接转向表面行为，比如"礼貌"这种笼统的东西，不如转向更底层的价值观本身。转向"礼貌"可能会意外压低"诚实"或者放大"顺从"这种副作用，而如果转向的是经过验证、真正符合人类认知结构的价值观向量，这种意外的连带效应或许能更可控。这个思路挺有意思，但也留下一个更麻烦的问题：如果连价值观本身在不同文化里的排列方式都不一样，这套圆环理论要怎么跨文化地泛化？

Q&A

Q1：激活转向和RLHF有什么区别？

A：RLHF需要大量人工标注和重新训练模型参数，成本高但效果稳定；激活转向是在推理阶段临时调整模型内部激活状态，不需要训练，成本低很多，但这篇论文发现不同转向方法的可靠性差异很大。

Q2：为什么行为中心方法测试单个价值观时表现不差，却被认为有问题？

A：因为这类方法只针对输出结果做优化，能让模型在单一价值观上给出正确答案，但它提取的向量在多个价值观之间的几何关系上和人类心理学理论几乎没有相关性，说明它可能只是找到了输出层面的捷径，而没有学到价值观之间真实的语义结构。

Q3：模型参数越大，是不是价值观理解一定越好？

A：总体趋势上是的，论文发现同一模型家族内，参数越大和施瓦茨理论的吻合度越高。但不同家族之间不一定成立，比如Gemma-4虽然整体能力强，价值观几何得分却低于参数小得多的Qwen3.5-4B，说明模型能力强弱和价值观理解程度是两回事。