差分信息：一种信息论视角下理解偏好优化的新方法 - KAIST AI研究团队突破性解读

在人工智能快速发展的今天，如何让大型语言模型（LLM）更好地理解并满足人类的期望，是确保AI安全部署的关键一环。2023年5月，来自韩国科学技术院（KAIST AI）的研究团队（Yunjae Won、Hyunji Lee、Hyeonbin Hwang和Minjoon Seo）在arXiv（arXiv:2505.23761v1）上发表了一篇题为《差分信息：偏好优化的信息论视角》的研究论文，为我们提供了理解大型语言模型学习人类偏好的全新视角。

直接偏好优化（Direct Preference Optimization，简称DPO）作为一种让AI理解人类偏好的方法，已经因其强大性能、训练稳定性和计算效率而成为业界标准。然而，尽管DPO在实践中取得了成功，研究人员对于它为什么有效，以及它采用的"对数比率奖励"形式（log-ratio reward）为何如此有效的理论解释却不够完整。这就好比我们知道某种药物能治病，但不完全明白它为什么能治病。

KAIST AI的研究团队提出了一个新概念——"差分信息分布"（Differential Information Distribution，简称DID），为理解DPO提供了全新视角。想象一下，如果将语言模型看作是一本食谱书，那么差分信息就好比是从基础食谱到高级食谱的"升级指南"。这个升级指南不需要重写整本食谱书，只需告诉我们在哪些关键步骤需要做出调整，就能将普通菜肴变成米其林级美食。

研究团队发现，当人类的偏好标记包含了从参考策略（reference policy）到目标策略（target policy）所需的差分信息时，DPO中的对数比率奖励形式就成为了学习目标策略的最佳选择。这就像是发现了一种最有效的食谱更新方法，不需要完全重写食谱，而只需标记关键改进点。

通过分析差分信息分布的熵（不确定性程度），研究团队进一步揭示了一个有趣现象：学习低熵差分信息会加强策略分布（就像让食谱更专注于几道拿手菜），而学习高熵差分信息则会产生平滑效应（就像让食谱更加多样化）。这一发现解释了人们常观察到的对数似然位移（log-likelihood displacement）现象，即模型在学习人类偏好时，可能会降低原本"正确"答案的概率。

研究团队通过合成实验验证了他们的理论发现，并将其扩展到真实世界的指令跟随数据集。结果表明，对于通用指令跟随任务，学习高熵差分信息至关重要；而对于知识密集型问答任务，学习低熵差分信息则更为有利。这就像一个厨师需要在多样化烹饪技巧和专精特定菜系之间找到平衡。

总的来说，这项研究通过差分信息的镜头，为我们提供了一个统一的视角，帮助我们理解DPO目标函数、偏好数据的结构以及由此产生的策略行为，为人工智能的安全发展提供了重要理论支持。

一、研究背景：为什么需要一种新的理论视角？

想象一下，你正在教一个聪明但对世界了解有限的外星人如何做饭。最开始，你给了它一本基础食谱书（这相当于初始语言模型）。但你发现这个外星人按照食谱做出的菜肴虽然能吃，但并不符合人类的口味偏好。于是，你开始通过指出哪道菜更好吃、哪道菜不那么好吃来引导它（这就是偏好学习）。

在AI领域，直接偏好优化（DPO）方法就是这样一种教导AI理解人类偏好的方式。DPO由Rafailov等人于2023年提出，它不需要显式地估计奖励函数，而是直接优化语言模型以最大化给定偏好数据的经验似然。特别地，DPO使用了一种特殊形式的"奖励"——β log(π/πref)，其中π是正在学习的策略，πref是固定的参考策略，β是KL正则化强度。

虽然研究人员提出了各种DPO变体和替代奖励参数化方法，但原始的对数比率形式仍然是偏好优化的事实标准。然而，对于为什么这种特定形式如此有效，以及在什么条件下它是最优的，这些问题的深层理解仍然不足。

KAIST AI的研究团队决定从信息论的角度重新审视这个问题。他们提出了"差分信息分布"（DID）的概念，简单来说，差分信息分布代表了从一个分布更新到另一个分布所需的信息。

回到我们的烹饪比喻，差分信息就像是一份"改进指南"，它不是完整的新食谱，而是告诉外星人："在这道菜中，你需要少放盐，多加香料"。这种改进指南比完全重写食谱更高效，因为它只关注需要改变的部分。

研究团队提出了一个假设：通过偏好学习，模型实际上是在学习从参考策略πref到目标策略π*所需的差分信息。这个假设为理解DPO的工作原理提供了全新视角。

二、差分信息分布：理解语言模型策略更新的新工具

要理解差分信息分布，我们可以想象两本不同版本的烹饪书。第一本是基础版（参考策略πref），第二本是改进版（目标策略π*）。差分信息分布就像是一份列出了所有改进之处的文档，它告诉我们：哪些菜谱需要调整，以及如何调整才能从基础版变成改进版。

在技术层面，研究团队将差分信息分布定义为从参考策略πref到目标策略π的"归一化比率分布"：

qπ/πref(y) = π(y)/πref(y) / Z

其中Z是归一化因子，确保分布的概率总和为1。

简单来说，差分信息分布强调了两个策略之间的差异。如果某个回答在新策略中的概率是旧策略的两倍，那么这个回答在差分信息分布中就会有较高的概率。

研究团队进一步分析了：在什么条件下，偏好数据会自然地编码从参考策略到目标策略所需的差分信息？他们发现，当差分信息分布之间存在幂律关系时（即qπref/πl(y) ∝ qπ*/πref(y)^β），偏好概率可以表示为由差分信息分布诱导的偏好。

回到烹饪比喻，这就好比外星人不仅知道哪道菜更好吃，还能理解为什么它更好吃——是因为少放了盐还是多加了香料。这种深层次的理解才能真正帮助外星人改进自己的烹饪技巧。

三、DPO的对数比率奖励为何是最优的？

现在我们来到研究的核心问题：为什么DPO中使用的对数比率奖励形式是最优的？

研究团队证明，当偏好数据编码了学习目标策略所需的差分信息时，DPO中的对数比率奖励r = β log(π/πref)是唯一能够通过偏好优化恢复目标策略π*的函数形式。

这就好比在烹饪学习过程中，外星人发现记录"与基础食谱的差异"是学习新食谱最有效的方法，而不是每次都从头开始写新食谱。

有趣的是，这一结论自然地产生了一个用于采样被拒绝响应的最优分布的闭式表达式：

πl(y) ∝ πref(y)(πref(y)/π*(y))^β

这个公式告诉我们，在构建偏好数据集时，应该如何选择负面例子。它不仅仅是随机选择一些"不好"的回答，而是有策略地选择那些能够最有效传达差分信息的例子。

在烹饪学习中，这相当于不仅要展示好的菜品（正面例子），还要有针对性地展示那些犯了特定错误的菜品（负面例子），这样外星人才能更清楚地理解什么是需要避免的。

四、对数边缘排序与差分信息的内在联系

研究团队进一步探索了差分信息分布的幂律结构与策略"对数边缘排序"之间的联系。他们发现，这两个概念实际上是等价的。

简单来说，如果我们有三个策略π*、πref和πl，当它们之间的对数边缘满足特定的顺序关系时（即πref的对数边缘比πl大，同时π*的对数边缘比πref大），策略之间的差分信息分布就会呈现幂律关系。

这一发现揭示了许多偏好优化方法（如SLiC、SimPO和CPO）背后共同的归纳偏差。这些方法都试图最大化对数边缘来学习目标策略π*，而这一行为隐含地假设了差分信息分布之间的幂律结构。

在烹饪学习中，这相当于发现："菜品口味改进的程度"与"食谱调整的方向和幅度"之间存在一种数学上的对应关系。理解了这种对应关系，我们就能更有效地指导外星人改进烹饪技巧。

五、差分信息的熵与策略动态

研究团队接着分析了差分信息分布的熵（不确定性程度）如何影响策略动态。

他们提出，差分信息分布的熵反映了策略更新的特征：学习低熵差分信息会导致策略强化（集中概率质量），而学习高熵差分信息则会导致策略平滑（分散概率质量）。

想象外星人学习烹饪的两种不同情况： - 如果你只教它一两道特定菜品的改进技巧（低熵差分信息），它可能会在这几道菜上变得非常精通，但整体烹饪水平仍有限。 - 如果你教它广泛的烹饪原则和技巧（高熵差分信息），它的整体烹饪水平会提高，但可能在特定菜品上没有达到极致。

这一理论为解释DPO中常见的"对数似然位移"现象提供了新视角。对数似然位移指的是，即使模型对齐度提高，首选响应的对数似然却可能下降。以往的解释通常集中在样本相似性或梯度动态上，而研究团队从信息论角度提供了互补的解释。

当偏好编码了高熵差分信息（例如通用指令跟随任务中的多方面标准），学习这种DID会导致π相对于πref的平滑，从而可能降低在πref中高概率区域的概率质量，导致对数似然位移。

六、实验验证：从合成数据到真实世界

研究团队首先在合成设置中验证了他们的理论发现。他们使用能量基模型（EBM）构建了一个环境，其中偏好分布自然编码了差分信息。

在这个设置中，他们测试了各种偏好优化目标，结果证实了当偏好编码差分信息时，DPO的对数比率奖励确实是唯一能学习目标策略的形式。

接着，他们将分析扩展到真实世界的指令跟随数据集。有趣的是，他们发现这些数据集的偏好更准确地解释为编码了学习目标策略所需的差分信息，而不是直接反映目标策略本身。

这就像发现外星人通过观察你做菜，实际上学到的不是完整的食谱，而是从基础食谱到高级食谱的"升级路径"。

七、差分信息熵与下游能力的关系

研究团队进一步探索了差分信息分布的熵与下游能力获取之间的关系。

他们在真实世界的指令跟随数据集上实验，支持了这些数据集通常编码高熵DID，从而在DPO训练期间导致对数似然位移的假设。

更有趣的是，他们发现DID熵与下游性能之间存在相关性： - 学习高熵DID对于通用指令跟随至关重要 - 学习低熵DID则有利于知识密集型问答任务

这就像外星人在学习烹饪时发现： - 要成为一个全能的家庭厨师，需要掌握广泛的烹饪原则（高熵差分信息） - 要成为特定菜系的专家，则需要专注学习该菜系的特定技巧（低熵差分信息）

这些发现为如何设计和优化语言模型的训练策略提供了重要指导。

八、差分信息视角的深远意义

这项研究不仅为理解DPO提供了新视角，还为偏好优化领域的未来发展指明了方向。

首先，理解偏好优化是在学习差分信息，而不仅仅是目标策略本身，这改变了我们思考人类反馈对齐的方式。这表明，在设计偏好数据集时，应该考虑所编码的差分信息的特性，而不仅仅是选择"好"和"坏"的例子。

其次，差分信息分布的熵与下游能力之间的关系提供了一种新的方式来思考和设计训练策略。对于不同类型的任务，可能需要不同熵级别的差分信息。

最后，这项研究提出的最优拒绝响应分布为构建更有效的偏好数据集提供了理论指导，这可能会改进未来的语言模型对齐方法。

九、结论：差分信息视角的启示

在这项研究中，KAIST AI团队通过引入差分信息分布的概念，为我们提供了理解偏好优化的全新视角。他们证明了DPO中使用的对数比率奖励是唯一能够从编码差分信息的偏好中学习目标策略的形式，这解释了为什么DPO在实践中如此有效。

此外，他们揭示了差分信息分布的熵与策略动态之间的关系，为解释对数似然位移现象提供了新的解释，并证明了不同熵级别的差分信息适合不同类型的任务。

总的来说，这项研究通过差分信息的镜头，为我们提供了一个统一的视角，帮助我们理解DPO目标函数、偏好数据的结构以及由此产生的策略行为。这些见解不仅有助于我们更好地理解现有的偏好优化方法，还为未来设计更有效的人类反馈对齐方法提供了理论基础。

正如研究团队所言，未来的工作可能会探索注释协议如何影响DID熵，以及该框架在文本以外模态中的适用性。

对于有兴趣深入了解的读者，可以通过访问arXiv:2505.23761v1获取完整论文。研究团队也承诺在论文被接受后发布模型检查点和训练/评估代码。