当AI学习步子迈多大才不会"跌跤"？Datawhale研究团队找到了计算公式

这项由Datawhale研究团队完成的工作以预印本形式发布于2026年5月7日的arXiv平台，论文编号为arXiv:2605.06741，感兴趣的读者可通过该编号查阅完整原文。

**一段被忽视的问题**

在AI模型的训练过程中，有一个参数几乎每个人都要设定，却几乎没有人知道它的"正确答案"——那就是学习率（learning rate）。你可以把它理解成AI每次更新自己认知时迈出的步子大小。步子太小，训练慢得像蜗牛；步子太大，模型就会"跌跤"，学出一堆乱七八糟的结果。长期以来，这个步子该迈多大，工程师们靠的是经验、靠的是反复试错，没有人能给出一个明确的计算公式。

Datawhale的研究团队决定认真对待这个问题。他们把目光从参数空间转向了一个更本质的角度——当AI输出的是一个概率分布（比如"这张图片是猫的概率是70%，是狗的概率是30%"），这个概率分布在更新时遵循怎样的几何规律？步子迈多大，才能保证这个概率分布朝着正确方向稳定收敛，而不是乱跑甚至崩溃？

研究的核心发现是：这个步子的上限不是一个需要人为猜测的超参数，而是一个可以从当前概率分布本身计算出来的公式。以交叉熵分类任务（AI做选择题时最常用的损失函数）为例，这个上限完全由当前分布中最小的那个概率值和最大的那个概率值决定。

**一、从棋局裁判到概率地图上的导航员**

理解这篇研究，需要先认识一位老朋友：A*搜索算法。这是人工智能领域经典的路径搜索方法，你可以把它理解成一位棋局裁判。这位裁判在为棋手规划最优路线时，会用一个启发函数来估算"从当前位置到终点还需要多少代价"。这个估算可以乐观一点（低估代价），但绝对不能悲观（高估代价）——一旦高估，裁判就会做出错误决策，找到的路线就不再是最优的了。

这个规则被称为"可采纳性契约"：你可以用近似的估算来加速搜索，但这个近似必须满足一个数学约束，否则整个保证就会崩塌。

研究团队发现，AI学习率的问题和这位棋局裁判面临的问题在本质上是一回事。AI每次更新概率分布时，就像是在一张概率地图上迈出一步。步子迈多大才安全？这不是口感问题，而是一个关于"地图曲率"的数学问题。

具体来说，研究团队用"概率单纯形"（probability simplex）来描述这张地图。所谓概率单纯形，就是所有合法概率分布的集合——比如三分类问题的概率分布必须满足三个数加起来等于1且每个数都大于0，这些分布在三维空间里恰好构成一个三角形平面。AI的信念状态就是这个三角形上的一个点，每次更新就是在这个三角形上移动一步。

在这张地图上，距离的度量不用普通的直线距离，而要用KL散度（Kullback-Leibler divergence）——一种专门衡量两个概率分布有多"不同"的工具。这就像在球面上导航不能用平面地图一样，概率分布有自己天然的几何结构，必须使用匹配的度量工具。

**二、安全步长的数学来源：强凸性与光滑性的拉锯**

研究的核心数学工具叫做Bregman散度的三点恒等式。这个名字听起来很吓人，但背后的道理其实可以用一个物理直觉来理解。

设想你站在一个碗形的山谷里（这代表AI的损失曲面），目标是走到谷底（损失最小的地方）。碗的形状决定了两件互相对立的事：碗越弯曲（曲率越大），每一步能把你拉向谷底的力就越强，这叫"强凸性"；但同时，曲面越复杂，步子迈太大就越容易越过谷底飞到对面去，这叫"光滑性惩罚"。

研究团队把这两种力量写成了一个不等式。经过精确的数学推导，他们发现AI更新后两个状态之间的KL散度满足：

更新后的KL散度 ≤ 更新前的KL散度 – η × (2μ – ηL?) × 两点距离的平方

这里η是学习率，μ是强凸性常数（碗壁向谷底拉的力），L是光滑性常数（曲面复杂程度的限制）。

这个不等式告诉我们：只有当括号里的(2μ – ηL?)保持正数，更新才是"收缩"的，也就是说两个初始状态不同的信念分布，经过一次更新后会变得更接近，而不是更远离。这正是AI学习能够稳定收敛的几何保证。

要让(2μ – ηL?) > 0，对于正的η，条件就是η < 2μ/L?。这就是可采纳步长的上限。低于这个上限，学习过程有几何保证；超过这个上限，保证消失，系统可能崩溃。

**三、交叉熵分类的专属公式**

上面的推导是通用的，但研究团队特别关注了交叉熵分类这个最常见的场景。

交叉熵损失函数的形式是 E(p) = –∑ q? log p?，其中q是目标分布，p是当前AI的预测分布。对p求梯度和Hessian矩阵（二阶导数矩阵，描述曲面弯曲程度），可以得到Hessian矩阵是一个对角矩阵，每个对角元素是 q?/p??。

研究团队使用了一个简化的"曲率代理"：把Hessian近似为对角元素全是1/p?的矩阵。这个近似相当于假设目标分布q的每个分量都是1，保留了曲率关于当前分布p的依赖关系。

在这个代理下，强凸性常数μ等于Hessian矩阵的最小特征值，也就是1/max(p?)——最大概率分量的倒数；光滑性常数L等于Hessian矩阵的最大特征值，也就是1/min(p?)——最小概率分量的倒数。

把这两个值代入 2μ/L? 的公式：

η_max^CE(p) = 2 × (1/max(p?)) / (1/min(p?))? = 2 × min(p?)? / max(p?)

这就是论文的主要结果——一个完全由当前概率分布p决定的闭合公式。它告诉我们：安全步长的上限由概率分布中最小值的平方除以最大值决定。分布越均匀（最小值和最大值接近），步长上限越大；分布越尖锐（某个类的概率很高，其他类很低），步长上限越小。

这个结论有很强的直觉意义。当AI对某个答案已经非常确定时（比如"这是猫"的概率是99%），概率分布接近单纯形的边界，曲率变得极其陡峭，此时步子必须迈得很小，否则就会从陡峭的边缘跌落；当AI还在学习中、对各类别概率比较均匀时，地形相对平坦，步子可以迈得大一些。

**四、熵制动器：不确定性如何进一步约束步长**

除了几何曲率给出的上限，研究团队还引入了一个来自信息论的补充机制，称为"自适应对偶搜索"（Adaptive Dual Search，ADS）的熵退避因子。

这个机制基于一个朴素的想法：当AI对当前状态非常不确定时，不应该迈大步。研究团队用归一化熵 B(p) = H(p)/H_max 来衡量这种不确定性，其中H(p) = –∑ p? log p? 是香农熵，H_max = log C 是C分类问题的最大熵。当B接近1时，AI几乎无法区分各个选项，极度不确定；当B接近0时，AI非常确信某个答案。

熵退避因子定义为对数屏障函数：α(B) = –log(1–B)。当B趋近于1（极度不确定），α(B)趋向无穷大；当B接近0（非常确定），α(B)接近0。最终的退避系数是 η(B) = 1/(1+α(B))，它始终在0和1之间。

把这个退避因子乘在曲率上限上，就得到了完整的熵感知交叉熵步长公式：

ηCE(B, p) = [2 min(p?)? / max(p?)] × [1/(1+α(B))]

这里有一个关键的逻辑需要强调：熵退避因子并不改变步长上限本身，它只是从这个上限"往回退一步"。上限仍然是由曲率几何决定的；熵的作用是在不确定性高时，让实际采用的步长更保守，保留更多安全余量。研究者把这个关系比作：曲率确定了悬崖的位置，熵决定了你离悬崖边缘站多远。

**五、MSE的对比案例：为什么不同损失函数不能套用同一个公式**

为了说明上限与损失函数几何密切相关，研究团队还分析了均方误差（MSE）这个常见损失函数作为对比案例。

对于MSE，考虑从当前预测p到目标y的归一化补偿路径：pη = (1–η)p + ηy，其中η从0变化到1。沿这条路径计算MSE的值，得到 M(pη, y) = (1–η)? × ‖p–y‖?。这是关于η的二次函数，在η=1时达到最小值0，也就是完全到达目标y。

这意味着MSE在这条归一化路径上的最大可采纳步长是1——不是因为MSE更宽容，而是因为这条路径本身是"归一化的"，终点天然被设定在1处。

把同样的熵退避因子应用到MSE，就得到 ηMSE(B) = 1/(1+α(B))。这看起来比交叉熵的公式简单很多，但这只是因为MSE的归一化路径上限是1，所以退避因子本身就是最终步长。

这个对比揭示了一个经常被混淆的概念：ADS熵退避因子是两种损失函数共享的机制，但它作用的"起点"（步长上限）是由各自的损失函数几何单独决定的。交叉熵的上限是 2min(p?)?/max(p?)，MSE的归一化上限是1，两者不能互换。如果工程师在用交叉熵训练时错误地以为步长上限是1，就相当于把MSE的逻辑套在了交叉熵上，这会在概率分布不均匀时导致严重的步长过大问题。

**六、固定点：学习停在哪里**

理解了步长上限，就能回答另一个更深层的问题：AI稳定收敛之后，会停在哪里？

根据Banach不动点定理，如果一个映射是收缩映射（每次迭代让两个点之间的距离缩短），那么在这个映射的反复作用下，系统会收敛到唯一的固定点。步长上限 η < 2μ/L? 正是这个收缩映射成立的条件。

对于经验交叉熵损失（用训练数据计算的交叉熵），这个固定点就是训练数据的标签分布 A(y) = P_D(y) = "训练集中标签y出现的频率"。换句话说，当学习过程满足步长约束时，AI的信念分布会稳定地被"吸引"向训练数据所编码的先验分布。

这个结论有一个重要的警示意义：收敛到固定点不等于得到了正确答案。固定点是训练分布编码的先验，如果训练数据本身有偏差，AI学到的就是有偏的先验。步长约束控制的是"向固定点收敛的稳定性"，不是"固定点本身是否正确"。研究者明确指出，稳定的先验仍然只是先验，不是真理。

**七、实验验证：步子太大真的会跌跤**

为了让这个几何理论不停留在纸面上，研究团队设计了一个简洁的实验：用一个三分类的概率分布（没有神经网络，直接操作概率分布），通过镜像梯度下降更新，模拟目标分布在中途发生切换的场景。

具体设置是：信念分布从均匀分布出发，前200步追踪目标A = (0.7, 0.2, 0.1)，第200步之后目标切换为B = (0.1, 0.2, 0.7)。研究团队分别测试了三种策略：η = 2.0（远超步长上限，约为初始时上限的3倍，约为收敛后上限的70倍）；η = 0.1（始终低于步长上限）；以及ADS感知步长（自动计算每步的上限并乘以熵退避因子）。

结果非常清晰。η = 0.1和ADS策略都能在目标切换后约250步内稳定追踪新目标，KL散度降到10??以下。而η = 2.0的策略在切换后彻底失控：信念分布超调，坍缩到单纯形的错误边界（第二类概率趋向0，第零类概率趋向1），KL散度一直高于2.3，再也没有恢复对新目标的追踪。

在单纯形上的轨迹图（论文图4的F面板）里，这种失控表现得非常直观：超限步长的轨迹像一个陀螺一样转向了错误的顶点，低步长和ADS策略的轨迹则平滑地跟随目标移动。ADS策略的优势在于它无需人工调参，在收敛后步长上限大幅缩小时自动降速，实现了与低固定步长相同的追踪精度，却不需要提前知道"0.1是合适的步长"这个信息。

**八、训练与推理的统一视角**

研究的最后一部分做了一个更宏大的视角整合，试图说明这个信念空间的步长上限不仅适用于一个孤立的概率分布，还贯穿了神经网络的整个运作机制。

考虑一个有L层隐藏层的神经网络，正向传播的过程可以写成：输入x，经过L层变换后得到隐藏状态hL，最后通过softmax投影到概率单纯形上得到输出分布p。研究团队指出，每一层的隐藏状态变换 hk = hk–1 + vk(hk–1; θk) 在形式上恰好是一个欧拉步——数值积分里最基础的一步近似方法。因此，整个正向传播可以理解为在隐藏状态空间中迈出L步欧拉步，然后用softmax（本质上是将结果投影到概率单纯形上）完成最后的几何投影。

在这个框架下，训练和推理是两个性质不同但共享同一几何结构的过程。推理（正向传播）是在隐藏状态空间里按照已经学好的参数执行L步固定轨道，最后投影到概率单纯形；训练（反向传播）是在参数空间里通过梯度下降调整速度场，改变轨道的形状。两者在softmax这个点相交——这是整个系统中唯一一个既有正向传播经过、又有反向传播起点的地方。

信念空间的步长上限通过这个交点对两种过程都施加约束：如果softmax输出的概率分布上的有效运动超过了 2μ/L? 的上限，无论这个运动是由推理步骤还是训练更新引起的，几何收缩保证都会失效。熵退避因子 α(B) 同样对两种过程都有效，因为它衡量的是softmax输出分布的不确定性，这个输出在两种过程中都会出现。

研究者还特别分析了Chain-of-Thought（CoT，链式思维）推理的场景。在CoT中，模型不是一次性给出答案，而是经历多步中间推理过程，每次推理的输出分布又作为下一步的输入。这相当于把 (欧拉步L ? 投影到单纯形) 这个循环重复多次，延长了有效轨道长度。步长上限在这条延长轨道的每一个投影节点上都需要满足，否则某一步的越界就可能触发连锁失稳。

**九、破除三个领域之间的人为隔离**

研究团队在讨论部分提出了一个颇具挑战性的观点：优化理论、网络架构设计和推理分析长期被当作三个独立领域，各有各的工具箱，但这种划分是人为造成的，不是自然界本来的样子。

信念空间步长上限公式 ηmax^CE(p) = 2min(p?)?/max(p?) 是一个"框架不变量"——无论你站在参数空间的角度看问题，还是站在概率分布空间的角度看问题，同一个几何约束都在起作用。参数空间和概率分布空间只是同一个底层几何结构的两种坐标表示，连接它们的是神经网络正向传播的雅可比矩阵——这恰好就是反向传播里的那组矩阵。

这个统一视角在实验数据中有直接体现。当步长违反上限（η = 2.0）时，发生的不是"优化不稳定"或"推理不准确"这两种各属一个领域的问题，而是一种统一的"分布崩溃"：概率分布塌陷到单纯形的错误边界，在优化意义上表现为损失发散，在推理意义上表现为输出永远锁定在错误类别。边界在两个领域里是同一条线。

**十个开放问题：这项研究止步于哪里**

研究团队在论文末尾坦诚地列出了当前工作的局限和留给未来的问题。

目前使用的曲率代理 ??E(p) = diag(1/p?) 是一个简化，真正的Hessian矩阵是 diag(q?/p??)，在单纯形的切空间上有更复杂的结构。一个更精确的处理应该分析目标依赖的Hessian并确定简化代理在什么条件下仍然给出正确的定性结论。

当前的证明在概率单纯形的内部有效，而实际工程中softmax的输出往往会被数值精度截断，概率不会真正到达0。截断和平滑操作会如何改变可采纳区间，这是一个需要独立处理的问题。

将信念空间步长约束转化为参数空间的学习率规则需要神经网络正向映射的雅可比矩阵，这个矩阵的计算代价不低。如何用低成本的近似得到实用的参数空间版步长上限是一个开放的工程问题。

随机梯度（小批量训练时每次只用一部分数据估计梯度）会给μ和L的估计引入噪声。一个完整的随机版本应该给出高概率成立的可采纳界，而不是当前的确定性界。

研究团队还明确指出，由于收敛的固定点是训练分布而不是真理，当训练数据本身有偏差时，一个"稳定收敛到固定点"的系统可能只是更稳定地收敛到了一个偏差的先验。如何在保持稳定性的同时允许对象级证据打破先验锚点，是信念空间推理中的核心未解问题。

---

归根结底，这篇论文做的事情说起来其实很简单：把一个大家都在手工猜的数字（学习率上限），变成了一个可以从当前数据本身计算出来的公式。它的结论是，对于交叉熵分类任务，你不需要靠直觉猜步子的大小——当前概率分布的最小值和最大值已经把答案告诉你了。

这项工作并不能让所有学习率调参问题消失，毕竟它的公式是在一个局部、确定性的信念空间模型下推导的，真实神经网络的参数空间复杂得多。但它提供了一个基准：在这个模型下，步长的边界是几何的，不是经验的。一旦有了明确的公式，工程师就能知道自己的步长到底在安全区域内还是在危险区域外，而不是永远在黑暗中摸索。

如果你想深入了解这项研究的数学细节，可以通过arXiv编号 arXiv:2605.06741 找到完整论文，论文本身写得相当清晰，数学推导逐步展开，并不需要太多背景知识就能跟上主要论证。

---

Q&A

Q1：交叉熵损失的可采纳步长上限公式是怎么来的？

A：这个公式通过KL散度的Bregman三点恒等式推导得出。核心思路是：对概率单纯形上的投影梯度步骤，用强凸性常数μ和光滑性常数L分别衡量"向目标收缩的力"和"步子太大的惩罚"。当学习率η满足 η < 2μ/L? 时，更新映射是收缩的。将交叉熵曲率代理 ??E(p) = diag(1/p?) 代入，μ = 1/max(p?)，L = 1/min(p?)，最终得到 η_max = 2min(p?)?/max(p?)。

Q2：ADS熵退避因子和曲率步长上限是什么关系？

A：两者分工不同。曲率步长上限 2min(p?)?/max(p?) 由损失函数的局部几何决定，是绝对不能超过的边界。熵退避因子 1/(1+α(B)) 是在这个边界内进一步保守的乘数，当信念分布不确定性高时它会缩小，让实际步长远离边界。熵因子不改变边界本身，只是决定距离边界多远。

Q3：违反交叉熵步长上限会发生什么？

A：实验显示，一旦学习率超过当前信念分布的步长上限（实验中η=2.0约为上限的70倍），概率分布会超调并坍缩到单纯形的错误边界，某个类别的概率趋向于0而另一个趋向于1，之后无法恢复对正确目标的追踪，KL散度持续保持在较高水平。这种失控在单纯形轨迹图上表现为螺旋至错误顶点，不会自行修正。