安全交易也能抗风险：斯科尔科沃研究团队的伊塔库拉-赛托损失函数突破性研究

在面对高风险的决策场景时，我们总是更愿意选择可预测的结果，而非不确定的赌博。想象一下：如果有人给你两个选择，一个是稳定获得100元，另一个是50%几率得到200元，50%几率一无所获，你会选择哪个？虽然两者期望值相同，但多数人会偏向第一种"稳妥"的选择——这就是风险规避行为的典型表现。

这种行为模式在金融、医疗和自动驾驶等高风险领域尤为重要，而来自俄罗斯斯科尔科沃科技学院和人工智能研究所的研究团队在这方面取得了重要突破。2025年5月22日发表在arXiv预印本平台的研究论文《Risk-Averse Reinforcement Learning with Itakura-Saito Loss》由Igor Udovichenko、Olivier Croissant、Anita Toleutaeva、Evgeny Burnaev和Alexander Korotin共同完成，提出了一种全新的方法来提高风险敏感强化学习的稳定性和效果。

在传统的强化学习中，智能体（如自动驾驶汽车或交易算法）通常追求最大化期望回报，不太关注风险。但在现实世界中，人们往往宁愿接受稍低的平均收益，也要避免可能的重大损失。举个例子：与其投资一个平均收益率10%但可能暴跌50%的股票，多数投资者更愿意选择稳定收益8%的基金，即使长期来看前者期望回报更高。

传统风险敏感强化学习的一个主要挑战是数值稳定性问题。以指数效用函数为例，这种方法虽然在理论上很优雅，但在实际应用中常常因为数值溢出或下溢而导致训练失败。想象一下计算中的一个错误被指数放大，就像面包配方中一小勺盐错放成一大勺，整个结果可能完全失控。

斯科尔科沃研究团队提出的解决方案巧妙利用了伊塔库拉-赛托(Itakura-Saito)散度——一种在信号处理和非负矩阵分解领域广泛使用的数学工具。研究团队将其改造成损失函数，用于风险敏感强化学习中的价值函数学习。这就像是给汽车装上了新型减震器，让它能在崎岖不平的道路上也能平稳行驶。

这项创新的主要优势在于，新损失函数不仅数值上更稳定，还保持了尺度不变性（即对价值绝对大小不敏感），同时完全保留了指数效用框架的理论保证。简单说，这就像是找到了一种方法，既能精确称量食材（保持理论正确性），又不会因为秤的量程限制而无法测量太重或太轻的东西（数值稳定性）。

研究团队在多个测试场景中验证了新方法的有效性，包括具有已知解析解的金融投资组合优化问题、深度对冲任务，以及一个旨在提高策略鲁棒性的复杂组合强化学习问题。在所有测试中，新提出的伊塔库拉-赛托损失函数都优于现有方法，展示了更好的稳定性和性能。

这项研究为风险敏感强化学习提供了一个更可靠的工具，可能在金融交易、自动驾驶、医疗决策等高风险场景带来广泛应用。让我们一起深入了解这项研究的细节和意义。

一、风险规避的数学模型：从人类直觉到计算机算法

想象一下，当你面临一个选择：要么确定获得100元，要么掷硬币决定——正面获得210元，反面一无所获。虽然第二个选择的平均收益更高（期望值105元），但很多人仍会选择确定的100元。为什么？这就是风险规避行为，而数学家和经济学家用"效用理论"来描述这种现象。

效用理论源于18世纪数学家丹尼尔·伯努利的思想，他认为人们不是直接对金钱数量做决策，而是对金钱带来的"心理满足度"（即效用）做决策。举例来说，对一个普通人而言，从0元到100元的满足感提升，可能比从10,000元到10,100元的提升更显著，即使金额增加都是100元。

这种思想在冯·诺依曼和摩根斯特恩的理论中得到了严格的数学表述：如果一个决策者满足某些理性假设，那么他的决策行为可以用一个效用函数来描述。具体到风险规避的情况，指数效用函数（又称熵效用函数）是一个特别有用的模型：

u(x) = α^(-1)(1 - e^(-αx))

其中x是回报（如金钱收益），α是风险规避系数。α越大，个体越厌恶风险；α接近零时，个体接近风险中性；α为负时，个体甚至是风险寻求型的。

这个效用函数的一个重要特性是"确定性等价物"（CE），定义为：

E~α[X] = -α^(-1)log E[e^(-αX)]

这可以理解为：一个风险规避的决策者会愿意接受多少确定性收益，来替代一个随机收益X。例如，一个风险规避者可能会接受95元确定收益，而不是参与前面提到的硬币游戏（期望值105元）。

这种数学模型有一些有趣的性质，比如： - 规范化：确定收益0的确定性等价物就是0 - 单调性：如果收益X总是大于Y，那么X的确定性等价物也大于Y的 - 平移不变性：给任何收益加上常数c，确定性等价物也会增加同样的c - 塔性质：在一些条件下，可以像期望一样进行条件运算 - 凹性：表现为风险规避行为

这些属性让我们可以构建类似传统强化学习中贝尔曼方程的框架，来解决风险敏感的马尔可夫决策过程。

二、传统方法的痛点：数值不稳定性的挑战

虽然指数效用函数提供了一个优雅的理论框架来处理风险规避问题，但在实际应用中却面临严重的数值稳定性挑战，这就像是一辆设计精美的跑车在崎岖山路上无法正常行驶。

让我们看看传统方法中常用的"指数均方误差损失"(EMSE)：

L^EMSE(θ) = E_{(s,a,s')}[1/2 α^(-2)(exp{-αV~^π_θ(s)} - exp{-αr(s,a,s') - αV~^π_θ-(s')})^2]

这个公式看起来复杂，但简单来说，它是试图让神经网络学习风险规避的价值函数V~。问题在于，当V~的值很大（正值）时，exp(-αV~)会接近于零，导致梯度消失；而当V~的值很负时，exp(-αV~)会爆炸性增长，导致数值溢出。

用一个烹饪类比来解释：想象你在制作一道需要精确控制温度的甜点。传统方法就像使用一个温度计，它在室温附近工作良好，但在极低温或极高温下会失灵或损坏。这使得厨师（或算法）无法在极端条件下准确调整烹饪过程。

此外，从理论上讲，风险规避价值函数的学习不应该受到价值绝对水平的影响。这类似于说：无论你是在小厨房还是大餐厅烹饪，相同的食谱比例关系应该保持不变。但传统的EMSE损失明显违反了这一原则，因为它直接依赖于V~的绝对值。

另一种名为"softplus"的损失函数尝试解决部分问题：

L^SP(θ) = 2δV~(θ)α^(-1)log(1 + exp{αδV~(θ)}) + 2α^(-2)li2(-exp{αδV~(θ)}) + π^2/(6α^2)

这里li2是Spence的二重对数函数，δV~(θ)是当前价值估计与目标的差值。虽然这个损失函数确实解决了尺度不变性问题，但它只在目标有高斯分布的特定情况下才能学习到正确的价值函数，限制了它的广泛应用性。

这就像是第二种温度计解决了在不同大小厨房中使用的问题，但只能用于特定类型的烤箱，而不适用于其他烹饪设备。

三、伊塔库拉-赛托损失函数：优雅而实用的新方案

斯科尔科沃研究团队提出的解决方案基于伊塔库拉-赛托(Itakura-Saito)散度，这是布雷格曼散度家族中的一个特例。如果将学习价值函数比作拍摄完美照片，传统损失函数就像在极端光线条件下容易过曝或曝光不足的相机，而IS损失则像一个具有高动态范围的现代相机，能在各种光线条件下都捕捉到细节。

伊塔库拉-赛托散度最初由伊塔库拉舟多田在1968年为电话语音分析提出，定义为：

d_IS(x, y) = x/y - log(x/y) - 1

研究团队将其改造为风险敏感强化学习的损失函数：

L^IS(θ) = α^(-2)E_{(s,a,s')}[exp{αδV~(θ)} - αδV~(θ) - 1]

其中δV~(θ)是价值函数的预测误差。这个损失函数有几个显著优势：

首先，它只依赖于预测误差δV~(θ)，而不直接依赖于价值函数的绝对值，因此具有尺度不变性。这就像一个温度计只关注温度变化，而不受初始读数影响。

其次，通过泰勒展开可以证明，对于风险规避程度较低或预测误差较小的情况，IS损失近似于传统的均方误差损失，保持了良好的理论连续性：

L^IS ≈ E_{(s,a,s')}[1/2 δV~(θ)^2 + o(δV~(θ)^2)]

最重要的是，研究团队证明了在合理假设下，最小化IS损失的价值函数确实满足风险规避的贝尔曼方程，这意味着它能学习到理论上正确的价值函数。这就像证明我们新设计的温度计不仅在各种条件下都能工作，而且始终给出准确的温度读数。

IS损失对预测误差的惩罚呈现出一个有趣的非对称特性：对于正误差（低估价值），惩罚更为严厉；而对于负误差（高估价值），惩罚则相对宽容。这种特性特别适合风险规避场景，因为低估价值意味着低估风险，这在高风险应用中可能导致灾难性后果。

从视觉上看，与风险中性的均方误差（MSE）损失呈现对称U形不同，IS损失呈现一种倾斜的J形，在正误差区域迅速上升，而在负误差区域则相对平缓。这种形状精确捕捉了风险规避者的偏好：宁可高估风险（保守策略），也不要低估风险（冒险策略）。

四、实验验证：理论与实践的完美结合

为了验证IS损失函数的有效性，研究团队设计了三组实验，涵盖从简单到复杂的多种场景。这些实验不仅展示了新方法的优势，还提供了对风险敏感强化学习在实际应用中的洞察。

第一组实验聚焦于投资组合优化问题。假设有一只股票，价格按照Bachelier模型随机变动（类似于随机漫步加上一个可能的漂移）。投资者可以在每个时间点买入或卖出任意数量的股票，目标是最大化风险调整后的回报。

在第一个简单场景中，回报完全来自股票交易，且股票价格有正漂移（平均上涨趋势）。这种情况下，回报服从高斯分布，理论上存在解析解。实验结果显示，所有测试的损失函数（EMSE、SP和IS）表现相当，都能学习到接近理论最优的价值函数。

在第二个更复杂的场景中，研究团队加入了一个二次惩罚项，使得回报不再服从高斯分布。在这种情况下，SP损失开始失效，无法学习到正确的价值函数，而IS损失继续表现出色，与理论最优解非常接近。

第二组实验关注深度对冲问题。这是一个典型的金融应用场景：考虑欧式看涨期权（一种金融衍生品），投资者需要构建一个动态交易策略来对冲风险。在风险中性世界中，这个问题有解析解，但在风险规避设定下需要依靠数值方法求解。

实验结果令人印象深刻：使用EMSE损失的所有尝试都因数值不稳定性而失败，而IS和SP损失都成功收敛到理论风险中性参考值。更重要的是，IS损失展现出更低的随机波动，表明其训练过程更加稳定可靠。

第三组实验将IS损失应用于复杂的风险规避软演员-评论家(Risk-Averse Soft Actor-Critic, RSSAC)算法，用于解决一个类似仓库管理的鲁棒组合优化问题。在这个5×5网格环境中，物品随机出现，智能体需要移动、拾取并递送物品来获取奖励。关键挑战是学习一个对分布变化鲁棒的策略。

结果显示，与EMSE损失相比，IS损失显著提高了训练稳定性，避免了训练过程中的性能崩溃。尽管IS和SP损失在最终性能上相当，但IS损失表现出更一致的学习曲线和更低的方差，这在实际应用中尤为重要。

这些实验结果清晰表明，IS损失函数不仅在理论上优雅，而且在实践中高效可靠，能够作为复杂强化学习算法中的"即插即用"组件，提升整体性能和稳定性。

五、局限性与未来展望：更广阔的应用前景

尽管伊塔库拉-赛托损失函数展现出显著优势，研究团队也坦率承认其局限性。最主要的限制是，当前方法专为指数效用函数设计，可能不适用于其他类型的风险度量。这就像一种专为柴油发动机优化的燃油添加剂，不一定适用于汽油或电动车。

然而，研究团队指出，这一限制实际上并不严重，因为许多现有方法也是基于指数效用框架，而且该框架在风险敏感决策中已经被广泛接受和应用。指数效用特别适合风险敏感控制，因为它具有良好的数学性质，允许我们推导出类似于传统强化学习中的贝尔曼方程。

从更广泛的角度看，这项研究为高风险领域的强化学习应用铺平了道路。金融市场交易、医疗决策支持、自动驾驶车辆和工业控制系统等领域都可能从更稳定、更可靠的风险敏感强化学习算法中受益。

未来研究可能沿着几个方向展开： - 将IS损失扩展到其他类型的风险度量和效用函数 - 探索在更复杂、更高维的环境中的性能 - 结合其他强化学习技术，如分布式学习或模型预测控制 - 开发针对特定应用领域的定制版本

此外，IS损失函数的数学特性也值得进一步研究。布雷格曼散度作为一个广泛的数学工具家族，可能包含其他适合风险敏感学习的变体。研究团队在附录中提供了关于IS损失在变分计算和场论中的几何和理论解释，这些洞察可能为未来的理论创新提供灵感。

总的来说，这项研究不仅提供了一个实用的工具来解决当前风险敏感强化学习的挑战，也为该领域的未来发展开辟了新的可能性。正如研究团队在论文中所强调的："开发可靠的数学工具来在不确定性下进行优化是使AI在现实世界应用中更可接受和可靠的必要条件。"

六、总结：稳定、可靠的风险规避学习新方法

我们日常生活中的许多决策都涉及风险评估：从选择投资组合到决定驾驶路线，再到医疗治疗选择。人类在面对这些决策时自然地展现出风险规避行为，优先考虑稳定性而非最大化平均回报。随着AI系统在这些高风险领域的应用日益广泛，开发能够模拟这种风险规避行为的算法变得越来越重要。

斯科尔科沃科技学院和人工智能研究所的研究团队提出的伊塔库拉-赛托损失函数为风险敏感强化学习提供了一个数学上优雅且实践中稳定的解决方案。这一方法保留了指数效用框架的理论保证，同时解决了传统方法中的数值不稳定性问题。

通过在投资组合优化、期权对冲和鲁棒组合优化等多种场景中的验证，IS损失证明了其优越性：能够学习到理论正确的价值函数，表现出更好的数值稳定性，并能作为复杂强化学习算法的可靠组件。

这项研究不仅是强化学习技术的重要进步，也是将AI系统应用于高风险决策领域的关键一步。随着自动驾驶、金融交易和医疗决策等应用的发展，能够可靠地模拟人类风险偏好的AI系统将变得越来越重要。

伊塔库拉-赛托损失函数的提出，向这个方向迈出了坚实的一步，为未来更安全、更可靠的AI决策系统奠定了基础。对于关注AI安全性和可靠性的研究者和实践者来说，这无疑是一个值得关注的创新。

有兴趣深入了解这项研究的读者，可以在arXiv预印本平台查阅完整论文《Risk-Averse Reinforcement Learning with Itakura-Saito Loss》（arXiv:2505.16925v1）。