长路难行？OTA：为离线目标条件强化学习开辟时间抽象捷径

在人工智能研究领域，让机器人能够自主达成各种目标一直是研究者孜孜不倦追求的方向。2025年5月19日，来自首尔国立大学的Hongjoon Ahn、Heewoong Choi、Jisu Han和Taesup Moon在arXiv上发表了一篇题为"Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning"的研究论文（arXiv:2505.12737v1）。这项研究提出了一种名为OTA（Option-aware Temporally Abstracted value learning）的新方法，为解决离线目标条件强化学习中的长期规划问题提供了一条全新路径。

想象你正在玩一款迷宫游戏，需要从起点到达终点，但迷宫非常复杂，有数千步才能完成。如果你只能看到眼前的路，而无法规划整体路径，那么完成任务的难度将大大增加。类似地，在目标条件强化学习（GCRL）中，当任务需要很多步骤才能完成时（称为"长期规划"或"长视野任务"），机器人也会面临同样的困境。

现有的方法，比如HIQL（分层隐式Q学习），虽然尝试通过分层策略结构解决这个问题——用高层策略生成子目标，低层策略执行具体动作——但在特别复杂的任务中仍然表现不佳。研究团队通过深入分析发现，问题的关键在于：高层策略无法产生合适的子目标。为什么会这样呢？因为在长视野任务中，价值函数的估计变得不准确，导致高层策略接收到错误的学习信号。

这就像是你在一个巨大的迷宫中，只依靠本地地图（价值函数）来决定下一步走向哪里，但这些本地地图在远处变得越来越模糊，甚至给出错误的方向指引。研究团队发现，当状态与目标之间的距离超过一定阈值时，优势信号（告诉机器人哪个动作更好）的符号经常变得不正确，导致高层策略学习到错误的行为。

针对这一问题，研究团队提出了一个巧妙的解决方案：时间抽象（temporal abstraction）。这个概念可以类比为人类在规划长途旅行时的思考方式。假设你要从首尔到纽约，你不会考虑每一个步骤（上车、行走等），而是考虑更大的行动单元："去机场"、"乘坐飞机"、"到达纽约"。这些更大的行动单元在强化学习中称为"选项"（options）或"宏动作"（macro actions）。

OTA方法正是基于这一思路，通过修改价值学习过程，使其考虑这些更大的行动单元，而不仅仅是单个基本动作。具体来说，当更新价值函数时，OTA不是基于执行一个基本动作后到达的状态来计算奖励和目标价值，而是基于执行一系列基本动作（一个"选项"）后到达的状态。这样做的好处是，有效地缩短了规划视野，使价值估计变得更加准确，甚至在长视野任务中也能提供清晰的优势信号。

研究团队在多个具有挑战性的任务上测试了OTA方法，包括复杂的迷宫导航和视觉机器人操作环境。结果表明，与现有基线方法相比，OTA显著提高了性能。特别是在复杂的长视野任务中，如巨型蚂蚁迷宫和巨型人形机器人迷宫，OTA的成功率远远超过了最先进的方法。

此外，通过可视化分析，研究团队还展示了OTA如何解决价值函数的顺序不一致性问题。在长视野任务中，传统方法学习的价值函数往往无法准确反映状态之间的真实顺序关系，而OTA学习的价值函数则能更好地保持这种顺序一致性，从而为高层策略提供更准确的学习信号。

总的来说，OTA通过引入时间抽象，成功地解决了离线GCRL中的长期规划问题。这项研究的意义在于，它不仅提高了长视野任务的性能，还为解决类似问题提供了一种简单而有效的思路。这对于开发能在复杂环境中完成长期任务的机器人来说，是一个重要的进步。

一、研究背景：机器人的"远见"困境

想象一下，你给一个机器人下达了一个任务：从房间的这一端走到另一端，然后拿起一本书。对于我们人类来说，这是个简单的任务——我们会自然地将其分解为：走到书桌旁，伸出手，抓住书本。但对机器人来说，这个看似简单的任务可能包含数百个微小步骤，从每一个关节的移动到每一次平衡调整。

离线目标条件强化学习（Offline GCRL）正是为了解决这类问题而存在的。它让机器人能够从预先收集的数据中学习如何达成各种目标，而无需额外的环境交互。这就像是机器人通过观看人类完成任务的视频来学习，而不是自己反复尝试。这种方法在现实世界中非常实用，因为实时试错可能代价高昂或危险。

然而，研究团队指出，即使是最先进的方法，如HIQL（分层隐式Q学习），在长期任务中仍然面临挑战。HIQL采用了一种分层结构：高层策略负责生成子目标（比如"移动到书桌旁"），低层策略则负责执行具体动作达到这些子目标（比如控制具体的关节运动）。这种方法在某些情况下表现不错，但在更复杂的任务中，如长期机器人运动或机械臂操作，仍然失败率很高。

为了更好地理解这一困境，研究团队提出了一个关键问题：在HIQL中，究竟是低层策略还是高层策略成为了性能瓶颈？

二、问题定位：高层策略的"迷途"

为了回答这个问题，研究团队进行了一项巧妙的实验。他们保持HIQL的低层策略不变，但用一个"神谕"（oracle）高层策略替代原来的高层策略。这个神谕高层策略总是能为低层策略提供最优的子目标。结果令人惊讶：当使用神谕高层策略时，系统在各种复杂任务上都取得了接近90%的成功率，远高于原始HIQL的不到20%的成功率。

这个发现非常重要，它表明低层策略其实工作得很好——当给予合适的子目标时，它能够准确地执行必要的动作。真正的问题出在高层策略上，它无法生成适当的子目标来引导低层策略。

但为什么高层策略会失效呢？研究团队深入分析发现，问题的根源在于价值函数（Value Function）。在强化学习中，价值函数告诉智能体在特定状态下，预期能获得多少未来奖励。它就像是一张"价值地图"，指导智能体选择行动方向。

然而，在长期规划场景中，价值函数的估计变得越来越不准确。想象你正站在迷宫入口处，试图判断走到出口需要多少步。你可能对附近的路径有清晰的认识，但对远处的路径估计就会变得模糊。同样，随着状态与目标之间距离的增加，价值函数的预测变得越来越不可靠。

研究团队具体发现，在长期规划场景中，价值函数违反了一个基本原则——"顺序一致性"（order consistency）。在理想情况下，沿着最优路径前进时，价值函数应该单调增加。但实际上，随着距离的增加，价值函数开始出现错误的上下波动，导致优势信号（advantage signal，表明某个行动比其他行动更好的信号）的符号变得不正确。

这就像是你的GPS导航在远处地点给出了错误的方向指引，导致你走错路。同样地，错误的优势信号会导致高层策略学习到错误的行为模式，生成不合适的子目标，最终导致任务失败。

三、解决方案：时间抽象的巧妙运用

在确定了问题的根源后，研究团队提出了一个创新解决方案：基于时间抽象的价值学习（Option-aware Temporally Abstracted value learning，简称OTA）。

要理解这一方法，我们可以类比人类的长期规划思维。当我们计划一次长途旅行时，我们不会考虑每一个细微步骤，而是将旅程分解为更大的行动单元或"选项"：乘坐出租车到机场，搭乘飞机，到达目的地后乘坐另一辆出租车等。这种思考方式大大简化了规划过程。

在强化学习中，"选项"（options）是一系列基本动作的序列，允许智能体以更高层次的抽象来思考问题。传统的值函数学习关注单个动作执行后的状态转移，而OTA则关注执行一系列动作（一个"选项"）后的状态转移。

具体来说，OTA修改了价值函数学习的目标函数。传统方法基于执行一个基本动作后到达的状态来计算奖励和目标价值。而OTA则基于执行n个基本动作（或者说一个选项）后到达的状态，来计算奖励和目标价值。这样做的好处是，有效地缩短了规划视野，将原本可能需要数千步的规划问题减少到仅需数百步。

这就像是在导航系统中使用高速公路而不是每一条小路来规划长途旅行——它简化了问题，使得即使在远距离情况下，估计也能保持相对准确。

研究团队在数学上定义了一个抽象因子n，表示每个选项包含的基本动作数量。通过调整这个参数，可以控制时间抽象的程度。较大的n值意味着更高级别的抽象，可以更有效地处理非常长期的任务，但也可能丢失一些细节信息。

实验表明，OTA学习的价值函数在长期规划场景中表现出更好的顺序一致性。即使在状态与目标之间的距离很大时，价值函数仍能准确反映出接近目标的程度，从而为高层策略提供可靠的学习信号。

四、实验验证：从迷宫探索到机器人控制

研究团队在多种挑战性任务上评估了OTA的性能，包括复杂的迷宫导航和视觉机器人操作环境。

首先，他们使用了OGBench基准测试中的迷宫环境，这些环境根据代理类型（点质量、蚂蚁机器人、人形机器人）、迷宫大小（中型、大型、巨型）以及数据集类型（导航、拼接、探索）进行分类。其中最具挑战性的是巨型人形机器人迷宫环境，最大回合长度达到4000步，这意味着完成任务可能需要推理超过4000个时间步。

其次，他们测试了视觉立方体和视觉场景环境，这些环境关注视觉机器人操作任务。在视觉立方体环境中，任务是操作和堆叠立方体块以达到指定的目标配置。视觉场景环境则要求代理控制日常物体，如窗户、抽屉或双按钮锁。这些环境使用高维的像素输入（64×64×3 RGB图像），增加了任务的复杂性。

实验结果令人印象深刻。在几乎所有任务上，OTA都显著优于现有方法，包括GCBC（目标条件行为克隆）、GCIVL（目标条件隐式V学习）、GCIQL（目标条件隐式Q学习）、QRL（拟度量强化学习）、CRL（对比强化学习）和HIQL。

特别值得注意的是，随着迷宫大小的增加（从中型到大型再到巨型），OTA与其他方法之间的性能差距显著扩大。这表明OTA特别适合处理长期规划任务。例如，在巨型人形机器人迷宫上，OTA实现了约80%的成功率，而HIQL仅有约3%。

研究团队还进行了深入的价值函数可视化分析。他们收集了最优轨迹，并比较了HIQL和OTA学习的价值函数。结果显示，OTA的价值函数表现出更好的顺序一致性，尤其是当状态与目标之间的距离很大时。这验证了OTA确实能有效地减轻长期规划中价值函数的估计误差。

五、深入分析：抽象因子和折扣因子的影响

为了更全面地理解OTA的性能，研究团队对关键参数进行了详细分析。

首先，他们研究了抽象因子n对性能的影响。实验表明，随着n的增加，价值函数的绝对值范围增大，这是因为选项终止条件每n步引入一次奖励，有效地压缩了价值范围。更重要的是，随着n的增加，价值函数变得更适合长期规划任务。当n=1时（相当于传统方法），随着状态到目标距离的增加，价值函数的学习效果显著下降。但随着n的增加，价值函数能够更好地处理长期规划。

然而，过度增大n也会带来问题。研究表明，超过某个阈值后，顺序一致性比率（衡量价值函数保持顺序一致性的程度）开始下降。这表明过度的时间抽象可能导致信息丢失，需要谨慎选择适当的抽象级别。

其次，研究团队探讨了简单增加折扣因子（discount factor）是否能达到与OTA相同的效果。在强化学习中，折扣因子决定了未来奖励的重要性，较大的折扣因子意味着更多地考虑远期收益。理论上，增加折扣因子可能有助于代理更好地处理长期任务。

研究团队比较了使用标准折扣因子γ的HIQL、使用修改折扣因子γ^(1/n)的HIQL变体以及OTA。结果显示，简单增加折扣因子无法取得与OTA相当的性能提升，而且在大多数情况下甚至不如标准HIQL。这一发现表明，时间抽象的价值不仅仅在于更长远的考虑，还在于改变了价值学习的基本结构。

最后，研究团队还比较了基于TD（时间差分）的OTA与基于拟度量的QRL。QRL学习的是无折扣的时间距离，理论上应该能够处理更长期的任务。然而，实验结果显示，在复杂的人形机器人迷宫和视觉场景等高维状态空间的环境中，QRL的性能显著低于OTA。这表明基于TD的OTA在计算复杂性和性能之间取得了良好的平衡，尤其是在高维状态空间中。

六、研究总结与未来展望

这项研究提供了对离线目标条件强化学习中长期规划问题的深入洞察。研究团队首先通过实验确定了现有方法（如HIQL）在长期任务中失败的根本原因：高层策略无法生成适当的子目标，而这又源于价值函数在长期规划中的估计误差。

基于这一洞察，他们提出了OTA方法，通过在价值学习中引入时间抽象，有效地缩短了规划视野，使代理能够更准确地评估长期动作的价值。实验结果表明，OTA在各种复杂任务上都显著优于现有方法，特别是在长期规划场景中。

这项研究的重要性在于它不仅提供了一种解决长期规划问题的有效方法，还揭示了强化学习中价值函数估计与规划视野之间的深层关系。通过时间抽象，OTA成功地将长期规划问题转化为更容易处理的短期规划问题，使机器人能够更有效地完成复杂任务。

展望未来，这项研究为强化学习中的多级抽象和长期规划提供了新的思路。OTA的简单性和有效性使其有望应用于更多实际场景，如机器人导航、物体操作和日常任务自动化。进一步的研究可能探索自适应抽象级别的方法，根据任务的复杂性自动调整抽象因子，或者将OTA与其他强化学习技术结合，进一步提高性能。

总的来说，这项研究通过引入时间抽象这一简单而强大的思想，成功地解决了离线GCRL中的长期规划挑战，为开发能够在复杂环境中自主完成长期任务的智能系统铺平了道路。