WebAgent-R1：通过端到端多回合强化学习训练网页智能体

近日，来自弗吉尼亚大学和亚马逊的研究团队发表了一篇名为《WebAgent-R1: Training Web Agents via End-to-End Multi-Turn Reinforcement Learning》的研究论文。该论文于2025年5月22日在arXiv上发布，预印号为2505.16421v1。这项研究由Zhepei Wei、Wenlin Yao、Yao Liu等多位研究者共同完成，为解决网页智能体训练中的复杂挑战提供了一种全新的解决方案。

为什么网页智能体很难训练？

想象你正试图教一个机器人如何在互联网上完成各种任务，比如预订机票、购物或管理社交媒体账户。这个机器人需要理解网页内容，点击正确的按钮，填写表单，甚至在多个页面之间导航。这就是网页智能体的工作，而训练它们却是一项极具挑战性的任务。

传统的强化学习（RL）方法在训练大型语言模型（LLM）方面已经取得了显著成功，例如DeepSeek-R1等项目。然而，这些方法主要针对单回合任务，如解决数学问题。当涉及到网页浏览这样的多回合交互任务时，情况就变得复杂得多。网页环境是动态的，变化莫测，解决方案也多种多样，这使得传统方法难以应对。

早期的网页智能体主要依赖提示工程或行为克隆（BC）来模仿示范轨迹。虽然这些方法取得了一定成功，但它们缺乏探索多样化策略或从试错中学习的能力，这限制了网页智能体的泛化能力。近期的一些研究尝试应用强化学习来改进策略训练，但大多依赖离线或迭代式的离策略RL解决方案，这些方法会打破网页智能体与环境之间的端到端交互，并引入额外的复杂性，如轨迹过滤、结果奖励模型训练或迭代优化程序，这些限制了它们在实际部署中的实用性。

WebAgent-R1：一种全新的端到端多回合强化学习框架

研究团队提出的WebAgent-R1是一种简单而高效的端到端多回合强化学习框架，专为训练网页智能体而设计。与之前的方法不同，它直接从与网页环境的在线交互中学习，通过异步生成多样化的轨迹，完全由基于任务成功与否的二元奖励来指导。

想象一下，这就像是让一个学生通过反复尝试来学习如何使用一个复杂的网站。不是给学生提供详细的操作手册（行为克隆），而是让他们自己探索网站，并根据他们是否成功完成任务给予简单的"成功"或"失败"反馈。这种方法允许学生发现可能不在标准教程中的快捷方式或替代解决方案。

这种设计解决了网页智能体训练中的几个关键挑战。首先，在每一步中，环境观察（例如HTML内容）可能跨越数千个标记，在长时间范围内累积的上下文会导致大量内存开销。为了缓解这一问题，研究团队引入了动态上下文压缩机制，它可以自适应地调整跨回合的上下文，确保可扩展性并防止内存不足问题。其次，现有的针对LLM智能体的RL解决方案不太适合多回合场景。受群组相对策略优化（GRPO）启发，研究团队将其扩展到多回合设置（M-GRPO），并采用异步轨迹展开策略，通过并行生成多个轨迹来进一步提高训练效率。

实验证明WebAgent-R1的有效性

研究团队在WebArena-Lite基准测试上进行了广泛的实验，以评估WebAgent-R1的有效性。结果令人印象深刻：WebAgent-R1将Qwen-2.5-3B的任务成功率从6.1%提升到33.9%，将Llama-3.1-8B的任务成功率从8.5%提升到44.8%，显著优于现有的最先进方法和强大的专有模型，如OpenAI的o3。

要理解这一进步的重要性，想象一下从一个只能完成100个网页任务中的8个，到一个能完成近45个任务的跃升。这不仅仅是数字上的提升，而是在实际可用性上的质的飞跃。

研究团队的深入分析揭示了基于思考的提示策略的有效性，以及通过增加网页任务的交互次数进行测试时扩展的有效性。简单来说，让智能体"思考"（通过内部推理）并允许它有更多的尝试次数，显著提高了其完成任务的能力。

团队还调查了不同的RL初始化策略，引入了两种变体：WebAgent-R1-Zero和WebAgent-R1-CoT。WebAgent-R1-Zero跳过行为克隆阶段，直接从现成模型开始RL；而WebAgent-R1-CoT则在行为克隆阶段使用长链式思考（CoT）数据。这些变体的研究结果强调了热身训练阶段（即行为克隆）的重要性，并提供了关于在网页智能体中整合长链式思考推理的见解。

技术细节：WebAgent-R1是如何工作的？

WebAgent-R1的工作原理可以比作一个学习使用复杂网站的过程。首先，我们需要了解它如何与网页环境交互。

在每个时间步，智能体首先观察网页的当前状态（以文本形式的HTML内容表示），然后生成一个动作，如点击特定元素、输入文本或滚动页面。环境根据这个动作更新网页，然后智能体观察新的状态并决定下一步动作。这个过程持续进行，直到任务成功完成或达到最大步数。

WebAgent-R1引入了几个关键创新：

首先是动态上下文压缩。想象你在教某人使用一个网站，但每个屏幕的截图都非常大且详细。如果你试图记住每个截图的每个细节，很快就会记不清了。WebAgent-R1采用了一种聪明的方法：它保留了所有操作的完整历史，但对早期的网页观察进行了简化。这就像保留"我点击了登录按钮，然后输入了用户名"这样的说明，而不是存储每个屏幕的完整截图。

其次是多回合群组相对策略优化（M-GRPO）。这是一种特殊的强化学习算法，专为多回合交互设计。它从一组轨迹中学习，而不仅仅是单个尝试，这使得学习更加稳定和有效。

第三是异步轨迹展开。这就像同时让多个学生尝试使用同一个网站，而不是一个接一个地尝试。通过并行生成多个轨迹，WebAgent-R1可以更快地收集学习数据，大大提高了训练效率。

训练动态：WebAgent-R1如何学习？

研究团队分析了WebAgent-R1在训练过程中的学习动态，发现整个过程可以大致分为三个阶段：

第一阶段是初始技能获取。在这个阶段，奖励快速增加，表明智能体迅速学习了基本技能并开始在较简单的任务上取得成功。轨迹长度也急剧增加，交互次数也增加，因为智能体变得更加主动。

第二阶段是探索和策略优化。在这个阶段，奖励增长趋于平稳并略有波动，表明智能体正在探索不同的策略并优化其行为。轨迹长度稳定下来，交互次数减少，因为智能体学会了更有效地交互。

第三阶段是策略稳定。在这个阶段，奖励再次逐渐提高，表明智能体开始利用所学知识，策略变得更加稳定。轨迹长度适度增加，交互次数稳定，表明智能体已经找到了一种一致且有效的交互策略。

这种三阶段的学习动态揭示了强化学习的典型特征：初始技能获取、策略优化的探索阶段，以及最终的策略稳定。有趣的是，Qwen-2.5-3B和Llama-3.1-8B都遵循类似的学习模式，这表明WebAgent-R1的端到端多回合RL框架能够有效地跨不同模型大小扩展，并支持稳定的策略改进。

行为克隆和思考能力的重要性

研究团队通过消融研究验证了WebAgent-R1的关键设计选择。特别是，他们研究了行为克隆和长链式思考对网页智能体的影响。

首先，行为克隆对使用RL训练网页智能体至关重要。WebAgent-R1-Zero变体跳过了行为克隆阶段，直接从现成模型开始RL，初始成功率仅为6.1%。令人惊讶的是，在RL之后，模型的性能甚至略有下降。这是因为缺乏关于网页任务的知识，模型往往会产生不完整或格式错误的动作（例如缺少必需的参数），很少在RL期间获得正面奖励。这严重阻碍了有效的探索和学习，突显了行为克隆对初始化网页智能体和支持后续RL的必要性。

其次，在行为克隆中纳入长链式思考数据可以产生更高性能的网页智能体。研究团队使用强大的推理模型生成长链式思考轨迹，然后应用SFT获得长链式思考SFT模型（即WebAgent-R1-CoT变体）。与在标准BC数据上训练的SFT模型相比，长链式思考SFT模型实现了更高的任务成功率（24.5%对20%），证明了长链式思考推理对网页智能体的有效性。

然而，有趣的是，对于长链式思考SFT模型，RL带来的增益明显较小。具体来说，WebAgent-R1从20%提升到33.9%，而WebAgent-R1-CoT仅从24.5%提升到30.3%。研究团队推测，这可能是因为在长链式思考BC期间学习的确定性推理模式可能限制了模型在RL期间的探索空间，与标准SFT模型具有更灵活的探索行为相比，限制了其发现新策略的能力。

提示策略和测试时扩展的见解

研究团队还分析了提示设计对网页智能体性能的影响。他们发现，使用思考格式显著提高了任务成功率，尤其是对于更强的模型（例如，o4-mini从15.9%提升到36.9%）。有趣的是，虽然平均单回合响应长度保持相似（例如，Qwen-2.5-3B从139→142个标记），但交互次数大幅增加（例如，6→17）。这一观察揭示了一种新颖的测试时扩展策略：网页智能体可以通过更深入的多回合交互而不是产生更长的单回合响应来提高效果。

基于这一发现，研究团队进一步研究了增加智能体与环境之间的交互次数如何影响性能。如图5所示，允许更多的交互回合一致地提高了基于提示、SFT和基于RL的方法的成功率。研究团队推测，这种形式的测试时扩展有助于更深入的探索，产生更长的轨迹，可能使智能体能够迭代地完善其动作，并通过扩展交互做出更明智的决策。

结论：WebAgent-R1的意义与影响

WebAgent-R1代表了网页智能体训练方法的重要进步。通过引入端到端多回合强化学习框架，研究团队成功地训练了能够有效导航复杂网页环境的智能体，显著优于现有方法。

这项研究的意义不仅在于它实现的性能提升，还在于它提供的关于如何训练更好的网页智能体的见解。首先，行为克隆是构建强大的RL初始化策略的关键。其次，思考能力对于网页任务至关重要，可以通过提示格式或长链式思考训练来实现。第三，增加交互次数是测试时提高性能的有效策略。

对于未来的工作，研究团队建议探索多模态输入和将他们的方法扩展到更广泛的基于GUI的任务，如计算机使用等。这将进一步扩大网页智能体的能力和应用范围。

总的来说，WebAgent-R1为训练更智能、更高效的网页智能体开辟了新的可能性，为未来的研究和应用奠定了基础。随着这些智能体变得越来越强大，它们有望在网络浏览、信息检索和在线任务自动化等方面彻底改变我们与互联网互动的方式。