SWE-rebench：一个自动化软件工程智能代理评估的新突破——Nebius团队打造无污染数据集和评估体系

背景介绍与研究团队

2025年5月26日，由Nebius公司的Ibragim Badertdinov和Alexander Golubev领衔的研究团队在arXiv上发布了一篇具有前瞻性的研究论文（arXiv:2505.20411v1）。这支团队还包括来自同一机构的Maksim Nekrashevich、Anton Shevtsov、Simon Karasik、Andrei Andriushchenko、Maria Trofimova、Daria Litvintseva和Boris Yangel。这篇论文为软件工程领域的大语言模型评估带来了一个全新的自动化框架——SWE-rebench。

在当今科技快速发展的时代，基于大语言模型（LLM）的智能代理在软件工程领域展现出了令人印象深刻的能力。从代码生成、调试到自动化开发工作流程，这些智能代理正在逐步改变软件开发的方式。研究人员们开始创建由LLM驱动的代理，这些代理能与真实代码库和开发环境交互，执行操作并根据反馈调整行为。虽然像OpenHands、Moatless Tools和Agentless等依托专有模型的代理在SWE-bench等基准测试中表现出色，但开源模型在这方面仍有很大的提升空间。

研究面临的两大挑战

想象一下，你是一位教练，想要训练一支优秀的足球队。你会面临两个关键问题：首先，你需要足够多样化的训练素材，让队员能应对各种比赛情况；其次，你需要一个公平的评估体系，确保能准确判断队员的真实水平，而不是仅仅看他们在熟悉的训练场上的表现。

Nebius团队在研究中发现，软件工程智能代理的发展正面临着类似的两大挑战：

首先是高质量训练数据的稀缺。特别是那些能反映真实世界软件工程场景的数据，在这些场景中，代理需要与开发环境交互，执行代码并根据结果调整行为。现有的数据集要么局限于一次性代码生成，要么是小规模、手动整理的交互式任务集合，缺乏规模和多样性。

其次是缺少新鲜的交互式软件工程任务来评估快速进步的模型。静态基准测试很快就会因为污染问题而过时，当新模型在训练过程中可能已经接触过这些测试用例，导致评估结果被人为抬高。

SWE-rebench：一个创新的解决方案

为了解决这些限制，研究团队提出了一个全新的、自动化且可扩展的管道，用于从多样化的GitHub仓库中持续提取真实世界的交互式软件工程任务。这就好比建立了一个自动化的足球训练系统，不断从世界各地的比赛中捕捉各种精彩的战术动作，并自动整理成训练素材。

利用这个管道，团队构建了SWE-rebench，一个包含超过21,000个基于Python的交互式软件工程任务的公共数据集，适用于软件工程代理的大规模强化学习。此外，研究团队还利用SWE-rebench方法持续收集的新任务，构建了一个无污染的软件工程代理评估基准。

通过在这个基准上比较各种LLM的结果，并与SWE-bench Verified的结果进行对比，研究团队发现一些语言模型的性能可能因为污染问题而被人为夸大。这就像发现一些队员在熟悉的训练场上表现出色，但面对全新的比赛场地和战术时却力不从心。

自动化管道的工作原理

SWE-rebench的核心是一个自动化管道，能够大规模地收集、处理和验证软件工程任务。想象这个管道像一条智能生产线，从原料（GitHub数据）到成品（可验证的软件工程任务）全程自动化。这个管道包括四个关键阶段：

第一阶段是初步任务收集。系统从GitHub Archive和GitHub上下载原始数据，包括问题描述、讨论、关联的拉取请求等信息。它会将问题与解决它们的拉取请求链接起来，并应用一系列过滤器选择符合条件的实例。例如，问题必须来自许可证宽松的Python仓库、已标记为已解决、相关PR必须合并到主分支等。这个阶段就像是在世界各地的足球比赛中初步筛选出那些包含精彩战术配合的片段。

第二阶段是自动化安装指令配置。传统方法如SWE-bench或SWE-Gym依赖手动整理来配置每个仓库的可执行环境，这种方法固有地限制了可扩展性。而SWE-rebench则采用了一种完全自动化的方法，使用大语言模型来生成候选环境设置指令。这就像有一个AI助手，能自动理解每个足球训练素材需要的场地设置和器材准备。

第三阶段是基于执行的安装验证。为了确认任务的可解决性和提供的测试的完整性，系统会在容器中安装每个任务的环境，并执行拉取请求的测试补丁。它会解析测试运行输出，确保：1）应用解决方案补丁前，至少有一个测试失败；2）应用解决方案补丁后，所有最初失败的测试都通过；3）最初通过的测试在应用解决方案补丁后仍然通过。这就像在实际训练前验证每个训练素材的有效性和挑战性。

第四阶段是自动化实例质量评估。为了有效用于强化学习，收集的任务应该具备某些特性，否则RL代理可能会生成看似失败但实际上是由于任务不完善导致的轨迹。团队微调了一个指令跟随模型，使用来自SWE-bench Verified的人工注释来预测：问题清晰度（GitHub问题描述是否足够详细）、任务复杂性（解决问题的预估工作量）、测试补丁正确性（拉取请求中的测试是否准确验证了预期的修复）。这就像有一个专家教练团队，能够评估每个训练素材的质量、难度和教学价值。

SWE-rebench数据集的特点

通过这个四阶段管道，研究团队自动收集和处理了交互式软件工程任务，产生了SWE-rebench数据集，其中包含21,336个带注释的任务实例。这个数据集公开发布在Hugging Face Datasets上，任何人都可以访问。配套代码，包括任务评估脚本，也在GitHub上提供。

SWE-rebench数据集的一个任务实例包含了问题描述、代码更改（补丁和测试补丁）以及相关元数据，包括LLM生成的质量评分和安装配置。这些丰富的信息使得研究人员和开发者能够根据特定需求筛选和选择任务实例。

SWE-rebench评估基准

除了提供大规模数据集外，研究团队还利用自动化管道构建了SWE-rebench评估基准。这个基准由294个来自169个不同仓库的可执行任务组成，是经过筛选的SWE-rebench数据集的一部分。

研究团队发现，现有的软件工程代理评估面临几个关键挑战：潜在的数据污染、由于脚手架变异导致的结果不可比、缺乏标准化和可验证的评估、以及代理性能在多次运行中的高变异性。

为了解决这些挑战，SWE-rebench评估基准设计基于几个核心原则：

首先是集中化和标准化的评估框架。所有在SWE-rebench上的评估都由研究团队使用固定的脚手架进行，即每个模型都使用相同的最小ReAct风格代理框架、相同的提示和默认生成超参数。这就像在完全相同的比赛条件下测试不同的足球队，确保比较的公平性。

其次是持续数据集更新和去污染。SWE-rebench使用自动化管道持续提供新鲜任务。由于系统精确跟踪问题及其对应拉取请求的创建日期与模型发布日期，可以明确标记潜在被污染的评估，这些评估包括在模型发布日期之前创建的问题。这些评估在排行榜上被明确标记，以确保关于可能数据泄漏的透明度。

第三是考虑代理行为的随机性。为了捕捉性能变异性，研究团队在完整基准上运行每个模型五次。他们额外报告平均值的标准误差(SEM)和pass@5指标，提供对每个模型性能的统计基础和更可靠的评估。

研究结果分析

研究团队利用SWE-rebench的去污染特性，分析了不同时间窗口任务上的性能趋势，并识别先前基准中潜在的污染效应。具体来说，他们评估了模型在两个不同时间子集的任务上的表现：2025年1月创建的任务和2025年3月至4月创建的任务。

研究结果显示了几个值得注意的观察：

GPT-4.1是唯一一个在3月至4月子集上性能明显下降的模型，相比于1月子集。这可能表明这个模型对某些特定类型的任务更敏感，或者在处理更新、更复杂的软件工程问题时面临挑战。

LLaMa-4-Maverick表现出相对于具有类似平均解决率的模型更高的pass@5分数，但解决率相对适中。这表明该模型可以产生正确的解决方案来解决更复杂的问题，但在多次运行中缺乏一致性，展示了高潜力但执行不一致。

Qwen2.5-Coder-32B-Instruct表现不如预期，特别是考虑到其强大的代码生成能力。分析其轨迹显示了指令遵循问题；模型经常幻想环境响应或陷入格式错误循环，最终在没有产生有意义的解决方案尝试的情况下失败。

Qwen3模型在启用或不启用思考模式的情况下表现相似——在某些情况下，非思考变体甚至略微超过思考版本。这表明基础模型的能力足够强，以至于刻意规划并不能提供可测量的优势。几乎相同的pass@5分数进一步表明，即使没有明确的推理机制，模型的问题解决效率仍然保持一致。

DeepSeek模型在SWE-rebench两个子集和SWE-bench Verified基准上都展示了开源模型中最强的性能。值得注意的是，DeepSeek-V3的12月和3月版本在解决率和pass@5方面始终优于其他开放模型，突显了它们对任务分布变化的稳健性。

研究局限性与未来工作

尽管SWE-rebench自动化管道和由此产生的数据集旨在解决大规模、真实世界任务缺乏和去污染基准的需求，但研究团队也坦诚地指出了几个局限性：

首先是自动化任务质量评估的局限。虽然他们采用了自动化质量评估，但完全自动化的管道可能导致一些任务描述不完善或仅凭问题无法解决。这可能导致与手动整理的基准相比，绝对成功率较低。

其次是有限的语言多样性。SWE-rebench的初始版本及其底层数据集专注于基于Python的任务。从根本上说，他们的管道是与语言无关的，可以扩展到包含使用其他编程语言的项目的任务。

对于未来的工作，研究团队计划集中在几个关键领域：

扩大数据覆盖范围和数量。他们的目标是通过将收集方法从严格与GitHub问题相关的任务扩展到更广泛的代码更改集，显著增加数据集的数量。

改进任务过滤管道。为了提高提取任务的整体质量，他们计划改进在管道中使用的过滤启发式方法。

支持新的编程语言。应用相同的核心方法，他们计划为其他流行语言（如JavaScript、Java、C++）收集数据集，从而扩展SWE-rebench的语言和技术多样性。

保持SWE-rebench基准的最新性。维护对现有模型的评估过程，评估更广泛的LLM，并与社区分享详细的性能分析。

结论与影响

归根结底，Nebius团队引入的这个自动化数据收集管道和SWE-rebench基准为开发和评估下一代LLM基础的代理提供了一个至关重要的基础，这些代理能够应对真实世界的软件工程挑战。

想象一下，这就像是为足球教练们提供了一个自动化系统，不断从世界各地的比赛中收集新的战术动作和训练素材，同时确保在全新、未见过的比赛场景中公平评估球员的能力。这样的系统不仅能加速球队的进步，还能确保我们对球员能力的评估是真实可靠的。

对于软件开发领域，SWE-rebench的出现意味着我们能够开发出更加强大、更加适应实际开发环境的AI助手，它们能够理解复杂的代码库，解决真实的软件问题，并在开发过程中提供有价值的帮助。这不仅能提高开发效率，还能降低软件bug的发生率，最终为用户提供更加可靠、高质量的软件产品。

对于想深入了解这项研究的读者，可以在Hugging Face Datasets上访问SWE-rebench数据集，或者通过arXiv:2505.20411v1查阅完整的研究论文。这项创新工作无疑将推动软件工程AI助手的快速发展，为编程世界带来更多可能性。