MigrationBench：AWS AI Labs打造的Java代码迁移基准测试平台，让AI助力软件升级

随着人工智能技术的飞速发展，大型语言模型（LLMs）正在软件工程领域展现出惊人的能力。这项由AWS AI Labs团队（包括Linbo Liu、Xinle Liu、Qiang Zhou、Lin Chen、Yihan Liu、Hoan Nguyen、Behrooz Omidvar-Tehrani、Xi Shen、Jun Huan、Omer Tripp和Anoop Deoras）于2025年5月发布的研究，带来了一个全新的基准测试平台：MigrationBench，专注于从Java 8到最新长期支持版本（Java 17、21）的代码迁移任务。这个研究成果已在arXiv上发布（arXiv:2505.09569v2），同时代码和数据集已开源在GitHub和Hugging Face上供研究者使用。

为什么代码迁移很重要？

想象一下，你有一栋建于20世纪90年代的老房子，虽然结构良好，但所有电器和管道都是那个时代的产物。随着时间推移，新的电器更节能，新的管道系统更安全，你面临一个选择：继续使用老旧但熟悉的系统，还是升级到更现代、更安全、更高效的新系统？在软件世界中，这就是代码迁移的核心问题。

Java是过去20年里最流行的编程语言之一，大量企业和组织的核心系统都建立在Java 8上。然而，随着Java 17和21等新版本的发布，开发者面临着如何将旧代码升级到新平台的挑战。这不仅仅是简单地更换几行代码那么简单，而是需要全面考虑整个代码库的各个方面，就像翻新整栋房子而不是仅仅更换一个灯泡。

研究者们注意到，虽然已经有很多基准测试平台评估LLMs在代码生成和问题解决方面的能力，但专门针对代码迁移这一复杂任务的基准测试却几乎没有。这就像有很多测试可以评估一个人修理单个管道的能力，但没有测试可以评估一个人改造整栋房子水电系统的能力。

MigrationBench：首个大规模代码迁移基准测试

MigrationBench填补了这一空白，它是第一个专注于代码迁移的大规模基准测试平台。想象一下，研究者们精心挑选了5,102个Java开源项目，这些项目就像5,102栋不同的房子，结构各异，大小不同，用途多样。他们的任务是测试AI模型能否成功地将这些"房子"从Java 8的标准升级到Java 17的标准。

为了让测试更加严谨，研究团队还特别挑选了300个具有代表性和挑战性的项目，形成了一个名为"selected"的子集。这就像从5,102栋房子中选出300栋特别复杂、特别有特色的房子，专门用来测试高级"翻新专家"的能力。

此外，他们还提供了另一个名为"UTG"的数据集，包含4,814个没有测试用例的项目。这些项目就像没有验收标准的房子，需要先建立验收标准，然后再进行翻新工作。

数据集的精心打造

创建一个高质量的代码迁移数据集并不容易。研究团队采用了严格的多步骤流程来确保数据集的质量和可靠性：

首先，他们应用了许可证和代码库质量过滤器，确保所有项目都遵循MIT或Apache 2.0许可证，且至少有3个GitHub星标，表明这些项目有一定的质量和社区认可度。这就像确保所有被选中的房子都有合法的产权证明，且达到了基本的居住标准。

其次，他们只选择使用Maven构建工具的项目，这样可以标准化测试和评估过程。这相当于选择那些使用标准电路系统的房子，便于统一改造。

然后，研究团队开发了一套算法来找到每个项目的最佳起始点（基础提交ID或Hb）。这个过程就像找到房子的原始设计图，确保我们从正确的起点开始改造工作。

最后，他们还进行了去重和分区处理，确保数据集没有重复项目，并基于测试用例的存在与否将其分为两个互补的子集。这相当于确保我们不会重复评估相同的房子，并根据房子是否有验收标准将其分类。

如何评估迁移成功？

评估代码迁移的成功并不像评估代码生成那样简单明了。在代码生成中，我们通常有一个标准答案可以比较；但在代码迁移中，可能有多种方式可以成功迁移一个项目，且迁移后的代码可能与原始代码有很大不同。

研究团队提出了一个全面的评估框架，通过几个关键指标来近似评估迁移的功能等效性：

第一，最基本的要求是迁移后的代码能够成功构建并通过所有现有的单元测试和集成测试。这就像确保翻新后的房子所有电器都能正常工作。

第二，编译后的类文件必须是Java 17版本（主版本号为61），这确保编译器真正使用了Java 17。这相当于确保新安装的电器确实是使用新标准而不是旧标准运行。

第三，测试方法的列表必须保持不变，确保迁移过程没有重命名或删除测试方法。这就像确保房子的安全检查清单保持完整，没有跳过任何检查项。

第四，测试用例的数量不能减少，这防止通过禁用测试来"作弊"。这相当于确保所有安全检查都真正执行了，而不是简单地从清单上划掉。

基于这些要求，研究团队定义了"最小迁移"成功率（ηminimal）：通过所有这些检查的项目数量除以总项目数量。

此外，他们还定义了"最大迁移"成功率（ηmaximal），这需要在上述所有要求的基础上，还要将所有依赖库升级到最新的主版本。这就像不仅翻新房子的基础设施，还要将所有家电更换为最新型号。

SD-Feedback：AI驱动的代码迁移解决方案

为了解决代码迁移任务，研究团队开发了一个名为SD-Feedback的方法，灵感来自于自调试（self-debugging）技术。这个方法就像一个聪明的装修顾问，能够逐步解决迁移过程中遇到的各种问题。

SD-Feedback的工作流程是这样的：当系统遇到构建错误或测试错误时，它会利用大型语言模型（LLM）的代码理解和推理能力，逐个解决这些错误。关键在于它提供了两种类型的反馈：

语法反馈：当LLM无法生成有效的代码补丁时，系统会提供具体的格式指导。这就像告诉装修工人"你拿错了工具，这不是适合这个任务的扳手"。

语义反馈：当生成的补丁在语法上是有效的，但没有解决实际问题时，系统会提供更深层次的反馈。这就像告诉工人"虽然你换了新的灯泡，但问题实际上出在电线上"。

通过这种反馈循环，系统能够不断调整和改进迁移策略，直到成功解决所有问题。

实验结果：AI能有效完成代码迁移吗？

研究团队使用AWS Bedrock平台上的两个LLM模型进行了实验：Llama-3.1-70B-Instruct和Claude-3.5-Sonnet-v2。实验结果令人振奋。

对于"selected"子集（300个具有挑战性的项目），使用Claude-3.5-Sonnet-v2模型和SD-Feedback方法，最小迁移成功率达到了62.33%，最大迁移成功率为27.33%。相比之下，基准方法OpenRewrite的成功率分别只有24.33%和7.33%。

这意味着AI模型能够成功升级近三分之二的复杂Java项目到Java 17，并且能够将超过四分之一的项目同时升级其所有依赖库到最新版本。这就像一个装修顾问能够成功翻新三分之二的复杂老房子，并为四分之一的房子同时更换所有家电到最新型号。

研究还发现，当只需解决编译错误而不运行测试时，Claude模型的成功率甚至能达到91.00%（最小迁移）和52.33%（最大迁移）。这强调了测试覆盖率在代码迁移中的重要性，就像在房屋翻新后进行全面检查一样重要。

另外，研究者们还在一个随机抽样的188个普通项目子集上进行了测试，结果显示Claude模型的最小迁移成功率高达84.04%，最大迁移成功率为66.49%。这表明对于普通难度的项目，AI模型的表现甚至更好。

案例研究：成功的迁移示例

为了直观展示AI模型的迁移能力，研究者们提供了两个成功案例：

第一个案例是xmpp-light项目，需要将Spring Boot升级到最新的3.3版本。AI模型成功识别并修复了两个关键问题：Spring Security框架的API变化和ErrorController接口的简化。模型不仅正确地替换了已弃用的方法，还重新组织了安全配置结构，确保了代码在新版本中正常工作。

第二个案例是dust项目，AI模型识别出在Java 17中，ConstraintValidatorFactory接口新增了一个必需实现的releaseInstance方法。模型成功添加了这个方法的实现，保持了框架的正常运行。

这些案例展示了AI模型不仅能够处理简单的语法变化，还能理解框架和API的演变，进行复杂的代码重构。

研究的局限性和未来方向

尽管研究取得了令人印象深刻的成果，但研究者们也坦诚地指出了一些局限性：

首先，测试覆盖率和增强问题。当前的评估主要依赖现有测试用例，对于没有测试覆盖的代码行，很难保证功能等效性。未来研究可以探索如何通过自动生成单元测试来增强评估。

其次，代码迁移质量的度量问题。虽然提出了一系列评估要求，但这些可能仍不足以确保高质量的代码迁移。未来需要更全面的评估标准，不仅确保代码能工作，还要确保代码采用了现代和符合习惯的编程风格。

结论：AI正在改变软件升级的方式

MigrationBench研究为我们展示了一个令人兴奋的未来：大型语言模型可以有效地处理复杂的代码迁移任务，从Java 8升级到Java 17。这不仅仅是一个学术成就，它还有巨大的实际应用价值。

想象一下，全球有数百万个Java项目仍在使用Java 8，而手动迁移这些项目可能需要数十亿小时的开发工作。AI辅助的代码迁移可以大大加速这个过程，释放开发者的时间去关注更具创造性和战略性的任务。

这项研究也为未来指明了方向。随着LLMs能力的不断提升，我们可以期待更高的迁移成功率和更高质量的迁移结果。同时，MigrationBench提供的基准测试平台将帮助研究者们开发和评估更先进的代码迁移技术。

对于软件工程师来说，这意味着一个全新的工作方式：不再需要手动处理繁琐的代码迁移任务，而是可以借助AI的力量，更快、更可靠地完成这些工作。就像现代家庭不再需要手动洗衣服，而是使用洗衣机一样，软件工程师也将拥有强大的AI工具来处理代码迁移这类复杂但机械的任务。

这项研究的完整数据集和源代码已在GitHub（https://github.com/amazon-science/MigrationBench）和Hugging Face（https://huggingface.co/collections/AmazonScience）上开源，感兴趣的读者可以进一步探索和使用这些资源，参与到这个激动人心的研究领域中来。