Mergenetic：一款简单易用的进化式模型合并工具库｜让普通GPU也能创造顶尖语言模型

在人工智能快速发展的今天，大语言模型（LLMs）的进步令人瞩目。2025年5月，来自罗马萨皮恩扎大学和洛桑联邦理工学院的研究团队发布了一项创新工具——Mergenetic，这是一个开源的进化式模型合并库。该研究由Adrian Robert Minut、Tommaso Mencattini（两位第一作者贡献相同）、Andrea Santilli、Donato Crisostomi和Emanuele Rodolà共同完成，论文发表在arXiv预印本平台（arXiv:2505.11427v1）。感兴趣的读者可以通过GitHub链接（https://github.com/tommasomncttn/mergenetic）访问这个项目。

想象一下，如果你有几个各自擅长不同任务的大语言模型，是否可以像搭积木一样把它们的优点组合起来，创造一个全能选手？这正是模型合并（Model Merging）技术的核心理念。就像厨师将不同食材的精华融合成一道美味佳肴，模型合并允许研究人员将已有模型的能力无缝结合，而不需要从头训练。这种方法不仅节省了计算资源，而且在实践中展现出惊人的效果——目前在Hugging Face开放大语言模型排行榜上，约30%的模型都是通过合并技术创建的。

然而，找到最佳的"合并配方"并不容易。就像烹饪中需要反复试验调整配料比例才能找到最佳口感一样，简单地将模型混合在一起通常无法达到最佳效果。这时，进化算法（Evolutionary Algorithms）闪亮登场。这些算法模拟了自然界的进化过程，通过反复尝试不同的合并参数，选择表现最好的"后代"，并继续改进，最终找到最优的合并策略。

虽然这种进化式模型合并方法已被证明非常有效，但研究人员面临两个关键挑战：首先，目前没有专门的工具库支持在语言模型中灵活尝试不同的进化算法和合并方法；其次，这些方法通常需要在进化数据集上重复评估以计算适应度函数，这使得整个过程比标准合并技术更耗费计算资源。这些限制阻碍了许多研究人员和爱好者尝试这种强大的技术。

Mergenetic正是为解决这些问题而生。这个工具库建立在流行的MergeKit和PyMoo进化框架之上，提供了四大核心功能。第一，它支持19种进化算法和6种合并策略，包括经典的遗传算法和最先进的NSGA-II等多目标优化方法。第二，为了减少适应度评估的计算负担，它支持数据集抽样和先进的近似技术，使得即使在普通消费级GPU上也能高效进行评估。第三，它与LM-Eval-Harness无缝集成，提供超过8000个任务和指标用于适应度计算，同时用户也可以定义自己的适应度函数。第四，它提供了灵活的Python API、命令行界面和图形用户界面，使得从专业研究人员到普通爱好者都能轻松上手。

作为一个比喻，Mergenetic就像是一位经验丰富的调酒师，通过不断尝试不同的配方比例，最终调制出一杯口感绝佳的混合鸡尾酒。而传统的模型合并则更像是按照固定配方混合饮料，虽然简单，但往往无法达到最佳效果。这个工具库的目标是让每个人都能成为"AI调酒师"，即使只有一台普通电脑，也能调制出专业水准的大语言模型"鸡尾酒"。

让我们更深入地了解Mergenetic的工作原理和设计思路。

一、背景与相关工作

在深入Mergenetic之前，我们需要理解模型合并和进化算法这两个基础概念。

模型合并，顾名思义，是将多个已训练好的模型组合成一个新模型的技术。想象你有几个朋友，每个人都在某一方面特别擅长：有人数学好，有人文学好，有人善于解决逻辑问题。模型合并就像是把这些朋友的知识和技能以某种方式融合到一起，创造出一个"全能型朋友"，而不需要花费大量时间重新培养一个人的所有能力。

在AI领域，模型合并已经成为一种强大且高效的替代方案，它避免了传统集成学习（将多个模型的预测结果取平均）的计算开销。Mergenetic专注于多任务场景，旨在合并同一个预训练模型的不同微调版本。例如，我们可能有一个基础模型，它分别被微调用于解决数学问题、翻译不同语言和创作诗歌。通过合并这些专精模型，我们可以得到一个能同时胜任这些任务的综合模型。

进化算法则是一类受自然进化启发的优化技术。想象一下野生动物如何适应环境：每一代中，那些更适应环境的个体有更高的机会存活并繁殖，将自己的基因传递给下一代。随着时间推移，整个种群变得越来越适应环境。进化算法模拟了这一过程，它操作一组候选方案（称为"种群"），通过选择、突变、重组和交叉等操作使其"进化"。

在进化算法中，适应度函数是一个关键组件，它量化每个候选方案的质量，引导进化过程偏向表现更好的解决方案。应用到模型合并上，进化式合并技术自动搜索有效的合并配方，使用合并模型在验证数据集上的表现作为适应度函数。

与其他库相比，Mergenetic最相近的是MergeKit，它提供了基础的合并策略（如TIES、DARE、SLERP等）。但在搜索能力方面，MergeKit仅支持一种进化算法（CMA-ES），限制了在优化过程中的灵活性。更重要的是，MergeKit假设适应度函数必须在完整评估数据集上计算，大大增加了运行时间和计算需求，使整个过程在消费级GPU上几乎不可行。相比之下，Mergenetic支持子采样评估和先进的适应度估计技术，显著降低了评估成本，使高质量合并能够在单个GPU上高效进行。

二、设计原则与系统架构

Mergenetic的设计反映了它支持广泛进化模型合并实验的目标，特别是在消费级硬件上。它遵循三个关键设计原则：研究导向、用户友好和计算效率。

从研究角度看，Mergenetic希望研究人员能够轻松探索和比较不同的进化算法、合并策略和优化目标。它不会将用户限制在固定的方法中，而是支持灵活混搭合并方法（如TIES、DARE等）、进化算法（如GA、NSGA-II等）和评估后端。这种模块化设计支持系统性实验，例如比较单目标与多目标合并，或测试不同数据采样策略。

为了让各种背景的用户都能使用这一技术，Mergenetic设计为既配置中心化又用户友好。用户可以通过简单的YAML文件、命令行界面或交互式图形界面定义合并、任务、算法和评估器，最大程度减少大型实验通常需要的工程开销。该库针对消费级GPU进行了优化，支持近似评估方法（如基于IRT的估计器）、数据集子采样和部分模型加载。

从功能上看，Mergenetic可以分为五个核心模块：工作流定义（Python API、CLI、GUI）、执行合并（Merger）、制定优化问题（Optimization）、评估合并模型（Evaluator）和协调进化循环（Searcher）。每个模块都有明确的职责，共同构成了一个完整的进化模型合并系统。

三、Mergenetic的四大组件

让我们深入了解Mergenetic的四个核心组件：接口、合并器、优化器和评估器。

Mergenetic提供了三种交互方式：Python API、命令行界面（CLI）和图形用户界面（GUI）。Python API最为灵活，适合希望自定义合并工作流的高级用户。用户可以实例化一个优化问题（如合并多个语言模型），从PyMoo选择一个算法，然后调用searcher.search()启动进化过程。一个典型的工作流程包括：定义评估数据集和相关性能指标，实例化一个Merger指定如何组合权重，将这些传递给MergingProblem类（描述进化搜索空间和目标），选择一个遗传算法（如NSGA-II、GA、DE等），运行搜索，然后可以选择对最佳方案调用.test()进行测试。

对于那些不想手动编写脚本的用户，Mergenetic CLI是一个不错的选择。它通过交互式向导引导用户选择模型、任务、算法和合并方法。这种方式让用户快速原型化合并，无需编写代码。而基于Gradio的图形界面则提供了更直观的操作方式，特别适合非技术用户，它以分步向导形式引导用户：加载基础模型、指定任务/语言、设置进化参数，以及实时记录运行合并的全过程。

合并器（Merger）模块负责处理核心的权重组合逻辑，通过与MergeKit接口实现。每个合并器类（如SlerpMerger、TiesDareMerger、TaskArithmeticMerger）生成一个YAML配置，指定基础检查点、插值方法和合并系数。该配置传递给MergeKit，后者执行实际合并并生成新的模型检查点。合并器支持标准和多模型合并，包括像TIES结合DARE这样的高级策略。在优化过程中，进化算法提出权重组合，合并器将其转换为准备评估的实际模型。

在Mergenetic的核心，优化模块将模型合并视为黑盒优化问题。决策变量对应于合并配置文件中的目标参数（如插值或修剪系数）。目标函数定义了要优化的适应度标准，如准确性、复杂度或其他任务特定指标。MergingProblem类定义了如何将基因型转换为合并模型（通过调用Merger）、如何在数据集上评估合并模型（通过Evaluator），以及如何将结果适应度或多目标分数返回给算法。

Mergenetic支持各种单目标或多目标方法。单目标方法优化一个指标（如跨语言准确性），而多目标策略（如NSGA-II）可以同时平衡多个指标，例如数学准确性与一般流畅性。

评估器计算合并模型在所选任务上的性能。在Mergenetic中，它们既可以作为直接评估器（如在小数据集上运行），也可以作为基于IRT的估计器使用锚点。该库支持两大类评估器：

LM-Eval-Harness评估器可以直接调用LM-Eval-Harness库，传递合并的检查点和所选基准（如ARC、GSM8K）。这种方法覆盖了许多标准任务并产生一致的比较结果。然而，如果反复评估大型数据集的许多候选合并，它可能相对昂贵。为了解决这个问题，Mergenetic包装了LM-Eval-Harness，允许通过即插即用的ConfigPE进行显式子采样，无需实例化新的配置文件。

自定义评估器允许用户定义自己的正确性计算逻辑，例如MultilingualMathFGEvaluator（检查最终提取的数字是否正确且符合目标语言），或MultipleChoiceEvaluator（比较所选字母与正确答案）。这些评估器使高级用户能够轻松结合部分正确性检查与领域约束。

最后，Searcher类协调进化循环：它从随机基因型（权重向量）的初始化开始，接着进行合并/评估（每个基因型合并为检查点并在用户指定的任务/数据集上评分），然后是选择/变异（基于适应度选择父代基因型，通过交叉和突变修改以产生子代）。步骤2和3在主循环中重复T代。因此，Searcher类本质上将所有这些元素（Problem、Merger、Evaluator、PyMoo算法）封装在一个易用的API中。

整个搜索过程中，中间结果（种群基因型、部分解决方案、日志）存储在CSV或JSON中，便于实时监控。完成后，test()重新合并最佳解决方案并在未见测试集上评估它们，以量化最终性能。

四、实际案例研究

为了展示Mergenetic的能力，研究团队复现了两个进化模型合并管道：MERGE3和EvoLLM-JP。

在第一个案例中，研究人员展示了如何使用Mergenetic合并四种语言（意大利语、英语、德语和荷兰语）的单独微调模型，创建一个单一的多语言模型。这种设置将目标函数明确地制定为多任务，为每种语言分配一个评估指标，以促进平衡的跨语言性能。如结果所示，合并模型始终优于其所有语言特定组成部分，在ARC-Challenge基准测试中获得高达19%的准确率提升。最重要的是，它超越了所有端点，突显了进化合并在促进跨语言积极知识转移方面的有效性。

在第二个案例中，研究人员展示了Mergenetic支持跨语言技能迁移的能力。他们将专精于英语数学的模型与微调版本的日语Mistral-7B合并，并在GSM8K数据集的日语翻译版本上评估结果。这个实验遵循Akiba等人（2025）提出的通用设置，但仅使用100个样本进行适应度评估，而非完整数据集。结果显示，合并模型比每个单独组件的准确率提高了10-20%，证明了进化合并实现的有效跨语言迁移。

这些案例研究证明，Mergenetic能够在各种任务和语言环境中产生竞争性结果，仅使用适度的硬件资源。它不仅降低了进入门槛，还为研究人员和实践者提供了灵活的工具，探索高质量的模型组合，无需大规模基础设施。

五、局限性与未来展望

尽管Mergenetic显著降低了进化模型合并的门槛，但仍存在几个限制。首先，模型合并需要访问预训练或微调的基础模型，这些模型具有相关能力（如数学推理、特定语言流畅性）。因此，该技术目前无法直接应用于极低资源语言或没有这类模型的领域。未来工作可以探索在合并前集成轻量级微调或基于检索的增强，以减轻这种依赖。

其次，虽然Mergenetic设计用于消费级GPU，但仍需相对高端的硬件（如NVIDIA RTX 2080或更好），这是由于涉及语言模型的大小以及需要在进化过程中加载和评估它们。大多数笔记本电脑或低内存GPU可能没有足够的VRAM支持重复的合并和评估步骤。研究人员将此视为当前LLM基础设施的更广泛限制，并希望模型量化、稀疏评估和高效加载技术的进步将进一步民主化Mergenetic等前沿AI工具的访问。

展望未来，Mergenetic有望成为进化模型合并研究和应用的重要工具。它通过将尖端进化模型合并技术与实用性相结合，填补了现有工具的空白。研究人员希望该库能够推动多语言、多任务和高效进化模型合并的未来研究，并邀请社区在其能力基础上构建和扩展。

总结来说，Mergenetic代表了一个重要的进步，它让进化模型合并变得更加高效、可配置和可访问。通过弥合尖端进化模型合并与实用性之间的差距，它使研究人员和实践者能够在普通硬件上探索高质量的模型组合。这个简单而强大的工具库可能会促进多语言、多任务和高效进化模型合并的未来研究，并邀请社区在其能力的基础上构建和扩展。