韩国大学与NAVER Cloud AI联手：让AI"分头行动再合并"，训练效率大幅提升

这项由韩国大学、NAVER Cloud AI与韩国科学技术院（KAIST AI）联合完成的研究，发表于2026年第43届国际机器学习大会（ICML 2026），收录于PMLR第306卷，论文编号为arXiv:2606.01717。感兴趣的读者可通过该编号在arXiv平台查阅完整论文。

当一个大型AI系统需要同时学习成百上千种不同的任务时，会发生什么？你可以把这个过程想象成一家餐厅同时接待了一百桌客人，每桌都点了完全不同风格的菜：有的要精致法式料理，有的要辣炒川菜，有的要清淡日料，还有的要甜点下午茶。如果餐厅只有一个厨师，他必须在同一口锅里同时满足所有人的口味，最终结果往往是什么都做不好——菜既不够辣，也不够清淡，失去了各自的特色。

大型语言模型（比如我们日常使用的ChatGPT这类AI）的训练面临的正是这个困境。研究人员为了让AI更聪明、更全面，会把海量不同类型的任务数据混在一起训练，这个过程叫做"指令调优"。然而，当这些任务的学习信号方向互相冲突时，AI就会像那个可怜的厨师一样手忙脚乱，导致整体学习效果不升反降。

研究团队针对这个棘手问题提出了一个听起来简单却相当巧妙的方案：与其让一个厨师同时应付所有人，不如把厨师分成几组，每组专门负责口味相近的菜系，最后再把各组的成果合并成一份完整的菜单。这套方案被研究团队命名为MERIT，即"合并就绪指令调优"（Merge-Ready Instruction Tuning）。

一、为什么AI同时学太多东西会出问题

要理解MERIT解决的是什么问题，先得弄清楚AI训练中的"梯度冲突"到底是什么回事。

在AI训练过程中，每个数据集都会给模型一个"学习方向"，告诉模型"你应该往这个方向改进"。这个方向在数学上叫做"梯度"。当你同时喂给AI很多不同任务的数据时，不同任务给出的"方向"可能完全相反——一个任务告诉模型"向左走"，另一个任务同时告诉它"向右走"。两个方向互相抵消，模型就原地打转，什么进展都没有。

这就好比你在学骑车，同时有两个老师站在你两侧，一个拉你向左，另一个拉你向右，你骑得越努力，反而越不稳。这种情况在数学上叫做"梯度干涉"或"负迁移"，是多任务学习中的经典难题。

更麻烦的是，在训练特别大的模型时，传统的解决方案根本没法用。比如有一种叫PCGrad的方法，可以在每一步训练时实时调整各任务的梯度，避免冲突。但研究团队计算发现，在他们的实验规模下（136个任务、30亿参数的模型），这种方法仅仅是存储所有任务的梯度就需要约816GB的显存，而他们的实验设备总显存才256GB，完全装不下。于是这条路被堵死了。

除了优化方面的问题，训练大型AI还面临另一个现实困难：跨机器同步。通常AI训练需要多台服务器同时运行，服务器之间每一步都要互相交换训练信息（专业术语叫"all-reduce梯度同步"）。这要求服务器之间有极高速的网络连接。一旦网络稍慢，整个训练就会卡住等待。在现实世界中，很多公司的GPU资源是分散在不同地方的，或者来自云服务的临时算力，根本无法保证高速网络连接。

这两个问题——梯度冲突和通信瓶颈——缠绕在一起，构成了当前大规模AI训练的核心难题。

二、MERIT的核心思路：分组训练，然后合并

MERIT的核心策略可以用一句话概括：把相互冲突的任务分开训练，最后合并成一个模型。

回到餐厅的比喻：与其让一个厨师同时应付所有风格迥异的菜单，不如先观察哪些口味彼此相容（比如川菜和湘菜都走辣路线），哪些口味格格不入（比如甜点和麻辣火锅），然后按照冲突程度把任务分成几组，每组交给一个独立的厨师团队专心钻研，最后把各团队的烹饪技能融合到一个厨师身上，就能得到一个全能而不分裂的顶级厨师。

具体来说，MERIT分五个步骤工作。

第一步是"量化冲突"。研究团队先在一个已经过基础训练的模型上，用每个数据集的少量样本（每个数据集最多200个例子）计算出这个数据集的"学习方向"（梯度），然后两两比较所有数据集的方向有多相似或多冲突。这个相似度的计算方法叫做"余弦相似度"，数值接近1表示方向一致，接近-1表示方向完全相反。最终形成一张任务间冲突关系的大表格，记录了所有任务对之间的相互关系。

第二步是"找出主要冲突轴"。面对一张136×136的冲突关系表格，如何找到最关键的分歧所在？研究团队用了一种叫PCA（主成分分析）的数学工具，把这些复杂的冲突关系压缩成几个最重要的"冲突方向"。你可以把它想象成：一个大家庭里，所有成员在很多话题上意见不一，但最核心的分歧其实只有两三个：政治立场、对金钱的态度、生活方式偏好。找到这几个核心分歧，就能把家庭成员按立场清晰分组。

第三步是"按冲突分组"。沿着找出的主要冲突轴，把所有数据集分成若干组，让同一组内的数据集方向尽量一致、不同组之间尽量冲突。同时，为了让每组的数据量大致相当，分组时会参考每个数据集的样本数量，避免一组数据极少、另一组数据爆满的不平衡情况。研究团队尝试了把数据分成2组（1D分割）、4组（2D分割）和8组（3D分割）三种方案。

第四步是"独立训练"。把各组数据集分好之后，每组数据集独立训练出一个模型，从同一个起点（基础模型）出发，互相之间完全不需要通信，可以在完全隔离的硬件上并行运行。这就是"去中心化"训练的核心：各干各的，互不打扰。

第五步是"加权合并"。所有分支训练完成后，根据每组数据集包含的token（可以理解为AI处理的最小文字单元）数量，按比例对各个分支模型的参数取加权平均，合并成一个最终模型。数据量大的组权重稍高，数据量小的组权重稍低。整个合并操作只需要一次，计算量非常小。

三、为什么这样做在理论上说得通

研究团队不满足于仅仅展示实验效果，他们还建立了一套完整的数学理论来解释MERIT为什么有效。理解这个理论不需要数学背景，只需要跟着这个比喻走。

核心理论建立在一个关键前提上：经过充分预训练的模型，周围的"损失地形"（可以理解为模型性能的地图）是平坦宽阔的盆地。平坦意味着什么？意味着你从盆地中央出发，朝不同方向走一段路，最终回到中央时，无论走了哪条路，你都还在盆地里，而不是掉进了深沟。

研究团队验证了这一点：他们把各分支训练出来的四个模型参数两两连接成直线，检查直线上任意一点的性能，发现性能从未比两端更差。这叫做"线性模式连通性"，是模型处于平坦盆地的最强证明。

在这个平坦盆地的前提下，数学推导给出了三个漂亮的结论。

第一个结论是：合并一定不亏。在数学上可以严格证明，合并后模型的损失（越低越好）一定不高于各分支损失的加权平均。换句话说，合并后的厨师一定不比各分支厨师的平均水平差，通常还会更好。提升的幅度用一个叫"曲率加权方差"的量来刻画：各分支模型在参数空间里分布越分散，而且这种分散恰好落在模型性能最敏感的方向上时，合并的提升就越大。

第二个结论是：PCA分割能最大化合并收益。为什么非要按照梯度冲突的PCA方向分组，而不是随机分？理论证明，按PCA方向分组能让各分支模型在参数空间里沿着"曲率最大"的方向分散——通俗地说，就是让分支们在最关键的方向上尽量拉开距离，合并时能消去最多的性能损耗。随机分组也能有一定提升，但比不上按冲突方向精确分组。

第三个结论是：合并还有隐式正则化效果。模型训练过度往往会导致"记住了训练数据却忘了如何泛化"的过拟合问题。合并操作有一个数学上的性质：合并后的模型与出发点（基础模型）的距离，严格小于各分支模型与出发点距离的平均值。也就是说，合并把模型"拉回"了更靠近起点的位置，这本质上是一种正则化，有助于提升模型在新数据上的表现。

研究团队在实验中观察到了一个看似矛盾的现象：合并后的模型在训练数据上的损失比联合训练模型高出很多（训练损失差距在0.5到1.3之间），但在测试基准上的性能却更好。这正是隐式正则化在起作用的标志性现象——模型没有过度拟合训练数据，而是学到了更通用的能力。

四、实验证明：确实有效，而且效果相当稳定

理论再漂亮，也需要实验来检验。研究团队进行了多组系统性实验，从3B（30亿参数）规模到7B（70亿参数）规模，从多模态理解到纯文本任务，全面验证了MERIT的效果。

在规模最小、对照最严格的3B实验中，研究团队使用了Qwen2.5-VL-3B这个模型，在136个视觉-语言任务上训练，用8个多模态基准测试来评估效果。基准测试涵盖了通用多项选择理解（SeedBench、MMBench）、开放式对话质量（LLaVA-Wild、MMVet）、文字识别（TextVQA）、图表理解（AI2D）、数学推理（MathVista）和跨学科综合理解（MMMU）。

联合训练1个epoch（即把所有数据混在一起训练一轮）的平均得分是54.3分。MERIT的最佳版本（3D分割、8组）达到了57.0分，提升了2.7分。这个提升在整个榜单上来看是显著的，而且是在完全相同的数据量和计算量下取得的。研究团队为了排除随机因素，把这个对比重复了5次（5个不同的随机种子），每次MERIT都赢过联合训练，通过了统计显著性检验（p值为0.03125，低于5%的显著性门槛）。

与随机分组相比（同样分成8组但随机分配任务），随机分组得到54.5分，而MERIT的3D分割达到57.0分，差距高达2.5分。这个差距完全来自"如何分组"的选择，充分说明按梯度冲突方向分组的重要性。

研究团队还和另一种基线方法做了比较：模型汤（Model Soup）。这种方法是把多个在完整数据集上训练的模型（只有随机种子不同）取平均，相当于"不分组、只平均"。最好的模型汤（3个模型取平均）得到55.0分，低于MERIT的57.0分。可见MERIT的提升不只来自"多模型平均"这个操作本身，更来自"如何把数据分割"这个关键决策。

在7B规模的大规模实验中，研究团队构建了自己的视觉-语言模型，使用包含176个数据源、共160万个样本的大规模数据集进行微调。在弱基础模型和强基础模型两种出发点上，MERIT都超过了联合全参微调：弱基础模型上从54.9提升到55.4，强基础模型上从60.9提升到61.5。跨3个独立训练种子的实验显示，MERIT在每次都赢过联合训练，结果相当稳定。

研究团队还特别注意到一个联合训练的"副作用"：在开放式问答任务（LLaVA-Wild）上，联合训练会导致模型输出极度简短，原本能写出长篇详细回答的模型，经过联合训练后只会输出两三个词。这个现象被称为"短答案崩溃"。以7B强基础模型为例，联合训练把LLaVA-Wild的得分从基础模型的67.1分打到了50.2分，而MERIT仍然维持在66.2分，几乎没有退步。这说明MERIT在保留模型原有能力方面更加稳健。

在纯文本任务上，研究团队用Qwen2.5-3B在66个FLAN文本任务上做了实验，涉及知识问答、常识推理、文本推理和问题求解等8个基准。结果同样令人满意：MERIT-2D（4组分割）达到58.4分，比联合训练1个epoch（57.6分）高0.8分，与联合训练2个epoch（58.3分）持平，但只用了一半的计算量。这说明MERIT的原理不仅在图文混合任务上有效，在纯文字任务上同样奏效。

五、分组方式的细节：为什么PCA比聚类更好

研究团队不只比较了PCA分割和随机分割，还和另一种常见的分组方法——K-means聚类——做了对比。K-means聚类的思路是把梯度方向相似的任务归为一组（把"同类"放在一起），而MERIT的PCA分割是沿着最大冲突方向分割（把"最不同"的放在不同组）。

这两种策略听起来像是"物以类聚"和"求同存异"的对立，实验结果揭示了哪种更有效：MERIT的PCA分割在各项指标上都超过了K-means聚类。原因在于，MERIT的目标不是让每组内部和谐，而是让不同组之间的更新方向尽量拉开距离，从而在合并时能产生最大的互补效应。K-means试图把"志同道合"的任务聚在一起，但这不是合并时最需要的属性。

研究团队还尝试了另一种"极端冲突"的分组方式：从最冲突的任务对出发，用贪心策略最大化组间冲突。这种方法得到的平均分是54.9，低于MERIT的PCA方法，说明极端冲突并非越多越好，PCA找到的是在各方向上均衡分布的冲突轴，而非单纯追求最大化冲突。

六、合并方法的选择：简单的加权平均最好用

既然已经有了多个分支模型，为什么不用更先进的合并技术？研究团队测试了四种当前最先进的后处理合并方法，分别是TIES、STAR、TSV和Iso-CTS，用它们替换MERIT默认的加权平均来合并7B模型的4个分支。

结果令人吃惊：简单的加权平均得到55.5分，而TIES只有50.4，STAR只有41.0，TSV只有46.1，Iso-CTS只有45.4。那些更复杂的合并方法反而大幅落后。

原因在于，那些高级合并方法是为了处理"在同一任务上用不同设置训练的多个模型"而设计的，目标是去掉重复冗余的信息，保留核心能力。但MERIT的各分支并不冗余——每个分支学的是其他分支没有见过的任务子集，各分支携带的是互补信息而非重复信息。高级合并方法在试图"去重"时，反而把各分支独有的宝贵信息删除掉了。加权平均则完整保留了所有分支的贡献，正好适合MERIT这种互补分支的场景。

七、效率：多花多少时间，值不值得

MERIT多出来的工作分为一次性预处理和重复的训练开销两部分。

预处理阶段需要为每个数据集计算梯度（136个数据集约1.6小时，176个数据集约2小时），然后计算余弦相似度矩阵（约28-38分钟），最后做PCA（不到1秒）。这个预处理只需要做一次，之后每次用同样的数据集组合训练时都不需要重新计算。如果后来加入新的数据集，也只需要计算新数据集与已有数据集之间的相似度，不需要重新计算所有数据对。

在3B规模实验中，MERIT（3D分割，8组）的总训练时间是5小时24分钟，联合训练1个epoch是4小时22分钟，联合训练2个epoch是8小时40分钟。MERIT比联合训练1个epoch多花约24%的时间，但效果远好于2个epoch的联合训练，而时间只有后者的62%。在7B规模实验中，由于并行训练的规模扩大，额外开销相对更小，MERIT只比1个epoch联合训练多花21分钟，增加幅度仅0.8%。

为了降低梯度计算的成本，研究团队还引入了一个采样技巧：不计算完整的梯度向量，而是每隔5个参数抽取一个（只保留20%），然后用这个稀疏梯度来计算余弦相似度。实验证明，这样计算出来的余弦相似度与完整梯度计算结果的Pearson相关系数高达0.9884，几乎完全一致，大幅降低了计算量而几乎不损失精度。

八、这一切背后更深层的理解

研究团队在论文中花了相当篇幅，从数学角度严格证明为什么PCA分割比随机分割更好。这里用一个具体的小例子来直观感受这个证明的精髓。

假设只有4个数据集，模型只有2个参数可以调，而且一个参数的调整敏感度是另一个的10倍（用数学语言说，Hessian矩阵的两个特征值比例是10:1）。数据集的理想参数分别在四个角：(正,正)、(负,正)、(正,负)、(负,负)。

现在考虑三种分组方式：第一种，按敏感参数方向分组，得到[(正,正)+(正,负)] vs [(负,正)+(负,负)]；第二种，按不敏感参数方向分组；第三种，对角分组，两个组的均值相互抵消。

可以计算出，第一种分组的合并收益是第二种的 (λ?/λ?)? = 1000倍。换句话说，沿着最敏感（曲率最高）方向分组，合并时能释放出1000倍于沿不敏感方向分组的收益。这就是为什么MERIT要用PCA找到最高曲率的冲突方向——因为那才是合并时真正有价值的地方。

同时，研究团队还证明了梯度冲突和曲率之间的深层联系：在他们的数学模型里，梯度就等于曲率矩阵乘以各任务理想参数之差。这意味着，任务梯度方向差异最大的地方，恰恰就是模型曲率最大、合并收益最丰厚的地方。PCA分析梯度冲突，本质上就是在找曲率最高的方向，两者指向同一个目标，这正是MERIT理论自洽的关键所在。

归根结底，MERIT做到的是一件听起来朴素但实际上需要相当理论深度才能支撑的事：把一个大问题拆分成若干个小问题，各自解决，然后把答案合起来，而且保证合起来的答案比直接解决大问题还要好。这种"分而治之再合并"的思路在工程领域并不陌生，但在AI训练中，能在理论上严格证明"合并一定不亏"并找到"最优分法"，是这项工作的核心贡献。

对于AI训练领域来说，这项研究打开了一扇新的窗口：也许未来的大规模AI训练，不再需要把所有机器连在一个高速内网里同步协调，而是可以分散到全球各地的独立计算节点上，各自训练各自的任务子集，最后只做一次轻量级的参数合并，就能得到比集中训练更好的模型。这对算力资源分散的中小机构来说，可能是一个特别值得关注的方向。

---

Q&A

Q1：MERIT方法中"梯度冲突"是什么意思，对AI训练影响有多大？

A：梯度冲突是指不同任务的数据在训练AI时给出方向相反的学习信号，就像两个人同时向不同方向拉扯同一个人，结果谁的意图都没法完全实现。在有136个任务的大规模训练中，这种冲突会严重拖累模型整体性能，MERIT通过把冲突任务分组独立训练来彻底避免这个问题。

Q2：MERIT合并模型时为什么用简单加权平均，而不用TIES或STAR这些更先进的合并方法？

A：TIES、STAR等高级合并方法是为处理"用不同参数在同一数据上训练的多个模型"而设计的，目的是去掉重复信息。但MERIT的各分支训练的是不同任务子集，携带的是互补信息而非重复信息，高级方法在"去重"时会误删各分支独有的能力。实验证明加权平均比这些方法高出5到15分。

Q3：MERIT需要额外花多少计算时间，对普通团队来说代价高吗？

A：MERIT的一次性预处理（梯度计算加相似度矩阵）约需2小时，之后每次训练的额外开销在3B规模约多24%时间，在7B规模仅多0.8%。这个代价换来的是超过联合训练2个epoch的效果，且因为完全不需要机器间梯度同步，对网络带宽有限的分散算力环境尤其友好，总体来说代价相当合理。