让大型AI模型减肥变身，马普所等机构打造"瘦身"版训练新方法

这项由德国马普所智能系统研究所的邱泽驹、刘维阳等研究者领导的研究发表于2025年6月的arXiv预印本平台，论文编号为arXiv:2506.19847v1。有兴趣深入了解的读者可以通过spherelab.ai/oftv2访问完整论文和相关资源。

当下的人工智能世界正面临着一个有趣的矛盾：AI模型变得越来越聪明，但也变得越来越"胖"。这些动辄几十亿甚至上千亿参数的大型模型，就像是住在豪华别墅里的巨人，虽然能力强大，但维护成本也高得惊人。每次想要教会它们新技能，都需要动用大量的计算资源和内存，就好比要重新装修整栋别墅一样费时费力。

研究团队发现了一个巧妙的解决方案。他们注意到，训练AI模型其实很像给一个多面魔方重新排列颜色。传统的方法是把整个魔方拆开重组，而他们发现只需要巧妙地旋转几个面，就能达到同样的效果。这种被称为"正交微调"的方法，原本就像是用精密的瑞士手表机芯一样高效，但也同样复杂和昂贵。

研究者们的突破在于，他们找到了让这块"瑞士手表"变得既精准又省电的方法。传统的正交微调方法在处理大型模型时，就像用老式打字机打字一样缓慢，因为它需要反复进行复杂的矩阵运算。而新的OFTv2方法，则像是从打字机升级到了现代键盘，不仅速度提升了10倍以上，内存使用量也减少了3倍。

这种改进的核心思想相当巧妙。原来的方法就像是在装修房子时，先把所有家具搬出来重新摆放，然后再搬回去。而新方法则是直接在房间里重新布置，避免了繁琐的搬进搬出过程。具体来说，研究团队将计算过程从"权重中心"转变为"输入中心"，这听起来很技术化，但实际上就是改变了数据处理的顺序和方式。

从数学角度来看，这种转变将计算复杂度从立方级降低到了平方级。这就好比从需要处理一个立方体的所有体积，简化为只需要处理一个平面的面积，效率提升是显而易见的。研究团队通过矩阵自由计算的思想，避免了传统方法中耗时的矩阵-矩阵乘法，转而采用更高效的矩阵-向量乘法。

为了进一步提升效率，研究者们还引入了一种名为"Cayley-Neumann参数化"的新技术。这项技术解决了原有方法中的一个痛点：矩阵求逆运算。矩阵求逆就像是解一个复杂的数学方程，不仅计算量大，还容易出现数值不稳定的问题。新方法通过泰勒级数近似，将这个复杂的求逆过程转化为简单的多项式计算，就像用简单的加减乘除代替了复杂的开方运算。

这种改进带来的好处是全方位的。在训练速度方面，OFTv2在7B参数的Qwen2.5模型上实现了超过10倍的加速。在内存使用方面，它能够将GPU内存消耗降低到原来的三分之一。更重要的是，这些效率提升并没有以牺牲性能为代价，在各种测试任务中，OFTv2都保持了与原方法相当甚至更好的表现。

研究团队还将这种方法扩展到了量化模型的训练中。量化就像是将高清照片压缩成较小文件大小的JPEG格式，虽然文件变小了，但基本的视觉效果仍然保持。对于AI模型来说，量化能够显著减少模型的存储和运行需求，但也给训练带来了新的挑战。OFTv2的设计天然适应这种量化环境，研究者们将其与流行的QLoRA框架结合，创造了名为QOFT的新方法。

QOFT相比于QLoRA有着独特的优势。在训练稳定性方面，QOFT表现更加可靠，不容易出现训练过程中的崩溃或性能急剧下降。这主要归功于正交变换的数学特性，它能够保持梯度的良好条件，避免了训练过程中常见的数值问题。此外，当需要将训练好的模型重新整合时，QOFT也表现得更加稳健，不会显著改变原模型权重的动态范围。

实验验证覆盖了多个领域和模型规模。在语言模型方面，研究团队测试了从0.5B到72B参数的各种Qwen2.5模型，以及Llama-2系列模型。在文本摘要任务中，他们使用了BART-large模型在XSum和CNN/DailyMail数据集上进行评估。令人印象深刻的是，OFTv2在所有这些测试中都表现出色，通常使用更少的可训练参数就能达到甚至超越传统方法的性能。

特别值得关注的是数学推理能力的测试结果。在OpenR1-Math-220k数据集上的实验显示，QOFT在多个数学基准测试中都明显优于QLoRA。例如，在Qwen2.5-7B模型上，QOFT在SAT数学测试中达到了96.9%的准确率，而QLoRA只有68.8%。这种差距在更大的模型上更加明显，32B版本的QOFT甚至达到了100%的SAT数学准确率。

研究团队还验证了方法在文本到图像生成模型上的效果。他们在Stable Diffusion 3.5模型上进行了DreamBooth微调实验，这是一种让AI模型学习特定物体或人物特征的技术。结果表明，OFTv2和QOFT在生成质量上与传统方法相当，同时保持了内存效率的优势。

从技术实现的角度来看，研究者们还开发了专门优化的CUDA核心程序，充分利用了斜对称矩阵的特殊结构。这种优化进一步提升了GPU上的运行效率，使得方法在实际部署中更具吸引力。

这项研究的影响远不止于技术层面的改进。它为AI模型的高效训练开辟了新的道路，特别是在资源受限的环境中。无论是研究机构还是企业，都能够利用这种方法在更少的硬件投入下训练出高质量的专用模型。这种技术民主化的效应，可能会加速AI应用在各个领域的普及和创新。

研究团队在论文中坦诚地讨论了方法的局限性。虽然在量化设置下OFTv2已经能够匹敌LoRA的速度，但在全精度训练中仍然存在速度差距。这主要是因为低秩方法能够更好地利用现有的高度优化的矩阵运算库，而正交方法需要更多的定制化优化。不过，随着专用硬件和软件优化的发展，这个差距有望进一步缩小。

另一个有趣的发现是关于稀疏性和低秩结构的比较。研究团队指出，OFT通过稀疏性实现参数效率，而LoRA则依赖低秩结构。这种对比揭示了参数高效微调领域的两个重要方向，也为未来的研究提供了思路。他们还讨论了顺序适应和并行适应的区别，这种理论分析有助于更好地理解不同方法的适用场景。

说到底，这项研究展示了一个重要的理念：在追求AI能力提升的同时，效率和可持续性同样重要。通过巧妙的数学技巧和工程优化，研究者们证明了我们不必总是在性能和效率之间做出艰难选择。OFTv2为大型AI模型的训练提供了一种更加经济和环保的解决方案，这对于AI技术的长期发展具有重要意义。

对于普通用户而言，这种技术进步意味着未来可能会有更多高质量、个性化的AI应用出现，而不需要消耗过多的计算资源。对于研究者和开发者来说，OFTv2提供了一个强大而实用的工具，能够在有限的资源下探索更多的AI应用可能性。随着相关代码的开源和集成到主流框架中，这种技术有望得到更广泛的应用和发展。

Q&A

Q1：OFTv2相比原来的OFT方法有什么改进？ A：OFTv2主要有两大改进：一是将计算方式从"权重中心"改为"输入中心"，避免了复杂的矩阵乘法，速度提升10倍以上；二是引入Cayley-Neumann参数化技术，避免了数值不稳定的矩阵求逆运算，内存使用量减少3倍。

Q2：QOFT会不会比QLoRA更好用？ A：在某些方面是的。QOFT在训练稳定性上明显优于QLoRA，不容易出现训练崩溃，在数学推理等复杂任务上表现更好。而且QOFT使用的参数更少，在量化设置下速度也更快。不过在全精度训练中，QLoRA的速度优势仍然存在。

Q3：普通研究者能用上这个技术吗？有什么要求？ A：完全可以。研究团队已经将OFTv2集成到了流行的Hugging Face PEFT框架中，普通研究者可以很容易地使用。技术要求并不高，主要需要支持CUDA的GPU，而且由于内存效率的提升，对硬件的要求实际上比传统方法更低。