隐私保护的大模型压缩新思路：香港大学等机构推出FedPrLLM联邦修剪框架

近日，一项关于大语言模型压缩技术的创新研究引起了业界关注。这项由香港大学的郭鹏昕和王怡浓、南方科技大学的李伟、中山大学的刘梦婷、广明实验室的李明以及杭州电子科技大学的郑金凯共同完成的研究，由香港大学的曲良琼教授担任通讯作者，于2025年5月19日在arXiv（arXiv:2505.13547v1）上发表。研究团队提出了一种名为FedPrLLM的联邦修剪框架，为在隐私保护情境下压缩大语言模型提供了全新解决方案。有兴趣深入了解的读者可以通过https://github.com/Pengxin-Guo/FedPrLLM访问完整代码。

在我们开始深入这项研究之前，让我们先简单了解一下背景。想象一下，你有一个超级聪明但体型巨大的助手，它能帮你完成各种任务，但却因为太大而无法随身携带。大语言模型（LLMs）就是这样的"大块头"——虽然功能强大，但需要庞大的计算资源和存储空间，这使得它们难以在普通设备上运行。为了解决这个问题，研究人员一直在寻找方法来"瘦身"这些模型，使它们保持聪明的同时，减少资源需求。

其中，模型修剪（pruning）是一种有效的"瘦身"方法，就像裁剪一棵过于茂盛的树木一样，移除那些不太重要的"枝叶"（即模型中的冗余参数），同时尽可能保持模型的整体性能。然而，传统的修剪方法通常需要使用公开的校准数据来指导修剪过程，判断哪些参数可以安全移除。这在医疗、金融等隐私敏感的领域带来了挑战，因为这些领域的数据往往不能公开共享。

联邦学习（Federated Learning）提供了一种在不共享原始数据的情况下进行协作训练的方法。研究团队创造性地将联邦学习与大语言模型修剪结合，提出了FedPrLLM框架，使多个客户端能够在保护数据隐私的同时，共同参与修剪一个全局的大语言模型。

一、FedPrLLM框架的工作原理

想象一下，有多个医院希望共同优化一个医疗辅助诊断的大语言模型，但每家医院的患者数据都是高度私密的，不能直接共享。使用FedPrLLM，每家医院（客户端）可以分别使用自己的私有数据计算一个"修剪掩码矩阵"——这就像每家医院各自做了一份"可以被裁剪的模型参数清单"。

关键的是，这些医院只需要分享这个"清单"（掩码矩阵），而不是原始的患者数据或模型参数。中央服务器收集所有医院提供的"清单"，汇总起来形成一个"综合清单"，并选择那些被大多数医院认为可以移除的参数（即选择综合清单中的前k个值）。然后，服务器使用这个最终的修剪掩码矩阵来修剪全局模型。

这个过程确保了数据隐私，同时利用了所有参与者的知识来做出更好的修剪决策。然而，在实际实施这个框架时，研究团队面临了三个关键挑战：

第一个挑战是如何比较参数重要性。想象你在整理一个大衣柜，有三种方式可以决定哪些衣物要丢弃：你可以把所有衣物放在一起比较（层比较），或者在每个抽屉内单独比较（行比较），或者对每种类型的衣物分别比较（列比较）。在FedPrLLM中，这对应着三种不同的参数比较方式，但哪种最有效呢？

第二个挑战是关于是否要调整保留参数的权重。想象在投票决定保留哪些衣物时，有些衣物几乎一致被认为应该保留，而有些则勉强过关。是否应该对那些"勉强过关"的衣物打个折扣，按照它们获得支持的程度来调整它们的"重要性"？

第三个挑战涉及修剪策略：一次性修剪还是迭代修剪？一次性修剪就像一次性整理完整个衣柜，而迭代修剪则是一层一层地整理。迭代方法可能更精确，但也会带来更高的通信成本，尤其是对于有很多层的深度模型来说。

二、实验设计与方法

为了回答上述三个关键问题，研究团队设计了一系列全面的实验，投入了数千小时的GPU计算资源。他们在六种开源大语言模型上进行了测试，包括LLaMA（7B/13B/30B）、LLaMA-2（7B/13B）和LLaMA-3（8B）。测试涵盖了三种不同的稀疏率（即移除参数的比例，分别为50%、60%和70%），三种比较组，以及两种修剪策略，并在三个常用数据集（WikiText2、C4和PTB）上评估了模型性能。

在实验中，研究人员将每个客户端配置为使用Wanda方法（一种基于权重大小与输入激活相乘的修剪方法）来进行本地修剪并计算修剪掩码矩阵。为了模拟联邦学习环境，他们设置了64个客户端，每个客户端只有2个校准样本。除了提出的FedPrLLM框架外，研究人员还实现了两个基线方法进行比较：

1. 本地修剪（Local-only）：每个客户端仅使用自己的私有数据修剪模型。 2. 中心化修剪（Centralized）：服务器使用所有校准数据修剪模型，这可以看作是联邦设置下修剪性能的上限。

所有实验都在NVIDIA L40S GPU上进行，性能评估主要基于模型在语言建模任务上的困惑度（perplexity）——这是评估语言模型质量的标准指标，数值越低表示模型性能越好。

三、关键发现与启示

经过大量实验，研究团队获得了三个重要发现，这些发现不仅回答了他们最初提出的问题，也为实际应用提供了宝贵指导。

首先，关于参数比较方式，研究发现层比较是一种简单而有效的方法。想象一下，无论你的朋友们用什么方法（按抽屉或按类型）来整理自己的衣柜，当你需要综合他们的建议时，最简单有效的方法就是将所有衣物放在一起比较。在实验中，无论本地修剪方法使用何种比较组，层比较在FedPrLLM中始终表现良好。相比之下，当本地修剪方法与服务器使用的比较组不一致时，性能会显著下降。

其次，对于是否应该按照客户端的"支持度"来调整保留参数的权重，研究发现出乎意料的是，不缩放权重反而效果更好。这就像是虽然某些衣物只是勉强过关，但如果你降低它们的"地位"，反而会影响整个衣柜的协调性。研究人员推测，这可能是因为本地修剪后的模型性能本身就不够好，使用联邦平均（FedAvg）算法聚合这些修剪后的模型权重会导致次优性能。

最后，关于修剪策略，研究显示一次性修剪的性能与迭代修剪相当，但前者的通信成本要低得多。想象一下，如果整理衣柜的最终结果差不多，你肯定会选择一次性完成而不是反复多次返工，尤其是当每次返工都需要咨询所有朋友的意见时。对于深度的大语言模型来说，迭代修剪需要多轮通信，这在实际应用中可能会带来很大的开销。

此外，研究人员还进行了敏感性分析，研究了客户端数量和校准样本数量对联邦修剪效果的影响。结果表明，无论客户端数量如何变化（从2到64），或者校准样本总数如何变化（从4到128），FedPrLLM都始终优于本地修剪方法，显示了该框架的鲁棒性和实用性。

四、实际应用与未来展望

FedPrLLM框架的提出为隐私敏感领域的大语言模型部署开辟了新的可能性。想象一下，在医疗领域，多家医院可以共同参与修剪一个专门的医疗大语言模型，而无需共享患者的敏感数据。在金融领域，不同的金融机构可以协作优化一个金融咨询大语言模型，同时保护各自客户的隐私数据。

基于研究结果，作者为实际应用提出了以下建议：使用一次性修剪搭配层比较，并且不对保留参数进行权重缩放。这种策略不仅简单直观，而且能够在保护数据隐私的同时取得接近中心化修剪的性能。

未来的研究方向可能包括探索更复杂的联邦修剪算法，考虑客户端数据异质性的影响，以及将FedPrLLM与其他模型压缩技术（如量化、知识蒸馏等）结合使用的可能性。

总的来说，FedPrLLM为解决大语言模型在隐私敏感领域的部署挑战提供了一种可行的解决方案。随着大语言模型应用范围的不断扩大，这种能够在保护数据隐私的同时实现模型压缩的方法将变得越来越重要。