压缩还是行动？实测告诉你压缩后的大语言模型是否真能胜任Agent任务

近日，香港科技大学（广州）的董佩杰和汤震恒，以及香港科技大学的刘翔、李陆军、朱晓文和李波共同发表了一项开创性研究，探讨了压缩后的大语言模型(LLM)在执行Agent任务时的表现。这篇题为《Can Compressed LLMs Truly Act? An Empirical Evaluation of Agentic Capabilities in LLM Compression》的论文于2025年5月26日发布在arXiv预印本平台(arXiv:2505.19433v1)，并将在2025年第42届国际机器学习会议(ICML 2025)上正式发表。研究代码已在GitHub上开源，感兴趣的读者可以通过https://github.com/pprp/ACBench访问。

一、为什么要研究压缩LLM的Agent能力？

想象一下，我们手上有一台超级电脑，它能理解人类语言，回答各种问题，甚至能按照指令完成复杂任务。这就是大语言模型(LLM)，如ChatGPT背后的技术。但这台"超级电脑"有个大问题：它太"重"了！就像一辆油耗惊人的豪华SUV，虽然功能强大，但不是每个人都能负担得起。

研究团队发现，现有的LLM压缩评估方法就像是只测试这辆SUV能否在平坦大道上开得快，而忽略了它是否还能在崎岖山路上攀爬、是否能拖着重物行驶、是否能在复杂路况下精准转向。换句话说，现有的评估主要关注语言建模能力（如困惑度）和自然语言理解任务（如GLUE准确率），却忽略了作为"Agent"（智能代理）时的关键能力：工作流程生成、工具使用/函数调用、长文本理解和实际应用。

在这个充满无限可能的AI时代，我们不仅需要模型能"说话"，更需要它能"行动"——调用API、使用工具、理解长文本、执行多步骤任务。如果压缩后的模型只会"纸上谈兵"而无法"实际操作"，那么这种压缩还有多大价值呢？

正是为了解答这一关键问题，研究团队开发了Agent Compression Benchmark (ACBench)，这是首个专门评估LLM压缩对Agent能力影响的综合基准测试。这项研究横跨三个维度：12个任务覆盖4种Agent核心能力（如WorfBench用于工作流生成，Needle-in-Haystack用于长文本检索）；同时评估量化（GPTQ，AWQ）和剪枝（Wanda，SparseGPT）压缩方法；并测试了15种不同规模的模型，从小型（Gemma-2B）到标准（Qwen2.5 7B-32B），再到专注推理的蒸馏模型（DeepSeek-R1-Distill）。

二、如何量化压缩对Agent能力的影响？

想象你正在给一辆性能车"减肥"，你需要一套专业工具来测量减重后车辆性能的变化。研究团队创新性地引入了三种量化指标来系统分析压缩前后模型的差异：

1. **ERank（有效秩）**：这就像是测量车辆"肌肉质量"的工具。传统的减重可能导致肌肉流失，同样，模型压缩也可能削弱其"肌肉"——表征能力。ERank能够捕捉模型"肌肉质量"的变化，显示压缩如何影响模型的内部结构和决策机制。

2. **Top-k排名相关性**：想象模型在为每个可能的下一个词打分，这个指标就像是比较压缩前后，模型对"最可能的几个词"排序的一致性。如果压缩后模型依然保持相似的排序，说明其决策逻辑基本未变；反之则说明压缩显著改变了模型的判断方式。

3. **能量分析**：这类似于测量车辆在不同路况下的能量消耗模式。研究者分析了压缩前后模型的"能量分布"变化，揭示压缩如何影响模型对不同输入的确信度和敏感度。

这些创新性指标不仅让我们了解"压缩对模型做了什么"，更重要的是帮助我们预测"压缩会如何影响模型的Agent能力"。研究发现，ERank值与模型性能存在正相关，而Top-k排名相关性则与模型在下游任务中的表现密切相关。

三、压缩后的模型还能用工具吗？

想象你请了一位助手帮你完成工作，这位助手不仅需要理解你的指令，还需要熟练使用各种工具——搜索引擎、计算器、数据库等。如果助手突然忘了如何使用这些工具，那么他的价值将大打折扣。

研究团队使用T-Eval基准测试了压缩后模型的工具使用能力，涵盖六个核心能力：规划、推理、检索、理解、遵循指令和审查。结果令人惊喜又担忧：

首先，好消息是，4位量化（如AWQ和GPTQ）对工具使用能力的影响相对较小，大多数情况下仅导致1%-3%的性能下降。这就像是给助手做了轻度"减重"，他依然能熟练使用各种工具。

然而，对于结构化输出（如JSON格式）的生成任务，压缩的负面影响显著增加。想象你的助手能流利地口头描述操作步骤，但在写成结构化文档时却频频出错——这正是压缩后模型面临的困境。

不同压缩方法间也存在明显差异：量化方法（GPTQ和AWQ）普遍优于稀疏化方法（SparseGPT和Wanda）。不过，Wanda的非结构化剪枝版本表现接近量化方法，证明精心设计的剪枝策略也能保持较好的工具使用能力。

模型架构的选择同样至关重要：InternLM2.5-7B和Qwen2.5-7B展现出比Mistral-7B更强的工具使用能力。这提醒我们，在选择基础模型时，架构设计可能比参数规模更重要。

最令人意外的是，虽然理论上知识蒸馏应该提升模型的推理能力，但DeepSeek-R1-Distilled版本的Qwen2.5-7B在Agent场景下性能显著下降，平均准确率从70%骤降至43.6%。这表明，专注于推理能力的蒸馏可能会无意中牺牲模型的工具使用能力。

四、压缩后的模型能生成复杂工作流吗？

设想你需要一位助手不仅能执行单个任务，还能规划和执行多步骤的复杂流程——比如规划旅行，这需要查询航班、预订酒店、安排交通等一系列协调的步骤。压缩后的模型能否胜任这种复杂工作流的生成？

研究团队使用WorfBench基准测试了模型的工作流生成能力，涵盖四类任务：函数调用、实体交互、问题解决和开放性任务。结果表明：

大多数压缩方法对工作流生成能力的影响出人意料地小，性能下降通常控制在5%以内。这就像是轻度"减肥"后的助手依然能有条不紊地规划复杂工作流程。唯一例外是基于幅度的剪枝方法，它导致了显著的性能下降。

操作系统(OS)和电商(Webshop)等结构化任务在各种压缩方法下表现尤为稳健，模型保持约80%的性能。这可能是因为这些领域的行动空间相对受限且结构化，压缩后的模型仍能掌握其核心模式。

然而，在Alfworld和Lumos等需要细粒度语言理解和复杂推理的专业任务中，模型规模与压缩敏感性之间存在明显关联。小型模型如Qwen2.5-3B在GPTQ和AWQ压缩下性能最多下降50%，而大型模型如Qwen2.5-32B则基本保持性能，有时甚至略有提升。这表明，大模型中的冗余参数可能在压缩过程中起到"缓冲"作用，帮助保留关键能力。

蒸馏模型再次令人失望：DeepSeek-R1-Distilled-Qwen2.5-7B的平均F1分数仅为20%，远低于未蒸馏版本的44%。这进一步证实，当前的蒸馏技术可能无法有效保留复杂推理能力。有趣的是，较小的DeepSeek-R1-Distilled-Qwen2.5-1.5B表现优于其较大的7B和8B版本，表明模型规模并非蒸馏有效性的唯一决定因素。

五、压缩后的模型能理解长文本吗？

想象一位助手需要阅读一份100页的报告，然后回答具体问题或提供摘要。如果压缩导致助手只能有效处理前10页，那么其长文本处理能力就严重受损了。研究团队通过三个基准测试评估了压缩对长文本理解能力的影响：

1. **LongBench**：评估模型在单文档/多文档问答、代码理解、合成推理、摘要和少样本学习等长文本任务上的表现。结果显示，对于超过7B参数的模型，量化和稀疏化对少样本学习、合成任务和代码补全能力影响最小。然而，较小的架构（如Qwen2.5-1.5B、Qwen2.5-3B、MiniCPM-4B和Gemma-2B）在压缩前就难以完成基础任务，压缩后更是雪上加霜。

2. **LongGenBench**：这个更具挑战性的基准测试长文本生成能力，如多轮对话和长篇内容创作。在这里，AWQ量化一致优于其他压缩方法。虽然Wanda和SparseGPT在Qwen2.5-7B上表现接近AWQ，但在InternLM2.5-7B上就明显逊色。有趣的是，压缩后的Qwen2.5-3B在MMLU测试上表现与7B模型相当，但在GSM8K推理任务上性能从61%骤降至11%，表明压缩可能特别影响特定类型的推理能力。

3. **Needle-in-Haystack**：这个测试专注于模型在超长文本（如40K词）中定位关键信息的能力。结果表明，量化和稀疍化都会对长文本信息检索产生负面影响，尤其是基于幅度的剪枝导致的性能下降最为严重。研究发现，所有压缩模型在32K词处都表现出一致的性能边界，这暗示LLM设计和训练范式可能存在内在限制。

这些发现表明，虽然压缩不可避免地影响长文本理解能力，但精心选择的压缩方法（如AWQ）和足够大的基础模型可以将这种影响降至最低。

六、压缩后的模型能在真实应用中胜任吗？

最终，模型的价值在于它能否解决实际问题。研究团队使用AgentBoard框架测试了压缩模型在三个现实领域的表现：

1. **实体AI**：在ScienceWorld环境中模拟物理交互。 2. **游戏交互**：包括Jericho文本冒险游戏和PDDL规划场景。 3. **工具使用**：评估工具查询和操作能力。

结果令人警醒：压缩模型在大多数现实场景中面临显著挑战。7B规模的LLM在各种压缩技术下普遍表现出实质性能下降。仅有AWQ量化和Wanda非结构化剪枝保持了可接受的性能水平，而其他方法则在多个任务领域表现显著退化。

尤为显著的是，尽管DeepSeek-R1-Distilled模型系列在推理任务上表现出色，但在实际应用中几乎毫无进展。例如，DeepSeek-R1-Distilled-Qwen2.5-7B在Pddl基准测试上的进度率从33%骤降至1%，而经AWQ增强的较小模型Qwen2.5-3B却能达到23%的进度率。

这一反差突显了当前蒸馏技术的局限性：用于蒸馏的DeepSeek-R1教师模型本身可能缺乏稳健的Agent能力，特别是工具使用和实际任务执行能力。蒸馏过程成功传递了推理和对话能力（如在数学推理基准测试中的显著改进），却无法有效转移关键的Agent技能。此外，有限的模型容量创造了一个内在权衡——当蒸馏过程优先保留核心推理技能时，必然会牺牲Agent能力的保留。

七、研究结论与实际建议

经过全面评估，研究得出几个关键结论和实用建议：

1. **不同压缩方法的权衡**：4位量化基本保留了工作流生成和工具使用能力（仅下降1%-3%），但在实际应用准确率上造成了10%-15%的下降。这提醒我们，选择压缩方法时需根据具体应用场景权衡利弊。

2. **量化优于剪枝**：在大多数Agent任务中，量化方法（特别是AWQ）优于剪枝方法。如果应用场景允许，AWQ应该是首选压缩方法。

3. **结构化输出更易受影响**：压缩对JSON等结构化输出格式的负面影响比对自然语言字符串格式更为严重。如果应用需要大量结构化输出，可能需要更保守的压缩策略。

4. **蒸馏需谨慎**：尽管推理能力蒸馏在理论上很有吸引力，但当前的蒸馏技术似乎会显著损害Agent能力。在需要Agent功能的应用中，直接压缩原始模型可能优于使用蒸馏模型。

5. **模型规模与压缩敏感性**：较大模型（如32B参数）在压缩后往往能更好地保留Agent能力，这表明冗余参数可能在维持复杂功能方面发挥重要作用。

6. **任务特性影响压缩效果**：不同任务对压缩的敏感度不同。工作流生成相对稳健，而实际应用任务最容易受到负面影响。这提示我们，压缩策略应根据目标应用场景定制。

研究团队开发的三种新型分析工具（ERank、Top-k排名相关性和能量分析）不仅帮助解释了压缩对模型内部机制的影响，也为未来更精细的压缩方法设计提供了新思路。

最后，研究承认了一些限制，包括仅关注训练后压缩而未探索量化感知训练（QAT）方法，以及仅评估与vLLM兼容的压缩技术。这些限制为未来研究指明了方向。

八、这项研究对我们意味着什么？

对于AI研究者和工程师，这项研究提供了宝贵的指导：在为Agent应用选择和压缩模型时，不能仅仅关注语言理解能力，还必须评估工具使用、工作流生成和长文本理解等关键Agent能力。研究开源的ACBench基准测试将帮助社区更全面地评估压缩技术。

对于产品开发者，研究结果表明，不同应用场景可能需要不同的压缩策略：需要复杂推理的应用可能更适合AWQ量化；需要高度结构化输出的应用可能需要更保守的压缩；而对长文本理解要求高的应用则可能需要更大的基础模型。

对于普通用户，这项研究有一个简单明了的启示：当你使用"轻量版"AI助手时，它可能在日常对话中表现不错，但在需要使用工具、执行多步骤任务或处理长文档时，可能无法达到"完整版"的水平。在选择AI助手时，应根据自己的实际需求权衡性能和资源消耗。

总的来说，这项研究为我们理解"AI瘦身"的代价提供了全面视角，提醒我们在追求效率的同时，不要忽视那些使AI真正有用的核心能力。压缩与Agent能力之间的平衡将成为未来AI系统设计的关键考量。