AgentGrad：当多智能体系统出错时，怎么知道该骂哪个智能体

假设你带了四个实习生一起做一份报告。报告最后交上去，老板说数据有问题。

你把四个人都叫过来，问："谁的错？"

四个人面面相觑，谁也说不清。你只能把整个流程重新骂一遍，让所有人都"注意点"。下一次，同样的问题可能还会出现，因为你从来没搞清楚，到底是查数据的那个人查错了，还是写报告的那个人写错了，还是审核的那个人没审出来。

这不是段子，这正是当下大语言模型多智能体系统在做提示词优化时面临的真实困境。

**多智能体系统**：由多个大语言模型驱动的智能体组成的系统，每个智能体负责一部分任务，比如一个负责查资料，一个负责推理，一个负责总结，最后拼成完整答案。

这类系统这几年很热，因为把复杂任务拆开给不同智能体分工，往往比让一个模型单打独斗效果更好。但问题也随之而来：每个智能体的行为都由它自己的提示词控制，提示词写得好不好，直接决定了整个系统的表现。于是"怎么自动优化这些提示词"就成了一个专门的研究方向。

现在的方法，到底卡在哪

目前最流行的思路叫"文本梯度"。

**文本梯度**：借用了深度学习里梯度下降的概念，但这里的"梯度"不是数字，而是一段自然语言描述，告诉你这个提示词哪里需要改。

具体做法是，系统输出错了，就找一个大语言模型来当"评论家"，让它看着错误结果和正确答案，写一段反馈，比如"这个提示词应该加一句强调事实核查的话"。这段反馈就是文本梯度，然后再用另一个大语言模型把这段反馈揉进原来的提示词里，生成新版本。

这套流程用在单个提示词上问题不大，但一放到多智能体系统里，麻烦就来了。

第一个麻烦是不知道该改谁。系统最终输出错了，可能是第一个智能体理解错了输入，也可能是中间智能体推理错了，还可能是最后一个智能体总结错了。现有方法要么把所有智能体的提示词一起改（成本很高，而且容易改坏没问题的部分），要么按顺序轮流改一遍（等于没有针对性，纯靠运气）。这就跟前面说的四个实习生的例子一模一样：你根本没有办法确认，到底是谁的锅。

如果不精确定位，会发生什么？

你可能会去修改一个其实并没有问题的智能体的提示词，结果这个智能体的表现变差了，系统整体性能不升反降。这种"误伤"在实验里屡见不鲜，也是现有方法效率低下的重要原因。

第二个麻烦是没有直接的监督信号。即便你确定了要改哪个智能体，你也不知道它到底应该输出什么样的中间结果才算对。大部分场景下，我们只有最终答案的对错，中间每一步的"标准答案"是缺失的。评论家模型只能根据最终结果去猜哪里出了问题，这种猜测往往是模糊的、缺乏针对性的。

第三个麻烦出在"攒梯度"这一步。系统在训练集上会收集很多失败样本，每个样本会生成一条文本梯度。现有方法通常是随机抽一批梯度，直接拼在一起丢给优化器。但这些失败样本的错误原因可能天差地别，有的是数学算错了，有的是格式不对，有的是漏看了某个条件。把不相关的错误信号硬拼在一起，优化器很难提炼出一个清晰的改进方向，最后生成的提示词往往是四不像，改了这里坏了那里，泛化能力也差。

这三个问题，本质上都是同一件事：现有的文本梯度方法，缺乏"精确"这个维度。 找不准该改谁，给不出清楚该怎么改的信号，攒梯度时又把不同类型的问题混在一起。这篇论文要解决的，正是这三层"不精确"。

AgentGrad：先做实验，再下结论

论文提出的方法叫AgentGrad，核心思路可以浓缩成一句话：不要靠猜，靠实验去验证。

**AgentGrad**：一个面向多智能体系统的提示词优化框架，核心是两个组件，序贯干预和语义文本梯度抽象。

这个思路听起来朴素，但背后的逻辑值得说一说。研究者面对的问题是，系统输出错了，但不知道错在哪个环节。传统做法要么是全面排查（成本太高），要么是凭经验猜测（准确率不够）。AgentGrad选择的是第三条路：一个一个去试。

### 序贯干预：一个个智能体排查过去

具体怎么做？想象系统里有四个智能体，按顺序依次执行。AgentGrad会从最后一个智能体开始，往前逐个"提示"它：给它塞一个提示（这个提示里包含了正确答案的相关线索），看看如果这个智能体表现更好了，最终结果是不是就对了。如果对了，说明问题就出在这个智能体身上，它就是"目标智能体"。如果还是不对，就继续往前查上一个智能体。

**干预**：在训练阶段，往某个智能体的提示词里临时加入一个提示，引导它输出更接近正确答案的结果，用来测试这个智能体是不是问题所在。这个提示只在训练时使用，正式部署时不会加。

为什么从最后一个智能体开始往前查，而不是从第一个开始？

论文里提到一个观察：错误往往集中在后面的智能体身上。这个道理其实很直观，越靠后的智能体承担的是"总结、整合、下判断"这类工作，出错概率天然更高，而前面的智能体大多只是搬运信息。从后往前查，可以让排查的平均步数变少，效率更高。

这个过程让我想起医生看病的方式。一个病人身体不舒服，有经验的医生不会一开始就做全身CT，而是先问最可能出问题的地方，比如先看最近有没有感冒发烧，排除掉最常见的原因，再往深查。如果一上来就做全套检查，成本高、耗时长，而且很多检查结果其实是噪音，反而让人抓不住重点。序贯干预就是这个逻辑，先猜最可能出问题的环节，验证不对再往前查，而不是一次性把所有智能体都改一遍，等结果出来再看是不是变好了。

一旦找到了目标智能体，"干预调整后的输出"就成了一份宝贵的资料。这个智能体原本输出了错误结果，干预之后输出了正确（或者更接近正确）的结果，两者放在一起对比，就相当于有了一份"标准答案"，可以清楚地告诉优化器，这个智能体应该往哪个方向改。

**智能体级伪标签**：通过干预获得的、某个智能体在同样输入下应该产出的正确（或更正确）输出，用来充当这个智能体的监督信号。

这一步解决的正是前面提到的第二个麻烦，之前只有最终结果的对错，中间智能体该输出什么完全靠猜；现在有了干预后的输出作为参照，评论家模型可以直接对比"改之前"和"改之后"的差异，写出的反馈会精确得多。

### 语义文本梯度抽象：先分类，再总结

解决了"改谁"和"怎么改"的问题，接下来是第三个麻烦：一堆样本级的梯度怎么合并成一个统一的改进方向。

AgentGrad的做法是先聚类，再抽象。系统会把语义相似的梯度归到一组，比如"隐私泄露"这一类问题里，可能有的样本是因为提示词漏改了人名，有的是漏改了地名，有的是漏改了机构名，这些虽然细节不同，但本质上都是"敏感信息没有被正确遮蔽"，属于同一类问题。把这些聚在一起之后，再用一个大语言模型把这一组梯度抽象成一条通用的改进建议，比如"任何可能指向真实个人、组织或地点的字符串都应该被替换成占位符"。

**语义文本梯度抽象**：把众多样本级的文本梯度按照语义相似度分组，每一组内的样本共享同一种错误模式，再把每组抽象成一条能概括共同问题的通用改进建议。

论文里给出的例子很直观。三个失败样本，一个是机构名（某新闻台）没有被遮蔽，一个是地理位置（华沙、波兰）没有被遮蔽，一个是虚构的人名和地名没有被遮蔽。三者看起来是三种不同的错误，但抽象之后，它们其实指向了同一条规则：只要是可能识别出具体人、组织或地点的字符串，都应该默认视为敏感信息处理，哪怕看起来像虚构的名字。

这一步的价值在于避免"眉毛胡子一把抓"。如果把所有失败样本的梯度不加区分地堆在一起丢给优化器，优化器很难提炼出统一的模式，往往会生成一个照顾不到所有情况、泛化能力很差的提示词。这就像开会讨论问题，如果把销售部门的抱怨、技术部门的抱怨、客服部门的抱怨全部混在一起念一遍，会议纪要写出来大概率是一锅粥，没人知道具体该改哪里。先按部门分类，再各自总结出核心诉求，会议才能产出有针对性的行动方案。

论文还设计了一个"聚类粒度"的调节机制。系统会按照一个循环的节奏（比如先要求每组至少5个样本，再要求至少3个，再要求至少1个，然后重新循环）去调整聚类的粗细，粗粒度的聚类能抓住大范围共享的通用模式，细粒度的聚类能抓住更具体、更细微的纠正点，两者交替进行，让优化过程既能抓大局，也不放过细节。

效果如何：五个基准测试，全面领先

方法讲完了，接下来看效果是不是真的立得住。

研究者在五个多智能体系统基准测试上做了验证，涵盖多跳问答（HotpotQA）、事实核查（HoVer）、指令遵循（IFBench）、隐私保护委托（PUPA）和数学推理（MATH），并且分别在开源模型Qwen3-8B和商业模型GPT-5-mini两种底座上测试。对比的基线方法包括三个业内公认的强力方法：MIPROv2、TextGrad和GEPA。

结果是，AgentGrad在全部五个基准、两种模型底座上全部拿到最高分。用GPT-5-mini做底座的时候，相比不做任何优化的基线，平均提升达到11.76个百分点，其中HotpotQA上从46.33分提升到73.89分，提升幅度接近28分。而排名第二的GEPA在同样任务上只提升了9.24分。用Qwen3-8B做底座时，AgentGrad的平均提升是9.67分，同样是所有方法里最高的。

更值得关注的是效率。研究者统计了各方法完成一次优化所需的实际耗时，AgentGrad平均只需要136分钟，而排名第二的GEPA需要337分钟，TextGrad需要647分钟。换句话说，AgentGrad比第二快的方法还要快2.5倍。这个结果打破了一个常见的直觉：通常我们认为，做得更细致（比如AgentGrad这样一个智能体一个智能体地排查）应该会更慢，但实验数据显示恰恰相反，精确定位反而让每一次优化尝试的命中率更高，浪费在无效尝试上的时间大幅减少。

为什么会这样？

论文给出了一个很有说服力的解释。研究者统计了"小批量改进率"这个指标，也就是候选提示词修改在小范围验证时成功提升表现的比例。AgentGrad的这个比例是0.72，而TextGrad是0.44，GEPA只有0.28。这意味着AgentGrad每尝试10次修改，大约有7次是有效的，而GEPA10次里只有不到3次有效，剩下7次都是在做无用功，浪费计算资源。精确定位问题所在，带来的直接后果就是少走弯路。

这就像修车。一个经验不足的师傅，发现车子异响，可能会把发动机、变速箱、底盘都拆开检查一遍，耗时耗力，还未必查得出问题。一个经验丰富的师傅，先听声音、看仪表盘，很快锁定是某个具体部件，直接换掉就好。表面上看，经验丰富的师傅"步骤更少"，但正是因为他知道该往哪里看，整个过程反而更快、更准。如果没有这种精确定位的能力，只能靠全面排查，看似"更全面"，实际上浪费了大量时间在不相关的部件上。

论文还做了消融实验，逐步拆解AgentGrad的三个组件，看每个部分单独贡献了多少。仅仅加上"通过干预定位目标智能体"这一项，在HotpotQA和PUPA两个基准上就分别带来了1.44分和3.84分的提升；在此基础上加上智能体级监督，又分别带来1.56分和2.65分的提升；换成加语义梯度抽象，则分别带来2.56分和3.55分的提升。三个组件全部叠加，才达到最好的73.89分和95.17分。这说明三个设计并不是重复劳动，而是各自解决了不同层面的问题，缺一不可。

论文还测试了优化好的提示词能不能"举一反三"，也就是迁移能力。研究者把在某个基准上训练好的提示词，直接拿到一个从未见过、但属于同一领域的新基准上测试，不做任何额外调整。结果显示，AgentGrad优化出来的提示词在全部五个迁移场景里依然保持最优，比如从HotpotQA迁移到2WikiMultiHopQA时，AgentGrad得分51.22，而排名第二的GEPA只有44.89，差距接近7分。这说明AgentGrad学到的不是针对某道题的"投机取巧"，而是真正通用的、能够泛化的纠正模式。

写在后面

读完这篇论文，最触动我的其实不是那些漂亮的数字，而是它对"归因"这件事的重视程度。

很多提示词优化的工作，其实默认了一件事：只要给足够多的反馈信号，优化器总能自己摸索出正确方向。AgentGrad的态度不太一样，它认为在多智能体系统里，不先把责任定位准确，后面所有的优化都是在赌运气。这个思路其实和软件工程里的调试哲学很像，一个好的调试者不会看到程序报错就把所有代码都改一遍，而是先用二分查找、日志打点这些手段一步步锁定问题所在，再动手修改。这篇论文相当于把这种"先定位再修复"的工程思维，正式引入到了大语言模型多智能体的提示词优化领域。

另一个让我觉得有意思的细节是，干预用的"提示"只在训练阶段存在，部署时会被完全去掉。这意味着模型在训练时其实是被"喂过答案"的，但最终交付使用的版本，并没有把这些提示直接写死进去，而是把从这些提示中学到的规律，转化成了提示词本身的改进。这有点像老师批改作业时给学生画了重点，但学生最后考试时并不能带着这份重点提示去考场，他必须把从提示里学到的东西内化成自己的能力。这种"训练时开小灶，部署时凭实力"的设计，本质上是在用一种更强的监督信号去训练一个不依赖这种信号也能表现良好的系统。

论文里没有细谈的一个问题是，干预用的提示到底该怎么设计才算合适。如果提示给得太直接，模型岂不是直接把答案抄了一遍，那学到的"纠正模式"会不会也只是表面的模仿？论文提到提示是从真实答案和输出约束里构造的，但这个构造过程本身的质量，可能才是决定整个方法上限的关键变量。这个问题，可能是后续研究值得深挖的方向。

Q&A

Q1：AgentGrad是什么？

A：AgentGrad是一个面向多智能体系统的提示词优化框架，核心是通过序贯干预定位出问题的智能体，再用语义文本梯度抽象把相似的错误归类整理，从而生成更精确、更通用的提示词修改方案。

Q2：AgentGrad相比GEPA、TextGrad这些方法优势在哪里？

A：AgentGrad在五个基准测试上全面超越MIPROv2、TextGrad、GEPA，平均提升最高达11.76分，同时优化耗时比排名第二的方法快2.5倍，做到了效果和效率同时领先。

Q3：AgentGrad里的干预提示会影响最终部署效果吗？

A：不会。干预用的提示只在训练阶段使用，用来定位问题智能体和生成纠正信号，正式部署时提示词里不会包含这些干预内容，模型依靠训练中学到的改进直接工作。