当AI"导航员"碰上混乱地图：伊利诺伊大学厄巴纳-香槟分校揭示LLM智能体在海量工具迷宫中的真实困境

这项由伊利诺伊大学厄巴纳-香槟分校多位研究人员联合完成的研究，发表于2026年6月，论文编号为arXiv:2606.22388v1，发布于计算机科学人工智能领域。有兴趣深入查阅完整研究的读者，可通过该编号在arXiv平台检索原文。

**研究概要：当你的AI助手面对一万种工具，它会晕头转向吗？**

假设你要在一座超大型图书馆里找一本书，但这座图书馆没有统一的目录系统，书架上的书既有真正的好书，也有封面印着正确书名却内容全错的假书，甚至有些书架根本就找不到、或者书到手了发现页码全乱了。更麻烦的是，你每次只能看到一小片区域，而且你必须根据前一本书的内容决定下一步去哪个书架。这就是现代AI智能体每天面对的真实处境。

近年来，各种基于大型语言模型的AI智能体（可以理解为能够自主思考和行动的AI系统）已经被广泛部署在各类复杂任务中。它们需要调用外部工具来获取信息，就像人类需要用搜索引擎、计算器或者数据库来完成工作一样。现实中，这些工具动辄成千上万，而AI每次只能"看到"其中一小部分。更糟糕的是，这些工具并非都可靠：有些根本不能用，有些返回的结果是错的，有些看起来很相关但实际上答非所问。

面对这种混乱，AI智能体能够稳定地完成任务吗？之前的学术界对这个问题的研究相当有限，大多数测试都假设工具是完整可见的、可靠的，或者任务目标是明确的，这与现实相去甚远。正是为了填补这一空白，这支来自伊利诺伊大学厄巴纳-香槟分校的研究团队构建了一个名为PlanBench-XL的全新测试平台，专门用来测量AI智能体在"混乱工具生态"中的真实表现。

研究团队在这个平台上测试了十款当前最先进的AI语言模型，涵盖GPT-5.4、Gemini-3.1-Pro、DeepSeek-V4-Flash、Qwen3系列、Llama3系列等，结果既有惊喜，也有不少令人警醒的发现。

---

**一、这座测试迷宫是怎么建造的**

PlanBench-XL的构建逻辑，可以用一个"零售业内部调查员"的故事来理解。

研究团队选择了零售行业作为测试场景。在零售场景中，信息是高度关联的：一个送货尝试ID可以关联到一个快递单号，快递单号关联到订单，订单关联到退款申请，退款申请关联到退款ID，最终才能找到付款账户信息。这条链条可以绵延七八个甚至更多的环节。

为了系统性地构建这个场景，研究团队首先定义了56种"数据类型"——可以把它们理解为零售世界里不同种类的信息标签，比如"用户名"、"订单ID"、"退款状态"等等。接着，团队用AI自动生成了大量"工具"——每个工具都像一把特定的钥匙，能够把某一种类型的信息转化成另一种类型。比如，有一个工具叫"根据送货尝试ID获取快递单号"，输入送货尝试ID，就能输出快递单号。

这些工具经过严格的自动筛选，排除掉逻辑不通的、冗余的、或者完全不符合现实业务逻辑的工具，最终保留了185个可执行的核心工具。除此之外，研究团队还额外生成了925个"噪音工具"——这些工具看起来和正常工具差不多，但其描述中明确说明它们可能不可靠、数据陈旧，或者是某种"预览版"而非正式版本。

整个工具库一共包含1665个工具，所有工具都通过统一的"检索接口"暴露给AI智能体——AI每次只能用自然语言查询来获取一批候选工具，而不是直接看到全部工具。

然后，研究团队进一步构建了一套后端数据库，确保每个工具调用都能返回具体的数值，而不是随机编造的。最后，他们生成了327道测试题，每道题都对应了一个需要至少5步工具调用才能解答的任务——有些任务最短需要9步。

这就像给AI布置了一道"多级跳台阶"的作业：你必须先上第一个台阶，才能看到第二个台阶的位置，而每一步都有可能踩空。

---

**二、AI智能体的"寻路"方式：前向探索与后向推理**

在正式测试中，AI智能体并不能一眼看穿整条解题路径。它所能做的，是通过三种不同的检索策略来慢慢摸索。

第一种叫"前向探索"：AI已经手握一些已知信息，比如送货尝试ID，那么它就去问检索系统"给我所有以送货尝试ID为输入的工具"，然后从返回的候选工具中挑一个调用，获得新的信息，再继续往下走。

第二种叫"后向推理"：AI知道自己最终需要的是付款账户信息，那么它就反向去问"哪些工具的输出包含付款账户信息"，找到前置条件，再往前追溯，规划出一条从目标到起点的逆向路径。

第三种是"桥接检索"：AI同时指定输入和输出类型，直接查询"有没有工具能把信息A转换成信息B"，这种方式最为精准但也最需要提前知道自己在找什么。

这三种策略共同构成了AI在工具迷宫里的"寻路工具包"。研究团队发现，聪明的AI会灵活组合这三种策略，而能力较弱的AI则几乎只会傻傻地前向探索，结果经常原地打转。

具体来说，研究者计算了每个模型"前向检索"与"后向检索"的比例，比例越高说明这个AI越依赖正向思维，越少做反向推理。表现较差的Llama-3.1-8B-Instruct的前向/后向比高达16.56，而Qwen3-14B也达到14.18。这意味着这些AI几乎只会沿着当前手上有的信息一步步往前摸，一旦遇到断头路就完全束手无策，因为它们很少从终点倒推、想清楚"我需要什么才能到达终点"。对比之下，表现更好的模型在后向推理上投入了更多精力，能够主动规划逆向路径。

---

**三、噪音工具和"路障"测试：当地图故意画错了**

真实世界里，工具不仅仅是"不够多"的问题，还经常是"主动误导"你的问题。为了模拟这种情况，研究团队设计了一套可选的"路障机制"。

在默认模式下，AI检索到的工具中混有那些噪音工具，每个噪音工具的描述里都明确声明了自己的局限性——比如"此工具数据可能滞后"或"此工具仅在特定条件下有效"。这就像书架上有些书封底印着"本书内容可能不准确，请谨慎参考"，细心的读者一眼就能识别出来。

在路障模式下，情况更复杂。研究团队会在AI的解题路径上，把某些关键工具"替换掉"，换成三种不同类型的障碍物。

第一种叫"显式失败"：替换进来的工具调用后会直接返回错误信息，比如"服务暂不可用"。这种情况下，AI至少知道这条路走不通了，还有机会调头。

第二种叫"隐式失败"：替换进来的工具看起来完全正常，调用后也会返回一个值，但这个值根本是错的——比如一个应该返回退款状态的工具，实际上返回了"金枪鱼"这样毫无意义的答案，或者返回了一个数学上不可能出现的负数极值。这种情况最危险，因为AI往往不会意识到自己受骗了，还会把这个错误的值当成真实数据继续使用。

第三种叫"语义误导"：替换进来的工具名字和描述都和原工具非常相似，但功能其实不同。比如原本需要"获取订单的预计送达时间"，但被替换成了"获取门店退货的预计取件时间"，看起来很像，实际上完全是两回事。

研究者通过严格的数学保证，确保每个路障测试中，被封堵的路径数量不会把题目变成无解——始终保留至少一条可行路径，只是让AI需要绕道。

---

**四、十款顶级AI的成绩单：有人满分，有人零蛋**

让研究团队颇感震惊的是，这道"五步以上工具调用"的题目，对很多现在被视为主流的AI系统来说，依然极具挑战性。

在没有任何路障的默认测试中，Gemini-3.1-Pro以77.06%的正确率拔得头筹。这意味着即使是最好的模型，在近四分之一的任务上也会失败。它同时在"执行精度"这一指标上表现最佳——也就是说，它的工具调用很少走弯路，基本上每次调用都贴近正确路径，平均只需约20轮交互就能完成任务。

排在第二的是DeepSeek-V4-Flash，以63.08%的正确率紧随其后。GPT-5.4和Gemini-3.5-Flash均在50%左右。大多数其他模型的正确率低于20%，而Qwen3-8B和Llama-3.1-8B-Instruct则直接以0%正确率垫底——没有答对一道题。

这种"赢家通吃"的分布格局，在模型家族内部也同样存在。更大的Qwen3-32B比Qwen3-8B好，更大的Llama-3.3-70B比Llama-3.1-8B好，但依然与顶级模型有巨大差距。这说明模型的规模和家族都很重要，但即便是同家族中最强的型号，也未必能在这类任务上表现出色。

研究团队还发现了一个颇为微妙的规律：探索的广度和任务成功率之间，存在非常强的正相关关系。他们用"平均探索数据类型数量"来衡量AI探索的广度，发现这个指标与正确率的皮尔逊相关系数高达0.902——几乎是完美的线性关系。换句话说，能够在工具迷宫里四处摸索、发现更多中间信息的AI，最终完成任务的概率就越高。

然而，光靠多搜索还不够。Gemini-3.5-Flash的搜索次数是所有模型里最多的，搜索与工具调用的比例高达10.44，平均每完成一道题需要近58轮交互。但它的正确率仅有52.19%，远不如Gemini-3.1-Pro的77.06%。原因很简单：Gemini-3.5-Flash虽然搜了很多，但搜到的东西大量重复，没有转化为真正有用的中间信息。它就像一个不停在书架前踱步却每次都翻同一本书的读者，精力全白费了。

---

**五、路障来袭：强如GPT-5.4也从50%跌到11%**

当路障机制开启后，所有模型的表现都出现了大幅下滑，其中的跌幅令人咋舌。

GPT-5.4在默认模式下正确率为51.90%，但随着路障越来越多——研究团队通过"路障比例"来控制有多大比例的可行路径被封堵——它的正确率急剧滑落。当路障比例达到最高，只剩下一条可行路径时，GPT-5.4的正确率跌至约30%；而当这最后一条路径还是所有可行路径中最长的那条时，它的正确率更是跌到了略高于10%。这意味着，当AI不得不走最绕远的路来解决问题时，它几乎完全失去了解决问题的能力。

三种路障类型中，隐式失败对所有模型的伤害都是最大的。显式失败虽然让AI踩了坑，但AI至少能看到报错信息，意识到这条路不通。而隐式失败返回的是一个"看起来正常"的错误值，AI很容易把它当作真实数据用下去，结果后续的每一步都建立在一个错误的基础上，像多米诺骨牌一样连环倒塌。

从数据上看，在隐式失败的情况下，模型的"使用不可信输入"比率平均为11.99%，明显高于显式失败的9.67%和语义误导的9.89%。也就是说，AI更容易把隐式失败工具的输出误认为真实数据，并拿去调用下一个工具。

语义误导工具的情况相对乐观。在混合路障测试中，各模型调用语义误导工具的比例均不超过3%，GPT-5.4和Llama-3.3-70B-Instruct甚至完全没有调用过语义误导工具。这说明当前的AI已经具备了一定的"辨别工具真实功能"的能力——只要仔细读描述，就能发现这个工具其实不是自己需要的那个。

---

**六、额外思考时间救得了场吗？答案是：基本没用**

一个自然的问题是：如果给AI更多时间思考和探索，它能不能从路障中恢复过来？研究团队专门设计了一个"强制继续探索"的实验来回答这个问题。

具体做法是：每当AI在路障模式下给出了错误的最终答案，系统就自动注入一条提示，告诉它"你还没找到正确答案，请继续探索"。这个提示最多可以注入5次。

结果显示，这种额外的"提示续命"几乎没有显著帮助。大多数模型在获得额外提示后，正确率只提高了不到5个百分点，而且依然与无路障时的表现有巨大差距。这说明问题不在于AI缺少"机会"，而在于它根本不知道该怎么从失败中恢复——它缺乏的是真正的"绕路规划能力"，而不仅仅是更多的尝试次数。

这一发现很重要：让AI"多想想"在某些推理任务上确实有效，但在面对工具生态中的复杂故障时，单纯增加思考时间和交互次数并不能解决根本问题。AI需要的是一种更深层的"自我诊断"能力——能够判断"我现在走的这条路已经彻底断了，我需要完全换一个方向"。

---

**七、失败是怎么发生的：从"走错一步"到"无法回头"**

研究团队不满足于只知道AI失败了，他们还深入分析了AI是在哪一步、以什么方式失败的。

他们把每一个工具调用分成两类：一类叫"进展性调用"，意思是这次调用产生了至少一条朝向正确答案方向的新信息；另一类叫"非进展性调用"，意思是这次调用没有推动任何进展。

基于这个分类，研究团队把所有失败的轨迹归纳为四种模式。

第一种叫"毫无起色"：AI从头到尾就没有做出过一次进展性调用，全程原地打转，从来没踏上过通向正确答案的路。

第二种叫"不可挽回的漂移"：AI确实走对过几步，但随后做出了一次非进展性调用，从此再也没回到正确轨道。这是最常见的失败模式。在默认测试中，GPT-5.4有72.4%的失败案例属于这一类，Gemini-3.5-Flash有71.3%。这意味着大多数AI并不是一开始就走错了，而是在走对了一段之后突然"迷路"，然后就再也找不到回来的路了。

第三种叫"微弱的恢复"：AI漂移了，但又找回了一小段正确轨迹，只是还是没能坚持到终点。这种情况极为罕见，在所有模型的失败案例中，这一类只占约3%。这个数字揭示了一个残酷的事实：一旦漂移发生，几乎是不可逆的。

第四种叫"格式错误"：AI的失败不是因为方向错了，而是因为调用工具的方式不符合系统要求，比如传入了错误类型的参数，或者在自己还没获得必要输入值之前就想调用某个工具。这类错误本质上是技术性的、可修复的，但同样会导致任务失败。

研究者进一步追问：AI漂移的时候，是因为根本没有正确工具可用，还是有正确工具但没选对？答案令人大跌眼镜。在失败案例中，有78%的情况是：在AI做出那个错误的非进展性调用之前，它其实已经在之前的某次检索中看到过一个能推进进展的正确工具，只是没有选择它。也就是说，大多数漂移不是"手头没有好牌"，而是"明明有好牌却打错了"。

更有意思的是，这些错误调用还有明显的"就近偏好"：大约74%的错误调用使用的是AI最近一两轮刚检索到的工具，即便那些工具并不是最有用的。而那些早几轮就检索到却更有价值的工具，往往被遗忘在记忆的角落里。这说明AI对"新鲜信息"有天然的偏好，但这种偏好在复杂的多步任务中反而成了障碍。

---

**八、失败后的各自结局：有人放弃，有人乱猜，有人停不下来**

失败的路径可以有很多种，但失败的结局也各有特色。研究团队发现，不同模型在"确认失败后怎么收场"这件事上，表现出了截然不同的"性格"。

GPT-5.4是个悲观主义者。它的失败案例中，有77.3%以一句"我无法确定这个问题的答案"收尾，在路障模式下这一比例甚至攀升至80.6%。明明题目保证了每道题都有解，明明系统明确告知"一定存在可行路径"，GPT-5.4依然选择放弃。这不是因为真的无解，而是因为它一旦发现眼前的路不通，就倾向于停止尝试，而不是绕道。这种"保守"虽然避免了瞎猜乱答，但同样是一种失败。

DeepSeek-V4-Flash和Llama-3.3-70B-Instruct则是乐观主义者，只不过是盲目的乐观。DeepSeek的失败案例中，有58.8%以一个明显不正确的最终答案收尾——它用了某个与目标不相关的工具返回值，或者索性凭空捏造了一个答案。Llama-3.3-70B-Instruct更夸张，81.7%的失败案例都以一个错误答案收尾。这些AI不会说"我不知道"，它们会把任何手边有的数据当成答案，或者直接编一个。

Gemini-3.5-Flash则是个停不下来的探索者。它有90.8%的失败案例以"步数耗尽还没找到答案"告终。它的搜索/调用比率在失败案例中高达29.1，意思是它几乎把绝大多数时间都花在检索工具上，却迟迟不肯做出决定性的工具调用。它就像一个在图书馆里不停翻目录、却永远不走去找那本书的读者。

值得注意的是，这些"性格特征"在不同测试条件下保持高度稳定。无论是加上路障、还是改变路障类型、还是允许更多的交互轮数，每个模型的"结局偏好"基本保持不变。这说明这些行为模式是模型训练的深层特征，而不是随机的表现波动。

---

**九、任务越长越难：这不只是常识，而是数据证明的事实**

研究团队还考察了"任务的最短解题步数"与"任务成功率"之间的关系。他们把所有327道题按最短解题步数（5步、6步、7步、8步及以上）分组，分别统计各组的正确率。

结果毫无悬念：任务越长，正确率越低。对所有被测模型而言，最短需要8步以上才能完成的任务，其正确率显著低于最短只需5步的任务，而且这一规律在路障模式下更加明显——路障会进一步放大长路径任务的难度，因为AI不仅需要走更多步，还需要在更多的岔路口做出正确的绕行决策。

这个发现虽然看起来"理所当然"，但它的价值在于量化了这种直觉：在当前的AI能力水平下，每增加一个环节，任务成功率都会显著下降，而且这种下降在复杂干扰下会被大幅放大。这为未来AI系统的设计提供了一个明确的优化目标。

---

归根结底，这项研究做的事情，就是把AI智能体放进了一个最接近真实世界的混乱测试环境，然后如实记录了它们的表现。结果既有令人鼓舞之处——顶级模型Gemini-3.1-Pro确实展示出了不俗的规划能力——也有大量值得警醒的问题。

核心问题不是"AI不够聪明"，而是AI缺乏一种关键能力：在检测到某条路走不通之后，能够果断放弃这条路，并从记忆中调取之前看到过的备用工具，重新规划路线。大多数AI要么认知"短视"，执着于最新检索到的工具而忽视更早看到的正确工具；要么对失败信号不够敏感，特别是在面对"沉默地返回错误值"的隐式失败工具时，往往浑然不觉地把错误数据当作真实数据使用。

这项研究的意义，不只是测量了当前AI的局限，它同时提供了一个可以反复使用的测试平台和分析框架。任何想要改进AI规划能力的研究团队，都可以用PlanBench-XL来检验自己的改进方案是否真的有效。而且由于这套构建框架完全基于"数据类型→工具→路径"的通用逻辑，它可以相对轻松地扩展到零售以外的其他领域，比如医疗、金融、软件工程或企业流程管理。

对于普通用户来说，这项研究传递的信息很直接：当你把一个复杂的多步任务交给AI助手去完成，并且这个任务需要AI自行判断、自行调用各种工具、自行处理工具返回的结果时，它很可能在某个中间环节出错，而且出错之后很难自我纠正。这不是说不能用AI，而是说在高风险、多步骤的任务中，人类的监督和核查仍然不可或缺。

如果你对完整的实验细节、数学公式和原始数据感兴趣，可以通过arXiv编号2606.22388v1查阅原论文，研究团队也开放了代码和数据集供学术社区使用。

---

**Q&A**

Q1：PlanBench-XL测试平台和普通AI测试有什么区别？

A：普通AI测试通常假设工具是完整可见的、可靠的，或者任务目标是明确的。PlanBench-XL则模拟了真实世界中的混乱：AI每次只能看到一部分工具，工具库中混有噪音工具，还有可能遇到三种类型的"路障工具"——会报错的、会静默返回错误值的、和功能相似但实际不同的工具。这让测试结果更接近AI在实际部署中会遇到的情况。

Q2：隐式失败比显式失败危险在哪里？

A：显式失败会直接返回错误信息，AI至少知道这条路走不通，还有机会调整方向。但隐式失败工具会返回一个看起来正常的值，比如应该返回退款状态的工具却返回了"金枪鱼"，或者一个数学上不可能的极端负数。AI往往无法识别这种错误，会把这个假数据拿去继续调用下一个工具，导致整条解题链都建立在错误基础上，越走越偏，却浑然不觉。

Q3：GPT-5.4在路障测试中为什么表现下滑这么厉害？

A：GPT-5.4在默认模式下正确率约52%，但在路障最严苛的情况下跌至11%左右。主要原因有两个：一是它倾向于在当前路径受阻后直接"投降"，声称无法确定答案，而不是绕道寻找替代路径；二是它和其他模型一样，面对隐式失败工具时容易被误导，把错误数据纳入后续推理。当可用的替代路径只剩最长的那条时，它的规划能力就接近极限了。