微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 失败不是终点,而是地图:AI系统如何学会从挫折中进化

失败不是终点,而是地图:AI系统如何学会从挫折中进化

2026-11-09 14:39
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-09 14:39 • 科技行者

你有没有遇到过这种情况:辅导孩子做数学题,孩子算错了一道题,你没有直接说"错了,重做",而是指出来"你这里漏看了一个负号",孩子改完之后,下一次遇到类似的题目,他不会再犯同样的错误。

但如果你只说"错了",让他把草稿纸揉成团扔掉,从头再算,那会发生什么?他很可能会在同一个地方,用同样的方式,再错一次。

这个场景,恰好就是一篇最新论文想要讲的故事。只不过主角不是做题的孩子,而是正在被不断调优的AI系统。

**核心问题:被扔掉的草稿纸里,藏着答案**

现在越来越多的AI系统不是靠重新训练模型来变聪明的,而是靠调整它的提示词、技能文档、运行脚本这些"外部装备"。

提示词

:给AI下达指令的文字,相当于告诉它该怎么做事

这个过程通常长这样:AI系统先提出一个修改方案,跑一遍测试,如果分数比之前高就留下,分数没提升就直接扔掉,换下一个方案重试。这套流程在学术界有个统一的叫法,叫"提出-评估-选择"循环。

GEPA、ACE这些业内比较领先的优化工具,用的都是这套逻辑。

问题就出在"扔掉"这两个字上。

论文作者翻查了大量优化过程的运行记录,发现一个扎心的现象:很多被扔掉的方案,其实已经摸到了正确方向的边,只是还没完全做对。有的是方向对了但代码里有个小bug没修好,有的是只解决了一半的问题,还有的虽然整体失败了,但它至少告诉了后面的尝试"这条路走不通,别再试了"。

可现有的做法是,只要这次没打过上一轮的分数,这个方案连同它身上携带的所有诊断信息,一起被彻底丢弃。下一次重新开始分析时,系统完全不知道上一次已经试过什么、哪里卡住了,只能从零摸索,经常在同一个坑里反复踩。

论文把这种现象叫做"持续性失败壁垒":无论你再花多少次尝试、多少计算资源,问题的症结始终原地踏步,没有真正被突破。

研究团队给这套新方法起名叫Mara Chain。Mara是佛教传说里那个在修行者证悟之路上不断设置障碍的"魔罗",论文取这个名字,用意很直白,困难不会消失,但可以被踩着走过去。

**Mara Chain怎么做的:把失败的方案留下来,继续改**

Mara Chain的核心逻辑其实不复杂:当一个候选方案没能达标时,不要马上丢掉它,而是把它的运行记录、哪里失败了、系统对失败原因的分析、以及之前做过的所有修改,统统保留下来。

然后,让AI基于这些积累下来的证据,继续对着同一个方案往下改,连续改上几轮,直到它终于达标,或者改到了设定的轮数上限还是不行,才放弃整条链路。

这就跟医生看病历一样。

如果每个病人每次来看病,医生都从零开始问诊,完全不看之前的检查结果和用药记录,那病人复诊三次,可能还在原地打转,甚至重复做了三次一模一样的检查。但如果医生翻看病历,发现"上次用的药没起作用,但排除了某种病因",这次问诊就能直接跳过那条弯路,往下深挖。病历不是无用的废纸,它记录的是已经走过的、不用再走一遍的路。

被丢弃的候选方案就是AI优化过程里的"病历"。不留下它,相当于每次看病都把病历烧掉。

为了不让这套机制无限膨胀下去,Mara Chain给每条"改进链"设了个硬性上限,最多尝试5次(论文里这个参数叫链深度d)。如果5次之内都没能超过最初的方案,这条链就彻底放弃,不会无休止地拖下去。

同时,系统维护着一个候选方案池,为了防止这个池子越滚越大,Mara Chain用了一招叫"帕累托筛选+Top-N截断"的组合拳。

帕累托筛选

:保留那些在不同测试维度上各有专长、谁也不能完全取代谁的方案,类似于团队里留下"数学最强的"和"英语最强的"两个人,而不是把英语弱但数学也不是最强的那个直接开除

Top-N截断

:如果筛选后留下的方案还是太多,就只保留平均分最高的前N个,论文里默认N=3

这套组合拳解决了一个很现实的麻烦:如果测试题目特别多(比如20道以上),两个方案"谁完全碾压谁"的情况几乎不会出现,大概率是你擅长这几道、我擅长那几道。如果只靠帕累托筛选,候选池会越积越大,最后占满所有计算资源却筛不出真正的赢家,Top-N就是给这个"谁都不淘汰"的死循环踩一脚刹车。

**三个战场的实测:技能、系统外壳、检索管道**

论文没有只在一个任务上验证这套方法,而是选了三类完全不同的AI系统进行测试。

第一个战场是AppWorld,考验的是AI智能体的"技能文档"。可以理解成,AI要学会操作各种手机App完成任务,技能文档就是它随身携带的操作手册。

结果显示,Mara Chain在准确率上超过了GEPA、ACE、SkillOpt-Lite这几个目前最强的同类工具,最多领先20.5%。更夸张的是效率:要达到0.8分这个目标分数线,GEPA需要跑9514次测试,Mara Chain只用了3280次,省了65.5%的尝试次数。换算成实际花费的时间,Mara Chain用了11.9小时就达标,GEPA足足用了35.8小时,差了近三倍。

第二个战场是TerminalBench 2.1,考验的是AI的"命令行作战外壳",也就是AI在终端里执行各种高难度操作任务时所依赖的代码框架。Mara Chain优化出来的外壳,任务通过率达到71.9%,而两个专门做这个方向优化的工具AHE和Meta-Harness,分别只有51.7%和49.4%,差距超过20个百分点。

第三个战场是MuSiQue,这次考验的不是AI智能体,而是一套检索问答系统的数据处理流程,也就是文档检索、排序、过滤的一整套管道。这验证了一件更重要的事:Mara Chain不是只能优化AI智能体,任何能把"可调整的部分"整理成文件目录、又能被反复测试打分的系统,都能套用这套方法。实验结果显示,优化后的检索流程比人工手写的默认流程,排序质量指标提升了34.6%,召回率提升了39.8%。

**一个真实案例:五步才解开的谜题**

论文里有个细节特别值得展开讲讲,一个叫sanitize-git-repo的任务。

这个任务要求AI在一堆代码仓库里,把藏得很深的敏感令牌字符串找出来并清理掉。听起来简单,实际做起来问题一层套一层。

在没有Mara Chain的旧方法里,AI连续提了十几次修改方案:先是写了个"按长度匹配候选值"的规则,没用;换成"全仓库精确匹配",还是没用;又试了"针对特定前缀搜索",依然失败。每一次新方案提出来,前一次积累的线索就被扔掉了,于是同样的错误在好几轮优化里反反复复出现。整个任务,九个独立尝试,全部以0分收场。

而用了Mara Chain之后,同一个任务是这样被攻克的:

第一步,系统先写了一份自然语言指南,提醒AI注意搜索规则。运行发现,简单的grep命令会被大量代码引用淹没,真正的令牌找不到。

第二步,系统没有抛弃这个判断,而是基于它,把指南升级成了一个真正的脚本search-filtered.sh,用来过滤掉误判的代码引用。运行发现,这个过滤脚本的筛选逻辑太粗暴,把真正藏着令牌的那一行也一并过滤掉了。

第三步,系统针对这个新发现的问题,调整了脚本的匹配逻辑,改成按长度匹配。运行发现,匹配到的那一整行太长,打印出来的时候令牌本身被截断了,还是看不全。

第四步,系统精确定位到"打印方式"这个具体缺陷,把脚本改成只打印匹配到的令牌本身,而不是打印整行。

这次,终于通过了。

四次迭代,每一次都是在上一次留下的"半成品"基础上继续打磨,而不是推倒重来。这个过程特别像医生给病人连续调整治疗方案:第一版药不对症,但排除了一种病因;第二版换了药,副作用出来了;第三版调整剂量,疗效不够;第四版精准微调,终于痊愈。要是每次复诊都当第一次看,病人可能永远好不了。

论文还观察到一个有意思的规律:沿着这条修复链条,AI倾向于把解决方案从"自然语言建议"逐步升级为"可执行脚本"。这背后有个很朴素的道理,自然语言的指令AI可能会选择性忽略,但写进脚本里的逻辑,只要被调用,结果就是确定的。论文把这个现象称为"可靠性递增",相当于与其一遍遍地口头叮嘱,不如直接把规则焊死在流程里。

**拆开看效果:两个齿轮各管一摊**

Mara Chain其实是两个机制咬合在一起工作的:保留失败方案继续改的"链式重试",和控制候选池规模的"帕累托+Top-N筛选"。论文做了拆解实验,把这两个齿轮分开测试。

数据显示得很清楚:难度越高的任务,链式重试的作用越明显。

在相对简单的AppWorld常规任务上,有没有链式重试几乎看不出差别,两种设置的分数几乎一样。但在难度更高的挑战任务上,差距一下子拉开到接近5到7个百分点。而在TerminalBench这种最难的任务上,通过率直接从57.3%跳到71.9%,差了14.6个百分点。

这个规律其实不难理解。简单任务往往一次就能蒙对,用不着反复修正。真正难啃的任务,往往需要连续好几步精细调整才能啃下来,这时候"记不记得上一次试过什么"就成了关键变量。

反过来,如果关掉Top-N截断只留帕累托筛选,AppWorld的各项分数全线下滑,候选池效率明显变差。两个机制谁都不能缺。

**跨模型的一致性:不是只对一个模型管用**

论文还做了一件挺实在的事:同一套优化方法,分别套用在GLM-5、DeepSeek-V4-Pro、Qwen3.5这三个不同厂商的大模型上,看效果是否稳定。

结果是,三个模型用上Mara Chain之后,相比不做任何优化的空白版本,平均提升幅度分别是40.3、32.7、23.4个百分点。三个模型全部实现了正向提升,没有一个掉链子。

这说明Mara Chain优化的不是某个模型本身的能力,而是围绕模型搭建的那套外部装备。换个厨师,只要菜谱还在、流程还在,味道照样能稳住。

**局限性:这不是万能钥匙**

论文也很坦诚地指出了这套方法目前的短板。

Mara Chain每次只盯着一小批任务做诊断,这意味着它可能会对这一小批任务的失败模式"过拟合",也就是针对眼前这几道题琢磨出了套路,换一批题目未必管用。论文提到,靠跨批次的帕累托筛选能稍微缓解这个问题,但没法根治。

另外,整套诊断分析的逻辑,目前还是研究团队手工设计的"第一版",运行过程中是固定不变的,没有随着任务难度自适应调整。比如遇到特别棘手的壁垒,链条深度应该适当放宽;遇到简单问题,应该提前止损。这些目前都还没做到自动化。

研究团队也在论文末尾列出了几个接下来想做的方向,包括让链条深度根据问题难度动态调整、把串行链路改造成可以分叉的"树状结构"进行并行探索、以及给每一步修改加上置信度评估,万一某一步改坏了能有兜底方案回退。

三年前的GEPA用遗传算法加反思机制优化提示词,这是业内公认的强基线。再往前追溯,DSPy和AFlow这些工作则在尝试优化整个AI工作流程的结构。Mara Chain站在这些工作的肩膀上,往前多走了一步:它意识到,光是"反思"还不够,反思完了如果转头就把素材扔了,下一轮还是等于从头开始。

Q&A

Q1:Mara Chain是什么?

A:Mara Chain是一种AI系统优化方法,核心思路是把评估不达标的候选方案保留下来,基于它的运行记录和失败原因持续迭代改进,而不是直接丢弃重新尝试,从而突破优化过程中反复卡壳的"持续性失败壁垒"。

Q2:Mara Chain和GEPA、ACE这些工具有什么区别?

A:GEPA、ACE采用的是"提出-评估-选择"循环,方案不达标就直接扔掉重新开始。Mara Chain则会把失败方案的运行记录、诊断分析和修改历史都保留下来,沿着同一条线索继续改进,实测在AppWorld任务上比GEPA节省65.5%的尝试次数,最终得分也更高。

Q3:Mara Chain只能用在AI智能体上吗?

A:不是。论文在AppWorld(智能体技能优化)、TerminalBench 2.1(命令行作战框架优化)、MuSiQue(检索问答流程优化)三个完全不同的场景都做了验证,说明只要系统的可调整部分能整理成文件目录并反复测试打分,这套方法就能套用。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-