微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 AI管家明明记得一切,却为什么总是把事情搞砸

AI管家明明记得一切,却为什么总是把事情搞砸

2026-10-28 07:04
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-10-28 07:04 • 科技行者

有个真实案例特别扎心。

在一个叫ALFWorld的虚拟家居测试里,研究人员给AI机器人布置了一个任务:把一个热的马克杯放进橱柜。结果这个AI打开橱柜,关上,再打开,再关上,反反复复三十六次,最后在第50步宣告失败。它不是没在干活,它一直在动,一直在执行动作,可就是没有任何进展。

这就是这篇论文要解决的核心问题,一个困扰长程AI智能体的隐藏病症。

**当记忆变多,理解反而变少**

现在的AI智能体越来越能干了。

超长上下文窗口*:指AI模型一次能处理的文本长度上限,现在的模型动辄能塞进几十万甚至上百万字的信息。

更强的推理能力,外部记忆系统,复杂的执行框架,这些能力堆叠起来,让AI能承接的任务越来越复杂。但论文作者发现了一个反直觉的现象:给AI更多记忆,不代表它对当下世界的理解会更连贯。

想想看,你让一个助理记下过去三个月发生的所有事情,事无巨细。三个月后你问他"现在仓库里还剩多少货",他翻遍了笔记本,却给不出准确答案,因为笔记本里记录的是"某天进了100件货""某天卖了30件""某天又退回5件",这些信息零散地分布在不同页面,他得自己在脑子里做加减法,还可能算错,或者漏看了某一页。

原始轨迹忠实记录了每一步发生的事,但它不会自动帮你算出"现在是什么状态"。

这正是论文开篇点出的矛盾:智能体的动作会改变环境,新的观察又可能推翻之前的判断,原始的交互历史像一条不断延长的河流,混杂着过去的证据和中途的推理,随着时间推移,你越来越难分辨哪些事实依然成立,哪些推论还站得住脚,哪些问题还悬而未决。

论文提出一个理论基础叫信念状态。

信念状态*:用数学语言说,它是给定历史交互信息后,AI对当前世界真实状态的概率估计,写作b_t(s) = P(s_t = s | h_t)。在理论上,这是做决策所需要的全部信息精华。

问题是,现有的很多方法,无论是做历史压缩的ACON、做分层记忆管理的HiAgent,还是维护审计记录的LongHorizon-Harness,本质上处理的都是"记忆"而不是"信念"。它们让历史更好读、更精简,但没有强制形成一个随时可查、随时可改的"世界当下状态"的清晰快照。

研究团队把这个缺口命名为一个新的研究方向,并设计了一套叫PoS(Progression of States,状态演进)的框架来填补它。

**先搞清楚AI脑子里该装什么**

PoS的第一步是重新定义AI的"决策上下文"该长什么样。

论文设计了一个叫信念的数据结构,用公式表示是B_t = (W_t, G, Δ^E_t, Δ^A_t)。拆开看其实挺直白。

世界状态*:W_t代表AI对当前环境里各种事物状态的结构化理解,论文用"实体-状态-关系"这套框架来表达,比如"马克杯(实体)是热的(状态),目前在微波炉里(关系)"。

这套结构的巧妙之处在于,它不仅记录"有什么东西",还记录"这个东西现在是什么状况"。这一点在长程任务里至关重要,因为一个实体的状态是会变的,马克杯可以从凉的变成热的,门可以从开着变成关着,这些变化直接决定了接下来能做什么动作、任务是否已经完成。

除了世界状态,信念里还包含目标G,以及两类"缺口"。

认知缺口*:指AI还不清楚、证据不够充分的信息,比如"到底是数据库在等待还是JVM在处理"这种悬而未决的判断。

达成缺口*:指当前状态和目标状态之间的差距,比如"杯子还没加热"这种需要靠行动去填补的差距。

把"还需要学什么"和"还需要做什么"分开记录,这个设计看似简单,实际上解决了一个很现实的问题。如果不做区分,AI很容易在该去查证据的时候却跑去瞎做动作,或者该去执行任务的时候却在原地纠结信息够不够。

这就像医生看病历。一份好的病历不只是罗列"病人说了什么、做了什么检查",而是会清楚标注"目前确诊的病症是什么""还需要做哪些检查才能确诊""治疗方案执行到哪一步了"。如果病历只是流水账式地堆砌每次问诊的对话记录,医生每次接诊都得从头翻阅、自己归纳,不仅费时,还容易看漏关键信息,甚至可能因为疲劳而误判病情进展。PoS做的事情,相当于给AI配了一份实时更新、结构清晰的病历,而不是一堆散乱的就诊记录。

![](信念模型结构图:实体-状态-关系三元组构成世界状态,外加认知缺口和达成缺口共同组成完整信念)

**自己说的话,自己也得核实**

光构建信念还不够,因为信念是AI自己生成的,难免出错。

论文指出一个扎心的事实,信念更新由大语言模型自己完成,这意味着它完全可能把自相矛盾的内容写进去,比如同时记录"微波炉是开着的"和"微波炉是关着的",这种自相矛盾一旦没被发现,会直接误导后续决策。

于是PoS引入了一个叫信念哨兵的验证机制。

信念哨兵*:Belief Sentinel,专门负责审核每一次信念更新,检查两类问题,一类是内部矛盾(比如同一个实体被赋予了互相冲突的状态),另一类是和观察证据不符(更新的内容和刚刚环境反馈的信息对不上)。

具体流程是这样的,AI先根据新的观察生成一个候选的信念更新,这个候选版本还不能直接采信,得先过信念哨兵这一关,哨兵把审查出的问题反馈给AI,AI结合实际证据重新修正,修正后的版本才正式成为下一步的决策依据。

这个机制让我想到公司里的财务复核流程。一个员工填报表,难免会手滑写错数字或者逻辑对不上,如果没有复核这道关卡,错误的数字就会一路传下去,影响后续所有基于这份报表做的决策。设了复核岗位,哪怕复核员自己也会犯错,至少能拦住大部分明显的漏洞。如果没有这道复核,PoS的实验数据显示,在ALFWorld任务上去掉这个验证模块,成功率最多能暴跌14.93个百分点,这说明自我纠错这件事,远比想象中更重要。

**AI在原地打转,怎么发现它卡住了**

验证了一致性,还不能保证AI在往前走。

论文提出了一个关键概念叫信念困陷。

信念困陷*:Belief Trapping,指AI持续在采取行动、看起来很忙,但实际上没有朝目标取得任何实质进展的状态,比如反复执行无效动作、在几个状态间循环打转、或者收集了一堆跟任务无关的信息。

前面提到的开关橱柜三十六次的案例,就是典型的信念困陷。这种状态最危险的地方在于,它消耗的是有限的交互预算,一旦预算耗尽,任务直接宣告失败,而AI自己却可能完全没意识到自己正在原地踏步。

要识别这种困陷,PoS设计了三个信号的组合判断。

缺口持续度*:衡量某个未解决的问题,在最近一段时间的交互窗口里是不是一直没能解决。

进展停滞率*:衡量最近的交互里,有多大比例完全没有记录到任何实质进展。

信念重现率*:衡量跟当前关注问题相关的世界状态,是不是在反复回到同一个样子,也就是在原地绕圈子。

论文的一个细节设计特别值得说一说。研究者没有简单地用这三个信号的几何平均或者最大值,而是设计了一个公式H_t = 1 - p_t × max(S_t, R_t),用缺口持续度去加权停滞和重现中更严重的那一个。

论文里专门解释了为什么不能简单取最大值或者几何平均。如果用几何平均,只要停滞率和重现率中有一个是零,哪怕另一个高到顶点,算出来的健康分数也会显示"完全健康",这明显不对,因为AI完全可能是"没有反复横跳但也完全没有进展"。如果用最大值,又会出现另一个问题,只要某个缺口一直悬而未决,哪怕AI其实在一步步接近答案,系统也会误判为"卡住了"。

这就像判断一个人是不是真的在原地踏步。单看他"有没有不停重复做同一件事"不够准,因为他可能换着花样做各种无效的事;单看他"目标有没有达成"也不够准,因为任务本身可能需要很长时间才能完成,中途没达成不代表没进展。真正靠谱的判断方法是综合看,这件事到底悬了多久,加上这段时间里有没有任何实质性推进的迹象。两者叠加起来,才能分辨出"正常的慢工出细活"和"真的卡死了"。

**诊断病因,然后对症下药**

发现困陷只是第一步,更难的是怎么把AI从困陷里拽出来。

PoS的做法是做因子化诊断,从两个维度分析困陷的性质。

第一个维度是动态模式,分为三类。

静态停滞*:Static,世界状态几乎没有任何变化。

循环*:Cycle,出现周期性重复,比如每隔几步就回到同一个状态。

漂移*:Drift,世界状态在变,但这些变化跟当前要解决的问题毫无关系,属于无效的瞎折腾。

第二个维度是被卡住的缺口类型,到底是认知缺口被卡住了(信息不够),还是达成缺口被卡住了(行动没效果)。

两个维度交叉组合,就能针对性地给出恢复策略。如果是静态停滞,就抑制那个无效的重复动作;如果是循环,就主动打破那条反复出现的循环路径;如果是漂移,就把注意力重新拉回到当前真正要解决的问题上。同时,如果是认知缺口被卡住,就要求AI去获取能区分几种可能性的新证据;如果是达成缺口被卡住,就要求产生真正推动目标的状态变化。

这套诊断逻辑让我联想到看病开药。同样是"发烧"这个表面症状,病因可能是病毒感染,也可能是细菌感染,甚至是免疫系统的问题,如果医生不分青红皂白都开退烧药,症状可能暂时缓解,但病根没除,很快又会反复。PoS不满足于笼统地说"你卡住了,换个思路",而是先搞清楚到底是"原地不动"还是"瞎绕圈子"还是"方向错了",再决定该开哪种药。

论文里有个来自RCA-100数据库故障诊断任务的真实案例特别生动。AI要判断一个库存服务变慢,到底是数据库在等待还是JVM本身在处理数据,连续调查了很多次都没能区分这两种可能。PoS检测到这是静态停滞加认知缺口被卡住的组合,于是给出约束,别再重复无效的调查方式了,去找能区分这两种解释的证据。AI随后选择去查CPU活动情况,这个选择是AI自己做的,PoS给的是方向而不是具体操作指令,查出CPU在故障期间活动量明显上升,结合之前已经掌握的垃圾回收活动增多的证据,AI最终把判断修正为JVM侧的处理问题,提交了正确诊断。

![](信念困陷分析图:不同模型下的困陷检出率、不同基准下的困陷模式分布、以及PoS恢复策略对比通用恢复提示的效果)

值得一提的是,实验数据显示,困陷检出率更低不代表最终表现更好。在RCA-100任务上,Kimi-K3检测到的困陷比例是74%,比GLM-5.3的53%更高,但Kimi-K3的最终联合准确率反而更高。这说明单纯减少卡顿次数不是目标,能不能从卡顿里真正走出来、重新获得进展,才是关键。

**四个基准测试,每个都拿下最好成绩**

光讲设计理念不够,数据才是硬道理。

研究团队在四个长程任务基准上做了系统测试,覆盖执行类任务(ALFWorld家居机器人、LOCA-Bench跨源工作流)和诊断类任务(RCA-100系统故障诊断、ClinDiag临床诊断),并且在三种不同的大语言模型底座上都跑了一遍,分别是Qwen3.7-Plus、Kimi-K3和GLM-5.3。

| 方法 | ALFWorld | LOCA-Bench | RCA-100 | ClinDiag |

|---|---|---|---|---|

| 原始轨迹 | 62.69-93.28 | 43.62-69.71 | 24.27-36.89 | 38.91-49.17 |

| 最强基线方法 | 72.39-95.52 | 52.57-70.86 | 28.16-41.75 | 41.89-51.82 |

| **PoS(本文方法)** | **88.81-97.01** | **56.38-74.29** | **38.83-51.46** | **45.03-54.80** |

数字背后藏着一个更让人意外的发现,现有的记忆管理方法,表现其实相当不稳定。比如PACE这个方法在ALFWorld和RCA-100上表现不错,但在LOCA-Bench上反而比什么都不做的原始轨迹方法低了24到28个百分点。换句话说,给AI做"记忆优化"这件事,有时候反而帮倒忙,因为压缩和整理历史信息的过程中,可能把关键细节给丢了。

PoS相比各个基准测试里表现最好的对手,相对提升幅度分别达到ALFWorld上22.68%、LOCA-Bench上7.53%、RCA-100联合准确率上37.89%、ClinDiag上11.31%。考虑到这是在执行类和诊断类两种完全不同性质的任务上都取得的提升,说明这套方法抓住的是某种通用的底层逻辑,而不是针对某个特定场景的小技巧。

拆解PoS内部各个组件的贡献也很说明问题。去掉一致性验证这道关卡,ALFWorld上的表现会跌14.93个百分点,LOCA-Bench跌11.81个百分点;去掉困陷诊断和恢复机制,RCA-100上会跌4.85到6.79个百分点,ClinDiag跌2.65到3.97个百分点。两个模块各自守住不同的阵地,一个负责"别让错误信念蒙混过关",一个负责"别让AI在原地空转"。

**好东西也有代价**

天下没有免费的午餐,PoS能换来这些提升,是要付出代价的。

论文专门做了成本核算。在RCA-100任务上,用PoS能把联合准确率从24.27%提升到38.83%,但总的token消耗变成了原来的5.06倍。原因不难理解,维护一份结构化的信念、反复验证它、诊断困陷并生成恢复策略,这些都需要额外的计算。

有意思的是,如果只去掉一致性验证这一个模块,能省下35.6%的token消耗,但代价是损失7.76个百分点的准确率;如果只去掉困陷诊断,省下的token只有9.2%,准确率损失却是4.85个百分点。两种省钱方式都不划算,说明这两个模块花的每一分计算成本,基本都物有所值。

这就像请一个经验丰富的会计师和一个刚入职的实习生,经验丰富的会计师工资贵,但他能帮你发现账目里的猫腻、提前预警财务风险;实习生便宜,但出了问题可能要花更大代价去弥补。单看工资单,你可能觉得实习生更划算,但算上出错的风险成本,结论往往会反过来。

**上下文越长,优势越明显**

还有一组实验特别能说明问题,就是当任务的背景信息变得极其冗长时,各种方法的表现会怎么变化。

研究团队把LOCA-Bench的环境描述从8K token一路拉长到256K token,测试各个方法的成功率曲线。整体趋势是,随着上下文变长,几乎所有方法的表现都在下降,这符合直觉,信息越多,越难抓重点。

但PoS在96K到256K这个区间,表现基本保持稳定,在256K这个极端长度下,领先第二名10.67到16个百分点。

这个结果背后的逻辑并不复杂。PoS每次只是把新观察融入已有的世界状态和缺口记录里,做增量式更新,而不需要每次都从头翻阅越来越长的交互历史去重新归纳当前状态。这就好比你记账的方式决定了算总账的难度,如果每天都更新一个实时余额,月底查账只需要看最新那一行数字;如果只是流水式地记录每一笔收支,月底就得把几百条记录重新加总一遍,记录越长,出错概率和耗时都会同步上升。

**好方法也有边界**

论文没有回避PoS的局限。

一个是成本问题,前面已经讲过,用自然语言表达和反复生成信念状态,天然带着冗余,未来或许可以探索更紧凑的潜在表征方式来记录世界状态,而不必每次都展开成完整的文字。

另一个更有意思,PoS能保证信念内部逻辑自洽,但自洽不等于正确。论文在ClinDiag案例分析里发现,不少诊断错误并不是因为信念记录得混乱,而是AI已经拿到了正确的医学信息,却缺乏足够的专业知识去正确解读它。一份逻辑清晰、内部不矛盾的病历,如果看病的医生本身专业知识不够,照样可能误诊。这提醒我们,信念维护解决的是"记录和推理过程"的可靠性问题,至于AI脑子里装的专业知识够不够用,是另一个需要单独解决的难题。

从研究脉络上看,PoS延续的是一条逐渐清晰的技术路线。更早的ReflAct尝试让AI基于目标状态的反思来指导行动,QuBE通过问答方式构建任务相关的信念,这些工作已经意识到"显式表达当前状态"的价值,但大多没有系统性地处理信念本身可能出错、可能导致空转这两个问题。另一边,2026年的T3方法尝试检测信念偏离并截断无效轨迹用于强化学习训练,但它的做法是"及时止损"而不是"原地复活",没有在任务进行过程中提供恢复路径。PoS可以看作是把这几条线索接在了一起,既要信念准,又要信念能用,出问题了还要能自己爬起来接着走。

Q&A

Q1:PoS框架解决的核心问题是什么?

A:PoS解决的是长程AI智能体在处理复杂任务时容易陷入"信念困陷"的问题,也就是AI持续采取行动却没有实质进展,比如反复执行无效动作或在几个状态间循环打转,最终耗尽交互预算导致任务失败。

Q2:信念困陷具体有哪几种表现模式?

A:论文把信念困陷分为三类,静态停滞指世界状态几乎不变;循环指出现周期性重复行为;漂移指世界状态在变化但这些变化和当前要解决的问题毫无关系。PoS会针对不同模式给出不同的恢复策略。

Q3:PoS相比传统记忆管理方法效果提升有多大?

A:在四个基准测试中PoS相比各自最强的基线方法都取得明显提升,相对提升幅度在ALFWorld上达22.68%,RCA-100联合准确率上达37.89%,ClinDiag上达11.31%,不过代价是token消耗会显著增加。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-