让AI Agent学会做长任务，为什么给的提示要"先指路后点评"？

你有没有经历过这种事：刚学开车那会儿，教练在副驾上一直喊"打方向"、"踩刹车"、"看后视镜"，你手忙脚乱但至少能把车开出去。等你学得差不多了，教练突然不喊具体动作了，改成说"你刚才那个变道有点急"、"这个路口你其实可以提前减速"。

如果教练一直喊具体动作会怎样，你可能永远学不会自己判断路况。如果一开始就只给点评，你可能直接把车开进沟里。

这篇来自复旦大学团队的论文，研究的正是AI智能体（能自主完成多步骤任务的AI程序）训练中一个几乎一模一样的问题：给AI的反馈信息，到底该在什么时候给什么内容,才能让它学得又快又稳。

事情要从一个让研究者头疼很久的难题说起。

当AI要完成"跑腿"任务时,到底难在哪

现在的大语言模型，做数学题、写代码已经相当厉害了。但研究的重心正在转向一件更难的事：让AI变成能在复杂环境里自主行动的智能体,比如帮你订机票、操作电脑、在网页上完成一连串操作。

这类任务有个特点，叫长程任务，一次完整的操作往往需要几十步交互才能完成,不是问一句答一句那么简单。

要训练AI做好这件事,业界目前最常用的手段是强化学习。

强化学习*：一种让AI通过不断尝试、根据结果好坏调整自己行为的训练方法,做对了给奖励，做错了不给，AI就慢慢学会怎么做才能拿到奖励。

问题来了。长程任务里，奖励往往只在任务全部完成后才出现,比如你让AI去实验室测试一个金属勺导不导电，这中间可能要走进实验室、拿到勺子、组装电路、观察灯泡,一步都不能少。如果AI走错了方向，一路瞎摸索到最后也没完成任务，它就拿不到任何奖励。

这就是论文里说的"奖励稀疏"问题。

奖励稀疏*：指AI在训练过程中，大部分尝试都拿不到任何反馈信号，导致它不知道自己哪一步做对了、哪一步做错了，学习效率极低。

这就像你参加一场只有终点线才发奖牌的马拉松，而中途完全没有任何指示牌告诉你方向对不对。跑错方向的选手会一直跑下去，直到精疲力尽也摸不到奖牌，教练组也没法知道他到底是哪个岔路口拐错了。如果比赛路线上每隔几公里就有个路标提示"你在正确方向上"，情况会完全不同。

过去业界解决这个问题的常规思路，是在正式训练前，先用一批专家写好的"标准答案"轨迹，对AI做一次监督微调,相当于开车前先看一遍教学视频再上路。

监督微调*：用高质量的示范数据直接告诉模型"正确答案应该长什么样",让模型模仿学习的一种训练方式,英文缩写SFT。

但这个办法有两个硬伤。第一，收集这些"标准答案"轨迹本身就很贵，很难大规模扩展。第二，如果对着这些标准答案训练得太狠，AI会变得过于死板，后续做强化学习时缺乏自由探索的空间,就像一个把教学视频背得滚瓜烂熟的新手司机，遇到视频里没出现过的路况反而不知所措。

这篇论文的团队没有继续在"怎么调教AI"这条路上死磕，而是换了个方向：与其想办法把AI训练得更聪明，不如想办法把它训练时所处的环境改造得更聪明。

这是一个挺有意思的思路转向,从"agent-side warming up"（智能体侧预热）转向"environment-side adaptation"（环境侧适应）。换句话说，不是教AI怎么做，而是让它待的那个"世界"变得更愿意告诉它一些有用的信息。

反馈该给什么，什么时候给

研究团队把环境给AI的反馈信息拆成了两种类型。

第一种叫行动指导。

行动指导*：环境直接告诉AI下一步该做什么具体动作，比如"去实验室拿金属勺子"，相当于把正确的下一步直接摆在AI面前。

第二种叫观察增强。

观察增强*：环境不直接说该做什么，而是补充一些关于当前状态的隐藏信息，比如告诉AI"任务进度4项完成1项，阴极还没通电"，让AI自己去判断该怎么办。

这两种反馈方式听起来都是在"帮"AI，但研究者发现,帮的方式不一样，效果差别巨大，而且和"什么时候帮"这个维度紧密绑在一起。

他们分了两个时间尺度来看这件事。一个是单次任务内部的步骤推进，叫做episode内探索,就是AI在完成一次任务的十几步里，前几步该给什么反馈，后几步该给什么反馈。另一个是整个训练过程的阶段划分，叫episode间演化,就是AI刚开始训练能力弱的时候该给什么，训练到后期能力强了又该给什么。

研究团队在SciWorld这个科学实验模拟环境里做了对照实验，把反馈拆成四种组合：早期给行动指导、后期给行动指导、早期给观察增强、后期给观察增强，分别训练AI并观察它的表现曲线。

结果相当清楚。行动指导整体上比观察增强效果更好，尤其是在训练早期。这个道理不难理解,行动指导相当于直接把搜索空间砍掉一大截，AI不用瞎试，照做就有可能对。而观察增强给的是补充信息，AI还得自己动脑子把这些信息和该做的动作联系起来，这个"翻译"过程需要模型本身已经有点基础判断力才行。

这就好比你刚到一个陌生城市找工作，一开始你最需要的是有人直接告诉你"三号线转公交47路到XX街"，而不是给你一张写满该区域交通拥堵情况、商圈分布的分析报告,报告信息量再大，你连怎么走都不知道，看了也白搭。等你在这座城市住了一年，摸清了大致的地理规律，这时候有人给你一份详细的交通分析报告，反而能帮你规划出更聪明的路线,直接告诉你"走哪条路"这时候已经没什么用了，你自己判断力已经够强了。

更有意思的发现是,这两种反馈方式各自都有一个"最佳出场时机"，而且规律出奇一致：行动指导在早期最有效，晚期反而变得多余；观察增强在晚期爆发力强，早期却几乎帮不上忙。

研究团队干脆把这两种策略拼在一起做了个混合方案：前100步用行动指导（早期），后100步切换成观察增强（晚期）。结果这个组合方案的表现超过了之前所有单独策略,成功率曲线明显更高。

这个发现被总结成了论文的核心策略：早期用行动指导来引路，帮AI快速走出摸索期；后期用观察增强来点拨，帮它把已经掌握的基础操作打磨得更精细。研究者给这套改造过的环境起了个名字，叫做反馈增强环境。

反馈增强环境*：论文提出的核心方法，简称FEE，指的是按照"早期给具体指导、后期给状态信息"这套时间策略，系统性地重构AI训练环境反馈内容,不改AI，改它所处的世界。

在两个基准上跑一遍，看看到底行不行

光在SciWorld一个环境里验证还不够，研究团队又把这套策略搬到了另一个测试场景BFCL。

BFCL*：全称Berkeley Function Calling Leaderboard，一个用来评测AI调用各种工具、处理多轮真实用户交互能力的基准测试集。

在SciWorld里，行动指导就是给出具体可执行的动作，观察增强则是实时的任务进度追踪。在BFCL里，行动指导变成了在用户提问后面追加的提示语，观察增强则是把工具调用返回的信息补充得更详细。

研究团队用Qwen3-4B和Qwen3-8B两种规模的模型，分别搭配三种主流强化学习算法GRPO、DAPO、GSPO进行训练对比。

GRPO*：一种通过在同一组多次尝试里比较相对好坏来计算训练信号的强化学习算法，不需要额外训练一个专门打分的模型。

DAPO*：在GRPO基础上加入了动态采样等技巧，专门用来提升训练稳定性的改进算法。

GSPO*：按照整条行动序列的整体可能性来计算训练信号，而不是逐个动作单独计算的算法。

实验结果显示，用反馈增强环境训练出来的模型，在几乎所有模型规模和算法组合下都跑赢了标准环境训练出来的模型，平均提升幅度达到2.82%。具体来看，Qwen3-8B用GSPO算法在SciWorld上的表现从53.91%直接跳到60.94%，提升了7个百分点；Qwen3-4B用GRPO算法在BFCL的基础任务上更是提升了10个百分点。

这里有个特别值得说的对比：经过强化学习训练之后，Qwen3-4B和Qwen3-8B的平均得分分别达到47.81%和48.11%，已经超过了参数量大得多的Qwen3-235B-Thinking模型（35.09%），逼近了顶级闭源模型GPT-5.4（52.07%）。一个几B参数的模型，靠着更聪明的训练方式，追上了几十倍参数的模型,这说明训练方法本身能撬动的空间，可能比单纯堆参数更大。

不过研究者也诚实地报告了一个副作用：用反馈增强环境训练出来的AI，在某些需要"质疑"用户请求的场景里表现反而变差了。比如用户请求里缺少关键信息，或者压根没有合适的工具可用，这种时候AI应该主动提出疑问，而不是硬着头皮往下执行。数据显示，Qwen3-4B用DAPO训练后在"缺参数"类任务上从41%掉到了34%。研究者推测，这可能是因为AI在训练中习惯了环境主动给它指路，久而久之变得过于依赖外部引导，遇到信息不全的情况也倾向于硬闯，而不是停下来提问。

这个副作用挺耐人寻味的,就像一个总有人在旁边提醒的孩子，习惯了被喂答案，突然遇到没人提醒的情况，反而不会自己判断"这题信息不够，得先问清楚"。

反馈增强环境到底改变了AI的什么

数据好看只是结果，研究团队更想弄明白这套方法背后到底发生了什么。他们做了四组深入分析。

第一组关于训练稳不稳。

他们追踪了训练过程中AI策略的熵值变化。

策略熵*：衡量AI在做决策时选择的"多样性"或"不确定性"的指标，熵值高说明AI还在探索多种可能性，熵值骤降到零则说明AI已经收敛成固定套路，不再探索新的可能。

结果显示，在标准环境里训练，AI的熵值大约在250步左右会突然崩塌到零,说明它过早地"死心"了，只认准一种做法，不再尝试别的路径。而在反馈增强环境里，熵值能稳定维持300步都不崩溃。即使人为加入额外的"强制探索"机制,熵值也依然比标准环境撑得更久。这说明反馈增强环境本身就在给AI的探索行为托底，让它不至于过早陷入路径依赖。

这就好比两个人在陌生的迷宫里找出口，一个人身边完全没有任何标记，走投无路时容易死磕一条看起来"差不多对"的路线，哪怕撞了好几次墙也不愿意回头;另一个人身边不时有人提醒"这条路走过了"、"那边好像有新区域"，他反而更敢于持续尝试不同分支，不会轻易固执地卡在一条死路上。

第二组关于AI是不是真的探索得更充分了。

研究者在BFCL上监控Qwen3-4B训练过程中每个采样环境的平均成功率，同时把400个测试环境按难度分成简单、中等、困难三档，看看模型在不同难度下的表现。

结果发现，用反馈增强环境训练出的AI，训练过程中探索到的高成功率状态明显更多，图上呈现出更密集的"绿色区域"（代表更高成功率）。更关键的是，这种探索能力在评估阶段依然保留了下来,即便去掉反馈增强，把AI放回标准环境测试，它在"困难"档任务上依然比标准环境训练出来的模型高出4.3个百分点。

这说明反馈增强环境培养出的不是一种"临时抱佛脚"式的依赖，而是真正让AI学会了一种更主动的探索习惯，这种习惯即使脱离了额外提示也能带着走。

第三组是这篇论文里我觉得设计得最巧妙的一个实验，专门用来回答一个很关键的疑问：AI到底是把反馈增强环境里学到的信息真正记在了脑子里，还是只是"临场作弊"，一旦没了提示就什么都不记得？

研究团队设计了一套探针问题。他们选定BFCL里的文件系统操作场景，比如cd（切换目录）、mkdir（创建文件夹）这些命令。在反馈增强环境里，这些操作执行后会额外返回当前的绝对路径信息。训练结束后，研究者问AI一个选择题：执行完某个命令后，返回结果里到底有没有包含这个绝对路径信息,给AI两个选项，一个是"没有"（对应标准环境的做法），一个是"有"（对应反馈增强环境的做法），看AI更倾向选哪个。

结果相当明确。用反馈增强环境训练出来的模型，随着训练推进，越来越倾向于选择"有"这个选项，说明它已经把这个额外信息内化成了自己对这个操作的默认认知。而用标准环境训练的模型，几乎一直固执地认为"没有"，几乎没有变化。

这就像你去一家新开的奶茶店点单，店员每次都会顺口提醒你"我们家糖度默认是七分甜哦"。喝了几十次之后，就算某天换了个新店员没有主动说这句话，你自己心里也已经默认这家店是七分甜了,这个信息已经变成了你对这家店的固定认知，而不是每次都靠店员提醒才想起来。这说明反馈增强环境提供的信息，不是让AI临时"抄一眼答案"，而是真的写进了它的判断逻辑里。

第四组实验探讨了一个容易被忽略但特别重要的细节：给反馈的时候，是不是应该给所有并行尝试的AI都一致的信息？

在强化学习训练里，AI通常会同时采样多条尝试路径（一个"组"），然后互相比较谁做得更好，来计算训练信号。研究团队想知道，如果同一组里，有的AI收到了增强反馈，有的没收到，会怎样。

结果显示，如果同一组内的反馈信息不一致（有的AI看到增强信息，有的没看到），整个训练过程会变得极不稳定，成功率曲线上蹿下跳，忽高忽低。而如果同一组内所有AI收到的反馈保持一致，训练曲线则稳步上升。

这个道理其实和统计学里"控制变量"的逻辑很像。假设你在带一个五人学习小组做同一份试卷，用来对比谁更擅长这门课，结果你悄悄给三个人多发了一份参考答案的提示，另外两个人没有。这时候比较这五个人的成绩高低，本身就失去了意义,分数差异到底是能力差异，还是因为信息不对等造成的，根本说不清楚。强化学习里的"组内比较"也是同一个逻辑，如果组内信息不对等，用来计算训练信号的那个"相对好坏"的判断标准本身就被污染了，训练自然会乱套。

这套方法目前还有哪些没解决的问题

研究团队也很坦率地承认了几个局限。

第一，反馈增强环境的设计目前还挺依赖人工经验,什么时候算"早期"，什么时候算"晚期"，这个分界点是研究者手动设定的，具体怎么调整最优，还没有一个系统性的答案。

第二，目前只在SciWorld和BFCL这两个环境里做了验证，还没有铺开到更多种类的智能体测试基准上，这套策略能不能推广到其他任务类型，还需要更多验证。

第三，也是最实在的一点：研究团队在更复杂的AppWorld环境（一个模拟真实App操作的测试平台）上尝试用同样的方法训练Qwen3-4B和8B，结果发现即使加了反馈增强，训练依然陷在"零奖励"的死循环里走不出来。这说明这套方法不是万能钥匙，在极端稀疏奖励的场景下，可能还需要更强力的环境改造手段。

写在后面

读完这篇论文，最触动我的其实不是那些提升几个百分点的实验数字，而是这个研究提出的问题本身：我们总是习惯性地想"怎么把AI训练得更聪明"，却很少反过来想"怎么把AI待的环境设计得更聪明"。

这两者听起来差不多，但背后的假设完全不一样。前者假设问题出在AI这一侧,它不够聪明、不够会学。后者则暗含一个更谦逊的判断：也许AI已经具备学习能力了，只是它所处的世界给的信息太糟糕，糟糕到即便一个聪明的学生也很难从中学到东西。

这让我想起教育里一个类似的争论：到底是学生笨，还是教材编得烂。很多时候答案是后者，只是我们更习惯把责任归到学习者身上。

还有一个细节值得单独拿出来说：论文里那个"同一组内反馈必须一致"的发现，其实揭示了一个更普遍的道理,在任何需要"横向比较"来做判断的系统里（无论是AI训练，还是公司里的团队考核，还是班级排名），一旦比较的起点不公平，整个比较结果就失去了意义。这个原理简单到近乎常识，但真正被系统性验证并写进论文之前，很少有人会意识到它对强化学习训练的破坏力有多大。

论文最后提到的那个"失败案例"也挺值得琢磨,在AppWorld这个更复杂的环境里，反馈增强完全失效了。这说明这套方法是有边界的，它解决的是"环境反馈太稀疏但还没稀疏到彻底断联"的那类问题。如果环境复杂到AI连一次正确的尝试都撞不上，再怎么改造反馈内容可能也无济于事。这个问题目前还悬在那里，没有答案。

如果有一天，AI真的能在几乎没有人工设计痕迹的环境里自主学会复杂任务，那时候我们回头看今天这些"人工调节反馈时机"的研究，会不会觉得像是在看人类学骑自行车时后面有人扶着车座的那个阶段,过程必要，但终究是要放手的。

Q&A

Q1：反馈增强环境是什么？

A：反馈增强环境（FEE）是论文提出的训练方法，核心思路是让AI训练时所处的环境按照"早期给具体动作指导，后期给状态信息补充"的时间策略提供反馈，从而帮助AI更高效地完成长程任务的强化学习训练。

Q2：为什么AI训练中会遇到奖励稀疏的问题？

A：因为长程任务往往需要几十步操作才能完成，奖励通常只在任务全部做完后才出现。如果AI中途走错方向，最后没能完成任务，就完全拿不到任何反馈信号，导致训练效率很低，这就是奖励稀疏问题。

Q3：用反馈增强环境训练AI会有副作用吗？

A：会有。研究发现AI可能变得过度依赖环境给的引导信息，导致在需要主动质疑用户请求（比如信息缺失或没有合适工具）的场景里，表现反而不如标准环境训练出来的模型，容易硬着头皮执行而不是先提出疑问。