南京大学与快手科技联手破解AI代理"知行合一"难题：让智能体真正读懂互联网教程

这项由南京大学与快手科技联合完成的研究，以预印本形式发布于2026年6月，论文编号为arXiv:2606.01993，题为《MMG2Skill：智能体能否将真实世界的教程提炼为自我进化的技能？》。

每个人都有过这样的经历：遇到一个不熟悉的操作——比如用GIMP裁剪图片，或者在Minecraft里合成某种工具——第一反应就是去网上搜教程。教程通常写得很详细，有图有文，甚至有视频截图。照着做，大多数时候能成功，但偶尔教程里描述的界面和你眼前的略有不同，或者某个步骤默认你已经完成了某些前置操作，于是你就卡住了。

现在，越来越多的AI智能体（可以把它们理解为能在电脑上自己操作软件、玩游戏、打牌的AI程序）也面临类似的困境。这些智能体需要完成一系列复杂的步骤才能达成目标，比如操作桌面软件完成文件处理、在Minecraft里用特定材料合成道具、或者在扑克牌局里做出最优决策。网上有大量写给人类的教程，理论上这些知识可以帮助智能体更好地完成任务。但现实是，把一篇写给人类读者的图文教程直接塞给AI，效果往往并不好——有时候甚至会让AI表现更差。

南京大学与快手科技的研究团队正是瞄准了这个矛盾：互联网上海量的人类教程，究竟能不能被AI智能体真正消化吸收，变成它们自己能用的"操作手册"？更关键的是，当AI按照这份手册实际操作、遇到现实与教程不符的情况时，它能不能从失败中自我修正，让手册越来越准确？

为了回答这些问题，研究团队做了两件事：一是搭建了一个全新的测试平台MMG2Skill-Bench，专门用来评估AI智能体处理真实教程的能力；二是设计了一套名为MMG2Skill的方法框架，教会AI如何把教程变成可执行、可修改的"技能文件"，并在实际操作后不断完善这些文件。

一、为什么直接把教程扔给AI行不通

要理解这项研究解决的核心问题，得先弄清楚"人类教程"和"AI可用技能"之间的鸿沟。

人类写给人类的教程，天然包含大量隐性假设。比如一篇关于如何用LibreOffice调整表格格式的教程，作者会假设读者已经打开了文件、界面语言是英文、版本号是某个特定版本。当读者的实际情况与这些假设不符时，有经验的人类能随机应变，跳过不适用的步骤，或者根据上下文猜出正确做法。

但AI智能体做不到这一点。它没有常识性的临机判断能力，也没有办法从一篇混杂着广告链接、无关章节、版本差异说明的原始HTML网页里精准提取出"我现在需要做哪一步"。更麻烦的是，很多教程会在同一页面覆盖好几种相关情况——比如同时介绍Windows和Mac的操作方式——AI如果不加筛选地接收所有内容，反而会被无关信息干扰。

研究团队用一个词来概括这种困境：**教程与运行时环境之间的接地气差距**（guide-runtime grounding gap）。通俗地说，就是教程里描述的世界和AI实际面对的屏幕之间，存在一道裂缝。

实验证明了这一点。在测试中，研究团队专门设置了一个"原始教程注入"的对照条件：把完整的网页教程直接附给AI，让它自己去读、去用。结果发现，这种做法在桌面操作任务上几乎没有提升，在游戏任务上甚至让AI表现下滑了将近1.7个百分点。教程里那些针对人类读者的冗余信息，确实在干扰AI的判断。

二、MMG2Skill-Bench：一个专门考验"读懂教程"能力的测试场

在正式介绍解决方案之前，研究团队首先构建了一个测试平台，因为在此之前，根本没有一个专门用于评估"AI能否把真实教程变成可用技能"的标准测试集。

这个测试平台横跨三种完全不同的任务类型，共计130个任务。第一类是桌面GUI操作，基于一个名为OSWorld的开源平台，让AI在真实的桌面环境里操控LibreOffice、VS Code、Chrome、GIMP等软件，完成40个具体任务。第二类是开放式游戏，基于Minecraft，AI需要在游戏世界里完成挖矿、合成物品、熔炼材料等30个目标。第三类是策略性卡牌游戏，基于斗地主和麻将，共60局，AI需要根据手牌做出最优出牌决策。

每一类任务都配备了从互联网真实收集的人类教程。桌面操作类配备了软件官方文档和使用教程；Minecraft类配备了游戏维基页面和攻略性指南，详细描述合成配方和游戏流程；卡牌类配备了游戏规则说明和初学者策略文章。每个任务平均配备1到5篇不等的教程，以HTML格式存储，同时保留原始图片资源。

测试平台有一个重要的设计原则：每个任务的成功与否，必须能从AI自己的操作轨迹或公开的最终状态中推断出来，而不能依赖隐藏的评分机制。这样做的目的，是确保AI在自我改进时使用的信息，和实际部署时能看到的信息处于同一边界——不作弊，不偷看答案。

唯一的例外是德州扑克，因为其输赢取决于对手的私牌，而这些信息在AI的视野范围内根本不会出现，所以德州扑克只作为一个边界情况的诊断任务，不计入主要评分。

三、MMG2Skill框架：三步把教程变成会自我进化的技能

MMG2Skill框架的核心逻辑，可以用一个厨师学艺的比喻来理解。

一个新厨师刚入行，拿到一本食谱（教程）。食谱是写给有一定经验的人看的，里面可能有模糊的描述，比如"翻炒至金黄色"——这到底是几分钟？几成火？新厨师读不懂，直接按字面意思操作，可能会烧糊。

聪明的做法是：先把食谱里和自己要做的菜相关的步骤提炼成一份简洁的操作清单（技能提取）；然后真正下厨，边做边对照清单（执行）；做完之后，回顾一遍哪里出了问题，是火候不对还是步骤顺序有误（分析）；最后把这些发现更新到操作清单里，下次做得更好（精炼）。

这正是MMG2Skill的三阶段流程。

第一阶段叫做"多模态技能构建"。研究团队设计了一个专门的提取器，输入是原始的HTML教程页面和对应的图片，输出是一份结构化的Markdown格式技能文件，命名为SKILL.md。这份文件把教程里散乱的信息整理成几个核心要素：这个技能适用于什么场景、具体操作步骤是什么、执行到某一步后应该看到什么状态、如果出错了怎么恢复。特别值得注意的是，提取过程会过滤掉教程中与AI当前任务无关的内容——比如Windows操作系统的AI不需要Mac平台的操作步骤，斗地主的AI不需要德州扑克的策略。

第二阶段叫做"基于技能的条件执行"。在每一轮尝试开始时，AI会把当前的SKILL.md文件注入自己的工作记忆，然后在整个执行过程中始终参考这份技能文件来决定下一步动作。关键的设计是，技能文件只作为"参考建议"提供，AI仍然需要根据实际观察到的屏幕状态来做最终判断。研究团队在给AI的提示中明确写道：这些技能仅供参考，如果当前屏幕状态与技能文件的假设不符，应该以实际观察为准。

第三阶段叫做"基于轨迹的技能精炼"。每次执行完毕后，一个独立的分析模块会仔细阅读AI操作过程中产生的完整轨迹记录——AI看到了什么、做了什么、然后看到了什么新状态。这个分析模块不能看到任何隐藏的评分信息，只能依靠这些可见的轨迹来判断任务是否成功，以及哪里出了问题。分析结果会生成一份根因报告，描述哪些步骤做对了（下次应该保留）、哪里出了偏差（需要修改技能文件的哪一处）。然后，一个精炼模块根据这份报告对SKILL.md进行就地修改。

整个流程会反复迭代，最多进行5轮尝试。每一轮失败后都会更新技能文件，让下一轮的AI拿着一份更准确的"操作手册"重新上阵。如果某一轮的分析模块判断任务已经成功完成，流程会提前终止，不需要把5轮全部跑完。

这里还有一个精巧的工程细节：对于很长的操作轨迹，分析模块采用了分块滚动阅读的策略。每次只读一个固定大小的片段，然后把摘要传递给下一段的分析，最后综合所有片段做出整体判断。这样既控制了单次分析的计算量，又不会丢失关键信息。

四、实验结果：每个模型、每个场景都有提升

研究团队用六个不同的大型视觉语言模型（VLM）来测试这套框架，分别是Claude Opus、GPT-5.5、Claude Sonnet、Kimi-K2、Gemini Pro和Qwen Plus，覆盖了目前主流的前沿AI模型。测试在2026年5月完成。

结论相当明确：在18个"模型×领域"的组合中，MMG2Skill在每一个组合上都比不用任何教程的基线AI（vanilla）取得了正向提升，最大单项提升达到33.33个百分点（Gemini在游戏领域），最小提升也是正数。换算成宏观平均值，不同模型的平均提升幅度在12.8到25.3个百分点之间。

有几个发现特别值得关注。

首先，即便是本身能力很强的AI，也能从教程提炼的技能中获益。GPT-5.5在游戏领域本来就表现不错，使用MMG2Skill后还额外提升了6.67个百分点。这说明教程里的程序性知识，并不是强大的AI凭自身能力就能完全复现的——它们包含了公开教程独有的知识，比如"竹子也可以合成木棍"这种非默认路径的配方。

以Minecraft里的"合成木棍"任务为例，这个任务听起来很简单，但如果游戏环境里只有竹子而没有木板，普通做法就行不通了。没有教程的AI会一直尝试找木板，把所有60步的操作预算都耗光；而掌握了教程提炼技能的AI，知道竹子也可以作为原材料，直接开始正确的合成流程。类似地，"合成小麦"任务中，没有教程的AI认为小麦无法合成并直接放弃，而拥有技能的AI知道可以用干草堆（hay bale）在合成台里分解出小麦，顺利完成任务。

其次，成功提升并不是靠更长的操作来实现的。研究团队专门统计了操作步数，发现在桌面操作和游戏领域，MMG2Skill平均反而比基线AI使用了更少的步骤。步骤减少而成功率提高，说明AI的行动变得更有方向感，减少了漫无目的的探索。

五、拆解提升的来源：技能提取和轨迹精炼各贡献多少

知道"有效"还不够，研究团队还设计了一系列消融实验，专门回答"效果从哪里来"这个问题。

对照实验设置了三种条件进行横向比较：只用原始教程不做任何加工、只做技能提取但不做迭代精炼（即只跑第一轮）、以及完整的MMG2Skill流程（提取加精炼）。

在桌面操作领域，仅做技能提取的单次执行就已经比基线提升了约8.3个百分点，而完整流程在此基础上又额外提升了约4.6个百分点。这说明对于操作步骤相对直接、指令结构类似命令行的桌面任务，一次性的提取已经能捕获大部分有用知识，精炼的作用相对较小。

但在游戏和策略领域，情况截然不同。仅做提取的单次执行几乎没有超过基线，而完整流程的精炼阶段却贡献了超过90%的总体提升。游戏教程描述的是通用配方和流程，但实际的物品栏状态、合成界面位置、空间交互方式都需要在真实运行中才能确定；策略教程给出的多是高层次启发式原则，需要被改写成针对具体手牌情况的决策规则。SKILL.md文件的价值，在这两个领域里恰恰是作为一个**可编辑的接口**，而不仅仅是压缩后的教程内容。

研究团队还专门测试了一种更简单的替代方案：不构建技能文件，而是把历次分析报告直接附在原始教程后面，让AI在对话中读取。这种做法在某些设置下也有提升，但在相同的预算限制下始终不如MMG2Skill。根因反馈只有被物化为对技能文件的持久修改，才能发挥最大作用——附在上下文里的临时记忆，随着对话窗口的滑动会逐渐被覆盖，而更新过的SKILL.md文件则会在每一轮新的尝试开始时重新注入。

六、提前停止：避免"越改越差"

一个容易忽视但实际上非常重要的发现是：迭代改进并不是单调递增的。在某些情况下，AI在第三轮或第四轮的表现反而不如第二轮。这种现象在策略卡牌任务中尤为明显——单局牌的随机性较大，分析模块可能从一局偶然失败中提炼出错误的"教训"，并将其写入技能文件，导致后续表现退步。

正因如此，MMG2Skill框架引入了基于分析模块判断的提前停止机制。每次执行完毕，分析模块会给出一个结论：任务"可能已成功"（likely\_success）、"不确定"（uncertain）还是"可能失败"（likely\_failure）。一旦分析模块认为任务已经成功，框架就立即停止，不再继续精炼。

从实验数据来看，这个机制的效果很明显。在游戏领域，采用提前停止策略的平均得分是66.1%，而总是跑满5轮的策略只有47.8%——差距将近20个百分点。在桌面操作领域，两种策略差别不大，说明该领域的操作结果较为确定，不容易出现"越改越差"的情况。

分析模块的判断准确性也经过了统计验证。在桌面操作和游戏领域，分析模块的"可能成功"判断精确率分别达到74.2%和87%，召回率达到98.5%和95.8%。简单说，分析模块在认为任务成功时，绝大多数情况下确实成功了；偶尔的误判（精确率未达100%）来自一些表面看起来完成了、但评分系统认为有细节遗漏的情况，比如一个创建了压缩包但文件命名格式不符要求的任务。

提前停止还带来了额外的效率收益。在桌面操作领域，平均每个任务节省了52.9%的尝试次数和41.8%的API调用费用；游戏领域节省49.2%和37.5%；策略领域节省25.4%和23.6%。换句话说，在不降低成功率的前提下，实际的计算开销大幅减少。

七、哪里还做不好：剩余失败的深度解剖

当然，MMG2Skill并没有解决所有问题。研究团队对框架仍然失败的案例做了详细的错误归因，发现不同领域的失败原因有着清晰的差异。

在桌面操作领域，剩余失败往往是多个环节共同出错的结果。AI可能同时存在：对屏幕状态的理解有误（看错了界面）、分析模块对失败原因的诊断不准确（"不知道哪里出了问题"）、以及技能文件里记录的操作信息本身有错误。这三种问题相互交织，任何一环的失误都会影响后续环节，使得修复难度倍增。

游戏领域的失败则主要是执行性问题。技能文件已经写得比较准确了，但AI在实际操作时仍然经常犯错：打错了方向、点错了位置、或者在60步的限制内还没有完成整个流程就超时了。这类失败的本质是精细操作能力不足，而不是知识不够。

策略卡牌领域的失败最具特色。这里的问题不是"不知道规则"，而是"不会把规则转化为具体手牌下的决策"。教程里说"炸弹要留到关键时刻"，但什么算关键时刻？这需要根据当前手牌、对手出牌历史、剩余牌数等多个动态因素综合判断。分析模块有时会给出过于自信或过于简化的归因，比如把一次正常的随机失败归结为某个具体策略的错误，导致技能文件被错误地修改，反而破坏了原本有效的策略。

八、对三个核心问题的完整回答

研究团队在实验设计中明确提出了四个核心研究问题，现在可以依次给出答案。

关于"技能是否真正有效"的问题：是的，在所有18个模型与领域的组合中，效果都是正向的，而且统计显著性非常强——经过威尔科克森符号秩检验和Stouffer合并检验，p值均远小于0.001。

关于"效果从哪里来"的问题：结构化的技能提取提供了一个更安全的程序性先验，避免了原始教程注入的噪声干扰；轨迹驱动的精炼则在此基础上修补了教程与实际运行环境之间的接地气差距。两者缺一不可，但贡献大小因任务类型而异。

关于"迭代过程的动态特征"的问题：提升幅度随尝试次数增加而增加，但并非单调递增，在某些领域存在后期退步的风险，需要提前停止机制来规避。

关于"提前停止是否可靠"的问题：在任务结果可以从操作轨迹中推断的场景（桌面操作、游戏、公开信息的卡牌游戏）中，基于分析模块判断的提前停止是安全且高效的部署选择；在私人信息场景（如德州扑克）中，该机制不可靠，应当禁用。

说到底，这项研究提出并解答了一个对AI智能体未来发展很关键的问题：互联网上已经存在的海量人类知识，AI能不能真正用上？研究给出的答案是：能用，但需要经过适当的"消化处理"，而不是直接吞咽。把人类教程变成结构化的可执行技能文件，再加上从自身失败中学习修正的能力，这两步结合才能让公开知识真正为AI所用。

这项工作的意义不局限于游戏和桌面操作。任何需要按照程序性步骤执行的AI应用——从自动化办公到辅助手术机器人——都面临同样的问题：互联网上有大量写给人类的操作指南，但AI无法直接读懂并执行。MMG2Skill提供了一个可推广的解决思路，而且研究团队已经将代码、测试数据、提示词模板和复现脚本开源发布，方便后续研究者在新的环境中应用这一框架。

当然，这项研究也坦承了自己的局限：目前的框架假设相关教程已经被提前筛选好并提供给AI，如何从茫茫互联网中自动找到最合适的教程、过滤过时或不准确的内容，还是一个留给未来工作的开放问题。另外，测试固定在了2026年5月发布的特定版本模型上，随着AI模型本身的快速迭代，某些结论的相对排名可能会发生变化，但框架本身的有效性预计不受影响。

对普通人而言，这项研究意味着未来的AI助手在使用前可能不再需要漫长的专门训练——只需要喂给它相关的教程，它就能自己学着上手，还会在失败后自我改进。这和我们人类学新技能的方式，其实已经相当接近了。有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2606.01993查阅完整论文。

---

Q&A

Q1：MMG2Skill和直接把教程发给AI让它自己读有什么区别？

A：直接把原始教程发给AI会引入大量无关信息，比如教程里面向其他平台的操作说明、广告内容、前置假设等，实验证明这样做在某些任务上反而会让AI表现更差。MMG2Skill的核心区别在于先把教程"翻译"成专门为AI设计的结构化操作文件，过滤掉无关内容，只保留当前任务需要的步骤、适用条件和预期状态，让AI能精准参考而不被干扰。

Q2：MMG2Skill框架里的"技能文件"在每次失败后是怎么自动修改的？

A：每次执行完毕，一个分析模块会仔细回看AI操作过程中留下的完整记录，判断哪些步骤做对了、哪里出了问题、原因是什么。这个分析模块无法查看隐藏的评分信息，只能依靠可见的操作轨迹来做判断。分析完成后，一个精炼模块根据这份诊断报告对技能文件进行就地修改，比如添加缺少的验证步骤、修正错误的状态描述、强化已经有效的操作方法，而不是从头重写整份文件。

Q3：MMG2Skill在哪类任务上提升最明显，在哪类任务上效果有限？

A：提升最明显的是Minecraft游戏任务，某些模型的提升超过33个百分点，因为游戏教程包含了AI通常不具备的具体配方知识。策略卡牌任务的提升也相当显著，平均超过15个百分点。桌面软件操作任务的提升相对较小但同样稳定，因为操作步骤本身较为直接，一次性的技能提取就能捕获大部分有用信息，不太需要多轮精炼。