香港科技大学突破性成果：让AI代理像人类一样持续学习的XSKILL框架

这项由香港科技大学、浙江大学和华中科技大学联合开展的研究于2026年3月13日发表在arXiv预印本平台，论文编号为arXiv:2603.12056v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象一下，如果你在学习一项新技能时，能够从之前的所有经历中汲取智慧，每一次失败和成功都成为下次更好表现的垫脚石，这就是人类学习的天然优势。然而，目前的AI代理就像患有健忘症的学生，每次面对新任务时都要从零开始，无法从过往经验中获得启发。这个问题在需要处理图像并使用各种工具的多模态AI系统中尤为突出。

现在，研究团队提出了一个名为XSKILL的创新框架，它让AI代理能够像经验丰富的专家一样，不断从过去的成功和失败中学习，积累两种互补的知识形式。这就好比一位经验丰富的医生，既掌握了系统的诊疗流程，又积累了大量处理特殊情况的实战经验。XSKILL让AI在解决视觉推理任务时表现得更加智能和高效。

一、双重知识体系的巧妙设计

传统的AI代理就像一个只会按照说明书操作的新手，每次遇到问题都需要重新摸索。XSKILL框架的核心创新在于建立了一个双重知识体系，将AI代理需要掌握的知识分为两个层次：技能和经验。

技能就像是一套完整的操作手册，提供结构化的任务级指导。当AI代理面对复杂的视觉推理问题时，技能告诉它应该按照什么样的流程来解决，就像烹饪食谱一样，提供详细的步骤和可重复使用的工具模板。比如，当需要分析一张包含多个元素的图片时，技能会指导代理先进行图像预处理，然后系统地提取关键信息，最后进行逻辑推理。

经验则更像是实战中积累的智慧片段，提供针对特定执行情境的行动级指导。这些经验捕捉了那些容易被忽视但至关重要的细节，比如在什么情况下需要调整图像亮度，遇到颠倒的图片时应该如何处理，或者如何避免常见的错误陷阱。经验的价值在于它们来自真实的执行过程，包含了那些说明书上找不到但实际操作中必不可少的窍门。

这种双重设计的巧妙之处在于互补性。技能提供了宏观的解决框架，确保代理不会迷失方向，而经验则填补了具体执行中的细节空白，使代理能够灵活应对各种意外情况。就像一个既有理论基础又有丰富实战经验的专家，能够在遵循基本原则的同时，根据具体情况做出最优的判断。

更重要的是，这两种知识都基于视觉观察进行提取和检索。传统方法往往只依赖文本记录，但XSKILL认识到视觉信息在多模态任务中的关键作用。当代理分析一张图片时，它会考虑图像的视觉特征来决定哪些经验和技能最相关，这使得知识检索更加精准有效。

二、智能的知识积累机制

XSKILL的知识积累过程分为两个阶段，就像一个学习过程的两个关键环节：经验收集和知识整理。

在经验收集阶段，系统会让AI代理对同一个任务进行多次尝试，就像学生反复练习同一道题目。每次尝试都可能采用不同的解决路径，有些成功，有些失败，但每一次都是宝贵的学习机会。系统会仔细记录整个过程，不仅包括代理使用了哪些工具，还包括它在看到图像时的视觉分析过程和决策逻辑。

接下来是最关键的交叉轨迹分析环节。系统会像一位经验丰富的教练一样，将多次尝试的结果放在一起比较分析。它会识别成功尝试和失败尝试之间的关键差异，找出导致成功的关键因素和导致失败的常见陷阱。这个过程就像医生通过比较不同病例来总结诊疗经验，既要找出有效的治疗方法，也要识别需要避免的错误做法。

更令人印象深刻的是系统的知识整理能力。随着经验和技能的积累，知识库可能会变得越来越庞大和混乱。XSKILL采用了分层整理机制，就像整理一个不断增长的图书馆。当系统发现两个经验在本质上表达了相同的观点时，它会将它们合并成一个更加精炼的版本。当某个技能变得过于冗长或包含过多细节时，系统会自动简化，保留最核心的要素。

这个整理过程还包括质量控制。系统会评估每条经验的实用性和普适性，删除那些过于具体或很少适用的经验，确保知识库保持高质量和高效率。这就像一位经验丰富的图书管理员，不断筛选和更新馆藏，确保每本书都有其存在的价值。

三、精准的知识检索与适配

当AI代理面对新任务时，如何从庞大的知识库中找到最相关的指导，这是XSKILL面临的重要挑战。系统采用了一种类似于专家咨询的智能检索机制。

首先，系统会对复杂任务进行分解，就像将一道复杂的菜谱分解成几个基本的烹饪步骤。每个子任务都可能需要不同类型的专业知识。比如，分析一张包含文字和图形的复杂图像时，可能需要文字识别的经验、图形分析的技能，以及整合多种信息的综合判断能力。

系统会根据任务的视觉特征和描述要求，为每个子任务生成专门的查询，然后在知识库中搜索最相关的经验和技能。这个过程不是简单的关键词匹配，而是基于语义理解的智能匹配，能够理解任务的本质需求。

找到相关知识后，系统还会进行上下文适配，这是XSKILL的另一个创新点。通用的经验和技能需要根据当前任务的具体情况进行调整，就像厨师根据现有食材调整菜谱一样。系统会考虑当前图像的特点、任务的具体要求，对检索到的知识进行重新表述和调整，使其更加贴合当前情境。

比如，一条关于处理模糊图像的通用经验可能会被具体化为"对于这张光线较暗的街景图片，建议先提高亮度和对比度"。这种适配过程确保了知识的实用性和针对性。

四、显著的性能提升验证

研究团队在五个不同的基准测试上验证了XSKILL的有效性，涵盖了视觉工具使用、多模态搜索和综合推理等多个领域。就像在不同科目的考试中都取得了优异成绩，证明了学习方法的普遍有效性。

在视觉工具使用方面，XSKILL让AI代理的表现提升了2.58到6.71个百分点，这在AI领域是一个相当显著的改进。更令人惊喜的是，在某些具有挑战性的任务上，改进幅度达到了11.13个百分点，这意味着原本只有三分之一成功率的任务，现在成功率接近一半。

研究团队还发现了技能和经验在改进性能方面的不同作用。技能主要帮助减少执行错误，就像有了标准操作流程后，工人犯错的概率大大降低。数据显示，语法错误从20.3%降低到11.4%，工具名称错误几乎完全消除，从2.85%降到0.32%。这表明结构化的技能知识为AI代理提供了可靠的执行框架。

经验则主要影响工具选择策略，使代理能够更灵活地组合不同工具来解决问题。在视觉推理任务中，有经验指导的代理更倾向于使用代码解释器进行精确分析，使用率从66.63%提升到76.97%。在多模态搜索任务中，代理学会了更多使用专门的图像搜索工具，而不是仅仅依赖通用的文本搜索。

特别值得关注的是跨任务泛化能力的验证。当研究团队将在一个任务上积累的知识应用到完全不同的任务时，仍然观察到了2到3个百分点的性能提升。这说明XSKILL学到的不是死记硬背的答案，而是真正可迁移的问题解决智慧。

五、实际应用案例的深入分析

为了更好地理解XSKILL的工作原理，研究团队展示了一个具体的应用案例。任务是识别一张街景图片中出租车上第二个"GOOD"字样所在的颜色区域，这看似简单，实际上涉及精确的文字定位和客观的颜色判断。

没有XSKILL指导的AI代理表现得像一个匆忙的观察者，仅凭视觉印象就给出答案"红色"。这个答案是错误的，因为代理没有进行系统性的分析验证。

有了XSKILL指导的代理则表现出专业分析师的严谨。它首先运用了系统的文字实例定位技能，建立位置锚点，按顺序扫描并确认文字位置。然后应用了客观颜色识别的经验，不依赖主观视觉判断，而是使用代码工具对特定区域进行像素分析。

具体来说，代理提取了目标区域的平均颜色值RGB(84, 59, 72)，然后将其转换为HSV颜色空间进行更准确的颜色分类。最终确定色调为258.1度，位于紫色范围内，得出了正确答案"紫色"。

这个案例清晰地展示了XSKILL的两个核心价值：系统性和客观性。系统性确保了分析过程的完整性和准确性，客观性则通过工具验证避免了主观判断的偏差。

更有趣的是，当同样的代理面对类似任务时，它会自动应用改进策略。如果初始的RGB分析结果不够明确，代理会主动调整分析区域并采用HSV颜色空间进行更精确的分析。这种自适应改进能力正是人类专家的特征，也是XSKILL希望赋予AI代理的能力。

六、技术框架的深层机制

XSKILL的技术实现采用了模块化设计，类似于搭建一个复杂的智能系统。整个框架包含两个专门的AI模型：一个负责执行具体任务，另一个专门处理知识管理。这种分工让系统能够同时保持任务执行的效率和知识管理的专业性。

知识的存储采用了不同的格式来适应不同类型的信息。技能知识以Markdown文档格式存储，就像一本结构化的操作手册，包含任务描述、工作流程和工具模板等信息。经验知识则以JSON格式存储，每条经验包含触发条件、推荐行动和语义嵌入向量，便于快速检索和匹配。

系统的学习机制设计得非常巧妙。在积累阶段，它会观察AI代理的多次尝试，记录每个决策点的视觉输入、工具选择和执行结果。然后通过对比分析，识别成功模式和失败原因，提取可重用的知识片段。

知识检索过程融合了多种技术。系统首先将复杂任务分解为几个子问题，为每个子问题生成专门的查询语句，然后使用语义相似度计算找到最相关的经验和技能。检索到的知识还会根据当前任务的视觉特征进行上下文适配，确保指导的针对性。

整个系统还设计了持续学习机制。每次任务执行后，系统会记录哪些知识被实际使用，哪些指导产生了积极效果，这些使用历史会反馈到知识库中，用于改进知识质量和检索精度。

七、开源模型的适配性验证

研究团队还测试了XSKILL在开源模型上的表现，这对于技术普及具有重要意义。他们使用了千问3-VL系列模型，包括235B和32B两个版本，验证了知识迁移的可行性。

结果显示，知识迁移的效果因模型能力而异。在多模态搜索任务上，开源模型都获得了明显改进，证明了外部知识的价值。然而在视觉工具使用任务上，情况更加复杂。虽然平均表现可能没有提升，但探索性行为明显增加，代理会尝试更多工具调用，这在多次尝试的设置下最终带来了更高的成功率。

这个发现很有启发性，说明外部知识对于能力相对较弱的模型可能会产生干扰，但同时也能激发它们进行更积极的探索。这就像给新手提供专家建议，虽然可能暂时增加困惑，但长远来看有助于能力提升。

研究团队因此建议，在应用XSKILL时需要考虑基础模型的能力水平。对于能力强的模型，外部知识能够直接提升性能。对于能力相对较弱的模型，可能需要调整知识提供的方式或者专门针对该模型的特点进行知识适配。

八、实验设置的全面性考量

为了确保实验结果的可靠性和普遍性，研究团队设计了非常全面的实验设置。他们选择了五个不同领域的基准测试，包括视觉工具使用、多模态搜索和综合评估，确保了评估的全面性。

每个数据集都被随机分割为训练和测试部分，训练部分用于知识积累，测试部分用于性能评估。这种设置模拟了真实应用场景，其中系统需要从有限的经验中学习，然后应用到未见过的新任务上。

实验使用了四个不同的主流AI模型，包括Google的Gemini系列和OpenAI的GPT系列，确保了结果的广泛适用性。更重要的是，研究团队还测试了跨模型的知识迁移，即用一个模型积累的知识指导另一个模型，这在实际应用中非常有价值。

评估指标的选择也很周到。除了常见的成功率指标，研究团队还分析了工具使用模式、错误类型分布和跨任务泛化能力，提供了多维度的性能评估。这种全面的分析帮助理解XSKILL在不同方面的影响和改进机制。

九、与现有方法的深度比较

为了证明XSKILL的优势，研究团队将其与三个现有的经验学习方法进行了详细比较。这些方法代表了当前领域的不同技术路线，比较结果很有启发性。

第一个比较对象是代理工作流程记忆方法，它主要从成功案例中提取可重用的任务流程。这种方法的优势是简单直接，但局限性在于只关注成功模式，忽略了失败经验的价值。XSKILL的优势在于同时学习成功和失败的经验，形成更全面的知识体系。

第二个比较对象是动态备忘录方法，它维护一个不断更新的问题解决策略库。这种方法的特点是动态性强，但容易受到近期经验的过度影响。XSKILL通过分层整理机制避免了这个问题，能够保持知识的稳定性和一致性。

第三个比较对象是跨域经验聚合方法，它试图将不同领域的经验整合到一个统一的知识库中。虽然这种方法具有很好的通用性，但在具体任务上的指导性可能不够精确。XSKILL通过任务分解和上下文适配解决了这个问题，在保持通用性的同时提供了精确的指导。

比较结果显示，XSKILL在大多数设置下都优于现有方法，特别是在需要复杂视觉推理和多步骤工具组合的任务上优势更加明显。这证明了双重知识体系和视觉引导学习的价值。

十、局限性与未来发展方向

尽管XSKILL展现了显著的优势，研究团队也诚实地讨论了当前方法的局限性和改进空间。

目前的实验主要验证了单轮积累-测试循环，虽然框架设计支持迭代改进，但还需要更多长期实验来验证持续学习的效果。这就像验证了短期学习效果，但长期记忆保持和知识演化还需要进一步研究。

知识库的规模管理也是一个挑战。随着经验和技能的不断积累，如何保持检索效率和知识质量是一个需要持续优化的问题。研究团队提出了一些初步的解决方案，如相似性合并和质量过滤，但更高级的知识组织和管理策略仍有待开发。

另一个限制是对基础模型能力的依赖。XSKILL的效果很大程度上取决于底层AI模型的理解和推理能力。对于能力较弱的模型，外部知识的指导效果可能有限，甚至可能产生干扰。

研究团队还指出了潜在的伦理和安全考虑。更强的AI代理可能被恶意利用，积累的知识可能包含偏见并在不同模型间传播。因此，未来的发展需要配套相应的监督和控制机制，确保技术的负责任应用。

XSKILL代表了AI代理学习能力的一个重要进步，它让机器能够像人类专家一样积累和运用经验。虽然还有改进空间，但这个框架为构建更智能、更自主的AI系统提供了有价值的技术路径。随着进一步的研究和优化，我们可能会看到AI代理在各种复杂任务中表现出更加接近人类水平的学习和适应能力。

这项研究不仅在技术上具有创新性，更重要的是它揭示了AI系统持续改进的可能路径。通过让AI代理能够从经验中学习，我们正在向构建真正智能的自主系统迈进一大步。对于普通人来说，这意味着未来的AI助手将会更加聪明和有用，能够基于积累的经验提供更好的服务和建议。

Q&A

Q1：XSKILL是什么？

A：XSKILL是香港科技大学等机构开发的AI代理学习框架，它让AI能够像人类一样从过往经验中学习并持续改进。该框架建立了技能和经验两种互补的知识体系，让AI在处理视觉推理任务时表现得更加智能。

Q2：XSKILL的技能和经验有什么区别？

A：技能类似完整的操作手册，提供结构化的任务解决流程，告诉AI应该按什么步骤来处理问题。经验则像实战智慧片段，提供针对特定情况的具体指导和窍门，比如什么时候需要调整图像亮度，如何避免常见错误等。

Q3：XSKILL能应用到什么场景中？

A：XSKILL主要用于需要处理图像并使用多种工具的AI任务，比如图像分析、多模态搜索、复杂视觉推理等。研究显示它能让AI代理的成功率提升2.58到11.13个百分点，特别适合需要精确分析和多步骤操作的复杂场景。