上海人工智能实验室推出MUSE：会从经验中学习的AI智能助手

这项由上海人工智能实验室领导、联合中南大学、复旦大学等多家机构的研究团队在2024年10月发表的重要研究，首次提出了一个能够在工作中不断学习和进化的AI智能助手框架MUSE。感兴趣的读者可以通过论文编号arXiv:2510.08002查询完整研究内容。

当我们谈到人工智能时，大多数人可能会联想到那些聪明但固化的助手——它们就像是只会按照说明书操作的机器人，每次遇到问题都从零开始，从不记住之前的经验。然而，真正的人类智能恰恰相反：我们会从每一次成功和失败中学习，积累经验，变得越来越熟练。

上海人工智能实验室的研究团队注意到了这个根本性差异。他们发现，当前的AI助手虽然在回答问题、生成代码等单一任务上表现出色，但一旦面临需要多个步骤、跨越不同应用程序的复杂任务时，就会显得力不从心。更关键的是，这些AI助手就像患有失忆症的员工——无论之前做过多少次类似的工作，每次都要重新摸索，无法从经验中获得成长。

MUSE框架的诞生正是为了解决这个问题。它的名字代表"Memory-Utilizing and Self-Evolving"，即利用记忆和自我进化。这个框架最大的突破在于为AI助手装备了一个类似人类大脑的记忆系统，让它能够像熟练的老员工一样，从每一次工作经历中提取有价值的经验，并在未来的任务中灵活运用这些经验。

研究团队在业界认可度很高的TAC基准测试上验证了MUSE的能力。令人惊喜的是，仅仅使用轻量级的Gemini-2.5 Flash模型，MUSE就达到了51.78%的成功率，成为首个突破50%大关的AI系统，相比之前的最佳成绩提升了近20%。这个成绩特别令人印象深刻，因为MUSE只是从大约10%的任务中学习经验，就能在全部任务上取得如此优异的表现。

一、打造会思考的AI大脑：MUSE的记忆架构

如果把传统的AI助手比作每天都是第一天上班的新员工，那么MUSE就像是一位经验丰富的老师傅，拥有一套完整的记忆体系来存储和运用工作经验。这套记忆体系包含三个层次，就如同人类大脑中不同类型的记忆一样。

第一层是战略记忆，类似于人类在面对挑战时总结出的人生智慧。当MUSE在执行任务时遇到困难并最终解决后，它会将这种"困境-解决方案"的模式抽象成高层次的指导原则。比如，当它发现某类数据处理任务经常出现错误时，就会形成"在处理复杂数据时要逐步验证每个环节"这样的战略性经验。这些经验会在每次开始新任务时自动加载，就像一位老师傅在开工前先回顾一下重要的安全准则。

第二层是程序记忆，这就像是详细的操作手册。MUSE会将每次成功完成的子任务过程整理成标准操作程序。这些程序按照不同的应用软件进行分类，比如如何在聊天软件中创建群组、如何在代码编辑器中查找文件等。有趣的是，MUSE采用了一种类似图书馆索引的机制——平时只保存这些程序的简要说明，需要时再调取详细内容，这样既节省了计算资源，又保证了获取信息的准确性。

第三层是工具记忆，相当于AI助手的"肌肉记忆"。每当MUSE使用某个工具后，系统会自动记录使用技巧和注意事项。这种记忆会随着使用次数的增加而不断优化，就像人类在使用熟悉工具时会形成的直觉反应。比如，在使用浏览器时，MUSE会记住点击某个按钮后通常需要等待页面加载，或者在输入文本后需要手动保存。

这三层记忆系统的巧妙之处在于它们相互配合又各有侧重。战略记忆提供宏观指导，程序记忆提供具体方法，工具记忆确保操作的熟练度。更重要的是，由于这些记忆都以自然语言的形式存储，它们可以在不同的AI模型之间迁移使用，就像经验丰富的师傅可以将技艺传授给不同的学徒一样。

二、从计划到执行：MUSE的工作流程

MUSE的工作方式就像一个经验丰富的项目经理带领着一个反思型团队。这个团队由两个核心角色组成：计划执行智能体和反思智能体，它们通过一个持续的"计划-执行-反思-记忆"循环来完成复杂任务。

当接到一个新任务时，计划执行智能体首先会像项目经理一样，将复杂的大任务分解成一系列可管理的子任务。这个过程并非一成不变——智能体会根据执行过程中获得的新信息动态调整计划。比如，在处理一个数据分析任务时，它可能最初计划直接分析数据，但在执行过程中发现数据需要先清洗，于是会自动在计划中增加数据清洗的步骤。

在执行每个子任务时，计划执行智能体首先会查询程序记忆，寻找是否有相关的成功经验可以参考。如果找到了相关经验，它就会基于这些经验来指导当前的操作；如果没有找到，它就会进行探索性的尝试。这种设计确保了MUSE既能高效地利用已有经验，又能在面对全新情况时保持学习能力。

特别值得注意的是，MUSE采用了一套精简但强大的基础工具集，而不是像其他系统那样集成大量专门化的工具。这套工具集包括浏览器操作、代码解释器、命令行界面、视觉识别和记忆检索等基本功能。研究团队认为，真正的智能在于创造性地组合基础工具来解决复杂问题，而不是简单地调用预设功能。这就像一位巧手工匠，能够用基本的工具创造出精美的作品，而不需要依赖专门的机器。

反思智能体在整个过程中扮演着质量控制专家的角色。每当计划执行智能体完成一个子任务时，反思智能体就会进行独立的评估。它不仅会检查任务是否真正完成，还会验证结果的正确性和完整性。这种评估基于三个核心维度：真实性验证、可交付成果检查和数据完整性确认。如果发现问题，反思智能体会生成详细的失败分析报告，指导计划执行智能体进行重新规划和执行。

当一个子任务成功完成后，反思智能体会将整个执行过程提炼成结构化的经验，加入到程序记忆中。这个过程类似于一位老师傅在完成一件作品后，总结出可以传授给徒弟的技法要点。这种自动化的经验提取确保了MUSE能够持续积累有价值的知识，而不需要人工干预。

当整个任务完成后，系统会进行更深层次的总结和反思。反思智能体会分析整个任务过程中遇到的挑战和解决方案，更新战略记忆和工具记忆。这种全局性的反思就像项目结束后的复盘会议，确保从这次经历中获得的经验能够在未来的项目中发挥价值。

三、在实践中验证：MUSE的卓越表现

为了验证MUSE的实际能力，研究团队选择了TAC基准测试作为评估平台。TAC是一个专门设计用来测试AI助手在真实工作环境中表现的综合测试平台，包含175个复杂任务，模拟了人力资源、项目管理、软件开发、数据科学、财务和行政等六个核心工作岗位的真实场景。

这些任务的复杂程度远超传统的AI测试。平均每个任务需要超过40个操作步骤，往往需要在多个不同的应用程序之间切换操作，就像现实工作中经常需要同时使用邮件、文档编辑器、项目管理工具和聊天软件一样。这种复杂性对AI助手的长期规划能力、跨平台操作能力和问题解决能力都提出了极高要求。

研究团队首先进行了持续学习实验，选择了18个中等难度的任务作为学习集合。在这个实验中，MUSE需要连续三轮完成这些任务，每轮之间可以保留从前一轮学到的经验。结果显示，MUSE的表现呈现出明显的上升趋势——从第一轮到第三轮，任务完成率稳步提升，最终比没有记忆功能的基准版本高出10%以上。这个结果清楚地证明了MUSE确实能够从经验中学习并持续改进。

更令人印象深刻的是泛化能力测试。研究团队选择了12个极其困难的任务，这些任务连最先进的AI模型都几乎无法完成。然后，他们让MUSE带着从前18个任务中学到的经验去挑战这些全新的困难任务。结果显示，即使面对从未见过的任务类型，拥有经验的MUSE仍然比没有经验的版本表现好近10个百分点。这说明MUSE学到的不仅仅是具体的操作步骤，而是更深层次的问题解决策略和工作方法。

在完整的TAC基准测试中，MUSE创造了历史性的突破。使用相对轻量的Gemini-2.5 Flash模型，MUSE达到了51.78%的平均完成率，成为首个突破50%大关的AI系统。相比之下，使用更强大模型的其他系统最高只达到了43.19%。这个成绩特别难得，因为MUSE的记忆系统仅从约10%的任务中学习经验，就能在全部任务上实现如此显著的性能提升。

研究团队还进行了详细的组件分析，验证了系统各个部分的重要性。当移除反思智能体时，系统性能明显下降，证明了质量控制和经验提取机制的关键作用。当使用不同的底层模型时，MUSE依然能保持优势，说明其记忆和学习机制具有良好的通用性。

四、突破传统界限：MUSE的创新意义

MUSE的出现标志着AI助手领域的一个重要转折点。传统的AI系统就像是高度专业但缺乏成长能力的工具，每次使用都是相同的体验。而MUSE开创了一种全新的范式——它不仅能够执行任务，更能够从执行过程中学习和成长，逐渐变成一个真正的智能伙伴。

这种能力的重要性体现在多个方面。首先，MUSE能够处理真实世界中常见的长期复杂任务。现实工作中的许多任务都需要多个步骤、涉及不同工具，传统AI往往在这种情况下表现不佳。MUSE通过其记忆系统和动态规划能力，能够像人类一样处理这种复杂性。

其次，MUSE展现了真正的学习能力。它不需要重新训练整个模型就能获得新知识，而是通过自然语言形式的记忆系统来积累经验。这种方式不仅计算效率更高，而且更加灵活——记忆可以在不同模型之间迁移，甚至可以通过人工编辑来加入领域专家的知识。

MUSE的设计理念也值得关注。与那些试图集成尽可能多功能的系统不同，MUSE选择了一套精简的基础工具，通过智能组合来实现复杂功能。这种设计哲学更接近人类智能的本质——我们并不依赖无数专门化的能力，而是通过创造性地运用基本技能来解决各种问题。

从技术角度看，MUSE的记忆架构设计巧妙地平衡了效率和效果。三层记忆系统各司其职又相互配合，既保证了知识的完整性，又避免了信息过载。特别是程序记忆采用的索引机制，在保持丰富知识库的同时控制了计算开销。

该研究还揭示了一个重要洞察：对于复杂的生产力任务，传统的预训练和微调方法可能不是最佳选择。MUSE通过测试时学习的方式实现了持续改进，这为未来AI系统的发展提供了新的思路。这种方法特别适合那些难以获得大量训练数据或者需要快速适应新环境的应用场景。

研究团队在论文中坦诚地讨论了MUSE的局限性。当前的记忆架构在处理某些类型的高层规划或多跳推理任务时仍有不足。但是，实验结果表明，通过避免重复犯错和将探索重点转向更有希望的方向，MUSE显著提高了搜索效率，这正是其成功的关键所在。

值得一提的是，MUSE的框架设计为未来的改进留下了充足空间。由于采用了模块化设计和自然语言记忆，系统可以方便地集成人类反馈，实现人机协作的学习模式。这为构建更加智能和实用的AI助手开辟了新的可能性。

MUSE的成功也对AI研究领域提出了新的思考。它表明，与其追求更大更复杂的模型，不如专注于设计更好的学习和记忆机制。这种方向转变可能会催生更多高效、实用的AI系统，真正实现AI技术的广泛应用和普及。

说到底，MUSE代表的不仅仅是一个技术突破，更是对AI发展方向的重新思考。它向我们展示了一个令人兴奋的未来：AI助手不再是静态的工具，而是能够与我们一起成长、共同进步的智能伙伴。随着这类技术的不断发展和完善，我们或许很快就能拥有真正理解我们工作方式、能够从错误中学习、并且随着时间推移变得越来越有用的AI助手。这将从根本上改变我们与技术交互的方式，让AI真正成为我们工作和生活中的得力助手。

Q&A

Q1：MUSE与传统AI助手的最大区别是什么？

A：MUSE最大的区别在于它拥有类似人类的记忆和学习能力。传统AI助手就像每天都是第一天上班的新员工，每次都要重新摸索，而MUSE能够从每次任务中积累经验，形成战略记忆、程序记忆和工具记忆三层记忆体系，随着使用次数增加而变得越来越熟练。

Q2：MUSE在TAC基准测试中的表现如何？

A：MUSE创造了历史性突破，达到51.78%的平均完成率，成为首个突破50%大关的AI系统，比之前最佳成绩提升近20%。更令人印象深刻的是，它仅从约10%的任务中学习经验，就在全部175个复杂任务上实现了这一优异表现。

Q3：MUSE的记忆系统是如何工作的？

A：MUSE采用三层记忆架构：战略记忆存储"困境-解决方案"模式的高层指导原则；程序记忆保存成功的操作步骤，按应用分类并采用索引机制；工具记忆记录使用技巧形成"肌肉记忆"。这些记忆以自然语言形式存储，可在不同AI模型间迁移使用。