清华、上海AI Lab等联合攻关：当机器人也会"选择性记忆"，长时间任务成功率提升40%

这项由中国科学技术大学、上海人工智能实验室、上海交通大学、大连理工大学、华为技术有限公司、香港大学、清华大学及北京大学联合开展的研究，以预印本形式于2026年6月18日发布，论文编号为arXiv:2606.20092，感兴趣的读者可通过该编号查阅完整原文。

一、机器人的"健忘症"困境

假设你请一位助手帮你整理房间，规则是：先记住每件物品最初放在哪里，然后把它们全部移走，最后再按原位放回去。对人类来说，这不算难——你只需在脑子里留个印象，哪怕东西已经被移走了，你依然知道它原本在哪儿。但如果这位助手每隔几秒钟就会"清空记忆"，每次行动都只能看当下眼前的画面，整个任务就会彻底崩溃。

这正是当今大多数机器人视觉-语言-动作策略（简称VLA，可以理解为"让机器人看图听话然后行动"的AI系统）所面临的真实困境。这类系统在执行任务时，通常只能根据"此刻看到的"来决定"接下来要做什么"，完全不保留任何有意义的历史记忆。这种特性在学术上被称为"马尔可夫假设"，通俗地说就是：过去的一切都不重要，只有现在。

然而现实世界中，很多任务偏偏要求你记住过去。机器人刚刚掀开一个不透明的盖子，瞥见了下面隐藏物品的颜色；然后盖子被重新盖上，那个颜色就永远消失在视野里了。如果机器人接下来需要根据那个颜色做出决策，而它已经忘得一干二净，那结果可想而知。

正是为了解决这个"健忘症"问题，研究团队提出了一套名为EventVLA的全新框架，让机器人学会"聪明地记住关键瞬间"，而不是把所有看过的画面都塞进脑子里。

二、现有方案的三种"半吊子"解法

在EventVLA出现之前，研究者们已经尝试过三种不同的思路来给机器人补充记忆能力，但每种都有各自的短板。

第一种思路是"双系统架构"：用一个负责高层思考的大脑来规划任务，再用另一个负责具体操作的系统来执行动作。这种分工听起来合理，但两个系统之间的信息传递容易出错——高层规划一旦判断失误，底层执行就会跟着走偏，而且这种来回沟通本身就很耗时，导致机器人反应迟钝。

第二种思路是"循环记忆网络"：类似于人类的工作记忆，把历史信息压缩成一个紧凑的隐藏状态，传递给下一步决策。问题在于，压缩本身就意味着损失。好比你把一张精细的地图折叠成小纸片，虽然携带方便了，但很多细节已经被折叠掉了。当任务需要精确回忆某个视觉细节时，这种方法就力不从心。

第三种思路是"记忆缓冲区"：干脆把所有历史画面都保存下来，需要时随时翻阅。这种方法保留了最完整的信息，但也带来了新问题——大量冗余的相似画面堆在一起，真正关键的那几帧反而被淹没了，同时计算量也急剧膨胀。

研究团队将这三种方案的共同缺陷概括为一个核心问题：它们都没有回答"应该在什么时候保存什么内容"这个关键问题。EventVLA正是从这个问题出发，提出了一套截然不同的解决逻辑。

三、"稀疏视觉证据记忆"：只存关键时刻的快照

EventVLA的核心理念可以用一个生活场景来理解：假设你是一名侦探，在追踪一个复杂案件。你不会把每一秒的监控录像都打印出来贴满办公室——那样会被海量无关信息淹没。你会选择把几张关键帧打印出来钉在证据板上：案发前的现场全貌、嫌疑人露脸的那一刻、关键物证出现的画面。这些"关键快照"就是侦探在后续推理中最需要反复参考的证据。

EventVLA采用的就是这种"稀疏视觉证据记忆"策略。它的记忆系统由两部分组成，共同构成完整的证据板。

第一部分叫做"基础视觉锚点"。这是固定规则决定的内容，包含两类信息：其一是任务开始时的第一帧画面，用来记录整个工作空间最初的布局——就像侦探在勘查现场时拍下的第一张全景照片，记录了所有物品的原始位置；其二是最近几步的历史画面，提供当前操作的短期上下文，让机器人知道自己刚刚做了什么、手正在往哪里移动。

然而，仅有这两类锚点还不够。很多任务中，最关键的视觉信息既不在最开始，也不在最近几步，而是在某个特定的中间时刻短暂出现，然后就消失了。这就需要第二部分——动态的"关键帧证据记忆"模块，也就是KEM（Keyframe Evidence Memory）。

四、KEM模块：一个会预见未来的记忆调度员

KEM模块的运作逻辑是EventVLA最精妙的设计之一，它解决的是一个听起来有些哲学意味的问题：你怎么知道"现在"这一刻的画面在"未来"会变得重要？

这个问题之所以棘手，在于时间的不对称性。当机器人正在掀开盖子的那一刻，它无法确定自己是否需要记住盖子下面的内容——也许这个信息在接下来的500步操作后才会用到。等到真正需要的时候再回头找，画面早已消失。

KEM的解决方案是：在每次决策时，同时对未来一段时间窗口内的每一步都打出一个"这一刻是否关键"的预测分数，形成一个概率向量。这个预测头与负责生成具体动作指令的主系统共用同一套神经网络的深层特征，意味着它天然就"知道"整个任务的当前进展状态，能够结合任务语言指令、当前视觉观察以及历史上下文，对未来的关键时刻做出有根据的猜测。

当某一步的预测概率超过设定阈值时，系统就会在那一步实际到来时把画面保存下来，写入动态证据缓冲区。为了防止系统过于敏感、把连续相似的普通画面都保存下来，还引入了两道过滤机制：一是"1D非极大值抑制"，简单说就是在一个时间窗口里只保留概率最高的那一帧，避免把同一个事件的多个相邻帧全部保存；二是"冷却期机制"，规定相邻两次记忆写入之间必须间隔足够多的步数，强制保持记忆的稀疏性。整个缓冲区有最大容量限制，按照先进先出的原则管理，确保不会无限膨胀。

五、自动化标注流水线：不靠人工打标签

训练KEM模块需要告诉系统"哪些时刻是关键帧"，而对于动辄上千步的长时任务，人工逐帧标注显然不现实。研究团队为此开发了一套自动化标注流水线，核心工具是当下最强大的视觉语言大模型Qwen3-VL。

具体流程是这样的：首先把一段机器人操作的演示视频均匀采样成约128帧，同时附上任务描述文字。对于存在遮挡的场景，系统会同时提取来自多个摄像头角度的画面，确保不遗漏任何视觉信息。然后把这些帧图像和任务描述一起送给Qwen3-VL，通过精心设计的提示语让它扮演"专业关键帧标注专家"，输出哪些时刻属于任务关键转折点。为了提高输出的一致性，提示语中还包含了来自相同或相似任务的少量示例，让模型知道什么样的时刻才算关键。

为了避免物理交互中时间点本身的模糊性——比如"机械手完成抓取"究竟精确到哪一帧是有弹性的——标注结果不是简单的0/1二值标签，而是一个经过余弦平滑处理的软标签，让关键帧周围的相邻帧也具有较高的标注值，给训练留出合理的时间容差。

在仿真环境中，这套自动标注流水线的预测误差平均不超过10帧；在真实世界任务中，与人工标注的对比误差也在50帧以内。对于动辄1500到2000步的长时任务而言，这个精度完全满足训练需求，而且完全不需要人工介入。

六、课程式训练：从"老师带着走"到"自己独立跑"

训练过程中有一个棘手的问题：如果一开始就完全依赖模型自己的预测来决定保存哪些帧，那早期训练阶段模型的预测还很不准确，保存的全是错误画面，导致整个训练崩溃；但如果始终用标准答案（也就是自动标注的真实关键帧）来构建记忆，模型在测试时又不知道怎么靠自己预测来触发记忆写入，因为测试时根本没有标准答案可用。

解决方案是一个渐进式课程：训练初期，以很高的概率使用真实关键帧来填充记忆缓冲区（相当于老师手把手带着走）；随着训练的推进，这个概率线性下降，越来越多地让模型依赖自己的预测来决定保存什么（相当于逐渐撒手让学生独立完成）。到训练末期，模型完全依靠自己的判断运作，与测试时的真实部署状态一致。这种平滑过渡既保证了早期训练的稳定性，又确保了最终模型能够真正自主运作。

七、RoboTwin-MeM：专门刁难"记忆力"的考题集

光有新方法还不够，还需要一把能准确衡量记忆能力的尺子。研究团队发现，现有的机器人任务评测集存在一个系统性偏差：很多号称测试记忆能力的任务，其实靠着"记住最开始的画面"或者"看看最近几步"就能完成，根本不需要捕捉中间短暂出现又消失的关键信息。

为此，研究团队基于RoboTwin 2.0仿真平台和SAPIEN物理引擎，专门设计了RoboTwin-MeM基准测试集。这套测试集的核心设计原则是：任务中必须存在只短暂可见、之后完全消失的关键视觉信息，并且这些信息对任务成功不可或缺。

整套测试包含8个不同类型的任务，每个任务都用参数n来明确标注"需要记住几个关键中间事件"，n的范围从1到5不等，构成一个由易到难的梯度体系。每段任务的平均执行步数从430步到1544步不等，远超普通机器人任务的长度。

以"掩盖方块-困难版"为例：机器人需要依次掀开四个不透明盖子，每次观察盖子下面方块的颜色，然后把盖子重新盖上。全部检查完毕后，机器人需要按照"红、绿、蓝、黄"的顺序重新打开对应颜色的盖子。由于盖子盖上后颜色完全看不见，机器人必须在检查阶段就把四个颜色和位置的对应关系全部记住，这就需要n=4个关键帧。另一个例子是"复现路径"：机器人先观看一个演示，记住红色方块被依次放到四个蓝色垫子上的顺序，然后用另一块方块重复同样的顺序。这考验的是机器人的"情境学习"能力——从一次演示中提取信息并立刻应用。还有"按按钮"任务：机器人需要读取随机数字卡片上的两个数字，然后按照这两个数字分别按对应按钮相应次数，考验的是计数逻辑与记忆的结合。

八、实验结果：40%的提升差距说明了什么

研究团队在三类评测场景中进行了系统比较，对手涵盖了无记忆类系统（DP、ACT、π0.5、X-VLA等）和各类记忆增强系统（MemER、Mem-0、MemoryVLA等多种变体）。

在传统记忆任务测试集RMBench上，仅使用基础视觉锚点的EventVLA精简版就达到了67.8%的平均成功率，远超此前最好的41.7%。这说明"记住初始画面+保留最近几步"这个简单规则，对于不需要中间关键帧的任务已经足够强大。

在专门针对中间记忆设计的RoboTwin-MeM上，仅靠视觉锚点的成功率急剧跌落至18.0%，这正好验证了研究团队的判断：没有KEM模块，面对真正的非马尔可夫任务就束手无策。加入KEM后，完整版EventVLA的成功率跃升至75.2%，从18%到75.2%，这57个百分点的跨越清晰地量化了动态关键帧捕捉机制的价值。各个竞争对手中，成绩最接近的MemoryVLA也只有10.8%，而EventVLA的75.2%几乎是其七倍。

在4个真实世界的双臂机器人任务中，纯反应式系统π0.5的成功率为0%到10%，记忆增强系统πMEM的成功率为30%到50%，而EventVLA达到了60%到90%。在最难的"按顺序拾取"任务中，πMEM为40%，EventVLA为75%，差距超过35个百分点。

在标准马尔可夫任务（即不需要历史记忆的常规任务）上，EventVLA不仅没有退步，成功率反而略有提升，从基础模型的80%提升到83.8%（简单难度）、从78%提升到81.6%（困难难度），说明记忆机制的引入没有带来负面干扰。

九、消融实验：每个设计选择都经得起检验

研究团队对KEM的每个设计细节都做了单独的"拆除测试"，验证其必要性。

如果用隐式的压缩向量来存储关键帧，而不是直接保存原始图像，成功率从75.2%跌至24.9%，因为多个不同事件的信息被强行压缩进一个向量，细节全部丢失。如果把软标签换成0/1硬标签，成功率降至48.8%，因为物理操作的时间边界本身是模糊的，强制的二值判断会制造虚假的训练信号，破坏预测头的稳定性。

去掉非极大值抑制（NMS）的后处理，成功率降至53.4%，因为相邻帧的重复写入会把有限的缓冲区空间浪费在同一个事件的多个副本上。把最大缓冲区容量从5减少到2，成功率降至32.0%，因为容量不足以同时容纳任务所需的多个关键帧，早期关键信息会被后来的内容顶出缓冲区。

执行窗口（chunk size）的大小直接影响KEM的"预见距离"：把窗口从50步缩短到30步，成功率降至31.1%；缩短到15步，成功率仅剩13.6%。这说明足够长的预见窗口是KEM发挥作用的前提条件——窗口太短，就像只能看到脚下一步，根本来不及提前安排记忆写入。

在推理速度方面，完整版EventVLA的平均吞吐量约为每秒0.94次决策，与纯视觉锚点版（1.07次/秒）相比差距很小，而后者相比无记忆基础模型（2.91次/秒）的速度下降，主要来自于多帧输入带来的计算增加，而非KEM本身。考虑到VLA系统通常作为高层规划器与底层高频控制器协同工作，这个速度完全满足实际部署需求。

归根结底，EventVLA的贡献并不仅仅是一个新算法，而是对"机器人应该如何管理自己的注意力和记忆"这个基础问题给出了一个新的回答：不要试图记住所有事情，也不要盲目地只看当下——要像一个经验丰富的侦探一样，在关键证据出现的那一刻，主动把它锁进档案柜，留待日后使用。这种"前瞻性的稀疏记忆"思路，很可能成为未来长时任务机器人系统设计的重要参考方向。当然，目前的系统在任务时长超过10分钟、关键事件密度极高的场景下，仍面临缓冲区饱和的风险，研究团队也在论文末尾坦承了这一局限，并表示未来将探索分层记忆或压缩表示等方案来应对更极端的长时场景。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.20092查阅完整论文，所有代码和模型权重也可通过论文中提供的项目主页进一步获取。

Q&A

Q1：EventVLA的KEM模块是如何决定哪些时刻需要保存到记忆中的？

A：KEM模块会在每次决策时，对未来一整段执行窗口内的每一步都预测一个"关键度概率"，当某步的预测概率超过阈值时，系统就会在那一步真正到来时把画面保存下来。预测依赖于VLA主模型的深层特征，天然融合了任务指令、当前视觉和历史上下文。预测结果还会经过非极大值抑制和冷却期过滤，确保只保存稀疏、真正关键的帧。

Q2：RoboTwin-MeM和已有的机器人任务测试集有什么本质区别？

A：已有测试集中，很多号称考察记忆的任务靠着"记住最初画面"或"看最近几步"就能完成，并不真正要求捕捉中间短暂出现又消失的关键信息。RoboTwin-MeM专门设计了必须记住中途短暂可见信息才能成功的场景，并用参数n明确标注每个任务需要记住几个中间关键事件（1到5个不等），构成严格的梯度难度体系，是专门针对"非马尔可夫中间状态记忆"能力的诊断型测试平台。

Q3：EventVLA的关键帧自动标注流水线为什么不需要人工打标签？

A：研究团队利用Qwen3-VL大型视觉语言模型作为自动标注工具，将演示视频均匀采样后连同任务描述一起输入模型，让模型判断哪些时刻是任务关键转折点并输出时间戳。在仿真环境中这套流水线的平均误差不超过10帧，在真实世界任务中误差在50帧以内，对于动辄上千步的长时任务已经足够精确，完全替代了逐帧人工标注。