机器人会"健忘症"，这事比你想象的更麻烦

设想一个场景。你让家里的扫地机器人打扫三个房间，它扫完客厅，扫完卧室，走进厨房。这时候厨房的样子和它十分钟前刚扫完客厅时看到的样子几乎一样，地板都是干净的。但机器人必须知道：这是第三个房间了，该收工了，而不是重新再扫一遍客厅。

问题是，如果机器人只靠"眼睛"看当下这一帧画面来做决定，它根本分不清这是第几个房间。它需要记得自己走过的路。

这正是这篇论文要解决的核心问题，一个听起来简单、做起来极难的问题：机器人怎么才能记住过去发生的事，并用这些记忆来决定下一步该做什么。

被忽略的"隐藏状态"

过去几年，机器人操作技术突飞猛进。像π0、OpenVLA、GR00T N1这些模型（统称为机器人基础模型，用海量机器人数据训练出来的通用操作大模型，类似于机器人界的ChatGPT）已经能完成越来越复杂多样的任务。但这些模型普遍有个共同的短板：它们主要依赖当前这一帧画面做判断，顶多看看最近几帧，很少真正"记住"更久以前发生的事。

这在实验室的简单任务里问题不大。但现实世界的任务经常需要更长的记忆。论文里举了个例子：如果任务是"把这个操作重复两次"，那么一条简单的语言指令并不会告诉机器人它已经做了几次。物体的身份、位置信息也可能在执行过程中因为遮挡或场景变化而暂时消失，机器人必须靠记忆把这些信息补回来。

研究者把这类必须靠历史信息才能确定、仅凭当前画面无法判断的变量，称为隐藏任务状态。这个定义本身就值得琢磨。

隐藏任务状态：机器人当前看到的画面和身体姿态信息都无法推断出来，但可以从过去的交互历史中还原出来的决策相关信息。比如已经重复了几次操作、之前观察到的某个物体的颜色、当前执行到了任务的第几个阶段。

更精确地说，论文用数学语言定义了一种叫"隐藏状态依赖"的任务：存在两段不同的历史，它们导致的当前观察画面几乎一模一样，但正确的下一步动作却完全不同。这种现象在机器人学里有个专业名字，叫观察混淆，是部分可观测马尔可夫决策过程（POMDP，一种数学框架，用来描述智能体无法完全观测环境真实状态的决策问题）里的经典难题。

这里有个容易被忽略但很关键的点：论文特别强调，光是任务很长、或者画面有遮挡，并不能自动让一个任务变成"需要记忆"的任务。真正的考验在于，历史信息必须因果性地决定接下来该做什么。如果机器人换一种记忆方式也不影响结果，那这个任务其实不算真正依赖记忆。这个区分很讲究，因为它决定了整个评测基准该怎么设计。

一个专门为"健忘症"设计的考场

要验证机器人到底有没有记忆能力，先得有一把靠谱的尺子。研究者在RLBench（一个常用的机器人操作仿真平台，提供机械臂、物体和场景素材，支持自动生成演示数据）的基础上，搭建了一个叫HIDE的新基准。

HIDE把需要记忆的任务分成三大类，每类五个任务，一共十五个。

第一类叫重复计数，机器人要把一个动作重复做指定的次数，比如按三次按钮、堆两个方块。关键难点在于，第一次按按钮和第三次按按钮，画面看起来可能完全一样，机器人必须自己心里有数数到了第几次。

第二类叫历史状态回忆，机器人需要用到之前观察到但现在已经看不见的信息，比如某个杯子的颜色，或者某个抽屉原本是打开的。这类任务考验的是机器人能不能在信息消失之后仍然记得它。

第三类叫执行进度追踪，任务被拆成好几个步骤，而中间某一步的画面可能和另一步长得很像，机器人要靠历史判断自己到底做到哪一步了，不能重复做、也不能漏做。

这套基准的设计思路让我想起小学老师出的"连续性"考试题，不只考你会不会算加法，还要考你记不记得前面已经加过哪些数字。单看某一道题你可能都会做，但连起来考，才能看出你是真的理解了整个流程，还是只是机械地套公式。如果不设计这种带历史依赖的考题，机器人很可能靠"猜"蒙对一道题，但这种蒙对在后续更复杂的真实场景里是经不起推敲的。

为了让这套考题更严谨，HIDE还提供了随机化的初始布局、外观变化、自动生成的演示数据，以及把每条轨迹自动切分成任务阶段的标注信息，这样评测时就能知道机器人到底是在哪一步出的错。

现有模型考得怎么样

答案是，普遍不理想。

研究者拿市面上多个代表性模型在HIDE上做了测试，结果相当扎眼。像OpenVLA这种视觉语言动作模型，平均成功率只有1.6%，几乎可以说是全军覆没。稍微专门为机器人操作优化过的π0达到了22.1%，GR00T-N1.7能到26.4%，已经算是基础模型里的佼佼者，但距离及格线还很远。

专门带记忆机制的模型表现稍好一些。SAM2Act+把基础版SAM2Act的42.7%提升到了51.2%，看起来是个不错的进步。但细看分类表现会发现问题：这个模型在执行进度追踪上能到60.8%，但在重复计数和历史状态回忆上只有46.4%。另一个记忆模型MME则更极端，在历史状态回忆上能打到35.2%，但在重复计数上只有2.4%，几乎等于没有计数能力。

这说明一件很重要的事：给模型加上"记忆模块"这个标签，不等于它真的能记住任务所需要的那种信息。

这就好比给一个人配了个笔记本，但他只习惯往笔记本里记购物清单，从来不记会议待办事项。你问他今天买了什么菜，他答得头头是道；你问他下周三要交什么报告，他一脸茫然。拥有记忆工具和拥有正确类型的记忆内容,是两件事。如果不区分这两者，很容易误以为"加了记忆"就等于"解决了问题"，但实际测试数据狠狠打了这种乐观主义的脸。

SEEK：三件套记忆系统

针对这个问题，研究者提出了SEEK框架，核心思路是用三种互补的记忆机制，分别负责不同类型的历史信息。

第一个是窗口上下文记忆（Windowed Context Memory，简称WCM），它保留最近K次交互记录，按时间顺序排列，新的记录进来，最老的就被挤出去。这个机制负责捕捉"刚刚发生了什么"，适合用来追踪最近检查过哪些位置、内容发生了什么变化。

第二个是持久锚点记忆（Persistent Anchor Memory，简称PAM），专门解决"信息离开了最近窗口怎么办"的问题。比如一个物体的颜色信息在任务早期被看到过，后来被遮挡了，WCM这种只记最近几步的机制根本保不住这条信息。PAM会从所有历史记录里，挑一个和当前观察最相似的历史片段拿出来参考，而且会刻意排除掉已经在WCM里的内容，避免重复。

第三个是阶段计数记忆（Stage-Counter Memory，简称SCM），用一个离散计数器加上可学习的阶段向量，来表示任务执行到了哪个阶段。这个计数器只在预测到阶段边界时才往前走一步，而不是每个控制步都变。它存在的意义在于，当重复动作让场景外观变得相似时，单靠视觉特征很难分清这是第二次重复还是最后一次重复，必须有个明确的进度标记。

这三者的分工让我想起团队里不同角色的分工。WCM像是会议里负责记当场讨论要点的记录员,专注眼前这场；PAM像是档案管理员，不参与日常讨论,但关键时刻能从多年前的档案柜里翻出一份重要文件；SCM则像是项目进度表上那个打钩的进度条，它不关心讨论内容是什么，只负责告诉所有人现在到第几个阶段了。如果只靠会议记录员一个人既要记当场发言又要记住三年前的会议纪要还要兼任进度管理，他迟早会崩溃，信息混在一起谁都理不清楚。这正是为什么要把记忆拆成三个专门模块,而不是塞进一个大黑箱里了事。

技术实现上，SEEK的骨干是一个由粗到细的多视角操作策略。系统先用多摄像头的RGB-D图像（彩色加深度信息的图像）重建出点云，渲染出虚拟视角画面，粗分支先预测一个大致的操作目标区域，细分支再在这个区域内精确确定抓取位置、旋转角度和夹爪状态。三种记忆分别编码后融合进这套流程，粗分支会用到全部记忆信息来判断目标物体是哪个（比如多个颜色相近的方块，需要靠历史信息区分），细分支则更依赖当前局部的几何细节来做精细操作。

SEEK的战绩如何

在HIDE基准上，SEEK拿到了62.9%的平均成功率，比表现最好的基线SAM2Act+高出11.7个百分点，而且在三个类别上全部领先：重复计数61.6%，历史状态回忆59.2%，执行进度追踪68.0%。

更细致的消融实验（通过逐一拿掉或替换某个组件来验证它的真实贡献的实验方法）揭示了几个值得玩味的发现。

首先是存储什么内容的问题。研究者对比了只存身体姿态信息和存视觉特征两种方案，结果平均成功率从42.5%跳到62.9%，重复计数这一项更是从31.2%飙到61.6%，差了整整30个百分点。这说明视觉历史携带的信息量远远超过单纯的姿态数据，对解决隐藏状态歧义更管用。

其次是记忆该存多久。研究者测试了记忆窗口长度从0到6的不同设置，发现一个有意思的现象：长度从0加到2，重复计数任务的成绩居然从46.4%掉到了44.2%，短暂变差。直到长度加到6，才明显回升到61.6%。这个"中途变差"的现象提示我们，短记忆有时候比没记忆更危险，因为它给了模型一种"我记得一点"的错觉，但记的量又不够支撑正确判断，反而可能干扰决策。

最后是三个组件各自的贡献。逐步往基础模型里加SCM、WCM、PAM，每一步都带来提升，但提升的侧重点不一样：SCM对重复计数贡献最大（提升14个百分点），WCM对执行进度追踪贡献最大（提升12个百分点），PAM对历史状态回忆贡献最大（提升11.6个百分点）。单独拿出每个组件来看，也各有所长，SCM在重复计数上领先，PAM在历史回忆上领先，WCM在进度追踪上领先，但三者合在一起，才在每个类别上都拿到最好成绩。

这个结果其实很好理解。如果你只带了一把螺丝刀去修一台需要拧螺丝、敲钉子、剪电线三种操作的设备，你能搞定螺丝那部分，但面对钉子和电线就束手无策。记忆机制也是一样的道理，不同类型的隐藏状态需要不同形式的记忆来应对，没有一种记忆机制能包打天下。

走出仿真，走进真实世界

光在仿真环境里跑分还不够，研究者还把SEEK拿到标准的18任务RLBench测试集、模拟环境扰动的The Colosseum基准，以及真实机械臂上去检验。

在标准RLBench任务上，SEEK拿到84.7%的平均成功率，比自己复现的SAM2Act基线（84.1%）略高，比RVT-2（81.4%）和RVT（62.9%）都要好。这说明加入记忆机制并没有拖累模型在普通任务上的表现，不是"为了记忆牺牲了基本功"。

在The Colosseum的扰动测试里（这个基准会给场景加入颜色变化、纹理变化、光照变化、相机位姿变化等各种扰动，考验模型的鲁棒性），SEEK在无扰动场景下拿到68.6%，各种扰动平均下来61.9%，相对下降幅度9.8%，比SAM2Act复现版（10.1%）略小。

真实机器人实验用的是一台Franka Emika Panda机械臂，配合Robotiq夹爪和深度相机，测试了四个真实任务：重复按按钮、叠杯子、清理桌面、翻找白色小物件。这些任务都刻意设计成视觉上容易混淆、必须依赖历史信息的样子。结果SEEK拿到89%的平均成功率，相比之下SAM2Act+是47%，π0.5只有13%。这个差距大得有点夸张,在真实桌面清理任务里，π0.5的成功率甚至是0%,而SEEK是80%。

这个真实世界的结果比仿真数字更让人有感触。仿真环境里的误差往往可以靠调参数、换种子来弥补，但真实世界的机械臂一旦判断错误，摔了杯子就是摔了杯子，没有重来的余地。SEEK在真实场景里展现出的稳定性，说明这套记忆架构不只是在干净的仿真数据里讨巧，而是真的学到了某种可迁移的、对历史信息敏感的判断能力。

写在后面

读完这篇论文，最让我有感触的不是SEEK拿了多高的分数,而是那个"短记忆反而拖后腿"的实验结果。

直觉上我们总觉得"有总比没有好"，加一点记忆应该不会比完全没有记忆差。但数据明明白白地显示，重复计数任务在记忆长度为2的时候，成绩比完全没有记忆（长度0）还低了2个百分点。这背后可能藏着一个更普遍的道理：半吊子的信息有时候比完全没有信息更危险,因为它会给决策系统一种"我已经考虑过了"的虚假自信，实际上这点信息量根本不足以支撑正确判断。这个现象不只出现在机器人身上，人在做决策时同样容易犯这种错，知道一点点，反而比完全不知道更容易自信地犯错。

另一个值得单独拎出来说的细节是，三个记忆组件在不同任务类别上展现出的"各管一摊"现象，几乎是精确对应的，SCM对应计数、PAM对应回忆、WCM对应进度。这种精确对应不是巧合，它反映出的其实是这三类隐藏状态在信息结构上本来就是不同性质的：计数是一个需要稳定更新、不受视觉波动干扰的离散量；历史回忆需要跨越遮挡和场景变化去检索一个可能很久以前的片段；进度追踪需要的是近距离、连续性的上下文衔接。研究者没有设计一个"万能记忆"，而是先想清楚了问题的结构，再对症下药去设计三个专门模块,这种先做问题分解再做方案设计的思路，比起一上来就堆砌一个更大的模型，可能更值得我们学习。

论文最后也坦率地承认了局限：HIDE目前聚焦的是可控、可解释的隐藏状态形式，离真实世界里那种更复杂、更模糊的部分可观测性还有距离。一个扫地机器人知道自己扫到第几个房间是一回事，一个护理机器人要记住病人十分钟前说了什么、情绪状态如何变化，又是完全不同量级的挑战了。这条路显然还很长。

Q&A

Q1：HIDE基准测试的是机器人的什么能力？

A：HIDE专门测试机器人操作中的隐藏状态记忆能力，也就是机器人能否靠交互历史而非仅靠当前画面，来判断重复次数、回忆历史场景信息、追踪执行进度，一共覆盖十五个任务。

Q2：SEEK框架和普通的机器人记忆模型有什么不同？

A：SEEK不是用单一记忆机制，而是组合了三种互补机制：窗口上下文记忆负责近期信息，持久锚点记忆负责检索更久远的历史证据，阶段计数记忆负责追踪任务进度，三者配合效果明显优于单一机制。

Q3：为什么现有的机器人大模型在HIDE上表现这么差？

A：因为这些模型大多只依赖当前观察或很短的时间窗口做判断，而HIDE里的任务刻意设计成画面相似但需要不同动作的场景，比如OpenVLA在HIDE上平均成功率只有1.6%，说明保留历史信息不等于能用对信息。