NAVER AI实验室推出"瓶颈令牌"：一个令牌记住机器人的所有动作经验

这项由韩国NAVER AI实验室的金泰庆、韩东允、许炳浩和尹相斗，以及韩国大学的朴廷恩共同完成的研究发表于2025年7月，目前正在评审中。感兴趣的读者可以通过arXiv:2507.06543v1查阅完整论文。这个研究团队提出了一种名为"Token Bottleneck"（简称ToBo）的全新方法，让机器人能像人类一样，通过观察和记忆来学习复杂的操作技能。

当我们看电影时，即使中间有人暂停了几分钟，我们回来后依然能迅速理解剧情发展，这是因为我们的大脑会自动保存重要信息，并能将这些信息与新看到的画面联系起来。研究团队发现，让机器人学会这种"观察-记忆-理解"的能力，是实现智能机器人的关键所在。传统的机器人视觉系统就像一个健忘的观众，每次看到新画面都要从头开始分析，完全忘记了之前看到的内容。

机器人要在真实世界中工作，就必须具备连续理解动态场景的能力。比如一个机器人要学会开门，它需要记住门的初始状态，理解手柄的位置变化，并预测下一步该怎么操作。这种能力被研究者称为"序列场景理解"，就像我们人类在日常生活中不断观察、记忆、预测和行动的过程。

研究团队发现，现有的机器学习方法主要存在两个问题。第一个问题是，大部分方法只能处理静态图片，就像让一个从没见过电影的人仅仅通过几张截图来理解整部电影的故事情节，这显然是不够的。第二个问题是，即使是那些声称能处理动态场景的方法，实际效果也很有限，因为它们往往只是简单地比较前后两帧画面的差异，而没有真正理解场景变化的深层含义。

为了解决这些问题，研究团队开发了一种巧妙的"瓶颈令牌"机制。这个机制的工作原理就像一个经验丰富的侦探在案发现场的工作过程。当侦探到达现场时，他会仔细观察每一个细节，然后将所有重要线索压缩成一份简洁但信息丰富的案件摘要。接下来，当新的线索出现时，侦探会结合这份摘要和新线索来推断事件的发展。

具体来说，ToBo方法包含两个关键步骤：压缩步骤和扩展步骤。在压缩步骤中，系统会观察一个参考场景（比如门的初始状态），然后将所有重要的视觉信息压缩成一个被称为"瓶颈令牌"的数据包。这个令牌就像一个高度浓缩的记忆胶囊，包含了理解当前情况所需的所有关键信息。在扩展步骤中，系统会接收目标场景的少量视觉信息（比如只看到门把手的一小部分），然后结合瓶颈令牌中的记忆来预测完整的目标场景应该是什么样子。

这种设计的巧妙之处在于，通过故意限制目标场景的可见信息，系统被迫高度依赖瓶颈令牌中存储的知识。这就像要求一个学生仅仅根据考试题目的前几个字和之前学过的知识来完成整道题目，这样的训练会迫使学生真正理解和记住课程内容的精髓。

研究团队在多个不同的环境中测试了这种方法的效果。他们让机器人学习各种复杂的操作任务，比如在Franka Kitchen环境中开门、开灯、开微波炉等。结果显示，使用ToBo方法训练的机器人在几乎所有任务上都大幅超越了传统方法。以开灯任务为例，传统方法的成功率只有大约55%，而ToBo方法的成功率达到了82%，提升了近27个百分点。

更令人印象深刻的是，研究团队还在真实的物理机器人上测试了这种方法。他们设计了三个真实世界的任务：开柜门、关抽屉和叠杯子。在开柜门这个对精确度要求很高的任务中，传统方法几乎完全失败，成功率接近0%，而ToBo方法却达到了65%的成功率。这个结果特别重要，因为真实世界的操作比模拟环境要复杂得多，涉及光线变化、物体磨损、操作误差等各种不确定因素。

为了验证方法的通用性，研究团队还在视频标签传播任务上进行了测试。这类任务要求系统能够跟踪视频中物体或人物的位置变化，就像在一段视频中持续标记一只猫的位置一样。实验结果显示，ToBo方法在物体跟踪、身体部位跟踪和姿态追踪等各个方面都表现优异，证明了这种方法不仅适用于机器人操作，还能广泛应用于其他需要时序理解的任务。

研究团队深入分析了为什么这种方法如此有效。传统的自监督学习方法通常采用对比学习或掩码重建的策略。对比学习就像让学生通过比较不同的例子来学习概念，虽然能帮助学生理解事物的相似性和差异性，但在需要精确定位和操作的任务中表现不佳。掩码重建方法就像让学生看一幅被部分遮挡的图片然后猜测被遮挡的部分，这种方法在单张图片上效果不错，但处理动态场景时就显得力不从心。

现有的一些试图处理动态场景的方法，如SiamMAE，尝试通过建立前后帧之间的对应关系来理解时间变化。这就像让学生比较两张相似照片找出差异，虽然能发现变化，但往往无法深入理解变化的意义和后续发展趋势。研究团队通过实验发现，这类方法在机器人操作任务上的改进非常有限，有时甚至不如基础的MAE方法。

相比之下，ToBo方法的核心洞察是：机器人不仅需要识别场景变化，更需要能够保守地总结观察到的场景信息，并将这些信息以支持时间推理的方式进行编码。这就像训练一个优秀的新闻记者，不仅要能观察到事件的发展，还要能将复杂的事件浓缩成简洁而信息丰富的报道，并且这个报道要能帮助读者理解事件的前因后果和可能的发展方向。

在技术实现上，ToBo使用了一种特殊的解码器结构。与之前方法使用复杂的交叉注意力机制不同，ToBo采用了更简单但更有效的自注意力机制。这种设计确保解码器在扩展步骤中专注于利用给定的信息，而不会被复杂的交互机制分散注意力。这就像让一个专注的工程师仅仅依靠手头的工具和材料来完成任务，而不是提供太多可能造成干扰的选择。

研究团队还测试了方法的可扩展性。他们使用不同规模的视觉变换器模型进行实验，从小型的ViT-S/16到大型的ViT-L/16。结果显示，无论模型大小如何，ToBo方法都能持续带来显著的性能提升。这表明这种方法的有效性不依赖于特定的模型规模，具有良好的泛化能力。

为了进一步验证方法的优势，研究团队将ToBo与最近流行的机器人表示学习模型进行了比较。这些模型包括使用基础模型监督的方法（如Theia）、使用语言辅助监督的方法（如R3M、MVP、Voltron、MPI）以及其他自监督学习方法（如VC-1、data4robotics）。令人惊讶的是，尽管ToBo使用的参数数量更少，训练数据也更少，且没有使用任何人工标注的监督信号，但它在MetaWorld环境中达到了最高的性能，甚至超过了那些使用140亿标注样本训练的大型基础模型。

这个结果特别有意义，因为它表明有效的学习策略比单纯的数据规模更重要。就像一个聪明的学生通过找到合适的学习方法，可能比那些仅仅依靠大量练习的学生学得更好更快。ToBo方法的成功证明了，通过巧妙的设计让模型学会真正重要的能力，比简单地增加数据量或模型规模更加有效。

研究团队还进行了细致的消融实验来验证设计选择的合理性。他们特别测试了目标场景掩码比例的影响。结果发现，当掩码比例从0.5增加到0.9时，性能持续改善，这验证了"极度稀少的目标信息迫使模型高度依赖参考场景记忆"这一核心假设。但当掩码比例过高（0.95）时，性能开始下降，说明模型仍然需要一些基本线索来进行合理的预测。

在实际应用中，研究团队展示了ToBo方法在多个具有挑战性的真实任务中的表现。开柜门任务要求机器人精确地抓取并转动门把手，这涉及复杂的手眼协调和力的控制。关抽屉任务需要机器人理解推拉动作的方向和力度。叠杯子任务则要求机器人处理精细的物体操控和空间定位。在这些任务中，ToBo方法都展现出了明显优于传统方法的性能，证明了其在真实世界应用中的实用价值。

视频标签传播实验进一步验证了ToBo方法的通用性。在DAVIS视频物体分割、VIP视频部位分割和JHMDB姿态跟踪等任务中，ToBo都取得了最佳性能。这些任务虽然与机器人操作在表面上很不相同，但都需要系统能够理解视觉场景的时间演化，这正是ToBo方法的核心优势所在。

研究团队还与当前流行的视觉-语言模型进行了比较，包括CLIP、DINOv2、SigLIP等。尽管这些模型使用了大量的人工标注数据和强大的语言监督，ToBo方法仍然在机器人任务中表现更优。这个结果表明，针对特定应用领域设计的学习方法可能比通用的大型模型更加有效。

从技术角度来看，ToBo方法的成功可以归因于几个关键因素。首先是保守信息压缩的思想，即将观察到的场景信息尽可能完整地保存在瓶颈令牌中。其次是时间推理的嵌入，通过预测任务迫使模型理解场景变化的规律。最后是适度的信息稀缺性，通过限制目标场景的可见信息来强化模型对记忆信息的依赖。

这项研究的意义不仅仅在于提出了一个有效的算法，更在于为机器人学习提供了一种新的思路。传统的方法往往专注于提高模型的表达能力或增加训练数据，而ToBo方法则从学习机制的角度入手，通过巧妙的任务设计来引导模型学会真正有用的能力。这种"以终为始"的设计思路可能会对未来的机器人学习研究产生深远影响。

当然，这项研究也存在一些局限性。目前的实验主要集中在相对简单的操作任务上，对于更复杂的多步骤任务或需要长期规划的任务，方法的有效性还需要进一步验证。此外，瓶颈令牌的信息容量是有限的，对于信息量特别大的场景，如何有效地进行信息压缩仍然是一个挑战。

展望未来，这项研究为智能机器人的发展开辟了新的方向。随着方法的进一步完善和优化，我们可能很快就能看到具备更强学习和适应能力的机器人出现在工厂、医院、家庭等各种环境中。这些机器人将能够像人类一样，通过观察和经验积累来不断提高自己的工作能力。

说到底，ToBo方法的核心贡献在于证明了一个简单而重要的道理：有效的学习不在于记住更多的细节，而在于学会如何提取和保存最有用的信息。这个洞察不仅对机器人学习有重要意义，对人工智能的其他领域也具有启发价值。归根结底，无论是人类还是机器，真正的智能都来自于能够从有限的观察中提取无限的洞察，而ToBo方法正是朝这个目标迈出的重要一步。

Q&A

Q1：瓶颈令牌是什么？它是怎么工作的？ A：瓶颈令牌就像一个超级浓缩的记忆胶囊，它把机器人看到的所有重要视觉信息压缩成一个数据包。当机器人需要做出决策时，它会结合这个记忆胶囊和当前看到的少量新信息来理解整个情况，就像经验丰富的医生仅凭几个症状和过往经验就能诊断疾病一样。

Q2：ToBo方法会不会让机器人变得更聪明？ A：确实会让机器人在理解动态场景方面更聪明。实验显示，使用这种方法的机器人在开门、开灯等任务上的成功率提高了20-40%，在真实世界的复杂任务中表现也明显更好。它让机器人具备了类似人类的"观察-记忆-理解"能力。

Q3：这种方法有什么实际应用？普通人能用到吗？ A：目前主要应用在机器人研究和工业自动化领域，比如让工厂机器人学会更复杂的操作。虽然普通人暂时还不能直接使用，但随着技术发展，未来的家庭服务机器人、医疗辅助机器人可能都会采用类似技术，让它们更能理解和适应我们的日常生活环境。