不截屏也能"记住"你做了什么？不列颠哥伦比亚大学的AI研究，让电脑助手学会"偷懒"却更聪明

这项由不列颠哥伦比亚大学与微软研究院联合开展的研究，发表于2026年6月的arXiv预印本平台，论文编号为arXiv:2605.11212v3。感兴趣的读者可通过该编号在arXiv上查阅完整论文。

---

当你雇了一个助手帮你操作电脑，每隔一秒钟，他就把眼前整个屏幕画面都拍下来，一张不漏地全部交给你看。你会发现，绝大多数时候，这些照片几乎一模一样——可能只有屏幕右上角的一个弹窗不同，其余全是重复内容。这种做法不仅浪费了大量的存储空间和你的注意力，更关键的问题是：助手自己也会因为信息太多、太重复，而迷失在一堆"废话"里，忘记真正重要的事情。

这正是目前绝大多数"计算机使用智能体"（简单说就是能自动操作电脑、浏览网页、完成任务的AI助手）面临的核心困境。研究团队把这个问题称为"视觉冗余"——AI助手每走一步，就要重新"看"一遍整个屏幕，而屏幕上大部分内容根本没变化，全是重复的像素信息。随着任务步骤越来越多，这些重复信息越堆越高，最终把真正有用的内容淹没了。

为了解决这个问题，研究团队设计了一套名为REVISION的方案。这个名字本身就暗示了其核心思路——"修订"掉那些多余的、重复的视觉信息，只留下真正有变化、有意义的部分。

---

一、屏幕截图的"信息通货膨胀"问题

在理解REVISION做了什么之前，有必要先搞清楚AI助手到底是怎么"看"屏幕的。

现代的多模态大语言模型（可以理解图片又能理解文字的AI）在处理一张屏幕截图时，会把整张图切成很多小方块，每个小方块叫做一个"图像块"（patch）。对于常见的桌面分辨率截图，一张图可能会被切成两千七百多个小方块。每个小方块都会被转换成一串数字信号，输入给AI的"大脑"处理。这些数字信号就是所谓的"视觉Token"（视觉令牌）——可以把它理解成AI理解图片内容所需要付出的"脑力消耗单位"。

正常情况下，一张截图大约需要消耗两千多个视觉Token。如果AI助手要完成一个需要二十个步骤的任务，每步都看最近五张历史截图，那么光是图片部分就要消耗超过十五万个Token。这就好比你让一个助手做笔记，他不但记下了每次的变化，还把整面墙的壁纸原封不动地抄了一遍又一遍，抄了二十次。

研究团队对八个不同的计算机操作基准数据集进行了系统分析，结果触目惊心：平均有45.4%的图像块在相邻两步之间完全没有变化。在某些桌面任务场景下，这个比例甚至高达56.2%。换句话说，超过一半的"视觉Token"是纯粹的重复内容，对AI做决策毫无帮助，却占据了宝贵的处理资源。

更糟糕的是，随着AI可用的"上下文窗口"（可以理解成AI的工作记忆容量）被这些重复信息填满，它能回顾的有效历史步骤就越来越少。这直接导致了一个反直觉的现象：给AI看更多历史截图，它的表现并不会更好，反而可能因为"记忆超载"而退步。这跟现实生活中的很多领域不同——在语言类任务里，给AI更多历史对话往往能让它表现更好；但在电脑操作任务里，更多历史截图带来的往往是性能饱和甚至下降。

---

二、REVISION如何"精简"AI的视觉记忆

核心思路其实很直觉：既然屏幕上大部分内容没变，就不必让AI重新看一遍那些没变的部分——只需要告诉AI"上一步没变的地方还是那样，你只需要关注新变化的地方"。

但具体怎么实现呢？研究团队设计了一个叫做"ReVision Token Selection"（RTS，即"REVISION图像块选择器"）的轻量级筛选模块。这个模块本质上是一个三层神经网络分类器——可以把它理解成一个经过训练的"差异检测员"。

这个差异检测员的工作流程是这样的：对于轨迹中的每一步，它会拿出当前截图和上一步截图中对应位置的图像块，两两比较它们的"特征表示"（也就是AI对这块区域内容的数字化理解），然后判断：这个位置的内容有没有实质性变化？如果没有，就把当前截图的这个图像块标记为"冗余"，予以丢弃；如果有变化，就保留它。

训练这个差异检测员的方式也颇具巧思。团队使用了一个叫OmniParserV2的工具，它可以把屏幕截图分解成有语义意义的区域（比如一个按钮、一个文本框、一个菜单），然后对比相邻两步中同一区域的内容是否发生了变化。这种做法比直接比较像素或者简单比较图像相似度要聪明得多——它能区分出真正的内容变化（比如一段文字被修改了）和微小的视觉噪声（比如鼠标光标稍微移动了一点）。训练完成后，这个差异检测员在推理时只需要大约22毫秒就能完成一次筛选，几乎不增加额外的时间成本。

有一个重要的设计决定值得特别提及：在每个历史窗口中，第一张截图会被完整保留，不做任何删减。只有第二张往后的截图才会被筛选，把与前一张相比没有变化的图像块去掉。这样做的道理在于：第一张截图提供了"基线"——AI需要知道任务开始时的屏幕是什么样子，才能正确理解后续变化的意义。

此外，被保留下来的图像块会维持它们原本的位置编号（position ID）。这一点非常关键，因为AI的视觉理解依赖于知道每个图像块在屏幕上的位置——删掉了一些图像块之后，如果剩下的图像块重新连续编号，AI就会误以为它们是紧挨着的，从而破坏对屏幕空间布局的理解。保留原始位置编号，就像在一本书里删掉了一些页面，但保留了原来的页码——读者依然知道第87页在整本书里的位置，不会因为中间有空缺就迷失方向。

---

三、不只是"裁剪"，还要"训练"AI适应不完整的画面

单纯地把重复图像块删掉，然后直接把"残缺"的截图喂给AI，并不会自动产生好效果。现有的AI模型都是在完整截图上训练的，突然给它看一张"东缺一块、西少一块"的截图，它往往会感到困惑，表现反而下降。

这就是REVISION的第二个关键设计：不仅要在推理时删除冗余图像块，还要在训练时就让模型学会在"残缺"的视觉输入下工作。

具体做法是：研究团队使用一个名为AgentNet的计算机操作轨迹数据集，把其中的每条操作记录都用RTS处理一遍，生成带有图像块删减的"压缩版"训练样本，然后用这些样本对QWEN2.5-VL-7B（一个强大的多模态语言模型）进行微调训练。

经过这种训练，模型就学会了一种新的"阅读习惯"：当它看到一张被删去了很多图像块的截图时，它知道那些空白的地方代表"和上一步一样，没变化"，并且会主动利用之前步骤的完整截图来"脑补"那些缺失的内容。这就好比一个人读了很多删节版书籍之后，掌握了从上下文推断删减内容的能力，反而读书效率更高，理解也更深。

训练时，模型在每一步只看最近k张历史截图（k是一个可以调整的参数，比如3张、5张、7张等），但同时能访问所有历史步骤的文字记录（每步的思考过程和执行的操作）。这意味着文字层面的历史是完整的，而视觉层面的历史经过压缩后变得更高效。研究团队针对不同的k值分别训练了独立的模型，确保训练时和测试时的条件完全一致。

---

四、实验结果：砍掉近一半的"视觉开销"，表现反而更好

研究团队在三个不同的基准测试上评估了REVISION的效果，分别覆盖桌面操作和网页操作两类场景。

第一个是OSWorld，这是一个在真实桌面环境中测试AI助手的经典基准，涵盖文件管理、浏览器操作、办公软件等各种任务，任务完成被允许的最多步骤数可以是15步、50步或100步。第二个是WebTailBench，专注于复杂的多步骤网页操作任务，里面的任务都偏向于那些现有AI助手不太擅长的"长尾"场景。第三个是AgentNetBench，这是一个离线评测基准，使用固定的操作轨迹进行评估，可以排除实际运行环境差异的干扰，结果更稳定可重复。

在使用5张历史截图的条件下，搭配QWEN2.5-VL-7B基础模型，REVISION与"不删除任何图像块"的基线相比，平均减少了46%的视觉Token消耗，同时任务成功率提升了3个百分点。

在WebTailBench上，这个差距尤为显著。强力竞争对手（如OpenCUA、UI-TARS等专门针对计算机操作任务训练的模型）在100步的任务成功率大约在30%以下，而REVISION达到了将近50%的成功率，这相当于42%的相对提升幅度。

在效率与性能的综合对比图中，可以看到一个鲜明的对比：其他模型随着历史截图数量从3张增加到5张，Token消耗大幅上升，但成功率几乎没有提升；而REVISION用更少的Token，却获得了更高的成功率，而且随着历史截图数量继续增加（从3张到5张到7张再到9张），它的表现持续稳步提升，并没有像其他模型那样迅速进入"饱和"状态。

在轨迹长度（即完成任务所需的平均步骤数）方面，REVISION也展现出优势。在WebTailBench上，其他强力模型需要平均33到37步才能完成任务，且成功率仍低于40%；而REVISION只需大约25到30步就能达到接近50%的成功率。更少的步骤加上更高的成功率，说明它不仅完成任务的质量更高，决策过程也更高效，不会绕弯路。

---

五、饱和点在哪里？历史越长越好，但有个临界值

研究团队做了一项系统性分析，专门研究"历史截图数量"与"任务表现"之间的关系，以及什么时候性能会开始饱和。

在不删除任何图像块的情况下，模型在历史截图数量增加到大约7张时达到性能峰值，之后随着截图继续增加，性能开始下降。而使用REVISION删减冗余图像块的情况下，性能峰值延迟到了大约11张截图，峰值高度也更高。

更有意思的发现是：性能饱和与"截图数量"的相关性，实际上不如与"总Token数量"的相关性高。两种方案的性能饱和点，都大约发生在总Token数达到23000个左右。这说明，制约AI助手表现的，并不是它能看多少张截图，而是它能处理多少有效信息。REVISION通过压缩每张截图的Token消耗，让模型在相同的Token预算内能看更多有意义的历史，从而延迟了饱和。

研究团队还比较了两种不同的删减方向：一种是"向前删减"（保留最早的截图完整，对后续截图删减）；另一种是"向后删减"（保留最新的截图完整，对历史截图删减）。结果表明，向前删减在绝大多数情况下表现更好。原因在于：如果把最新截图也做了删减，AI看到的当前状态就是不完整的，影响它对"现在"的判断；而向前删减则保留了最新状态的完整视图，历史截图的冗余内容被压缩，AI就能更好地聚焦于"发生了什么变化"。

---

六、与其他压缩方案的对比：不是随便删就好的

为了证明RTS的设计是合理的，研究团队把它与多种其他图像块删减策略进行了对比。

随机删除50%的图像块，成功率下降了约5个百分点；随机删除90%，成功率几乎崩溃，降到了危险的低水平。这说明"删"本身不会带来好处，关键是"删什么"。

按照螺旋形状的空间模式删除（一种均匀分布的删减策略），效果比随机稍好，但仍然显著低于不删减的基线。基于像素相似度的删除（直接比较两张截图对应位置的像素是否相同）能删掉更多Token，但受到光标移动、渲染噪声等因素干扰，误删了不少重要内容，最终成功率低于基线。

使用大型视觉模型的特征相似度（余弦相似度）来判断图像块是否冗余，效果比像素比较好，但仍然无法超越不删除的基线。换用RTS（一个学会了自适应决策边界的分类器），才真正超越了基线，同时减少了约48%的视觉Token消耗。

如果用OmniParser做区域级别的语义分割再进行删减，成功率还可以进一步提升（AgentNetBench上达到74.6%，OSWorld SR@100达到35.2%），但代价是推理延迟从22毫秒飙升到超过550毫秒——大约是RTS的25倍。对于需要实时交互的场景，这个代价太高。RTS的设计恰好在效果和速度之间找到了平衡点。

---

七、REVISION会不会让AI"忘记"怎么看单张截图？

一个合理的担忧是：用大量"残缺"截图训练出来的模型，会不会在处理正常完整截图时反而变差？研究团队专门做了验证实验。

他们在三个专门测试"界面元素定位"能力的基准上（OSWorld-G、ScreenSpot-Pro和UI-Vision），分别对REVISION训练的模型和原始基础模型进行评估。这三个基准都是单张截图测试，没有历史信息，因此REVISION的图像块删减机制在这里完全不起作用——模型接受的是完整截图。

结果显示，REVISION训练的模型与原始模型的表现几乎没有差异，分差在统计误差范围内。这说明REVISION的训练过程没有损害模型理解完整截图的能力，它只是额外学会了在"残缺"输入下工作，而不是"遗忘"了原有能力。

类似地，在使用不同规模基础模型（QWEN3-VL-8B，一个比QWEN2.5-VL-7B更强的模型）进行测试时，REVISION同样带来了一致的性能提升。使用3张历史截图时，QWEN3-VL-8B搭配REVISION在OSWorld SR@100达到34.1%，AgentNetBench平均成功率达到73.5%；扩展到5张历史截图后，两个数字分别提升到36.7%和76.0%。这说明REVISION的优势不依赖于特定的模型结构，具有较好的通用性。

---

八、稳定性与可靠性：不是"碰运气"

对于一项实验性研究，评估结果的稳定性非常重要。研究团队对每个模型都运行了三次独立实验，并报告了标准差。

所有模型在OSWorld、WebTailBench和AgentNetBench上的标准差都在0.6到1.2个百分点之间，属于非常低的水平。即便是使用较长历史（H=7或H=9张截图）的REVISION模型，方差也保持在相似的低水平。这意味着观察到的性能提升是系统性的，而非个别运行中的偶然结果。

另一个值得一提的实验是"跨窗口泛化"测试：用3张历史截图的条件训练出来的模型，在测试时如果用5张历史截图（不匹配的条件），表现会有多大下降？实验结果显示，这种错配带来的性能损失相当有限（在OSWorld SR@100上从30.5%降到29.1%，在AgentNetBench平均成功率上从70.7%降到69.7%），说明REVISION训练的模型具有一定的窗口大小鲁棒性，不会因为测试时截图数量稍有变化就表现失常。

---

说到底，这项研究揭示的核心洞察非常简单：对AI助手来说，给它看更多截图，不如给它看更有用的截图。当大量重复内容占据了AI有限的"工作记忆"，它能调动的真正有效信息反而变少了，就像一个人的书桌上堆满了重复的废纸，反而找不到那份真正重要的文件。

REVISION做的，就是在把截图交给AI之前，先派出一个眼神犀利的助理，把那些"和上次一模一样"的部分标记出来、暂时撤走，只把真正发生变化的内容呈现给AI。这个助理经过充分训练，能区分出哪些"一样"是真的内容未变、哪些"看起来差不多"实则有重要差异。

这对普通用户意味着什么？随着AI操作电脑的能力越来越受到关注，"如何让AI在有限的计算资源下完成更长、更复杂的任务"将成为决定这类产品能否真正实用化的关键瓶颈。REVISION提供的思路——通过训练让模型学会在压缩的视觉历史下高效推理——不需要更换底层模型结构，也不需要大幅增加硬件投入，是一条相对务实可行的路径。

当然，这套方法也有其局限。对于界面变化非常快速、密集的场景（比如每一步都有大量屏幕内容发生变化），可压缩的冗余空间本身就不大，收益会相应减少。而且，如果差异检测器出了误判，删掉了某个看似静止、实则关键的区域（比如一个微妙变化的状态图标），就可能让AI错过重要信息。如何进一步提高差异检测器的精准度，以及如何将类似思路扩展到视频理解、机器人感知等其他需要处理连续视觉序列的场景，都是这一方向未来值得探索的课题。

有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2605.11212在arXiv平台查阅完整论文。

---

Q&A

Q1：REVISION是如何判断哪些截图内容是"重复"可以删除的？

A：REVISION使用了一个叫做RTS的轻量级分类器，它会把相邻两步截图的对应图像块进行特征比较，判断内容是否发生了实质变化。训练时借助了OmniParserV2对屏幕区域进行语义分割，让分类器学会区分真正的内容变化和光标移动等无关噪声。判断一次只需约22毫秒，几乎不增加时间成本。

Q2：REVISION删除了图像块后，AI会不会看不懂残缺的截图？

A：不会，原因在于REVISION不仅在推理时删除冗余图像块，更重要的是用大量"残缺截图"对模型进行了专门训练。经过训练的模型学会了把残缺的地方理解为"和上一步一样"，并能从完整保留的历史截图中补充那部分信息。在单张完整截图的测试中，REVISION训练的模型表现与原始模型几乎没有差异。

Q3：计算机使用AI助手（CUA）为什么历史截图越多表现反而不进反退？

A：因为每张截图包含大量与前一步几乎相同的内容，重复信息不断累积会占满AI的"工作记忆"容量，真正有用的信息反而被稀释。研究发现，决定性能是否饱和的关键是总Token数而非截图张数，当总Token超过约23000个时，不管添加多少截图性能都开始停滞或下降。删除冗余图像块后，同样的Token预算能容纳更多有效信息，饱和点因此被延迟。