台湾两所顶尖高校联手：让AI看图时"跳过"的视觉信息还有机会"回来"

这项由台湾国立阳明交通大学与国立台湾大学联合完成的研究，以预印本形式于2026年6月10日发布，论文编号为arXiv:2606.12412，感兴趣的读者可通过该编号在arXiv平台查阅完整论文。

当我们跟AI助手说"帮我找一下照片里穿绿色衬衫的那个人"，AI背后其实正在处理数百甚至数千个"视觉碎片"——每一小块图像区域都被转化成一个独立的"视觉令牌"（可以把它理解成图像被切成的小方块）。处理这些小方块需要大量计算资源，这也是为什么在手机或普通电脑上运行这类AI会很慢、很耗电。为了提速，研究者们普遍采用一种"先评分、再扔掉"的做法：在AI处理图像的某个早期阶段，给每个视觉小方块打个分，然后把分数低的统统丢弃，只保留"看起来重要"的那些继续参与后续计算。

这个思路听起来合情合理，就像你整理书桌时快速判断哪些文件有用、哪些可以扔掉一样。问题在于，AI在处理图像的不同"深度层"时，对"什么是重要的"判断会发生变化——浅层时它关注的是整体轮廓，深层时它才真正开始理解谁穿了什么颜色的衣服。一旦某个视觉小方块在浅层被判为"无用"而扔掉，到了深层它就算再重要也回不来了。这项研究的核心发现正是这种"一刀切"的永久丢弃行为，是导致AI定位、识别特定对象时出错的根本原因之一。研究团队提出的解决方案叫做**Reroute**（重新路由），思路非常简洁：别扔，先"搁一边"，后面还有机会重新考虑。

一、"扔了就是扔了"——现有方法的致命缺陷

要理解这项研究解决的问题，可以用一个生活场景来体会。假设你要在一个热闹的派对照片里找出"站在角落里穿格子衫的那个人"。你把照片切成64块小方块，然后请一个助手帮你快速筛选：在只看了照片左上角几块的时候，助手觉得角落那几块"太暗、太模糊、没什么特别"，于是把它们扔掉了。等你后来真的需要找格子衫的人时，那几块关键的角落图像已经不见了，无论如何努力也找不回来。

目前主流的视觉令牌压缩方法基本都是这个思路。FastV这个方法在AI的第2-3层（非常早期）就做出决定，把注意力分数低的视觉小方块永久移除；PDrop（PyramidDrop，金字塔式丢弃）稍微温和一些，分多个阶段逐步减少视觉令牌，但每个阶段丢弃的令牌同样永远消失；Nüwa则在评分规则上做了改进，尤其关注空间信息的完整性，是目前定位类任务中表现最强的方法之一。这些方法有一个共同的假设：在某个层次被判为"不重要"的视觉令牌，在更深的层次里也不会重要。

然而，研究团队用一个具体的追踪实验戳破了这个假设。他们选取了一张图片，任务是找"穿绿色衬衫的男人"，然后追踪其中一个落在目标人物身上的关键视觉小方块，记录它在AI每一层的"注意力排名"。结果令人大开眼界：在第3层（FastV做决定的时刻），这个小方块的注意力排名只在倒数11%左右，妥妥地会被扔掉；到了第8层（PDrop做决定的时刻），排名稍微上升了一点，但依然处于后25%的范围，还是难逃被丢弃的命运。然而到了第25层，也就是AI真正开始深度理解图像语义的时候，这个小方块的重要性排名飙升到了前3%。换句话说，它在浅层是"路人甲"，在深层却是"主角"，但因为早早被丢弃，AI到最后什么都找不到了。

研究团队还做了另一个直观展示：在同一张图片上，随着AI处理层数的加深，每个查询词（比如"男孩"、"蓝色"、"夹克"、"灰色"）所关注的视觉区域会发生显著漂移。在浅层，AI的注意力分散地落在图片各处；到了中层和深层，注意力才逐渐聚焦到真正与这些词相关的区域。这说明"重要性"本身就是一个随深度动态变化的属性，而现有方法却用一个早期的静态快照来做永久性的决定。

二、不丢弃，只是"先等一下"——Reroute的核心思路

既然问题出在"永久丢弃"这个动作上，解决思路就变得很清晰：把"丢弃"改成"暂时搁置"，给每个被判为当前不重要的视觉小方块留一条"旁路"，让它先绕过当前这几层计算，但在下一个决策节点到来时，重新参与评分竞争。

这就是Reroute的本质。借用一个快递分拣的比喻：传统方法就像快递中心的工人，在第一个传送带上快速翻看每一个包裹，觉得不重要的直接扔进垃圾桶；Reroute则像是把"暂时不确定"的包裹放到一个临时货架上，等下一班分拣开始时再重新拿出来竞争上岗——货架上的包裹始终还在，只是还没被处理。

从技术角度来说，Reroute将AI的解码层划分为若干个"路由阶段"。在每个阶段开始时，系统用文本到视觉的注意力分数给当前的所有候选视觉令牌排名，选出排名靠前的一部分（比如前50%）正常通过这个阶段的计算（包括注意力机制和前馈网络），而排名靠后的那些令牌则走一条"旁路"——它们跳过这个阶段的计算，但保留自己当前的状态，直接等待下一个路由节点的到来。在下一个路由节点，所有候选令牌（包括之前被搁置的）再次参与打分竞争，这时候之前被搁置的令牌完全有可能凭借更好的分数重新进入处理队列。

一个在第3层被暂时搁置的视觉令牌，完全有可能在第15层或第25层凭借更高的注意力分数重新被激活，参与到真正需要它的计算里。这就把"永久丢弃"变成了"可恢复的延迟"。

关键的一点是：Reroute完全不需要额外训练，也不引入新的打分机制。它直接复用了现有方法（FastV、PDrop、Nüwa等）已经在用的注意力分数作为路由信号，只是改变了"对低分令牌做什么"这个动作。正因如此，Reroute被设计成一个即插即用的插件：任何已有的视觉令牌压缩方法都可以加装Reroute来获得"可恢复路由"能力，而不需要重新训练整个模型。

三、计算效率有没有打折扣？

有一个自然会产生的疑问：既然被搁置的令牌还留着，岂不是要占用更多内存和计算资源？

这里有一个巧妙的设计保证了效率不受影响。在每个路由阶段，真正参与注意力计算和前馈网络计算的令牌数量，与对应的传统剪枝方法是完全一样的——比如在这个阶段只处理50%的视觉令牌，那么Reroute同样只让50%的令牌进入计算，另外50%只是静静地保留着当前状态等待下次机会。两种方法在每个阶段实际执行的浮点运算量（TFLOPs，可以理解为计算工作量的度量）和键值缓存（KV-cache，AI在处理序列时用来存储中间结果的内存）占用量，在理论上是完全一致的。

研究团队用LLaVA-1.5-7B做了具体的效率测量：在将视觉令牌压缩到64个（原始576个的约11%，即88.9%压缩率）的情况下，FastV+Reroute将主要计算量降低了80%，键值缓存降低了86%；PDrop+Reroute分别降低了77%和83%。这两组数字与不加Reroute的基础版本相比几乎相同，差异仅在1-3个百分点以内，而这点额外开销来自于多出的路由判断步骤本身。实际的运行延迟还取决于底层的数据搬运（gather/scatter）和缓存管理的实现效率，但从理论计算量和内存占用角度来看，Reroute基本上是"免费升级"。

从一个更宏观的视角看，Reroute可以被理解为一种无需训练的"混合深度计算"（Mixture-of-Depths）在多模态AI上的应用。这种思想的原始版本是让AI对不同的输入"投入不同的计算深度"，而Reroute则是把这个思想专门用在"视觉令牌应该在哪些层被处理"这个问题上，并且完全依赖已有的注意力分数作为决策依据，不需要额外学习一个路由器。

四、实验数据说话：效果到底好多少？

研究团队在三个AI模型（LLaVA-1.5-7B、Qwen2.5-VL-7B、Qwen3.5-9B-Hybrid）、三个不同压缩率（66.7%、77.8%、88.9%）以及三个不同的基础压缩方法（FastV、PDrop、Nüwa）上进行了系统测试，评估指标主要是定位精度（在RefCOCO、RefCOCO+、RefCOCOg等标准数据集上的边界框准确率，要求预测框与真实框的重叠程度IoU≥0.5才算正确）和通用问答能力（GQA、TextVQA、MME、MMBench等多个标准基准）。

在定位精度方面，Reroute带来的提升非常显著，尤其在压缩率高的情况下。以LLaVA-1.5-7B为例，采用HuggingFace格式的标准测试：在66.7%压缩率下，FastV+Reroute的平均定位得分比率从45.5%提升到59.2%，PDrop+Reroute从71.3%提升到82.3%。在77.8%压缩率下，两者的提升分别是约12个百分点和约8个百分点。在最极端的88.9%压缩率（576个视觉令牌只剩64个）下，PDrop单独使用时平均得分比率是22.2%，加上Reroute后达到34.0%，接近翻了1.5倍。

在图1中展示的三个直观例子里，这种差异更加触目惊心：同样是88.9%压缩率，同样用PDrop作为基础方法，在LLaVA-1.5-7B上定位"抱着动物的人"，PDrop的IoU只有0.38（完全找错了位置），而PDrop+Reroute的IoU达到0.80；在Qwen2.5-VL-7B上定位"穿白衬衫的男人"，PDrop的IoU是0.21，PDrop+Reroute是0.88；在Qwen3.5-9B上定位"穿牛仔裤的焦外男人"，PDrop是0.22，PDrop+Reroute是0.72。这三个案例都展示了从"完全找不到"到"精准定位"的跨越，且使用的是完全相同的计算预算。

Qwen2.5-VL-7B上的结果进一步验证了这种效果的跨模型普适性。在88.9%压缩率下，FastV+Reroute的平均得分比率从2.4%跃升至6.7%，PDrop+Reroute从11.1%跃升至18.6%。在更温和的66.7%压缩率下，FastV+Reroute从53.7%提升到60.3%，PDrop+Reroute从62.9%提升到65.1%。

Qwen3.5-9B-Hybrid是一个特别有意思的测试对象，因为它混合了两种不同类型的计算模块：传统的softmax注意力模块和一种叫做Gated DeltaNet的线性注意力模块（可以理解成一种更高效但工作方式不同的注意力机制）。Reroute只作用于softmax注意力模块，不干预线性注意力的计算。即便如此，Reroute在这个混合架构上展现出的提升幅度是所有测试模型中最大的：在66.7%压缩率下，FastV+Reroute将平均得分比率从31.1%提升到77.5%，PDrop+Reroute从40.0%提升到77.7%——几乎翻了一倍。研究团队推测这可能与保持序列完整性对线性注意力模块的重要性有关，但具体机制还有待进一步研究。

在通用问答能力方面，Reroute表现出了良好的兼容性。在LLaVA-1.5-7B上，跨多个问答基准（GQA、MMBench、MMMU、MME、TextVQA、POPE、ScienceQA、SEEDBench）的测试显示，Reroute版本的得分与对应基础方法相比基本持平或略有提升。以PDrop+Reroute在128个令牌预算下为例，平均得分比率为96.8%，而PDrop本身是96.3%，Reroute几乎没有带来任何代价。这说明可恢复路由在改善定位能力的同时，并没有损害AI理解图像内容的通用能力。

五、路由策略怎么设计效果最好？

既然Reroute是一个需要设计"在哪几层做路由决策"的方法，研究团队自然也做了路由策略本身的实验分析，以了解哪种设计原则能取得最好的效果。

关于路由阶段的数量，实验表明增加路由节点的数量通常有益。在固定每个阶段保留50%令牌的条件下，随着路由阶段从1个（等同于FastV）增加到8个，GQA和RefCOCO的定位准确率都在稳步上升，直到在最密集的配置（每层都做路由决策，共30层）时达到峰值。在RefCOCO-B这个子集上，路由阶段增加到8个时性能达到顶峰，之后继续增加反而略有下降，说明对某些任务存在一个最优的路由密度，超过这个密度后额外的路由判断带来的干扰反而大于收益。

关于路由节点的位置，实验结果更加微妙。在固定使用4个路由节点的条件下，不同的放置方案对应不同的实际平均令牌保留量（因为路由节点越靠后，在那之前保留的令牌就越多），所以这些方案并不完全是"控制变量"的比较，但仍然提供了有价值的参考。早期密集路由（如第2、5、9、13层）和靠后密集路由（如第15、19、23、27层）都表现不错，但后者由于保留了更多令牌（实际上预算更宽松）在定位上表现更好。在GQA这个通用问答任务上，第5层左右放置第二个路由节点时表现最好；在RefCOCO定位任务上，第7层左右是最优点。这说明路由策略的设计需要同时考虑任务类型和模型深度。

研究团队还发现了一个关于PDrop起始位置的重要细节：PDrop的标准配置在第8层才开始第一次路由决策（在LLaVA-1.5的32层结构中），而将第一个路由节点提前到第2层（与FastV的早期决策对齐，但保留多个后续节点）可以显著提升定位性能。在同等的平均令牌预算（约192个）下，早期起始的PDrop配置在RefCOCO-val上达到39.8%的准确率，而标准PDrop只有26.2%。这个发现促使研究团队在所有跨模型实验中都采用了早期起始的路由配置作为PDrop+Reroute的基础。

与此同时，研究团队还关注了一个容易被忽视的工程细节：当视觉令牌被剪枝后，剩余令牌的位置编号（position index）应该如何处理。如果将剩余令牌重新从头编号（re-index），AI会丢失原始的空间位置信息；如果保留原始编号（keep-index），则空间关系得以保全。实验表明，保留原始编号对定位任务至关重要——在FastV压缩到192个令牌的条件下，重新编号会使RefCOCO-A的准确率从27.8%骤降至1.9%，GQA从55.0%降至40.8%。Reroute由于不物理删除任何令牌，天然地保留了原始序列布局，因此不存在这个问题。

六、Reroute的适用边界和局限性

任何方法都有其适用范围和局限，Reroute也不例外，研究团队在论文中对此坦诚地进行了讨论。

Reroute的效果高度依赖于底层的注意力评分质量。如果打分机制本身存在系统性偏差（比如某类视觉令牌总是在所有层都被低估），Reroute也无法纠正这个偏差——它只是允许令牌在"未来有机会时"被重新考虑，但如果那个令牌始终被低估，它就永远只是在旁路上等待。此外，在极端的压缩率下（比如88.9%），即使有Reroute，单次决策方法（如FastV）由于本身评分信号过于粗糙，改进效果也非常有限，研究数据显示在64个令牌的预算下FastV+Reroute的定位得分比率仍然只有0.6%，与FastV本身相同。

在Qwen3-VL-8B这个模型上，Reroute在中等压缩率下的表现反而不如PDrop单独使用，这说明对于拥有额外视觉特征注入机制的特殊架构，手工设计的路由策略可能不够灵活。研究团队将这个案例作为"架构敏感型"的代表来讨论，认为在这类特殊架构上，路由策略的选择需要更深入地结合模型本身的设计来考虑。

效率方面，虽然理论计算量与基础方法一致，但实际的推理延迟还取决于底层实现：被搁置的令牌需要在每个路由节点被重新集中起来参与打分，然后再次分流，这些"数据搬运"操作（gather/scatter）在现有的GPU软件库中可能存在额外开销。目前这部分优化尚未完成，实际的端到端加速效果还有待工程实现层面的进一步工作。

归根结底，这项研究提出的核心主张非常简洁而有力：对视觉令牌做减法，不一定要用"删除"来实现，"延迟"是一种更灵活、更可逆的选择。在AI处理图像的过程中，什么是"重要的"并不是一个静态的判断，而是随着处理深度动态演化的属性。允许被"低估"的令牌在恰当的时机重新进入计算，可以在不增加理论计算成本的前提下，显著改善AI在需要精确定位的任务上的表现。

这种思维方式的潜在影响不局限于图像定位任务。任何需要AI在长序列中找到特定目标的场景——无论是视频中的某个瞬间、文档中的某段关键信息，还是医疗影像中的某个异常区域——都可能从"可恢复路由"这个思路中受益。随着多模态AI在日常生活中的应用越来越普遍，如何让AI在有限资源下既快速又准确地理解图像，将成为越来越重要的工程课题。这项研究给出的答案是：别急着扔，先搁着，后面还有机会。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.12412查阅完整论文，研究团队的代码也已在GitHub开源，可通过论文中提供的地址访问。

Q&A

Q1：Reroute方法和现有的FastV、PDrop等视觉令牌压缩方法有什么本质区别？

A：FastV、PDrop等方法在给视觉令牌打分后，会把低分令牌永久删除，后续计算完全无法用到这些令牌。Reroute则把低分令牌"暂时搁置"而非删除，让它们绕过当前阶段继续保留在候选池里，等下一个决策节点到来时重新参与评分竞争，有机会被重新激活参与计算。两种方法的计算量理论上相同，区别只在于对"当前低分令牌"采取删除还是延迟这个动作。

Q2：Reroute需要重新训练AI模型吗？

A：不需要。Reroute是完全免训练的插件，它直接复用了原始模型在处理图像时已经计算出来的注意力分数作为路由依据，不引入任何新的可训练参数。这意味着它可以直接叠加在已有的压缩方法上使用，不需要对模型做任何微调或重新训练。

Q3：Reroute在哪类任务上提升最明显？

A：Reroute在需要精确定位图像中特定目标的任务上提升最为显著，比如"找出照片里穿蓝衣服的人"这类视觉定位任务。这类任务需要AI在深层才能真正理解细粒度的视觉语义，而这正是早期令牌剪枝最容易出错的场景。在通用问答类任务上，Reroute带来的提升相对有限，但也不会造成明显的性能损失。