土耳其科学技术研究委员会出品：为什么同一张图片喂给AI，换个切法就会得到完全不同的答案？

这项由土耳其科学技术研究委员会（TUBITAK）的研究人员完成的工作，以预印本形式于2026年6月发布，论文编号为arXiv:2606.08132。感兴趣的读者可通过该编号在arXiv平台查阅完整原文。

**研究从一个你意想不到的地方发现了AI的隐藏缺陷**

假设你是一位厨师，需要把一整块大蛋糕切成均等的小方块分给客人。切法很简单：按照固定间距横竖各切几刀。但你有没有想过，如果你切的起点偏移了几厘米——比如原本从蛋糕左边缘开始切，现在从离左边缘3厘米的地方开始——那么靠近蛋糕边缘的那些小块，其形状和包含的馅料就会完全不同？

这个"起点偏移"的问题，正是这项研究发现的AI视觉系统中一个真实存在、却长期被忽视的隐患。研究团队把这个现象称为"**分块网格相位不稳定性**"，并提出了一种无需重新训练AI模型、就能修复这一问题的方法——**相位边缘化（Phase Marginalization）**。

---

一、AI看图片的方式，就像切蛋糕

要理解这项研究，先得了解一类近年来大红大紫的AI视觉模型——**视觉Transformer（Vision Transformer，简称ViT）**。这类模型在图像识别、自动驾驶、医学影像等领域表现亮眼。

ViT处理图片的方式和人类眼睛完全不同。人类看图片是整体感知、局部聚焦，而ViT则把一张完整的图片先"切割"成一个个固定大小的小方块，再逐一分析每个小块，最后综合所有小块的信息得出结论。这个切割步骤，就是"分块（Patchification）"，切出来的每个小方块叫做一个"token（令牌）"。

问题就出在这个切割起点上。一张图片每次都默认从同一个固定位置（通常是左上角）开始切割。研究者把这个"切割起点的位置"称为**相位（Phase）**。在数学上，相位被定义为一个偏移量，表示切割网格相对于图片左上角偏移了多少像素。

以常见的16×16像素大小的小方块为例，理论上切割起点可以在水平和垂直方向上各有0到15个像素的偏移，组合起来共有256种不同的切割方式。而通常的AI模型，始终只使用其中一种——偏移量为零，也就是永远从图片的绝对左上角开始切。

这看起来是个无关紧要的细节，实际上却暗藏玄机。

---

二、切割起点不同，AI"看到的世界"就不同

回到蛋糕的比喻。如果蛋糕里有一条巧克力夹心恰好位于某刀的切割线上，那么这条夹心会被一分为二，分属两个相邻的小块。两块蛋糕各自只含有一半的巧克力。但如果切割起点偏移几厘米，那整条夹心可能完整地落在同一块里，那一块就有完整的巧克力体验，而旁边的小块则完全没有。

对于AI来说，道理完全相同。当切割起点改变时，图片中某个位置的像素可能从属于一个小方块变成属于另一个小方块。尤其在图片中物体的边缘区域——比如一只猫的轮廓、一栋建筑的边线、一个路标的边界——相邻像素往往分属不同类别（左边是猫，右边是背景），切割起点的细微差异会导致同一区域的像素被"分配"到内容截然不同的小方块中，从而让AI对同一个像素得出完全不同的判断。

研究团队通过公式严格描述了这一现象：对于同一张图片，不同的切割起点会产生不同的"相位版本"，同一个像素在不同相位下可能得到截然不同的预测结果。如果把各个相位下对同一像素的预测放在一起比较，差异越大，说明该模型的"相位不稳定性"越严重。研究者用一个叫做**每像素相位方差**的数学量来衡量这种不稳定程度——方差越小，说明模型对切割起点的依赖越小，预测越稳定可靠。

---

三、相位边缘化：用"投票取平均"来消除偏差

发现了问题，研究团队提出的解决思路出奇地简洁，甚至有些"暴力美学"的感觉。

既然每种切割起点都会带来偏差，干脆用多种切割起点分别预测，再把结果综合起来——就像几位切法不同的厨师各自品尝蛋糕后，把他们的评价取平均，总比只听一个人的意见更准确。

这个方法就是**相位边缘化**，核心思想是：与其依赖一种固定的切割方式，不如系统性地尝试多种有代表性的切割起点，让AI在每种起点下都做一次预测，然后把所有预测结果"对齐"到原始图片坐标系后取平均。

"对齐"这一步非常关键，因为不同切割起点下，AI输出的预测结果在空间上并不重合。研究团队设计了一个精确的**反向对齐算子**：把每种切割起点下的预测输出，通过双线性插值（一种平滑的数学计算方式）放大回原始图片尺寸，再按照切割偏移量做反向裁剪，最终把所有结果精确地映射回同一套像素坐标。只有完成了这步对齐，各个相位下的预测才能做有意义的平均。

这个方法被称为**均匀相位边缘化（Uniform Phase Marginalization）**，整个过程完全不需要修改AI模型的任何参数，也不需要重新训练模型。

在具体实现上，研究团队选取了K=4个代表性切割起点来进行实验。这4个起点分别是：不偏移（原点）、向右偏移半个小方块宽度、向下偏移半个小方块高度、以及同时向右和向下各偏移半个小方块。这四个点均匀覆盖了切割空间的四个象限，既有代表性，计算量又不算太大。

---

四、不只是"换个方向再看一遍"——与传统增强方法的关键区别

读到这里，你可能会觉得：这不就是"测试时数据增强（Test-Time Augmentation，TTA）"吗？测试时数据增强是一种早已存在的技巧，做法是把同一张图片做多种变换（比如水平翻转、随机裁剪、随机位移等），每种变换各推断一次，最后取平均。

研究者对这个疑问给出了清晰的回应：相位边缘化和测试时数据增强虽然在表面上都是"多次推断取平均"，但两者针对的是完全不同的噪声来源。

测试时数据增强针对的是图片内容本身的随机变换，比如翻转后猫变成了镜像的猫，或者图片被裁掉了一部分。而相位边缘化针对的是**切割网格本身**——图片内容完全不变，只是切割的起点位置不同。这是一种由AI模型架构本身引入的、与图片内容无关的噪声源。

更重要的是，相位边缘化在把各次预测结果合并之前，会做精确的反向对齐，确保每个像素的预测来自空间上完全一致的位置。而普通的测试时数据增强在对齐方面往往没有这么精确。

为了用数据说话，研究团队在Cityscapes（一个包含城市街道场景的图片数据集）上做了一个受控实验，让两种方法在完全相同的计算预算下（都只做4次推断）公平竞争。结果显示，随机子块偏移的测试时数据增强得到了53.00分（mIoU，一种衡量分割准确率的指标），整数偏移的测试时数据增强得到了53.22分，而均匀相位边缘化达到了53.53分，比最强的测试时数据增强对手高出0.31分。虽然提升幅度看起来不大，但这是在完全相同的计算量下通过更聪明的切割策略获得的，研究者认为这证明了"有目的地针对切割相位"确实比"随意地位移图片"更有效。

---

五、在多个任务上的全面验证：切割问题不只影响分割

为了证明这一问题不是个例，研究团队在三类截然不同的视觉任务上都做了验证。

第一类是**语义分割**，也就是让AI给图片里每个像素贴上类别标签（这个像素属于"道路"、"行人"还是"建筑"）。研究者测试了几个跨域场景：模型在一个数据集上训练，然后直接用到另一个风格完全不同的数据集上预测。比如，模型只见过电脑生成的虚拟城市街道图片（GTA5数据集），然后直接去识别真实世界拍摄的德国城市街道照片（Cityscapes数据集）。这种跨域测试的难度很大，相当于让一个只见过漫画的人去鉴别照片里的猫。

在这类测试中，均匀相位边缘化（K=4）相比单次推断（K=1）一致地带来了提升。在GTA5→Cityscapes任务上提升了0.82个mIoU点，在SYNTHIA→Cityscapes（另一个合成数据集到真实场景的跨域）任务上提升了0.88个点，在标准的ADE20K室内外场景数据集上则提升了0.76到1.39个点不等，具体数字取决于使用的骨干网络版本。

第二类是**深度估计**，也就是让AI判断图片里每个像素距离摄像头有多远。这项任务在无人驾驶和机器人导航中至关重要。在NYU Depth v2数据集（室内场景深度数据）上，均匀相位边缘化把均方根误差（RMSE，数值越低越好）从0.6506降低到了0.6277，降幅约为3.5%。

第三类是**局部特征匹配**，也就是让AI找出两张不同角度拍摄的同一场景照片中的对应点——这在三维重建、增强现实和地图定位中非常有用。在HPatches数据集上，均匀相位边缘化把匹配准确率从39.02%提升到39.98%（DINOv3骨干网络），或者从24.43%跃升到28.18%（DINOv2骨干网络，提升幅度相当可观）。

三类任务、多个数据集、不同版本的骨干网络，均匀相位边缘化在每一行测试数据中都表现出正向提升，没有一次出现倒退。这种一致性给了研究者充足的信心：相位不稳定性确实是一个真实存在的、跨任务的问题，而不是在某个特定数据集上碰巧出现的幸运结果。

---

六、多用几种切割方式就一定更好吗？——收益递减的规律

既然用4种切割起点比1种好，那用16种岂不是更好？研究者也做了这项测试，并给出了一个非常务实的答案。

在Cityscapes上，从K=1增加到K=2，分割准确率提升了0.32个mIoU点；从K=2增加到K=4，再提升了0.31个点，总共比K=1提升了0.63个点。但从K=4增加到K=8时，准确率几乎没有变化（提升为零）；从K=8增加到K=16时，也只多了区区0.05个点，而此时的计算时间却从K=4时的每张图片87.52毫秒暴涨到347.16毫秒，足足增加了将近4倍。

换句话说，收益在K=4附近就已经饱和了，继续增加切割方案数量只会浪费计算资源而得不到什么实质改善。因此，研究者把K=4确定为"性价比最佳点"，并在后续所有实验中以此为默认配置。

这个发现背后的道理也不难理解：切割空间里最有代表性的差异，是切割起点在水平和垂直两个方向上有没有偏移半个小方块距离。K=4恰好覆盖了这四种组合（不偏移、只偏水平、只偏垂直、水平垂直都偏），进一步细分下去的收益就大幅缩水了。

---

七、边界处最明显——相位问题在哪里最严重

研究者还专门检验了一个直觉上应该成立的假设：切割起点的变化，对图片中**物体边缘区域**的影响应该比内部区域更大。

道理很简单：在一个像素周围都是同类内容的区域（比如大片蓝天中央），不管怎么切割，这个像素所在的小方块里装的都差不多是蓝天，AI的判断不会有太大变化。但在边缘处（比如蓝天和楼顶交界的地方），一点点切割偏移就可能让这个像素的小方块从"主要是蓝天"变成"主要是楼顶"，AI的判断就会发生根本性的翻转。

验证实验使用了两个专门衡量边界区域精度的指标：Boundary@5px（以5像素为宽度的边界带内的预测准确率）和Boundary@3px（更严格的3像素边界带）。结果表明，均匀相位边缘化在这两个指标上都优于单次推断，而且提升幅度在边界更严格的Boundary@3px上也同样显著，符合理论预期。

此外，研究者还在HPatches数据集上直接测量了"相位条件下描述子的方差"，也就是同一个图像位置在四种不同切割起点下得到的特征向量之间的散布程度。结果显示DINOv3骨干网络的相位方差约为0.000082，DINOv2约为0.000140——这些数字本身不需要深究，重要的是它们证明了"相位不稳定性"这个概念是可以被量化、被测量的，而不仅仅是一种定性的感觉。

---

八、也有走弯路的尝试——不是所有改进思路都奏效

研究团队不满足于这个简单的均匀平均方案，还探索了几种更复杂的变体，试图通过"学习如何聪明地加权"来取得更好的效果。

其中最主要的复杂变体叫做**学习相位特征注意力聚合**。这个方案不是简单地对四种切割起点的结果取平均，而是训练一个小型神经网络，让它在每个像素位置上"判断哪种切割起点的预测更可靠"，然后加权平均。这个小网络接受每个切割起点下的特征向量、相位方差信息和可学习的相位嵌入作为输入，输出每种切割起点的权重，最终做加权融合。

结果有些出人意料：这个复杂方案在某些任务上（比如SYNTHIA→Cityscapes和ADE20K）确实超过了简单的均匀平均，但在其他任务上反而不如均匀平均。在GTA5→Cityscapes的冻结骨干网络设置下，学习聚合方案得到52.28分，而均匀相位边缘化是52.76分；在HPatches的特征匹配任务上，学习聚合的准确率也低于均匀平均；在深度估计任务上同样如此。

研究者还测试了一个更极端的反面案例：**预Transformer补丁嵌入平均**。这个方案的思路是在AI模型的最前端，把多种切割起点的小方块嵌入先平均起来，然后才送入Transformer主体进行处理。然而这个方案彻底失败了——在GTA5→Cityscapes上，这种早期平均让准确率从K=1的51.94分骤降到44.48分，远远低于基准线。

这个失败案例给出了一个清晰的设计原则：相位信息应该在AI模型完成预测**之后**才进行对齐和聚合，在预测之前就把不同切割起点的特征混在一起，反而会破坏每种切割视角独有的空间信息，导致模型陷入困惑。

---

九、方法的边界与局限：不是万能药

研究者对自己方法的局限性保持了清醒的认识。

最直接的局限是计算成本。均匀相位边缘化需要对同一张图片做K次完整的模型推断，成本随K线性增长。K=4就意味着推断时间约为单次推断的4倍多（实测为4.21倍，略高于4是因为有少量坐标对齐的额外开销）。对于实时性要求极高的应用场景（比如自动驾驶中每秒需要处理数十帧），这个额外开销可能是难以接受的。

另一个局限是实验范围。计算成本匹配的TTA对比实验和K值缩放分析都只在Cityscapes这一个数据集上做了，并不能保证这些结论在每个数据集和每种任务上都成立。研究者明确表示，均匀相位边缘化不一定在所有情况下都优于所有测试时数据增强方案，这里观察到的0.31分优势只代表Cityscapes上这组受控实验的结果。

此外，与DPT（专门为ViT设计的密集预测解码器）、ViT-Adapter（为ViT添加适配器模块以提升密集预测能力）、Swin Transformer（使用层级式滑动窗口机制的ViT变体）等专门针对密集预测设计的架构相比，均匀相位边缘化并没有在相同条件下做公平的性能对比，因为这些方法涉及不同的训练配置、解码器设计和骨干网络，需要完全匹配的实验协议才能得出有意义的比较结论。研究者把它们定位为"不同部署假设下的相关工作"，而非直接竞争对手。

---

归根结底，这项研究揭示的是一个藏在AI视觉系统里的"隐形错误"：AI在切割图片时选择从哪里开始，这个看似无关紧要的细节，实际上会影响它对每个像素的判断，尤其在物体边缘处最为明显。而修复这个问题的方式相当优雅——不需要动模型本身，只需要在推断时多换几个切割起点、把结果取平均，就能稳定地提升分割、深度估计和特征匹配三类任务的性能。

这一发现对AI系统的开发者有直接的实践意义：凡是需要对图片每个像素做出精准判断的场景（医学影像分析、卫星图像解析、自动驾驶感知），都应该把"切割起点敏感性"纳入系统鲁棒性的考量清单。均匀相位边缘化作为一个零训练成本的推断时包装器，可以直接套在现有任何冻结的ViT密集预测模型外面使用，门槛极低。

当然，如果你的场景对延迟非常敏感，那在K=4额外4倍计算成本和这0.6分左右的准确率提升之间，还需要根据实际需求做取舍。而如果你正在构建的是一个离线的、精度优先的分析系统，这个方法几乎没有任何理由不用。感兴趣的读者可以通过arXiv编号2606.08132查阅原始论文，研究团队也表示将开放MarginSeg框架下的代码和实验结果。

---

Q&A

Q1：视觉Transformer的"分块相位"是什么意思，为什么会影响AI的预测结果？

A：视觉Transformer在处理图片前，会把图片切割成一个个固定大小的小方块再逐一分析。"分块相位"就是指切割网格的起点位置——从图片哪个像素开始切。当起点偏移几个像素时，图片边缘处的某些像素会被分配到内容完全不同的小方块里，导致AI对同一个像素得出不同的判断，这就是相位不稳定性。

Q2：相位边缘化和普通的测试时数据增强有什么本质区别？

A：测试时数据增强是对图片内容做随机变换（翻转、裁剪等）后取平均，而相位边缘化针对的是AI切割网格本身的起点位置，图片内容完全不变。相位边缘化在汇总结果前还会做精确的空间反向对齐，确保每个像素的预测来自完全一致的坐标位置。在相同的4次推断预算下，相位边缘化比整数位移的测试时数据增强在Cityscapes上高出0.31个mIoU点。

Q3：均匀相位边缘化为什么选K=4而不是更多？

A：研究发现在Cityscapes上，从K=4增加到K=8时准确率几乎没有提升，而从K=4增加到K=16时计算时间从87.52毫秒暴增到347.16毫秒，准确率却只多了0.05个点。K=4恰好覆盖了切割空间在水平和垂直两个方向上"有无偏移半个小方块"这四种最有代表性的组合，继续细分下去收益大幅递减，因此K=4被确定为性价比最佳的默认配置。