帝国理工开发出"轻量级立体视觉神经网络"，比同类方法快近2倍，还能在边缘设备上部署

这项由英国帝国理工学院（Imperial College London）计算机系领导的研究，于2026年6月23日以预印本形式发布，论文编号为arXiv:2606.24457。该研究已被收录于2026年IEEE/CVF计算机视觉与模式识别会议（CVPR）相关成果系列，感兴趣的读者可通过上述编号查阅完整论文。

---

一、为什么"让机器看懂立体图像"是个大麻烦

人类的双眼天生就是一套立体感知系统。两只眼睛分别拍下略有差异的画面，大脑把这两张画面合并处理，就能精准感知"这个茶杯离我有多远"。这个过程对你而言不费吹灰之力，但对机器来说，却是几十年来计算机视觉领域一直在攻克的难题。

立体匹配（Stereo Matching）——也就是让机器从一对左右摄像头拍摄的图像中计算出每个像素的深度信息——是自动驾驶、机器人导航、增强现实、工业检测等众多领域的核心技术。通俗地说，就是给机器装上"立体眼睛"，让它能判断"前方障碍物距离我三米"这类信息。

现有的深度学习方案面临一个棘手的两难困境。追求精度的大模型虽然效果出色，但计算量惊人，就像一位博学的专家，什么问题都能答得头头是道，却需要好几分钟才能回答你一个问题。而追求速度的轻量级模型虽然跑得很快，却普遍被认为"能力有限"，尤其是在面对从未见过的新场景时（也就是所谓的"零样本泛化"能力），往往表现欠佳，需要针对特定场景单独调校才能用。

帝国理工学院的研究团队认为，这种"精度与速度必然对立"的印象是可以被打破的。他们推出了名为 LAS2（Lite Any Stereo V2）的一系列超快速立体匹配模型，目标是在保持极低延迟的前提下，实现强大的零样本泛化能力——也就是说，训练好的模型无需针对新场景重新调整，就能直接在各类真实世界场景中准确工作。

---

二、问题的本质：一台要"同时快又准"的量体裁衣机

要理解研究团队面临的挑战，可以用裁缝量体裁衣来打比方。

一位经验丰富的老裁缝（大型精准模型）量体非常精准，做出来的衣服无论高矮胖瘦都合身，但每件衣服要花好几天。一位快手裁缝（轻量级模型）速度极快，几分钟就能做出一件，但只擅长做某一类型的衣服，换个体型就容易出错，更别说去做从未接触过的款式了。

研究团队的目标，是培训出一位既快又能应对各种体型的裁缝——而且这位裁缝从未见过某个顾客，也能做出合适的衣服。

之所以"快手裁缝"通常无法做到这一点，原因有两个层面。在架构层面，以往的轻量级模型为了加快速度，往往在关键的"成本聚合"步骤（也就是帮模型理解左右图像之间哪些像素彼此对应的计算过程）上做了过多妥协，导致几何信息的理解不够充分。在训练层面，这类模型通常只在"人造合成数据"上训练，而现实世界的光线、材质、遮挡等情况千变万化，合成数据无法完全覆盖，因此模型在真实场景下泛化能力不足。

LAS2 的研究贡献就体现在同时从这两个维度入手，提出了系统性的解决方案。

---

三、架构革新：扔掉笨重的"三维计算器"，改用更聪明的平面方案

在深度学习立体匹配中，有一个核心步骤叫做"代价聚合"（Cost Aggregation）。简单说，就是让模型去计算：对于左边图像中某个像素点，右边图像中最可能与之对应的像素在哪里？两者之间的"距离差"就是深度信息的来源。

传统的精准模型通常使用"三维卷积"来完成这步工作——也就是在高度、宽度和深度差三个维度上同时进行密集计算。这就好比你要在一个三维空间里密密麻麻地搜索每一个角落，虽然找得准，但工作量巨大。

研究团队的前一版本 LAS 采用了"混合方案"，结合了三维和二维两种计算方式，但三维部分仍然带来了不可忽视的计算开销，在边缘设备（如嵌入式芯片）上尤为明显。

LAS2 做出的关键决定是：彻底去掉三维聚合，转而采用纯二维的代价聚合框架。这有点像把一个需要在整个仓库里翻箱倒柜的搜索任务，改成只需要看仓库平面图就能完成的工作——效率大幅提升，但需要设计一套足够聪明的"平面搜索策略"来弥补损失的信息。

为此，研究团队采用了一种叫做"U-Net风格"的聚合网络。可以把它理解成一个先"压缩"再"放大"的信息处理流水线：首先把图像逐步缩小到几个不同尺度，在每个尺度上分别提取和整合匹配信息，然后再逐步恢复到原始分辨率。这个过程中，既能捕捉宏观的场景结构，也能保留细节信息。

更关键的一点是，研究团队在选择网络组件时，拒绝了仅仅参考理论计算量（MACs，乘加操作次数）的惯常做法，而是直接在真实硬件上测量推理延迟。这个区别听起来细微，实际上非常重要。就好比买一辆车，厂商告诉你"发动机功率1000马力"，但实际上车身太重，上坡依然很慢。MACs只告诉你计算量有多大，却不告诉你这些计算在特定芯片上能跑多快。

经过大量实验对比，研究团队最终选定了 FasterNet 作为特征提取骨干网络和代价聚合的基础模块。FasterNet 虽然理论计算量略高于曾广泛使用的 MobileNetV2，但在实际的 GPU 和嵌入式设备上跑得更快，更符合部署导向的设计目标。

LAS2 最终形成了一个小家族，分为 S（小型）、M（中型）、L（大型）三个前馈变体，以及一个更高精度的迭代变体 LAS2-H。前三者通过调整代价聚合模块的深度来平衡精度与速度，后者则在 LAS2-M 的基础上引入了迭代细化机制进一步提升精度。

---

四、迭代变体 LAS2-H：让快手裁缝学会反复检查自己的工作

LAS2-H 引入了一套迭代细化流程，可以看作是在快手裁缝做完初稿后，增加了一道"对着镜子反复检查、修改"的工序。

具体来说，LAS2-H 先用 LAS2-M 快速生成一个初始的深度估计结果，同时保留计算过程中产生的中间表示——包括左右图像的特征图和匹配代价信息。然后，一个轻量级的循环神经网络（ConvGRU，一种能够记住之前状态的网络结构）在这个初始结果的基础上，反复查看局部的匹配信息和图像上下文，逐步修正误差，经过 4 次迭代后给出最终预测。

这个设计有两个聪明之处。首先，迭代细化模块复用了 LAS2-M 的预训练权重，避免了从头训练的开销，同时也继承了 LAS2-M 已经学会的良好初始化能力。其次，整个迭代模块足够轻量，每次迭代的计算量远小于其他迭代式方法（如 IGEV 系列），因此 4 次迭代加起来的总延迟仍然显著低于竞争对手。

---

五、训练策略：三阶段"从课本到实习再到真实工作"的培训体系

架构设计好了，如何训练才能让这套系统在从未见过的真实场景中表现出色？这是 LAS2 另一个重要贡献。

研究团队设计了一套三阶段训练策略，可以类比为一个工匠的成长历程：先在教室里学理论，再在学校工坊里练技艺，最后去真实工厂里接受带教实习。

第一阶段是在约 180 万张合成数据上进行标准监督训练。合成数据的好处是有精确的标注（每个像素的深度值都是已知的），但坏处是这些数据毕竟是计算机渲染出来的，和真实世界的光线、材质不完全一样。研究团队汇集了多个公认质量较高的合成数据集，包括 SceneFlow、FallingThings、FSD、CREStereo 等，共约 180 万对立体图像，从零开始训练模型的基本立体匹配能力。

第二阶段是自蒸馏（Self-Distillation）训练，用来提高模型对输入扰动的鲁棒性。这个阶段使用了一个巧妙的"老师-学生"设计：两个结构完全相同的模型，老师接收正常的干净图像，学生接收经过强烈扰动的图像（如大幅度的亮度、对比度、色调随机变化，加入高斯模糊，或随机伽马校正）。学生模型不仅要给出正确的深度预测，还要让自己的特征表示和老师的尽量一致，用余弦相似度来衡量。

为什么要这样训练？因为真实世界的图像往往在光照、天气、摄像头参数上千差万别，如果模型只在"教科书级"的图像上训练，遇到阴天、强光、摄像头白平衡偏差就会表现失常。让学生从被"干扰过的图像"中学会和老师看同样的特征，等于在强迫模型提炼出对光照变化不敏感的本质视觉特征。

经过实验对比，研究团队发现"老师权重固定不动"的方案效果最好，优于通过指数移动平均更新老师权重或每轮直接复制学生权重给老师的方案。这个结论有些出人意料，但结果相当稳健：固定一个标准答案，让学生向它靠拢，反而比让标准本身随着学习过程漂移更有效。

第三阶段是真实世界的知识蒸馏。这是整个训练策略中提升最大的一环。研究团队收集了约 50 万对真实世界的无标注立体图像，涵盖室内和室外场景，包括 Flickr1024、InStereo2k、Holopix50K、DrivingStereo、SouthKenSV 和 UASOL 等多个数据集。由于这些图像没有真实深度标注，研究团队用 FoundationStereo（一个高精度大模型）作为教师，为这些图像生成"伪标签"——也就是教师模型预测的深度图。然后用这些伪标签来微调 LAS2。

这相当于让见多识广的大师傅亲自演示一遍，轻量级模型通过模仿大师傅在真实工件上的操作来提升自己的实战能力，而不必依赖每一块工件都有精确度量数据。

---

六、伪标签不可全信：三道过滤网让真实数据训练更可靠

教师模型虽然能力出色，但它的预测也并非无懈可击。如果直接把所有伪标签都拿来训练，模型反而会学到错误习惯。研究团队因此设计了一套三层过滤机制，就像在往鱼缸里加水之前，用三层不同孔径的滤网先过滤一遍。

第一层是左右一致性检验。立体视觉有一个内在约束：用左摄像头图像预测的视差（深度差值），应该和用右摄像头图像反向预测的视差大体一致。如果两者之间的差异超过一个像素，说明这个区域的预测可能不可靠（往往是遮挡区域或边缘区域），对应像素就被标记为无效，不参与训练。

第二层是边缘感知过滤。教师模型有时会在纹理平滑的区域（如白墙、天花板）预测出突兀的深度跳变，这些跳变在真实世界中并不存在，仅仅是模型的"幻想"。过滤机制通过比较深度图的梯度和原始图像的梯度来检测这类情况：如果深度图某处有强边缘，但对应图像位置没有明显的视觉边缘，这个区域就被判定为不可信，予以屏蔽。

第三层是天空区域屏蔽。天空是立体匹配的天然死穴，因为天空中几乎没有纹理特征，左右图像看上去完全一样，模型无法从中找到有效的匹配信息，任何预测都是不可靠的猜测。研究团队使用了一个分割模型自动识别天空区域，将其完全排除在训练之外。

这三层过滤产生一个"有效像素掩码"，只有被三层过滤都认可的像素才会参与损失计算。

除了过滤机制，研究团队还引入了一个叫做"误差截断"（Error Clamping）的小技巧。在第三阶段训练初期，模型刚刚从合成数据过渡到真实世界，难免在一些困难区域犯大错。这些少数高误差像素如果不加处理，会"劫持"整个梯度更新，让模型的优化方向跑偏。误差截断的做法很直接：给每个像素的损失设一个上限，超过这个上限就按上限计算，不让少数极端错误主导训练。

实验表明，不使用误差截断时，所有指标都明显变差；而截断阈值设为 10 时效果最佳，过于宽松（阈值 20）或过于严格（阈值 5）都不如居中的选择。

---

七、实验结果：数字说明，但故事更重要

研究团队在四个权威的真实世界立体匹配基准上进行了零样本测试，这意味着模型在这四个场景的数据上没有做过任何训练，完全依赖泛化能力去预测。

这四个测试场景涵盖了截然不同的环境：Middlebury 是精心布置的室内场景，用结构光扫描仪生成极高精度的深度标注；ETH3D 则是室内外兼有的灰度图像场景，用激光扫描仪标注；KITTI 2012 和 KITTI 2015 是在德国实际道路上驾车拍摄的户外场景，用激光雷达获取稀疏深度标注。测试指标包括每像素平均误差（EPE）和超过阈值的像素比例（D1 或 Bad-X）。

在前馈效率模型这个组别里，LAS2 系列全面压过了此前的竞争对手。以中型版本 LAS2-M 为例，它相比前一代产品 LAS 在所有指标上均有改善，而推理延迟在 H200 服务器 GPU 上从 12.7 毫秒降至 8.1 毫秒，在 NVIDIA Orin NX 8G 嵌入式设备上从 193 毫秒降至 101 毫秒，速度提升分别达到 1.6 倍和 1.9 倍。最小的 LAS2-S 在 H200 上只需 6.6 毫秒，在 Orin 上需 81 毫秒，是所有前馈模型中延迟最低的。

在迭代效率模型组别里，LAS2-H 同样表现出色。与 Fast-FoundationStereo（该组别此前的最强竞争者）相比，LAS2-H 在 KITTI 两个版本和 Middlebury 上精度更高，在 ETH3D 上持平，而推理延迟在 H200 上从 27.3 毫秒降至 15.1 毫秒，在 Orin 上从 918 毫秒降至 344 毫秒，速度提升分别达到 1.8 倍和 2.7 倍。

更值得注意的是，研究团队还测试了另一个更具挑战性的场景：DrivingStereo 天气子集，包含晴天、阴天、雾天和雨天四种气候条件。在这个测试中，LAS2 系列同样全面领先于同类效率模型。特别有趣的是，LAS2-H 在这个基准上甚至超过了它的"老师"FoundationStereo（一个参数量大得多的精准模型），这说明经过精心设计的训练流程，轻量级模型在某些场景下确实可以超越教导它的大模型。

在延迟对比方面，研究团队刻意统一了测试协议，禁用了 torch.compile 这类实现层面的加速，确保所有方法在相同条件下比较。这一点很有意义：过去不同论文的速度数据往往因为测试条件不一而难以直接比较，这次的统一测试给出了更可靠的基准。

---

八、消融实验：拆开每一个零件，看看它到底有没有用

研究团队还系统地做了一系列"拆零件测试"（消融实验），验证每个设计选择的实际贡献。

在架构选择上，对比六种不同的骨干网络（ConvNeXt、MobileNetV2、MobileNetV3、EfficientNetV2、FasterNet、GhostNet）在代价聚合模块上的表现，FasterNet 以最低的 Orin 延迟（107 毫秒）和相当强的整体精度胜出。尤其是 ConvNeXt，理论计算量（MACs）比 FasterNet 低，但在 Orin 上的实际延迟却高出整整 55 毫秒，有力地证明了"MACs 不等于延迟"这一核心观察。

在训练策略上，数据表明三个阶段各自贡献了可观的性能提升，且每个阶段都不可缺少。以 KITTI 2012 的 D1 指标为例，第一阶段结束时为 4.21%，第二阶段结束后降至 3.59%，第三阶段结束后进一步降至 2.88%，每个阶段都带来了实质性改善。

在伪标签过滤设计上，左右一致性检验贡献了最大的单项改进，边缘掩码进一步优化了平衡性，天空掩码对这几个测试集影响有限（因为测试集本身天空较少），但考虑到真实部署场景中天空区域普遍存在，研究团队仍保留了这一机制。

对于训练数据规模，研究发现仅仅增加数据量并不必然提升性能。将 Stereo4D（140 万额外图像对）或 Xperience（360 万额外图像对）加入第三阶段训练后，性能反而下降。究其原因，Stereo4D 的图像分辨率有限，细节信息不够；Xperience 的数据质量和场景多样性达不到要求。这个发现强调了一个重要原则：数据质量和场景多样性比数据量更重要。

研究团队还验证了这套训练策略的普适性，将其应用到 LightStereo-M 和 BANet-2D 两个第三方模型上，结果两者均获得了大幅提升，而且明显优于这些模型原本的训练策略，证明这套三阶段方案不是专门为 LAS2 量身定制的特殊技巧，而是具有普适价值的训练配方。

---

九、局限与展望：坦诚面对尚未解决的问题

研究团队在论文中也坦诚地列出了 LAS2 目前的局限性，这种诚实态度本身就值得认可。

首先，与那些借助 Depth Anything 等大规模单目深度基础模型先验的高精度系统相比，LAS2 仍然存在一定的性能差距。这些大型系统掌握的语义和几何先验更加丰富，对物体类别和场景结构的理解更深入，这不是仅仅改进代价聚合和训练策略就能弥补的差距。

其次，高质量的真实世界立体图像数据仍然是瓶颈。虽然第三阶段使用了 50 万对真实图像，但与单目深度模型可以使用的亿级网络图像相比，规模上差异悬殊。立体图像的特殊之处在于必须是经过严格校正的成对拍摄，这限制了可用数据的来源，而这一数据瓶颈从根本上制约了当前效率立体模型的性能上限。

此外，研究团队用真实图像的可视化展示了一类共同的失败案例：强烈反光的金属或玻璃表面、透明物体、极端的逆光或曝光过度场景，以及几何信息极度模糊的大面积平滑区域。这些场景对当前所有立体匹配方法都是挑战，LAS2 也不例外，显示出这类问题需要超越现有范式才能根本解决。

---

说到底，LAS2 这项研究最值得肯定的地方，是它用扎实的工程工作和系统的实验设计，推翻了一个长期存在的"常识"——轻量级立体匹配模型天然无法拥有强大的零样本泛化能力。事实证明，通过更合理的架构设计（拥抱纯二维聚合、用实测延迟而非理论计算量做指导）和更精心设计的训练流程（三阶段递进、真实世界伪标签与高质量过滤机制），轻量级模型完全可以在真实世界多样场景中表现出色，甚至在某些基准上超越比自己大得多的模型。

这对于机器人、无人机、智能汽车、VR 设备等对计算资源高度敏感的应用场景来说，是一个真实可用的技术进展。当这类技术足够成熟，你手机上的摄像头或者家里的扫地机器人就能以更低的功耗准确理解周围三维空间，而不再需要专门的昂贵硬件。

对于对这个方向感兴趣的读者，一个很自然的思考是：如果真实世界立体图像数据规模是当前的主要瓶颈，那么未来有哪些途径可以低成本地大规模获取高质量的真实世界立体数据？这可能是这个领域接下来几年最值得关注的研究方向之一。希望深入了解技术细节的读者，可以通过 arXiv 编号 2606.24457 查阅完整原文。

---

Q&A

Q1：LAS2 系列模型和普通的深度估计模型有什么本质区别？

A：LAS2 是立体匹配模型，需要同时输入左右两个摄像头的图像，通过计算两张图中像素的位置差来推断距离；普通深度估计模型只需要一张图，靠学习语义先验来猜测深度，缺少几何精确性。LAS2 的设计目标是快、准、泛化强，适合需要实时部署在边缘设备（如嵌入式芯片）上的应用。

Q2：LAS2 的三阶段训练策略为什么比直接用真实数据训练效果更好？

A：直接用真实数据训练面临两个问题：真实数据没有精确标注，而且真实场景和模型初始化差距过大容易训练不稳定。三阶段策略先用有精确标注的合成数据建立基础能力，再通过自蒸馏增强鲁棒性，最后用经过严格质量过滤的真实伪标签做平滑迁移，每个阶段解决不同层面的问题，叠加效果显著优于任何单阶段方案。

Q3：LAS2 在哪些真实设备上做过测试，实际速度怎么样？

A：LAS2 在多款 GPU（RTX 4090、A5000、A100、H200）和 NVIDIA Orin NX 8G 嵌入式平台上均做了测试。以中型版本 LAS2-M 为例，在 H200 上仅需约 8 毫秒，在 Orin NX 8G 的最大性能模式下约 101 毫秒，比同类前馈竞争对手快 1.6 至 1.9 倍，且可以在不超出内存限制的前提下部署于边缘设备，而多个大型竞争模型在 Orin 上直接因内存不足而无法运行。