麦吉尔大学团队开发CanViT：让AI拥有人类般的视觉扫描能力

当你走进一个陌生的房间时，你的大脑是如何快速理解眼前的场景的？你不是一下子看遍整个房间，而是让眼球快速移动，从门口扫到沙发，再到茶几，然后是窗户。每一次眼球的移动都像是拍了一张小照片，而你的大脑则像一个高超的拼图大师，把这些小照片拼成一幅完整的"房间地图"。

这种看似简单的视觉过程，实际上是生物进化的杰作。然而，现在的AI视觉系统却完全不是这样工作的。它们就像一台笨拙的扫描仪，必须把整张图片一次性全部处理完，既费时又费力。麦吉尔大学和魁北克AI研究所的研究团队最近发表了一项突破性研究，他们开发出了一个名为CanViT的AI系统，首次让机器拥有了类似人眼的扫描能力。这项研究发表于2025年的学术会议上，标志着AI视觉领域迎来了一个重要的转折点。有兴趣深入了解的读者可以通过论文标题"CanViT: Toward Active-Vision Foundation Models"查询完整论文。

这项研究的意义远超技术层面。当前的AI视觉系统面临着一个根本性的困境：为了看清一张高清图片，它们需要消耗大量的计算资源，就像用放大镜检查每一个像素点一样。而CanViT的出现，就像给AI装上了一双会"转动"的眼睛，让它能够智能地选择关注重点，大幅提升处理效率。

更令人兴奋的是，CanViT不仅仅是一个实验室里的技术演示。研究团队在图像分割任务上的测试结果显示，即使是被"冷冻"状态下的CanViT（也就是说，没有针对特定任务进行额外训练），仅仅看一眼就能达到38.5%的准确率，超越了目前最好的主动视觉模型27.6%的成绩，而且计算量还减少了19.5倍。这就像一个刚学会看东西的孩子，第一次就比经过专业训练的大人表现更好。

**一、什么是主动视觉：从被动扫描到主动探索的革命**

为了理解CanViT的突破性，我们需要先搞清楚什么是"主动视觉"。目前大多数AI视觉系统采用的是"被动视觉"，就像一台固定在三脚架上的相机，只能老老实实地把整张照片从左上角扫描到右下角，不会遗漏任何一个像素，但也不会重点关注任何区域。

而主动视觉则完全不同，它模仿的是生物的视觉方式。想象你在寻找桌子上的钥匙，你的眼睛会自动跳过明显不可能有钥匙的地方（比如一张白纸的中央），而重点关注可能藏着钥匙的角落和缝隙。这种选择性的注意机制让生物能够用有限的"计算资源"（神经元的处理能力）快速理解复杂的环境。

传统的AI视觉系统就像一个过度认真的学生，阅读课文时从第一个字读到最后一个字，绝不跳过任何内容。而主动视觉系统则像一个聪明的读者，会先浏览标题和段落开头，迅速把握文章的主要内容，然后再决定哪些部分需要仔细阅读。

然而，开发主动视觉系统一直面临着巨大的挑战。最核心的问题是：机器如何决定下一步应该看哪里？这就像让一个从未见过世界的人学会在黑暗中用手电筒寻找物品一样困难。机器需要同时掌握三种能力：理解当前看到的内容、记住之前看过的信息、以及智能地规划下一步的观察位置。

更复杂的是，不同的任务需要不同的观察策略。寻找图片中的人脸和寻找图片中的文字，显然需要完全不同的"视线移动路径"。而且，机器还必须在不确定的环境中做出决策，因为它永远不知道下一个位置会看到什么。

**二、CanViT的核心创新：给AI装上会思考的眼睛**

CanViT的设计思路就像给机器人装上了一套完整的视觉认知系统。如果把传统的AI视觉比作一台只会按程序扫描的机器，那么CanViT就像一个有经验的侦探，知道如何观察现场、如何记录线索、如何综合分析所有信息。

这个系统的核心是一个叫做"画布"（canvas）的创新设计。你可以把画布想象成侦探大脑中的一块"案件板"，上面贴着地图、照片和各种线索。每当侦探观察到新的信息，就会在这个案件板上更新相应的区域。即使侦探还没有亲自去过某个地方，他也能根据已有的线索推测那里可能的情况。

具体来说，CanViT采用了一种"双流"架构。第一个流叫做"骨干流"，就像侦探的眼睛，负责处理当前看到的图像片段。第二个流就是"画布流"，像侦探的大脑，负责整合所有信息并形成对整个场景的理解。

这两个流之间通过一种叫做"画布注意力"的机制进行交互。这种机制的巧妙之处在于它的"非对称性"。就像在团队合作中，信息收集员（骨干流）向指挥中心（画布流）汇报时需要详细的报告格式，但指挥中心向收集员下达指令时只需要简单明了的命令。这种设计大大降低了计算成本，使得系统能够处理更高分辨率的图像。

为了让两个流能够精确协调，CanViT还引入了"场景相对坐标系统"。这就像给侦探的案件板和现场观察都使用同一套地图坐标系，确保每一个观察点都能准确对应到案件板上的正确位置。无论侦探是站在房间的哪个角落观察，他都能准确知道自己看到的内容应该记录在案件板的哪个位置。

更巧妙的是，CanViT还设计了一个"视点编码"系统。这个系统记录的不仅仅是"在哪里看"，还包括"用什么倍数看"。就像侦探既可以站得远一些看整个房间的布局，也可以凑近了观察某个细节。这种多尺度的观察能力让CanViT能够同时把握场景的整体结构和局部细节。

**三、突破性的训练方法：从老师的眼中学会看世界**

训练CanViT面临着一个根本性的挑战：如何让一个系统学会像人类一样观察世界，而又不需要告诉它具体应该看什么？研究团队想出了一个绝妙的解决方案，他们称之为"被动到主动的密集潜在蒸馏"。

这个名字听起来很复杂，但原理其实很简单。研究团队找来了一位"视觉老师"——DINOv3，这是一个已经通过观看大量图片学会了理解视觉场景的AI系统。这位老师的特殊能力是，只要给它一张完整的高清图片，它就能生成一张详细的"理解地图"，标明每个区域的视觉特征和语义含义。

然后，研究团队设计了一个有趣的学习过程。他们让CanViT这个"学生"只能通过小窗口观察图片的局部区域，就像透过门缝观察房间一样。学生的任务是：仅仅通过这些局部观察，重建出老师看到整张图片时生成的完整理解地图。

这就像一个视觉版的"盲人摸象"游戏，但目标是要摸出整头大象的完整形状。学生必须学会如何从有限的局部信息推断整体结构，如何记住之前看过的内容，以及如何将不同时间、不同位置的观察结果整合成连贯的理解。

为了让学习过程更加灵活和实用，研究团队还设计了一套"策略无关"的训练方案。他们不会教CanViT固定的观察顺序，而是让它在完全随机的观察序列中学习。有时候CanViT先看图片的左上角，有时候先看中心，有时候先看整体再看细节，有时候反过来。这种训练方式确保了CanViT学到的是通用的视觉理解能力，而不是特定的观察习惯。

更聪明的是，研究团队还引入了"双分支训练"。其中一个分支总是从观察整张图片的缩略版开始，就像先看一眼房间的全貌；另一个分支则完全随机选择起始位置。这种设计既保证了CanViT能够获得必要的整体信息，又训练了它在没有整体信息时也能工作的能力。

整个训练过程在一张H100显卡上进行了166个小时，CanViT观看了1320万张来自ImageNet-21k数据集的图片，总共进行了10亿次局部观察。这相当于让一个学生在短短一周内看遍了一座图书馆里所有的图片，而且每张图片都要从多个角度反复观察。

**四、令人震撼的实验结果：超越预期的性能表现**

当研究团队完成CanViT的训练后，他们设计了一系列严格的测试来验证其性能。结果令所有人都感到震撼，CanViT不仅达到了预期的目标，在某些方面甚至超出了研究团队的最乐观估计。

在图像分割任务的测试中，CanViT展现出了惊人的效率优势。图像分割就像给一张照片中的每个物体都描边并标上标签的任务，比如把照片中的天空、树木、汽车、行人都准确地区分开来。传统的方法需要处理整张高清图片，就像用放大镜检查每一个像素点。而CanViT只需要看一眼低分辨率的概览，就能达到38.5%的准确率，超越了之前最好的主动视觉模型AME的27.6%成绩。

更令人印象深刻的是计算效率的提升。CanViT完成一次预测只需要15.86千兆次浮点运算，而AME需要309千兆次，差距达到了19.5倍。这就像两个人同时做同一道数学题，一个人用计算器按几下就得出答案，另一个人却要用算盘打半天。

当研究团队允许CanViT进行多次观察时，性能提升变得更加显著。通过一种叫做"粗到细"的观察策略，CanViT先观察整个场景的大致布局，然后逐步聚焦到细节区域。经过21次观察后，准确率提升到了45.9%，已经接近一些使用完整高清图片的传统方法。

在图像分类任务上，CanViT同样表现出色。图像分类就像看照片说出照片里的主要物体是什么的任务。CanViT在ImageNet-1K数据集上达到了81.2%的准确率，在主动视觉模型中排名第二，仅次于经过专门训练和调优的AdaptiveNN模型。

最让研究团队惊喜的是CanViT的泛化能力。即使CanViT从来没有见过某种特定的观察策略，它也能很好地适应。研究团队测试了多种不同的观察策略，包括从粗到细、从细到粗、基于熵的智能选择等等，CanViT在所有策略下都表现稳定。这就像一个优秀的学生，无论老师用什么方式提问，都能给出合理的答案。

更有趣的是，研究团队发现，即使让CanViT重复观察同一个位置，它的理解也会逐步加深。就像人们在反复观察一幅画时会注意到之前忽略的细节一样，CanViT能够通过迭代处理不断完善它对场景的理解。

研究团队还测试了CanViT在不同分辨率下的表现。虽然训练时只使用了512×512像素的图片，但CanViT在1024×1024像素的高清图片上表现得更好，准确率还有额外的提升。这说明CanViT学到的不是死记硬背的模式识别，而是真正理解了视觉场景的结构规律。

**五、技术创新的深层意义：重新定义AI视觉的未来**

CanViT的意义远不止于在特定测试中获得了更好的分数。它代表了AI视觉领域的一个根本性转变，从"被动接受"转向"主动探索"的新范式。

传统的AI视觉系统面临着一个根本性的扩展性问题。随着图像分辨率的提高，计算需求呈指数级增长。一张4K图片的处理成本是1K图片的16倍，8K图片的成本则是64倍。这种增长速度使得传统方法在处理超高清内容时变得不切实际。CanViT的主动观察机制打破了这个瓶颈，因为它的计算成本主要取决于观察次数，而不是图像的总分辨率。

从生物学的角度来看，CanViT首次在人工智能中实现了类似人类视觉系统的注意力机制。人类的视网膜中央有一个叫做黄斑的区域，负责高精度视觉，而周边区域只负责检测运动和大致形状。CanViT的"局部高清观察+整体低精度理解"的设计与这种生物机制高度相似，这不仅提高了效率，也为理解生物视觉提供了新的计算模型。

在实际应用方面，CanViT的潜力是巨大的。在自动驾驶领域，车载摄像头不需要同时处理整个视野的每一个像素，而可以重点关注前方道路、路边行人、交通标志等关键区域。在医疗影像分析中，AI系统可以像经验丰富的医生一样，先浏览整张X光片或CT扫描图，然后重点检查可疑区域。在安防监控中，系统可以智能地在多个摄像头画面间切换注意力，重点监控有异常活动的区域。

CanViT还为移动设备和边缘计算开辟了新的可能性。由于其高效的计算特性，即使是手机这样的设备也可能运行复杂的视觉理解任务。用户可以用手机摄像头"扫描"一个房间，AI系统通过主动观察快速理解房间布局、识别物品位置，为AR应用和智能助手提供强大的空间理解能力。

从研究方法论的角度，CanViT证明了"从被动到主动的知识蒸馏"是一种非常有效的训练策略。这种方法避免了复杂的强化学习过程，却能训练出具有主动探索能力的系统。这为其他需要序列决策的AI任务提供了新的思路。

**六、面临的挑战与未来发展方向**

尽管CanViT取得了令人瞩目的成就，但研究团队也诚实地指出了当前存在的局限性和未来需要改进的方向。

首先是训练数据的限制。CanViT目前只在静态图像上进行了训练和测试，而现实世界的视觉任务往往涉及动态场景。人类的视觉系统不仅能够理解静止的图片，还能追踪移动的物体、预测运动轨迹、在时间维度上整合信息。将CanViT扩展到视频理解领域将是一个重要的发展方向。

其次是观察策略的优化问题。虽然CanViT能够适应多种不同的观察策略，但它目前使用的都是人为设计的策略，而不是自主学习的策略。理想的主动视觉系统应该能够根据具体任务和场景特点，自动学习最优的观察序列。这涉及到强化学习、元学习等更复杂的机器学习技术。

计算效率虽然比传统方法有了大幅提升，但在某些极端场景下仍有改进空间。当需要非常高精度的细节识别时，CanViT可能需要进行大量的局部观察，这时的计算成本可能会接近甚至超过传统方法。如何在不同精度要求下自动平衡观察次数和计算成本，是一个需要深入研究的问题。

模型规模也是一个考虑因素。目前的实验主要使用了ViT-B规模的模型，而在大模型时代，如何将主动视觉的思想扩展到更大规模的模型中，如何充分利用大模型的表示能力，都是值得探索的方向。

另一个重要挑战是如何处理不确定性和错误传播。在连续的观察过程中，早期观察的错误可能会影响后续的决策，导致错误的累积。开发更鲁棒的错误纠正机制，让系统能够识别和纠正自己的错误，是提高实用性的关键。

从应用角度来看，不同领域对主动视觉的需求差异很大。医疗影像需要极高的准确性，自动驾驶需要极快的响应速度，而消费级应用则更注重用户体验。如何针对不同应用场景优化CanViT的性能，开发专用版本，也是未来研究的重要方向。

**七、对AI发展的深远影响**

CanViT的出现标志着AI视觉领域进入了一个新的发展阶段。它不仅仅是一个技术改进，更代表了AI研究思路的根本性转变。

在传统的AI研究中，人们往往追求更大的模型、更多的数据、更强的计算能力。这种"暴力美学"的approach虽然在很多任务上取得了成功，但也带来了能耗过高、部署困难、缺乏可解释性等问题。CanViT展示了另一种可能性：通过模仿生物智能的工作原理，用更聪明的方法而不是更强的算力来解决问题。

这种思路转变对整个AI领域都有启发意义。在自然语言处理中，是否也可以开发出类似的"主动阅读"系统，让AI能够像人类一样跳跃式地阅读长文档？在语音识别中，是否可以开发出能够主动关注重要声音片段的系统？这些都是CanViT的成功所启发的新研究方向。

从计算资源利用的角度看，CanViT代表了一种更加可持续的AI发展路径。随着全球对碳减排和能源效率的关注日益增加，开发高效的AI算法变得越来越重要。CanViT证明了通过智能的算法设计可以大幅降低计算需求，这为AI的大规模普及提供了新的可能性。

CanViT还为AI的可解释性研究开辟了新的途径。通过观察CanViT的注意力轨迹，我们可以理解AI系统是如何逐步理解一个场景的，哪些区域引起了它的注意，哪些信息对最终决策起到了关键作用。这种可解释性对于AI在医疗、金融、法律等高风险领域的应用至关重要。

从人机交互的角度，CanViT也带来了新的可能性。传统的AI视觉系统就像一个黑盒，用户无法干预其处理过程。而主动视觉系统则可以与用户进行更自然的交互，用户可以引导系统关注特定区域，或者理解系统为什么做出某个判断。

说到底，CanViT的真正价值不仅仅在于它在技术指标上的优异表现，更在于它为AI研究提供了一个新的范式。它告诉我们，最好的技术往往不是最复杂的，而是最聪明的。通过深入理解和模仿生物智能的工作原理，我们可以开发出更高效、更智能、更可持续的AI系统。

归根结底，CanViT让我们看到了一个更加美好的AI未来。在这个未来中，AI系统不是通过暴力计算来理解世界，而是像人类一样，用好奇的眼光主动探索，用智慧的方式整合信息。这样的AI不仅更高效，也更人性化，更容易被理解和接受。当AI真正学会了像人类一样"看"世界时，人机协作的新时代就真正开始了。

Q&A

Q1：CanViT和传统AI视觉系统的主要区别是什么？

A：传统AI视觉系统像扫描仪一样必须处理整张图片的每个像素，而CanViT模仿人眼的工作方式，可以选择性地观察图片的不同区域，就像人看东西时眼球会移动聚焦重点一样。这种主动观察方式大大提高了效率，计算量比传统方法减少了19.5倍。

Q2：CanViT的画布机制是如何工作的？

A：画布就像侦探大脑中的案件板，记录着对整个场景的理解。每当CanViT观察图片的一小块区域时，就会更新画布上对应位置的信息。即使还没有观察过某些区域，CanViT也能根据已有信息推测那些地方可能的情况，最终形成对整个场景的完整理解。

Q3：CanViT在实际应用中有什么优势？

A：CanViT最大的优势是效率高且适应性强。它可以根据任务需要调整观察策略，在自动驾驶中重点关注道路和行人，在医疗影像中重点检查可疑区域。而且由于计算需求低，连手机都能运行复杂的视觉理解任务，为AR应用和智能助手提供强大的空间理解能力。