Meta的Perception Encoder：从"我什么都不是"到"我什么都能做"的AI视觉新革命

这项由Meta FAIR研究院的Daniel Bolya、Po-Yao Huang等多位研究员领导的团队研究发表于2025年4月，已在arXiv平台公开发布（论文ID：2504.13181v2）。有兴趣深入了解的读者可以通过https://github.com/facebookresearch/perception_models获取代码和模型，或访问https://ai.meta.com/datasets/pe-video/获取相关数据集。

在人工智能的世界里，有一个奇妙的现象：最优秀的能力往往不在表面，而是深藏在内部。就像一颗洋葱，最精华的部分需要一层一层剥开才能发现。Meta的研究团队就遇到了这样一个有趣的发现——他们训练出了一个看似"平平无奇"的视觉AI模型，结果却发现这个模型内部藏着惊人的多样化能力。

想象一下这样的场景：你有一个朋友，表面上看起来只会做一件事——比如识别照片中的物体。但当你深入了解后发现，他实际上还能阅读文字、理解视频、测量深度、追踪物体移动，甚至能回答复杂问题。唯一的问题是，他不知道如何展示这些隐藏的技能。这就是Meta团队面临的情况。

他们开发的Perception Encoder（简称PE，可以理解为"感知编码器"）就是这样一个多面手。在表面上，PE只是通过对比学习训练的普通视觉模型——它学会了将图像和文字进行匹配，这是目前AI视觉领域最常见的训练方式。但研究团队在深入分析时发现了一个惊人的秘密：在这个模型的内部不同层次中，竟然隐藏着各种专业技能。

这个发现打破了AI研究领域的一个传统观念。长期以来，人们认为不同的AI任务需要不同的专门训练方法：如果你想让AI理解图像内容，就要用对比学习；如果想让AI回答关于图像的问题，就要用描述生成训练；如果想让AI理解空间关系和物体位置，就要用自监督学习。这就像培养不同专业的学生——医学生需要医学院的训练，工程师需要工科教育，艺术家需要艺术学院的培养。

但PE的出现改变了这种认知。研究团队发现，仅仅通过对比学习这一种"通用教育"方式，就能在同一个模型中培养出多种专业能力。这就像发现了一个奇才学生，他仅仅通过通识教育就掌握了医学、工程、艺术等多个领域的专业技能。

一、从零开始：打造更强健的图像理解基础

在构建PE的过程中，研究团队首先面临的挑战是如何让基础的图像理解变得更强健。这就像为一座摩天大楼打地基——地基越扎实，上面能建的楼层就越高。

传统的AI图像训练方法虽然有效，但存在一个问题：当面对一些"刁钻"的测试时，比如图像质量不佳、拍摄角度奇怪、或者包含不常见物体时，性能会显著下降。这就像一个只在标准考场练习的学生，一旦遇到突发情况就不知所措。

为了解决这个问题，研究团队开发了一套"强健训练法"。他们的核心思路是让AI在训练过程中经历各种"困难模式"，从而变得更加适应性强。具体来说，他们设计了九个渐进式的改进步骤。

首先是"渐进分辨率训练"。传统方法通常固定使用一种图像分辨率进行训练，但研究团队让AI从低分辨率图像开始学习，然后逐步提高到高分辨率。这就像教孩子画画，先从简单的线条开始，再到复杂的细节。这种方法不仅提高了训练效率，还让模型学会了在不同清晰度下都能正常工作。

接下来是"大批量训练"。他们将每次训练的样本数量从32,000个增加到64,000个。这意味着AI在每次学习时能看到更多不同的图像-文字配对，从而学到更丰富的知识。这就像让学生同时接触更多不同的教材和案例，而不是反复学习同样的内容。

在优化器选择上，团队从传统的AdamW切换到LAMB优化器，并提高了学习率。LAMB优化器在处理大规模训练时更加稳定，就像换了一个更有经验的教练来指导训练过程。

分辨率的进一步提升也很关键。他们在训练的最后阶段加入了336像素的高分辨率训练。虽然这只让标准测试的性能提升了0.5%，但在困难测试上的改进却达到了1.4%。这说明高分辨率训练特别有助于提升模型的鲁棒性。

"位置编码改进"是另一个重要技术。他们添加了2D RoPE（旋转位置编码），帮助模型更好地理解图像中不同位置的关系。这就像给AI装上了一个更精确的"空间感知系统"。

在注意力机制上，他们采用了"注意力池化"方法。这个技术改变了模型整合信息的方式，让它能更有效地从复杂图像中提取关键特征。有趣的是，他们发现保留传统的"类别标记"对小模型的性能很重要。

数据增强是提升鲁棒性的关键一环。即使在处理数十亿样本时，适当的数据增强仍然很重要。他们采用了强力的随机裁剪、亮度和饱和度调整以及水平翻转。随机裁剪迫使模型学会利用完整的文字描述，因为图像可能不完整；亮度调整帮助模型适应不同光照条件；水平翻转则提升了对自然图像的理解能力，同时不影响文字识别能力。

最后一个创新是"掩码正则化"。这个方法的灵感来自让模型学会在部分信息缺失时也能正常工作。他们会故意遮挡一部分图像，然后要求模型的输出与完整图像尽可能相似。这就像训练一个侦探，即使只看到案件的一部分线索，也能推断出完整的真相。

通过这九个步骤的逐步改进，PE的基础能力得到了显著提升。更重要的是，这种改进在不同规模的模型上都有效，证明了这套方法的普适性。这为后续发现模型内部隐藏能力奠定了坚实基础。

二、视频理解的突破：用合成数据喂养AI

在解决了图像理解的基础问题后，研究团队面临了一个更大的挑战：如何让同一个模型既擅长理解静态图像，又能处理动态视频？这就像要培养一个既能看懂照片又能理解电影的全能分析师。

这个挑战的核心在于数据稀缺性。虽然互联网上有无数的图像配文字说明，但高质量的视频配准确描述却非常少见。这就像想学外语，图片词典很容易找到，但配有准确字幕的外语电影却很稀缺。

面对这个难题，研究团队想出了一个巧妙的解决方案：既然现成的高质量视频描述不够，那就自己"制造"。他们开发了一套视频数据引擎，这个引擎就像一个精密的内容制作工厂，能够为大量视频生成准确、详细的文字描述。

这个数据引擎的工作流程非常精巧。首先，它使用一个专门的视频描述模型来观看视频，并生成初步的描述。同时，它还会从视频中抽取几个关键帧，用图像描述模型为每一帧生成单独的描述。此外，引擎还会收集视频的原始元数据，比如标题和简介。

接下来是关键的融合步骤。引擎将视频整体描述、各帧描述和元数据信息一起提供给一个大型语言模型，要求它合成一个简洁但全面的视频描述。这就像让一个资深编辑综合多个记者的报道，写出一篇精炼的新闻稿。

为了确保生成描述的质量，团队还收集了26.5万个视频，使用基础模型生成初步描述后，邀请人工标注员进行精修。标注员的任务是删除错误信息、纠正不准确描述、消除重复内容，并补充遗漏的重要动作。这个人工精修过程就像有经验的编辑审校稿件，确保最终输出的质量。

有了这个精修后的高质量数据，团队训练出了一个更强的视频描述模型。然后他们用这个改进后的模型处理了2200万个视频，为每个视频生成了与其内容高度匹配的文字描述。

在视频编码方面，团队采用了一个出人意料的简单方法。他们没有使用复杂的时序建模技术，而是简单地从每个视频中均匀采样8帧，用图像编码器分别处理每一帧，然后通过平均池化得到视频的整体表示。这种方法虽然简单，但效果出人意料地好。

实验结果验证了这个方法的有效性。通过对比不同组合的数据来源，研究团队发现，虽然视频元数据（标题和描述）提供了有价值的背景信息，但真正的性能提升来自于生成的视频描述和帧级描述。随着合成视频数据的增加，模型在图像和视频任务上的表现都在持续改善，而且没有出现饱和迹象。

特别值得注意的是，即使只使用相对少量的合成视频数据（2200万个），也能显著提升模型的整体能力。在图像任务上，困难案例的性能提升尤为明显，在视频任务上更是实现了大幅跃升。这证明了高质量合成数据的价值。

为了惠及研究社区，团队还公开发布了PE视频数据集（PVD），包含100万个高质量视频，其中12万个配有人工精修的描述。这个数据集为未来的研究提供了宝贵资源。

通过这套视频数据引擎，研究团队成功地让PE模型在保持强大图像理解能力的同时，获得了出色的视频理解能力。这为后续发现模型内部多样化能力奠定了关键基础。

三、意外发现：AI模型的"隐藏天赋"

当研究团队拥有了这个在图像和视频理解上都表现出色的PE模型后，他们开始进行更深入的分析。结果，他们发现了一个令人震惊的现象：这个仅仅通过对比学习训练的模型，在其内部竟然隐藏着多种专业能力。

这个发现就像考古学家在挖掘一座古墓时，原本只期待找到一般的陶器，结果却发现了整个宝藏室。研究团队本来只是想验证他们的对比学习方法有多有效，却意外发现PE的中间层能够在完全不同的任务上媲美专门训练的最先进模型。

具体来说，当团队测试PE在语言理解任务上的表现时，他们发现某些中间层的特征可以和AIMv2-3B这样专门为描述生成任务训练的模型相媲美。AIMv2-3B是一个拥有30亿参数的强大模型，专门用于理解图像内容并生成描述。然而，PE在没有接受任何描述生成训练的情况下，其第47层的特征就能达到类似的效果。

更令人惊讶的是，在空间理解任务上，PE的某些中间层特征竟然能够匹敌DINOv2-g的表现。DINOv2-g是一个拥有10亿参数的自监督学习模型，专门用于理解图像中的空间关系、物体位置和几何结构。这种模型通常在目标检测、深度估计等需要精确空间理解的任务上表现出色。

这个发现彻底改变了对对比学习能力的认知。传统观点认为，对比学习只能产生适合分类和检索的"全局"特征，而无法胜任需要细粒度理解的任务。但PE的表现证明，经过精心设计的对比学习实际上能够在学习过程中自发地产生各种专业化的特征表示。

为了深入理解这个现象，研究团队进行了详细的层级分析。他们发现，PE模型的不同层次确实编码了不同类型的信息。早期层次更多地关注基础的视觉特征，如边缘、纹理和简单形状。中期层次开始整合这些基础特征，形成对物体和场景的理解。而后期层次则专注于高级语义信息和跨模态对应关系。

有趣的是，不同任务的最佳特征出现在不同的层次。对于需要精确空间理解的任务，如零样本跟踪，最佳特征通常出现在第32层左右。而对于需要语义理解的任务，如视觉问答，最佳特征则出现在更深的层次，大约在第47层。

这种层次化的特征分布并非偶然。研究团队通过可视化分析发现了其中的奥秘。在PE模型的架构中，大约从第33层开始，一些特征标记变成了"全局标记"——它们不再对应图像中的特定位置，而是聚合来自整个图像的信息。这种现象在大型视觉变换器中很常见，但在PE中表现得特别明显。

对于依赖局部空间对应关系的任务，如跟踪，全局标记的出现实际上是有害的。这解释了为什么跟踪任务的最佳性能出现在全局标记形成之前的层次。而对于需要高级语义理解的任务，全局标记聚合的丰富信息则非常有价值。

研究团队还发现，他们的强健训练方法对于产生这些通用特征至关重要。通过对训练过程中每个改进步骤的分析，他们发现渐进分辨率训练、数据增强和掩码正则化等技术都对提升特征的通用性有显著贡献。

这个发现的重要性不仅在于技术层面，更在于它为AI训练提供了新的思路。它表明，与其为每个特定任务训练专门的模型，不如集中精力训练一个强大的通用基础模型，然后通过适当的对齐技术来释放其内在的多样化能力。

然而，这些强大的能力都隐藏在模型内部，无法直接使用。这就像一个多才多艺的人不知道如何展示自己的技能一样。因此，研究团队的下一个挑战就是开发方法来"唤醒"和"对齐"这些隐藏的能力。

四、语言对齐：让AI学会"说话"

发现了PE模型内部隐藏的语言理解能力后，研究团队面临的下一个挑战是如何将这些能力"激活"并引导到模型的输出层。这就像发现了一个有语言天赋的人，但他不知道如何表达，需要专门的训练来释放这种潜能。

研究团队设计了一套"语言对齐"方法来解决这个问题。这个方法的核心思路是将PE模型与一个大型语言模型连接起来，让它们协同工作。这就像为一个有视觉天赋的艺术家配备一个优秀的解说员，艺术家负责"看"，解说员负责"说"。

语言对齐的过程分为两个阶段。第一阶段是"热身训练"，研究团队使用100万对图像-文字样本来训练一个视觉投影器。在这个阶段，PE模型的参数保持冻结，只有投影器在学习如何将视觉特征转换为语言模型能够理解的形式。这就像让翻译员先熟悉两种语言的基本对应关系。

第二阶段是"联合训练"，使用7000万个多模态样本对整个系统进行微调。这些样本涵盖了自然图像、文档图表、图解以及视频等多种类型的视觉内容。在这个阶段，除了继续训练投影器外，语言模型的参数也会更新，让整个系统学会更好地协同工作。

在确定最佳配置方面，研究团队进行了详细的实验。他们发现，使用30亿参数的语言模型比10亿参数的效果更好，提升了1.6个百分点。让语言模型参与训练（而不是保持冻结）能够带来额外的0.3个百分点提升。在投影器的设计上，两层的多层感知机比简单的线性投影效果更好。

一个关键的发现是关于PE模型中哪一层的特征最适合语言对齐。虽然第50层（最后一层）通常被用作输出，但研究团队发现第47层的特征在语言任务上表现更好。这与他们在隐藏能力分析中的发现一致——最适合语言理解的特征确实隐藏在模型内部，而不是在输出层。

为了进一步提升性能，研究团队还在PE模型中加入了LayerScale和DropPath等正则化技术。这些技术帮助稳定训练过程，让模型在处理复杂的多模态任务时更加稳定。最终，这些改进总共带来了2.1个百分点的性能提升。

训练完成后，研究团队得到了PElang——一个专门优化用于语言任务的PE版本。PElang的特点是能够将强大的视觉理解能力与流畅的语言表达结合起来。

为了验证语言对齐的效果，研究团队进行了层级分析对比。结果显示，对齐后的PElang模型在所有语言相关任务上的最佳性能都出现在最后一层，这证明对齐训练成功地将内部隐藏的能力转移到了输出层。

PElang在多个基准测试上都表现出色。在文档和图表问答任务上，它达到了53.7的平均分，显著超过了其他对比模型。在视觉问答任务上，表现同样优异。更重要的是，即使切换到不同的语言模型（如QwenLM），PElang仍能保持强劲的性能，证明了其出色的泛化能力。

特别值得注意的是，PElang在一些之前没有专门训练过的任务上也表现出色。例如，在grounding任务（将文字描述定位到图像中的具体区域）上，尽管训练数据中没有包含这类任务，PElang仍然取得了很好的结果。这说明语言对齐不只是简单的任务适应，而是真正激活了模型内在的跨模态理解能力。

在系统级对比中，基于PElang构建的完整多模态系统在多个基准上都达到了最先进的水平，与最新的顶级模型相媲美。这证明了语言对齐方法的有效性和PE模型强大的潜在能力。

通过语言对齐，研究团队成功地将PE模型内部隐藏的语言理解能力释放出来，创造了一个既能"看"又能"说"的强大AI系统。这为多模态AI的发展开辟了新的可能性。

五、空间对齐：让AI学会"精确定位"

在成功激活PE模型的语言能力后，研究团队面临了另一个挑战：如何释放模型在空间理解方面的潜能。这个任务比语言对齐更加复杂，因为空间任务对精确性的要求更高，而且不同空间任务对特征的需求也有所不同。

通过深入分析，研究团队发现了一个有趣的现象：PE模型在处理不同空间任务时，最佳特征层有明显差异。对于需要精确局部对应关系的任务（如目标跟踪），最佳特征出现在第32层左右；而对于需要高级语义理解的空间任务（如目标检测），最佳特征则出现在第40层左右。

这种差异的根源在于PE模型的内部架构特性。研究团队通过可视化分析发现，从第33层开始，模型中出现了"全局特征标记"。这些标记就像信息汇聚中心，收集和整合来自整个图像的信息。对于需要语义理解的任务，这些全局信息非常有价值；但对于需要精确空间对应的任务，全局标记反而会干扰局部特征的表达。

面对这个挑战，研究团队设计了一套双管齐下的空间对齐策略。这个策略既要保留模型的语义理解能力，又要强化其空间定位精度。

第一个策略是"自蒸馏"。研究团队让PE模型的最后一层学习模仿自己第41层的特征表示。第41层刚好位于语义理解能力的峰值附近，包含了丰富的高级视觉信息。这就像让一个学生从自己最优秀的状态中学习，通过"回顾"来提升当前的表现。

为了确保自蒸馏的有效性，研究团队采用了强力的正则化技术。他们使用了75%的掩码比例，强制模型在大部分信息缺失的情况下也能重建特征。同时，还引入了LayerScale和DropPath等技术来稳定训练过程。

第二个策略是创新性地使用SAM 2.1模型来增强空间对应能力。SAM（Segment Anything Model）是一个专门用于图像分割的模型，擅长理解物体边界和空间关系。但研究团队没有直接使用SAM的特征，而是采用了一个巧妙的方法。

传统的特征蒸馏方法通常会从教师模型的特征表示中学习，但SAM的原始特征同样存在全局标记干扰的问题。研究团队的创新在于使用SAM的"掩码预测结果"而不是特征表示作为监督信号。

具体来说，他们在输入图像上均匀采样1024个点，让SAM为每个点预测对应的分割掩码。这些掩码预测结果被组合成一个空间对应图，包含了丰富的局部空间信息，而且没有全局标记的干扰。PE模型学习模仿这种空间对应关系，从而增强自身的局部空间理解能力。

这种方法的优势在于，掩码预测结果本质上就是空间对应的直接体现，不存在特征表示中可能出现的语义偏移问题。而且，由于使用的是预测结果而不是中间特征，这种监督信号对插值和分辨率变化更加鲁棒。

在训练过程中，研究团队将两种对齐策略结合起来。模型同时学习从自己的第41层特征（保持语义能力）和SAM的空间对应图（增强空间能力）中获取信息。这种联合训练让最终的PEspatial模型既保持了强大的语义理解能力，又获得了精确的空间定位能力。

实验结果验证了这种空间对齐策略的有效性。在目标检测任务上，PEspatial不仅超越了原始的PE模型，还超过了许多专门为空间任务设计的模型。在COCO数据集上，PEspatial达到了66.0的box mAP，创下了新的记录。

在深度估计任务上，PEspatial同样表现出色。这个结果特别令人惊讶，因为对比学习模型通常不被认为适合深度估计这种需要精确几何理解的任务。但PEspatial证明了，经过适当的对齐训练，对比学习模型同样能够胜任这类任务。

在零样本跟踪任务上，PEspatial的表现更是令人印象深刻。它在DAVIS数据集上达到了61.5的J&F分数，显著超过了其他模型。这个结果证明了SAM对齐策略在增强局部空间对应能力方面的有效性。

通过可视化分析，研究团队验证了空间对齐确实成功地将内部隐藏的空间理解能力转移到了输出层。对齐后的模型特征显示出清晰的物体边界和精确的空间结构，同时保持了语义信息的完整性。

这种空间对齐方法的成功，不仅解决了如何释放PE模型空间能力的问题，还为AI模型的能力对齐提供了新的思路。它表明，通过巧妙的训练策略，可以让通用模型在保持原有优势的同时，获得更专业的能力。

六、统一成果：一个模型征服多个领域

经过语言对齐和空间对齐的处理，研究团队最终得到了一个令人惊叹的成果：Perception Encoder系列模型。这个系列就像一套精心设计的工具箱，每个工具都有其独特用途，但都源自同一个强大的基础。

PE系列包含三个主要版本：PEcore负责基础的图像和视频理解，PElang专精于语言相关任务，PEspatial则擅长空间理解任务。这种设计就像培养一个全才运动员，他有基础的体能（PEcore），专业的技战术能力（PElang用于"沟通"，PEspatial用于"定位"）。

在零样本图像分类和检索任务上，PEcore展现了令人印象深刻的性能。它在ImageNet验证集上达到了85.4%的准确率，在各种鲁棒性测试中平均得分为86.6%。更重要的是，它成为了第一个在不使用谷歌内部JFT-3B数据集的情况下，在这些指标上超越所有现有模型的开源系统。

这个成就的意义不仅在于数字本身，更在于它证明了研究团队的方法具有真正的突破性。长期以来，谷歌的JFT-3B数据集被认为是训练高性能视觉模型不可或缺的资源，但PEcore证明了，通过精心设计的训练方法和数据工程，可以在不依赖这些专有资源的情况下达到甚至超越最先进的性能。

在视频理解方面，PEcore的表现同样出色。它在Kinetics-400数据集上达到了76.9%的零样本分类准确率，在多个视频理解基准上都取得了最佳或接近最佳的成绩。特别值得注意的是，PEcore仅使用了2200万个视频进行训练，相比其他视频专门模型使用的数据量要少得多，但性能却毫不逊色。

PElang在多模态语言任务上的表现更是令人瞩目。在文档问答任务上，它达到了94.6%的DocVQA准确率和80.9%的InfographicVQA准确率。在视频问答任务上，它在PerceptionTest上取得了82.7%的成绩。这些结果都显著超过了现有的最佳模型。

特别令人印象深刻的是PElang的泛化能力。当与不同的语言模型配对时，它都能保持稳定的高性能。无论是与Llama系列模型还是QwenLM模型组合，PElang都能发挥出色的效果。这种泛化能力证明了语言对齐方法的鲁棒性。

PEspatial在空间理解任务上的成就堪称突破性。在COCO目标检测任务上，它创下了66.0 box mAP的新记录，这个成绩是使用相对简单的检测头取得的，证明了底层特征表示的强大。在深度估计任务上，PEspatial同样表现出色，证明了对比学习模型在几何理解方面的潜力。

在零样本目标跟踪任务上，PEspatial的表现特别引人注目。它在DAVIS数据集上达到了61.5的J&F分数，显著超过了其他模型。这个结果证明了SAM对齐策略的有效性，也展示了PE模型在局部空间对应方面的强大能力。

系统级的对比验证了PE系列模型的整体优势。基于PElang构建的完整多模态系统在多个综合基准上都达到了最先进的水平，与最新的顶级模型如InternVL 3相媲美。同时，PEspatial在目标检测领域创造的新记录证明了其在空间理解方面的卓越能力。

更重要的是，这些成果都建立在一个统一的基础之上。不同于传统方法需要为每个任务类别训练专门的模型，PE系列证明了通过一个强大的基础模型加上适当的对齐技术，可以在多个完全不同的任务领域都达到最先进的性能。

这种统一性不仅降低了开发和维护成本，还为未来的AI系统设计提供了新的思路。它表明，与其追求高度专业化的单一用途模型，不如投资于构建强大的通用基础，然后通过灵活的对齐技术来适应不同的应用需求。

研究团队还展现了良好的开放精神，他们公开发布了所有的模型、代码和数据集。这种开放性将加速整个AI研究社区的进步，让更多研究者能够基于这些成果进行进一步的创新。

PE系列模型的成功，标志着AI视觉理解领域进入了一个新的阶段。它证明了单一的训练范式可以孕育出多样化的能力，关键在于如何有效地发现、理解和释放这些潜在能力。这为未来构建更加通用、更加强大的AI系统指明了方向。

这项研究的影响远远超出了技术层面。它改变了人们对AI模型能力边界的认知，证明了看似简单的训练方法可能蕴含着远比表面更丰富的潜力。对于AI的未来发展而言，这种"一专多能"的模式可能成为新的标准，让AI系统变得更加高效、灵活和易于应用。

说到底，Meta团队的这项研究就像发现了一个隐藏的宝藏。他们不仅找到了宝藏，还开发出了挖掘宝藏的工具，更重要的是，他们将这些发现和工具分享给了整个世界。这种科学精神和技术突破的结合，正是推动AI领域不断前进的动力所在。

对于普通人来说，这项研究意味着未来的AI系统将变得更加智能和实用。无论是帮助处理日常的图片分类、回答关于图像的问题，还是理解视频内容、进行精确的空间定位，都将得到更好的支持。而且，这种"一个模型做多件事"的能力意味着AI应用的成本将降低，普及速度将加快。这对每个人来说都是好消息。

Q&A

Q1：Perception Encoder是什么？它有什么特别之处？ A：Perception Encoder是Meta开发的视觉AI模型系列，它的特别之处在于仅通过简单的对比学习训练，就在模型内部自发产生了多种专业能力（如语言理解、空间定位等），然后通过对齐技术将这些隐藏能力激活。这打破了传统"一个任务需要一种专门训练方法"的认知。

Q2：PE模型会不会取代现有的专业AI模型？ A：不会完全取代，但会改变AI模型的开发模式。PE证明了可以先训练一个强大的通用基础模型，再通过对齐技术适应不同任务，这比为每个任务单独训练专门模型更高效。未来可能会看到更多"一专多能"的AI系统。

Q3：普通人如何使用Perception Encoder的技术？ A：目前PE的模型、代码和数据集已在GitHub开源（https://github.com/facebookresearch/perception_models），技术开发者可以直接使用。对普通用户而言，这项技术会逐步集成到各种AI应用中，提供更好的图像理解、视频分析和多模态交互体验。