清华大学团队突破AI视频理解难题：用"反常识"训练让机器看懂真相

这项由清华大学的黄哲、北京航空航天大学的文浩，以及阿里巴巴地图团队的郝爱鸣、宋兵泽等研究者共同完成的研究，发表于2025年12月30日的arXiv预印本平台，论文编号为arXiv:2512.24271v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当前的多模态大语言模型就像一个聪明但容易被表象迷惑的学生。当它们看到一段视频时，往往会依赖于之前学到的"常识"来做出判断，而不是真正仔细观察视频中发生了什么。这就好比一个人看到农场场景就自动认为收割机的玉米应该向下流入拖车，即使视频中的玉米实际上是向上飞到天空中的。

这种现象被研究者称为"视觉无根据幻觉"。就像一个总是根据剧本行事的演员，即使面前的剧情完全不同，也会按照熟悉的套路来表演。目前的AI模型在处理反常识或者违反物理规律的视频内容时，经常会"视而不见"，坚持给出符合常理但与实际画面不符的答案。

研究团队发现，这个问题的根源在于训练数据的不平衡。文本数据的规模和多样性远远超过视频数据，就像一个孩子读了一万本书但只看过十部电影，当然会更相信书本知识而不是眼前所见。

为了解决这个问题，研究团队开发了一个名为"DualityForge"的创新框架。这个系统的核心思想是通过可控的视频编辑技术，将普通的真实世界视频转换为违反常识的反常视频。比如让水往上流、让石头漂浮、让物体突然消失等等。

这种方法就像是给AI学生安排一场"颠倒世界"的训练课程。在这个课程中，学生必须学会相信自己的眼睛而不是脑海中的预设知识。当AI同时看到一个物体正常下落的视频和同一个物体向上飞升的编辑版本时，它必须根据实际观察到的内容给出不同的答案，而不能简单地套用"物体会下落"这样的常识。

研究团队构建了一个名为"DualityVidQA"的大规模数据集，包含14.4万个训练样本和600个测试样本。这个数据集的特点是每个样本都包含一对视频：一个是原始的真实视频，另一个是经过编辑的反常视频。对于同一个问题，这两个视频需要不同的答案，这迫使AI模型必须仔细观察视频内容而不是依赖语言先验。

一、反常视频的智能制造工厂

DualityForge框架就像一个专门制造"违反常理"内容的智能工厂。这个工厂有三条不同的生产线，分别负责创造三种类型的反常现象。

第一条生产线专门处理视觉层面的异常，就像给照片加上各种滤镜效果。这些异常包括不正常的对比度、饱和度、亮度变化，或者局部的图像扭曲。虽然这些改变主要影响视觉质量，但不会改变场景的基本语义含义。研究团队使用OpenCV这样的计算机视觉工具来实现这些效果，就像用Photoshop给图片添加特效一样。

第二条生产线负责创造语义层面的异常，这些异常会违反场景的基本逻辑。比如让一个物体突然消失、让不存在的东西突然出现、或者用其他物体替换原来的物体。这就像魔术师的表演，物体会违反我们对现实世界的基本认知。为了实现这种效果，研究团队采用了先进的视频编辑模型VACE，它能够在保持视频其他部分不变的情况下，精确地修改特定区域的内容。

第三条生产线是最复杂的，它专门制造违反常识和物理规律的异常现象。这些异常包括违反物理定律的运动、因果关系的颠倒、材料属性的异常变化，以及不合理的人体动作。为了创造这类异常，研究团队首先使用多模态大语言模型分析图像中的视觉元素，然后生成针对特定异常的编辑指令。接着，他们使用FLUX-Kontext模型根据这些指令编辑图像，最后通过VACE模型进行帧间插值，生成流畅的反常视频。

整个制造过程就像一个精密的手表工厂，每个环节都有严格的质量控制。研究团队使用多个最先进的多模态大语言模型进行交叉验证，确保生成的反常视频确实包含了预期的异常现象，而且这些异常足够明显，能够被人类观察者识别出来。

这个智能工厂最终产出了超过13.5万个包含异常现象的视频，为后续的AI训练提供了丰富的"反常识"素材。整个生产过程消耗了大约4万个GPU小时的计算资源，相当于一台高性能计算机连续工作4年半的时间。

二、双重问答训练的巧妙设计

研究团队设计的训练方法就像教一个学生同时应对正常考试和"颠倒世界"考试。这种训练分为两个阶段：监督学习阶段和强化学习阶段。

在监督学习阶段，AI模型需要学习处理包含真实视频和反常视频的混合数据集。这个阶段的目标是双重的：一方面要保持模型在处理正常视频时的优秀表现，另一方面要让模型开始注意到反常视频中的异常现象。为了确保训练的平衡性，研究团队采用了均衡采样策略，确保每个训练批次中都包含相等数量的真实样本和反常样本。

这个过程就像教一个学生既要掌握正常的数学规则，又要学会识别数学题目中的"陷阱"。学生必须在看到正常题目时给出标准答案，在看到包含反常条件的题目时给出相应的非标准答案。

强化学习阶段采用了一种名为"对偶标准化优势训练"的创新方法。这个方法的核心思想是利用成对视频数据的对比特性，让模型学会根据实际观察到的视频内容调整其推理过程。

在这个阶段，模型面对的是一种特殊的挑战：对于同一个问题，它必须根据看到的是真实视频还是反常视频给出不同的答案。这就像一个侦探必须根据不同的证据得出不同的结论，而不能总是套用同一套推理模式。

研究团队在强化学习中引入了一个重要的技术创新：对每一对真实-反常视频的优势值进行l1标准化。这种标准化确保了模型在学习过程中对真实视频和反常视频给予同等的关注，避免了模型偏向某一类数据的问题。这就像在天平的两端放置等重的砝码，确保学习过程的平衡性。

具体来说，优势标准化的过程就像调节音响系统的音量平衡。如果左声道和右声道的音量差距过大，听众就会偏向音量更大的一侧。同样地，如果模型在真实视频上的学习信号过强，它就会忽视反常视频中的重要信息。通过标准化处理，研究团队确保了模型能够平等地从两种类型的数据中学习。

奖励机制的设计也很巧妙。模型的表现主要通过两个方面来评估：答案的正确性和推理格式的规范性。正确性奖励是一个简单的二元分数——答对了得1分，答错了得0分。格式奖励则鼓励模型遵循特定的推理结构，这有助于提高模型输出的可解释性和一致性。

整个训练过程就像培养一个既能在正常环境中工作，又能在极端条件下保持清醒判断的专业人员。通过这种双重训练，AI模型学会了在面对反常现象时依然保持客观观察和准确判断的能力。

三、突破性实验成果揭示训练效果

研究团队对DNA-Train方法进行了全面的实验验证，结果令人印象深刻。在专门设计的DualityVidQA测试集上，经过训练的7B参数模型相比基础的Qwen2.5-VL-7B模型，在反常视频理解任务上实现了24%的相对提升。这个提升幅度相当显著，就像一个原本只能答对50道题的学生，经过特殊训练后能够答对62道题。

更令人惊喜的是，这种针对反常现象的专门训练不仅没有损害模型在正常视频理解任务上的表现，反而带来了全面的性能提升。在多个通用视频理解基准测试中，DNA-Train模型都表现出了更好的性能，包括TempCompass、MVBench、TOMATO和TVBench等权威评测。

实验结果显示了当前主流AI模型的一个普遍弱点：几乎所有被测试的模型在处理反常视频时都出现了显著的性能下降。即使是表现最好的商业模型，如GPT-4.1和Gemini-2.5 Pro，在处理真实视频时能达到92%以上的准确率，但在面对反常视频时，准确率就会大幅下降。这就像一个在标准考试中表现优异的学生，在面对"脑筋急转弯"类型的问题时就显得手足无措。

特别值得注意的是，在"反物理常识"这个最具挑战性的类别中，大多数模型都表现得非常糟糕。但DNA-Train-7B模型在这个类别中达到了79.2%的准确率，展现出了卓越的抗"常识干扰"能力。这表明该模型确实学会了相信自己的"眼睛"而不是依赖预设的知识。

研究团队还进行了详尽的消融实验来验证各个组件的作用。他们发现，使用成对数据进行训练是获得良好效果的关键。如果只使用真实视频进行训练，模型在反常视频理解任务上的表现会大幅下降；如果只使用反常视频进行训练，虽然能提高对异常现象的敏感性，但会损害模型在正常视频上的表现。只有使用真实视频和反常视频的配对数据，才能实现两方面性能的协调提升。

对偶标准化优势训练方法的有效性也得到了充分验证。与传统的强化学习方法相比，这种方法在幻觉检测任务上平均提升了10.8个百分点，在通用视频理解任务上也有1.0个百分点的提升。这证明了优势标准化策略确实能够带来更稳定、更平衡的学习效果。

实验还验证了该方法在不同规模模型上的通用性。无论是7B、32B还是72B参数的模型，DNA-Train方法都能带来一致的性能提升。这表明该训练范式具有良好的可扩展性，不局限于特定规模的模型。

更重要的是，研究团队证明了这种方法不仅适用于Qwen2.5-VL模型，在LLaVA-Next-Video等其他主流多模态模型上也能取得显著的改进效果。这说明DNA-Train是一种通用的训练范式，而不是针对特定模型架构的专门优化。

四、技术创新的深层价值与广泛影响

这项研究的技术贡献远不止于提高某个特定任务的性能分数，它实际上触及了当前AI系统的一个根本性问题：如何让机器学会真正的视觉推理而不是简单的模式匹配。

传统的多模态AI训练就像教一个学生通过背诵标准答案来应对考试。学生可能在常规考试中表现优异，但当遇到需要真正理解和分析的新情况时就会暴露出问题。DNA-Train方法的创新之处在于，它教会AI模型进行真正的视觉观察和逻辑推理，而不是依赖记忆中的模式。

这种训练范式的意义可以类比为从"死记硬背"向"理解学习"的转变。通过让模型同时学习正常和反常的视频内容，并要求它们根据实际观察到的现象给出相应的答案，研究团队实际上是在培养AI的"批判性思维"能力。

DualityForge框架的另一个重要贡献是解决了反常数据稀缺的问题。在现实世界中，违反物理规律或常识的现象确实很少发生，这使得收集足够的训练数据变得极其困难和昂贵。通过可控的视频编辑技术，研究团队创造了一种可扩展的数据生成方法，这为未来的相关研究开辟了新的道路。

这个框架的设计也体现了深刻的学习理论洞察。通过在编辑过程中嵌入结构化的上下文信息，系统不仅能够生成高质量的反常视频，还能自动生成相应的问答对。这种"上下文引导的生成"方法确保了数据的质量和一致性，同时大大降低了人工标注的成本。

从更广阔的视角来看，这项研究为多模态AI的发展提供了新的思路。当前很多AI系统在处理多模态信息时，往往会过度依赖某一种模态（通常是文本）的信息，而忽视其他模态提供的关键线索。DNA-Train方法通过对比学习的方式，强制模型必须综合考虑所有可用的信息，这有助于构建更加均衡和可靠的多模态AI系统。

该研究还对AI安全领域具有重要意义。在实际应用中，AI系统可能会遇到各种异常或恶意构造的输入，如果系统过度依赖训练时学到的模式，就可能被这些异常输入误导。通过提高AI模型对反常现象的识别和处理能力，DNA-Train方法实际上增强了系统的鲁棒性和抗攻击能力。

这种训练方法的影响还可能扩展到其他AI应用领域。比如在自动驾驶系统中，车辆必须能够识别和应对各种异常的道路情况；在医疗诊断系统中，AI必须能够发现那些不符合常见病症模式的罕见疾病。DNA-Train提供的对比学习框架为这些应用场景提供了有价值的参考。

五、未来发展前景与应用潜力

这项研究开启了多模态AI训练的新篇章，其影响将远远超出学术研究的范围，为各个行业的实际应用带来革命性的改变。

在内容审核和事实核查领域，经过DNA-Train训练的AI系统将具备更强的"火眼金睛"能力。当前的内容审核系统经常会被精心制作的虚假内容蒙蔽，特别是那些利用深度伪造技术制作的视频。具备反常识识别能力的AI将能够更准确地识别这些经过人工修改的异常内容，为网络安全和信息真实性验证提供更可靠的技术支撑。

在教育领域，这种技术将催生全新的智能学习系统。传统的AI教学助手往往只能处理标准化的教学内容，而具备反常识理解能力的AI将能够处理更复杂、更具创造性的学习场景。比如在科学教育中，AI可以帮助学生理解那些违反直觉的物理现象，或者在艺术教育中分析那些采用反传统手法的创作作品。

医疗诊断是另一个具有巨大潜力的应用领域。疾病往往表现为对正常生理状态的偏离，而罕见疾病更是会呈现出完全违反常见症状模式的表现。具备反常识识别能力的AI医疗系统将能够更好地识别这些"非典型"病例，为医生提供更准确的诊断支持，特别是在处理那些容易被误诊的罕见疾病时。

在自动驾驶技术中，这种训练方法的价值更是不言而喻。道路环境中充满了各种异常情况：突然出现的障碍物、违规行驶的车辆、恶劣天气下的特殊路况等等。传统的自动驾驶系统往往在这些"边缘情况"下表现不佳，因为它们过于依赖训练数据中的常见模式。DNA-Train方法培养的"反常识"敏感性将显著提高自动驾驶系统在复杂环境下的安全性和可靠性。

从技术发展的角度来看，这项研究还为大模型的训练提供了新的思路。当前的大模型训练主要关注于扩大数据规模和模型参数，但DNA-Train研究表明，数据的多样性和质量可能比单纯的数量更加重要。通过精心设计的对比学习任务，即使使用相对较小的数据集，也能够实现显著的性能提升。

这种方法还为多模态AI的可解释性研究开辟了新的方向。通过分析模型在处理正常和反常视频时的不同表现，研究者可以更好地理解模型的内部工作机制，识别模型的偏见和局限性。这种理解对于构建更加可信和可控的AI系统至关重要。

研究团队已经承诺将开源他们的数据集和代码，这将为整个研究社区提供宝贵的资源。预期将有更多的研究团队基于这个框架开展进一步的研究，探索不同类型的反常现象、不同的编辑技术、以及不同的训练策略。这种开放式的研究合作将加速相关技术的发展和应用。

同时，这项研究也提醒我们注意AI系统的局限性。即使是经过专门训练的模型，在面对某些极端的反常情况时仍然可能表现不佳。这说明我们还需要继续努力，不断改进训练方法和评估标准，以构建更加健壮和可靠的AI系统。

说到底，这项研究的真正价值在于它为AI系统装上了一双更加敏锐的"眼睛"。在一个充满变化和意外的真实世界中，只有具备了真正的观察能力和判断能力的AI，才能成为人类真正可靠的伙伴。这项来自清华大学等机构的研究，正是朝着这个目标迈出的重要一步，它不仅提高了AI的技术水平，更重要的是提升了AI理解世界的深度和准确性。

Q&A

Q1：什么是DNA-Train训练方法？

A：DNA-Train是一种针对多模态AI的新型训练方法，包含监督学习和强化学习两个阶段。它通过让AI模型同时学习正常视频和人工编辑的反常视频，迫使模型根据实际观察到的内容而非预设常识来回答问题，从而提高AI的视觉推理能力。

Q2：DualityForge框架是如何制造反常视频的？

A：DualityForge框架有三条不同的"生产线"：第一条处理视觉异常如对比度、饱和度变化；第二条创造语义异常如物体消失、出现或替换；第三条制造违反物理规律的现象如水往上流、石头漂浮等。整个过程使用先进的视频编辑技术，并通过多个AI模型进行质量验证。

Q3：这项研究对普通人的生活有什么实际影响？

A：这项技术将提高各种AI应用的可靠性，包括更准确的内容审核系统、更智能的教育助手、更精准的医疗诊断、更安全的自动驾驶等。最重要的是，它让AI具备了更强的"反常识"识别能力，在面对异常情况时能做出更准确的判断，从而为人类提供更可信的AI服务。