分叉-合并解码：提升音视频大语言模型的多模态理解能力

你是否曾有过这样的经历：你想向AI描述一段视频，但AI的回答完全忽略了背景音乐或对话？或者AI对画面的描述不够准确，却能完美地捕捉到音频内容？这种"偏心"现象在AI世界中被称为"模态偏差"，简单来说，就是AI在处理多种信息时（如视频和音频）倾向于过度依赖一种信息源，而忽略另一种。

近日，来自韩国科学技术院（KAIST）的研究团队，由Chaeyoung Jung、Youngjoon Jang（两位为共同第一作者）、Jongmin Choi和Joon Son Chung共同撰写的研究论文《Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models》，提出了一种巧妙的解决方案，让AI能够更平衡地理解视频和音频内容。这项研究发表于2025年5月27日的arXiv预印本平台（arXiv:2505.20873v1）。

想象一下，当你同时看电视和听音乐时，你的大脑会自然地区分这两种信息，然后再把它们结合起来形成完整的理解。但目前的音视频大语言模型（AV-LLMs）却没有这么聪明——它们往往会一股脑地同时处理所有信息，结果常常偏心于其中一种。

研究团队发现，目前的音视频大语言模型在处理时往往会偏向视觉信息，而忽略音频内容。他们分析了VideoLLaMA2模型在AVHBench数据集上的表现，发现模型的注意力机制明显更偏向于视频输入而非音频。这就像一个人看电影时，全神贯注于画面而忽略了对情节至关重要的对话和背景音乐。

为解决这个问题，研究团队提出了一种名为"分叉-合并解码"（Fork-Merge Decoding，简称FMD）的方法。这个方法不需要重新训练模型或修改模型结构，只需在推理阶段稍作调整。它的工作原理如下：

首先，在"分叉阶段"，模型会分别处理"只有音频"和"只有视频"的输入。这就像让AI先单独看一遍无声视频，再单独听一遍没有画面的音频，强制它认真对待每种信息。

然后，在"合并阶段"，模型会将这两次独立处理的结果融合起来，综合考虑音频和视频信息，形成最终的理解和回答。这就像你先分别理解电影的画面和对话，然后把这些理解结合起来，获得对整个电影的全面理解。

研究团队在VideoLLaMA2和video-SALMONN两个代表性音视频大语言模型上测试了这种方法，结果表明，FMD显著提高了模型对音频、视频以及音视频结合内容的理解能力。最有趣的是，FMD特别擅长改善模型在需要重点关注音频的任务上的表现，这正好弥补了当前模型过度依赖视觉信息的短板。

在技术实现上，FMD方法首先通过将原始的多模态输入分成两个单模态分支来实现"分叉"：一个只包含视频信息（音频被屏蔽），另一个只包含音频信息（视频被屏蔽）。每个分支独立地经过模型的前几层处理，生成模态特定的隐藏表示。然后在"合并"阶段，这些表示被融合并通过剩余的解码器层处理，产生最终的预测结果。

研究者们特别设计了一种基于注意力的融合策略，根据模型对不同模态内容的关注程度动态调整它们的权重。这就像一个平衡器，确保即使模型原本更"喜欢"看视频，也能被"说服"去认真倾听音频内容。

实验结果显示，在三个广泛使用的音视频基准测试集（AVQA、MUSIC-AVQA和AVHBench）上，FMD方法都取得了一致的性能提升。特别是在那些需要模型理解音频内容或需要平衡音视频理解的任务上，FMD的表现更为突出。

这项研究的意义不仅在于提出了一种简单有效的方法来改善音视频AI的表现，更在于它揭示了一个重要的洞见：有时候，让AI分开处理不同类型的信息，然后再把这些信息整合起来，比一开始就混合处理所有信息更有效。这有点像学习时的"分而治之"策略，先掌握各个部分，再理解整体。

对于普通用户来说，这项研究意味着未来的AI助手可能会更好地理解包含音频和视频的内容，比如更准确地描述视频中发生的事情，同时不忽略背景音乐或对话的重要性。这将使AI在视频内容分析、多媒体搜索、辅助技术等领域的应用更加强大和实用。

让我们以一个具体例子来理解FMD的优势：假设你向AI展示一段婚礼视频，视频中新娘正在走红毯，背景播放着婚礼进行曲。使用传统方法的AI可能会告诉你："视频中有一位穿白色婚纱的女士在走红毯"，完全忽略了音乐元素。而经过FMD增强的AI则可能回答："视频中有一位穿白色婚纱的女士在走红毯，背景播放着经典的婚礼进行曲，营造出庄重而喜悦的氛围。"这种全面的理解对于真正有用的AI助手来说至关重要。

总的来说，这项研究为改善音视频大语言模型的多模态理解能力提供了一种简单、高效且无需额外训练的方法，为未来AI更好地理解和处理复杂的多媒体内容铺平了道路。