多模态大模型的"指令遵循"能力大突破：上海AI实验室团队让AI像人一样精确理解视觉任务要求

这项由上海AI实验室、复旦大学、上海交通大学等机构联合完成的研究发表于2025年4月，论文标题为《MM-IFEngine: Towards Multimodal Instruction Following》。研究团队包括丁胜远、吴慎熙、赵祥宇等多位研究人员，有兴趣深入了解的读者可以通过论文开源地址https://github.com/SYuan03/MM-IFEngine访问完整代码和数据集。

当你跟朋友聊天时说"帮我写个200字的总结，要用诗歌形式，别提到任何颜色"，朋友能完美理解并执行这个复杂要求。但如果你给AI一张图片，然后提出同样复杂的要求，大多数AI都会"听不懂"或者做不到位。这就是多模态大语言模型在"指令遵循"方面遇到的核心难题。

上海AI实验室的研究团队发现了一个令人惊讶的现象：虽然现在的AI在回答图片相关问题方面已经相当出色，但在严格按照用户的复杂指令要求来处理视觉内容时，表现却差强人意。这就好比一个学霸能够回答各种数学题，但当老师要求"用红笔写答案，每行不超过10个字，最后要画个笑脸"时，这个学霸就开始犯糊涂了。

研究团队针对这个问题，开发了一个名为"MM-IFEngine"的创新系统。这个系统就像一个专门训练AI如何"听懂话"的教练，能够大量生成各种复杂的图片-指令配对数据，让AI在海量练习中学会精确理解和执行用户的多重要求。更重要的是，他们还创建了一个全新的评测基准"MM-IFEval"，这个基准就像给AI设计的"期末考试"，专门检验AI是否真正掌握了复杂指令遵循的能力。

在传统的AI训练中，研究人员往往关注让AI回答得"对不对"，但很少关注AI是否能按照用户的具体要求来组织答案。比如用户说"用50个字总结这张图片内容，要用第二人称，语气要幽默"，大多数AI可能能总结图片内容，但很可能忽略字数限制、人称要求或语气要求。这种情况在实际应用中会造成很大困扰。

这项研究的突破性意义在于，它不仅识别出了这个被忽视的重要问题，还提供了完整的解决方案。研究团队通过大规模实验证明，经过他们系统训练的AI模型在各种指令遵循测试中表现显著提升，在MM-IFEval基准上提高了10.2%，在其他相关测试中也有7.6%到12.3%不等的提升。

一、发现问题：AI的"听话"能力有待提升

当我们仔细观察现在的多模态AI系统时，会发现一个有趣的现象。这些AI就像那些只会按自己想法做事的员工一样，虽然能力很强，但总是不能完全按照老板的具体要求来完成任务。

研究团队通过分析发现，现有的多模态指令遵循训练数据非常稀少，就像图书馆里关于"如何听懂复杂指令"的书籍寥寥无几。更严重的是，现有的评测标准过于简单，大多只包含单一的、原子化的指令，就像考试题目都是"1+1等于几"这样的简单问题，而实际工作中遇到的却是"在30分钟内，用三种不同方法计算出这个复杂公式的结果，并用图表形式展示，最后写一份不超过200字的总结"这样的复合任务。

现有评测方法的另一个问题是过于依赖LLM作为评判者，就像让一个人既当运动员又当裁判。对于那些需要精确计算的约束条件，比如"回答必须包含exactly 56个单词"或"必须恰好分为5个段落"，LLM评判往往不够准确。这就好比让一个不太会数数的人来检查你的作业是否恰好写了100个字。

研究团队还注意到，当前的多模态指令遵循基准测试存在明显的性能饱和问题。几乎所有模型的得分都超过了80%，这种情况就像考试题目太简单，所有学生都能考高分，根本无法区分真正的学习水平差异。这种饱和现象表明现有基准缺乏足够的挑战性，无法准确评估模型在复杂、多约束条件下的真实表现能力。

二、创新解决方案：MM-IFEngine系统架构

面对这些挑战，研究团队设计了MM-IFEngine系统，这个系统就像一个精密的内容生产工厂，能够自动化生成大量高质量的图片-指令配对数据。整个系统的工作流程分为三个精心设计的阶段，每个阶段都有其独特的作用和价值。

第一个阶段是图片筛选，研究团队就像挑选食材的大厨一样，从海量图片中精心挑选出那些内容丰富、语义清晰的高质量图片。他们使用IC9600和RAM指标来评估图片的语义丰富度，同时过滤掉那些分辨率过低或内容单调的图片。这个过程确保了后续生成的指令能够基于足够丰富的视觉内容，就像好的食材是制作美味佳肴的基础一样。

第二个阶段是任务生成，这个阶段的工作方式根据图片来源的不同而有所区别。对于那些没有原始问答对的纯图片数据集（比如CC3M），系统会从预定义的16种任务类型中随机选择几种作为示例，然后让强大的语言模型GPT-4o为每张图片生成合适的任务指令。这些任务涵盖了描述性分析、情感表达、创意写作、社交媒体内容和角色扮演等五大类别，确保生成的任务具有足够的多样性和实用性。

对于那些已经包含问答对的数据集（比如ALLaVA），系统采用了更加精细的处理策略。研究团队首先对原始问题进行仔细分析，过滤掉那些包含少样本示例或选择题形式的问题，因为这些问题格式不适合添加复杂约束条件。他们使用正则表达式和长度限制来筛选问题，确保最终保留的问题都适合进行约束集成。

第三个阶段是约束集成，这是整个系统最核心的创新部分。研究团队构建了一个包含32种不同约束类型的丰富约束池，这些约束被归类为六大主要类别：文本长度要求、数学要求、语言格式要求、修辞逻辑要求、行为要求和关键词要求。每个类别下又细分为多个具体的约束子类型，形成了一个层次化的约束分类体系。

约束集成的过程并不是简单的随机组合，而是采用了智能化的方法。系统会使用LLM来为特定的约束类型生成具体的约束内容，同时确保生成的约束与任务指令之间保持良好的兼容性。为了避免约束之间的冲突，系统还设计了质量控制检查机制，能够自动识别和过滤掉那些相互矛盾或与任务指令不兼容的约束组合。

通过这个三阶段的流程，MM-IFEngine能够生成大量高质量、多样化的训练数据。研究团队使用这个系统构建了MM-IFInstruct-23k数据集，包含23,000个高质量的多模态指令遵循训练样本。这些样本来自多个不同的数据源：16,000个来自CC3M，6,000个来自ALLaVA，4,000个来自MultiUI、Geo170k和ChartQA等专业数据集。

为了进一步提升训练效果，研究团队还创建了MM-IFDPO-23k偏好优化数据集。这个数据集采用了创新的负样本生成策略，通过四种不同的设置来生成拒绝样本：保留图片但随机移除三分之一约束、保留图片但随机移除三分之二约束、保留图片但移除所有约束，以及保留完整指令但移除图片。这种多样化的负样本生成方法能够帮助模型更好地理解约束的重要性，从而在直接偏好优化（DPO）训练中取得更好的效果。

三、评测基准：MM-IFEval的创新设计

为了准确评估多模态指令遵循能力，研究团队开发了MM-IFEval基准测试，这个基准就像为AI设计的"综合能力考试"，能够全面检验AI在复杂多约束环境下的表现。

MM-IFEval包含400个精心设计的测试问题，这些问题被分为两大类型：300个组合级（Compose-Level）问题和100个感知级（Perception-Level）问题。组合级问题主要测试AI对输出格式、内容结构等方面的约束遵循能力，而感知级问题则更加注重AI对图片中特定视觉元素的理解和推理能力。

与现有基准相比，MM-IFEval在约束多样性方面实现了显著突破。该基准包含32种不同的约束类别，平均每个问题包含5.1个约束条件，这与之前基准的8个类别和平均2.6个约束形成鲜明对比。这种高复杂度的设计使得即使是最先进的模型也面临巨大挑战，GPT-4o在该基准上的得分仅为64.6%，而开源模型Qwen2-VL-72B的得分为50.8%，这表明该基准具有足够的区分度和挑战性。

MM-IFEval的另一个重要创新是其混合评估策略，这个策略就像组建了一支专业的评审团队，每个成员都有自己的专长领域。整个评估体系包含三种不同的评估方法，每种方法都针对特定类型的约束进行优化。

第一种是基于规则的验证方法，这种方法专门处理那些可以通过程序化方式精确检验的约束。比如检查回答是否恰好包含200个单词，或者是否严格按照JSON格式输出，这些都可以通过编写特定的验证函数来自动完成。研究团队为10种不同的约束子类别开发了专门的验证函数，这些函数能够提供比人工判断更加准确和一致的评估结果。

第二种是LLM直接判断方法，这种方法主要用于评估那些相对容易判断但无法通过固定规则验证的约束。比如检查回答中是否包含特定的词汇或短语，或者是否采用了指定的叙述视角，这些约束虽然没有严格的格式要求，但LLM能够通过语义理解来准确判断是否满足要求。

第三种是LLM比较判断方法，这是最具创新性的评估方法，专门针对那些难以直接评估的主观性约束。对于涉及语调、风格或角色扮演的约束，系统会生成两个版本的回答：一个包含目标约束，另一个不包含该约束。然后让LLM比较这两个回答，判断哪个更好地体现了指定的约束要求。这种比较方法能够显著提高对主观性约束的评估准确性。

感知级问题的设计特别注重图片内容与约束条件之间的强关联性。这些问题涵盖了13个不同的图片类别，包括网页界面、图表数据、海报设计、视觉差异识别等多种类型。每个类别都有其独特的挑战性，比如网页界面问题需要AI准确理解界面元素的功能和布局，图表数据问题需要AI能够从可视化数据中提取准确信息，而视觉差异问题则测试AI的细致观察和比较能力。

四、实验结果：显著的性能提升

研究团队进行了全面的实验验证，结果显示MM-IFEngine生成的训练数据能够显著提升模型的指令遵循能力。实验涵盖了两个代表性的多模态大语言模型：Qwen2-VL-7B-Instruct和LLaVA-Next-Llama3-8B，这两个模型在实验前后的表现差异清晰地展示了训练数据的有效性。

在MM-IFEval基准测试中，使用MM-IFInstruct-23k进行监督微调后，LLaVA-Next-Llama3-8B的平均得分从39.7%提升到49.2%，提升幅度达到9.5个百分点。而Qwen2-VL-7B-Instruct的表现更加亮眼，从42.0%提升到52.3%，提升幅度达到10.3个百分点。当使用MM-IFDPO-23k进行直接偏好优化训练后，效果提升更加显著，LLaVA-Next模型的得分提升到49.3%，Qwen2-VL模型则达到52.2%。

值得特别关注的是，DPO训练方法在多个基准测试中都显示出了优于传统监督微调的效果。在MIA-Bench测试中，经过DPO训练的LLaVA-Next模型得分从83.3%提升到90.0%，提升了6.7个百分点。在IFEval测试中，该模型的得分更是从50.7%大幅提升到69.1%，提升幅度达到18.4个百分点。这些结果表明，负样本对比学习对于训练模型遵循复杂约束具有特别重要的作用。

为了验证训练不会影响模型的其他能力，研究团队还在多个传统的视觉问答基准上进行了测试。结果显示，经过指令遵循训练的模型在MMMU、MMBench、MMStar等通用知识测试中保持了相当的性能水平，在某些测试中甚至略有提升。这说明专门的指令遵循训练不会损害模型的原有能力，反而可能通过提升模型的理解能力带来额外收益。

在MM-IFEval基准的排行榜中，最先进的专有模型GPT-4o获得了64.6%的得分，Claude-3.5V-Sonnet获得了61.7%的得分，这表明即使是最强大的商业模型在复杂指令遵循任务上仍有很大提升空间。开源模型中表现最好的是Qwen2-VL-72B，得分为50.8%，而经过MM-IFDPO-23k训练的Qwen2-VL-7B模型得分达到52.2%，甚至超过了参数规模大十倍的基础模型，这充分证明了高质量训练数据的重要性。

研究团队还进行了详细的消融实验，探索不同负样本生成策略对DPO训练效果的影响。实验结果显示，移除100%约束条件生成的负样本能够带来最好的训练效果，这种策略在所有测试基准上都取得了最高分数。移除66%约束条件和移除33%约束条件的策略效果依次递减，而完全移除图片输入的策略效果最差。这个发现揭示了一个重要规律：约束条件的移除比例越高，正负样本之间的语义差距越大，从而能够为对比学习提供更强的信号。

感知级和组合级问题的分析结果也很有启发性。在感知级问题上，所有模型的表现都明显低于组合级问题，这说明将复杂约束与视觉理解相结合确实是一个更具挑战性的任务。即使是最强的模型在感知级问题上的得分也只有44%左右，这为未来的研究指明了重点方向。

五、技术创新与应用前景

MM-IFEngine系统的技术创新不仅仅体现在数据生成的自动化上，更重要的是它建立了一套完整的多模态指令遵循能力培养体系。这个体系的设计理念借鉴了人类学习复杂技能的过程，通过大量多样化的练习来培养AI的"听话"能力。

约束分类体系的设计特别值得关注。研究团队将现实世界中可能遇到的各种指令要求进行了系统化的归纳和分类，形成了一个层次化的约束taxonomy。这个分类体系不仅覆盖了文本长度、格式要求等基础约束，还包括了语调模拟、角色扮演等高级约束，甚至考虑到了数学精度、科学计数法等专业领域的特殊要求。

在约束集成的过程中，系统采用了智能化的兼容性检查机制。这个机制能够自动识别约束之间的潜在冲突，比如同时要求"使用第一人称"和"保持客观中立的语调"这样的矛盾要求。通过LLM的语义理解能力，系统能够在约束组合阶段就过滤掉这些不合理的组合，确保生成的训练数据质量。

混合评估策略的设计也体现了深刻的技术洞察。研究团队认识到，不同类型的约束需要不同的评估方法，强行使用统一的评估标准可能导致评估结果的不准确。基于规则的验证方法确保了客观约束评估的精确性，LLM判断方法提供了语义约束评估的灵活性，而比较判断方法则解决了主观约束评估的难题。

从应用前景来看，这项研究成果有望在多个领域产生重要影响。在内容创作领域，经过训练的AI能够更好地理解创作者的具体要求，比如"写一篇800字的产品介绍，语调要专业但不失亲切，必须包含三个具体的使用场景"。在教育领域，AI家教能够更准确地按照老师的教学要求来设计作业和练习，比如"设计5道数学题，难度递增，每题都要包含实际生活场景"。

在企业应用中，这种能力的提升意义更加显著。AI助手能够更好地理解和执行复杂的工作指令，比如"分析这份销售报告，用图表形式展示三个关键趋势，每个趋势用不超过50字解释，最后提出两个具体的改进建议"。这种精确的指令遵循能力将大大提高AI在实际工作中的实用性和可靠性。

从技术发展的角度看，这项研究开启了多模态AI能力评估的新方向。传统的评估方法主要关注AI回答的准确性，而忽略了AI是否能够按照用户的具体要求来组织和呈现答案。MM-IFEval基准的提出填补了这个评估空白，为后续的模型发展提供了明确的目标和衡量标准。

研究团队还特别注重开源精神，他们将完整的数据集、评估代码和训练脚本都进行了开源发布。这种做法不仅有利于学术界的重现和验证，更重要的是为整个社区提供了宝贵的资源和工具。其他研究团队可以基于这些开源资源来开发更先进的指令遵循模型，或者针对特定领域的需求来定制化改进现有方法。

六、挑战与局限性分析

尽管这项研究取得了显著成果，但研究团队也坦诚地指出了当前方法的一些局限性和面临的挑战。这种客观的态度体现了严谨的科学精神，也为未来的改进指明了方向。

首先是数据生成的质量控制问题。虽然MM-IFEngine能够自动生成大量训练数据，但要确保每个生成样本的质量仍然是一个挑战。研究团队采用了80%的准确率阈值作为质量标准，这意味着仍有20%的数据可能存在质量问题。虽然这个比例在大规模数据生成中是可以接受的，但如何进一步提高数据质量仍然是一个需要持续关注的问题。

约束兼容性检查虽然能够过滤掉明显的冲突，但对于一些微妙的不兼容情况可能仍然无法完全识别。比如要求"保持学术严谨性"和"使用幽默风趣的语调"这样的约束，虽然不是完全冲突，但在实际执行中可能会产生矛盾。这种边界情况的处理需要更加精细的设计和更强的语义理解能力。

评估方法的准确性也存在提升空间。虽然混合评估策略比单一评估方法更加准确，但LLM作为评判者仍然可能存在一定的偏见和不一致性。特别是在比较判断方法中，LLM的评判标准可能会受到训练数据和模型偏见的影响，这可能会对最终的评估结果产生系统性影响。

从更广泛的角度来看，当前的研究主要集中在英语环境下的指令遵循，对于其他语言的适用性还需要进一步验证。不同语言的表达习惯和约束形式可能存在显著差异，这就需要针对不同语言特点来调整约束设计和评估方法。

另一个重要的挑战是计算资源的需求。高质量的指令遵循训练需要大量的计算资源，特别是DPO训练方法需要生成和比较大量的样本对。这可能会限制该方法在资源受限环境下的应用，也会影响中小型研究团队的参与度。

从实际应用的角度看，用户指令的多样性和复杂性远远超出了当前基准测试的覆盖范围。现实世界中的指令往往更加随意、模糊，包含大量隐含信息和上下文依赖。如何让AI在这种开放环境下仍然能够准确理解和执行指令，仍然是一个巨大的挑战。

伦理和安全方面的考虑也不容忽视。强化的指令遵循能力可能会让AI更容易被恶意指令所利用，比如生成有害内容或进行误导性宣传。如何在提升指令遵循能力的同时保持适当的安全边界，是未来发展中必须认真考虑的问题。

七、未来发展方向

基于当前的研究成果和存在的局限性，研究团队和更广泛的学术界可以在多个方向上继续深入探索，推动多模态指令遵循技术的进一步发展。

在数据质量提升方面，未来的工作可以探索更加智能的质量控制机制。比如开发专门的质量评估模型，能够自动识别和过滤低质量的生成样本。另外，可以引入人工验证环节，对关键样本进行人工审核，建立更加可靠的质量标准。多轮迭代生成也是一个有前景的方向，通过多次优化来逐步提升样本质量。

约束设计的丰富化是另一个重要方向。当前的32种约束类型虽然已经相当全面，但仍然可以进一步扩展。比如可以添加更多领域特定的约束，如法律文书的格式要求、医学报告的规范性要求等。跨模态约束的设计也很有价值，比如要求AI的回答与图片中的色彩风格保持一致，或者根据图片内容选择合适的情感表达方式。

在评估方法的改进上，可以探索更加客观和一致的评估标准。比如开发专门的约束评估模型，这些模型专门训练来判断特定类型的约束是否得到满足。多评估者一致性检查也是一个重要方向，通过多个独立的评估者来提高评估结果的可靠性。

模型架构的优化也有很大潜力。当前的方法主要依赖于后训练的微调，但如果能在模型的预训练阶段就引入指令遵循的意识，可能会取得更好的效果。多任务学习框架也值得探索，让模型在学习指令遵循的同时保持甚至提升其他能力。

个性化指令遵循是一个极具应用价值的研究方向。不同用户的指令习惯和偏好可能存在显著差异，如果AI能够学习和适应个人的指令风格，将大大提升用户体验。这需要开发用户画像技术和个性化适应算法。

跨语言和跨文化的指令遵循研究也亟待开展。不同语言和文化背景下的指令表达方式、约束类型和评估标准都可能存在差异。开发多语言的指令遵循基准和训练数据，对于技术的全球化应用具有重要意义。

在实际应用的场景化方面，可以针对特定领域开发专门的指令遵循系统。比如教育领域的AI家教、医疗领域的AI助手、法律领域的AI顾问等，每个领域都有其独特的指令遵循需求和挑战。

长期来看，指令遵循能力的提升还需要与其他AI能力的发展相结合。比如与推理能力结合，让AI能够理解复杂的多步骤指令；与创造性结合，让AI在遵循约束的同时保持创新性；与情感智能结合，让AI能够理解和响应情感性的指令要求。

说到底，这项研究虽然取得了重要突破，但也只是在多模态AI发展道路上迈出的重要一步。让AI真正像人类一样理解和执行复杂指令，仍然需要整个学术界和产业界的持续努力。不过，随着越来越多像MM-IFEngine这样的创新系统的出现，我们有理由相信，AI的"听话"能力将会越来越强，最终能够成为人类真正可靠的智能助手。研究团队的开源精神和严谨态度为后续研究奠定了良好基础，相信会有更多优秀的研究成果在此基础上涌现出来。

Q&A

Q1：MM-IFEngine是什么？它解决了什么问题？ A：MM-IFEngine是上海AI实验室开发的多模态指令遵循训练系统。它解决了当前AI模型虽然能回答图片相关问题，但无法精确按照用户复杂要求（如字数限制、格式要求、语调要求等）来组织答案的问题。就像AI能做数学题但不会按老师的具体要求来写作业一样。

Q2：MM-IFEval基准测试有什么特点？为什么很有挑战性？ A：MM-IFEval包含400个测试问题，涵盖32种约束类型，平均每题5.1个约束条件，远超现有基准的复杂度。即使GPT-4o也只能达到64.6%的分数。它的挑战性在于需要AI同时满足多个复杂约束，比如"用200字写诗歌形式的总结，要用第二人称，不能提及颜色"这样的复合要求。

Q3：这项研究对普通用户有什么实际意义？ A：这项研究让AI更"听话"，能准确理解和执行复杂指令。未来当你要求AI"写个500字的产品介绍，语调专业但亲切，包含三个使用场景，格式要分段"时，AI就能完全按你的要求来完成，而不是只回答大概内容却忽略具体要求。这将大大提升AI在工作、学习、创作等场景中的实用性。