深度解读M?FinMeeting：探索多语言、多行业、多任务的金融会议理解评估数据集

当我们谈论人工智能在金融领域的应用时，大多数人可能会想到自动投资、风险评估或欺诈检测系统。然而，在金融世界的幕后，还有一个至关重要却容易被忽视的场景：金融会议。这些会议通常持续一到两小时，包含海量的信息交流，是金融决策和战略制定的关键环节。如何利用人工智能技术来理解和处理这些冗长的会议内容，一直是一个亟待解决的挑战。

2025年6月，由苏州大学计算机科学与技术学院的朱杰、李军辉，阿里云钱进团队的温亚龙、李贤东、郭力帆、陈锋等研究人员联合发表了一篇创新性论文《M?FinMeeting: A Multilingual, Multi-Sector, and Multi-Task Financial Meeting Understanding Evaluation Dataset》。这项研究首次推出了一个专为金融会议理解而设计的多语言、多行业、多任务评估数据集，为大型语言模型在金融会议场景下的应用提供了重要的评估基准。

让我们一起深入了解这个名为M?FinMeeting的数据集，看看它如何解决金融会议理解中的核心挑战，以及它对金融科技发展的深远影响。

一、为什么我们需要一个金融会议理解数据集？

想象一下，你是一位金融分析师，每周需要参加十几场长达两小时的投资会议、季度财报电话会或行业讨论会。会后，你需要整理会议要点、回答同事的问题，以及提取关键的问答内容用于后续分析。这些工作不仅耗时，还容易出现遗漏或误解。如果有一个人工智能助手能帮你自动总结会议内容，提取重要问答，并回答你的疑问，那将大大提高工作效率。

然而，现有的金融领域人工智能评估基准大多基于新闻文章、收益报告或公告，很少涉及真实的金融会议场景。比如，英文领域有FinQA、ConvFinQA、FLUE等数据集，中文领域有CFLUE和CCKS系列共享任务，但这些数据集大多来源于金融新闻和收益报告，缺乏真实金融会议的内容，而且通常只支持单一语言（英文或中文）。

金融会议与新闻报道或财报有着本质区别。会议是一个动态交互的过程，参与者之间的讨论、提问和回答构成了复杂的信息网络。会议内容往往冗长、非结构化，且充满了行业术语和专业知识。因此，理解和处理金融会议内容需要特殊的评估基准。

正是基于这一需求，研究团队开发了M?FinMeeting数据集，它具有三个关键特点：

首先，M?FinMeeting支持多语言，包括英语、中文和日语，这使得模型能够在不同语言环境下理解金融讨论。

其次，它涵盖全球行业分类标准(GICS)定义的所有11个行业部门，确保评估基准覆盖广泛的金融活动范围。

最后，M?FinMeeting包含三个任务：摘要生成、问答对提取和问题回答，这些任务贴近金融专业人士的实际需求，提供了更全面的理解能力评估。

二、M?FinMeeting数据集的构建与特点

M?FinMeeting数据集不是凭空想象出来的，而是基于数百个真实金融会议精心构建的。研究团队首先收集了大量金融会议的音频文件，包括公开路演、券商策略会议、行业交流会和财报说明会等各类会议。收集过程遵循四个标准：时效性（大多数会议应来自近年）、长度（优先选择较长的音频文件）、分类性（音频文件必须符合GICS中定义的类别）以及权威性（所有音频文件均来自研究团队的金融公司合作伙伴，受版权保护）。

收集到的音频文件使用Whisper自动语音识别工具转录为文本，然后经过人工校正。研究团队采取严格措施确保转录文本中不包含敏感或个人身份信息。最终，M?FinMeeting包含100个英语会议、400个中文会议和100个日语会议，每个会议平均持续一小时左右。

这个数据集的规模令人印象深刻。英文会议平均包含10,086个标记（token），中文会议平均11,740个标记，日语会议平均13,284个标记。考虑到金融会议通常持续一到两小时，这些长文本数据为评估大型语言模型处理长上下文的能力提供了理想的测试场景。

M?FinMeeting数据集还按照文本长度分为五组：0-5K标记、5-10K标记、10-15K标记、15-20K标记和20K标记以上。这种分组使研究者能够评估模型在不同长度文本上的表现差异。同时，数据集涵盖GICS定义的所有11个行业部门，包括通信服务、非必需消费品、必需消费品、能源、金融、医疗保健、工业、信息技术、材料、房地产和公用事业，确保评估的全面性和代表性。

三、M?FinMeeting的三大核心任务

M?FinMeeting设计了三个核心任务，这些任务都直接对应金融专业人士的日常工作需求：摘要生成、问答对提取和问题回答。

### 摘要生成任务

想象一下，一场持续两小时的投资策略会议结束后，你需要快速理解主要内容并向团队汇报。这时，一个能够自动生成会议摘要的工具将非常有价值。

摘要生成任务旨在评估大型语言模型有效压缩冗长演讲内容同时保留主要观点的能力。典型的转录文本可以根据讨论主题划分为多个部分，每个部分都有自己的摘要，这些部分摘要按顺序连接起来形成整个文档的摘要。

在这个任务中，大型语言模型需要隐式识别文档的不同部分，然后从每个部分提取关键点。根据统计，平均而言，一个英语会议包含9.20个部分摘要，总计927个标记。在标记级别上，原文与摘要的压缩比为10.88，在句子级别上为10.49。

### 问答对提取任务

在金融会议中，问答环节往往包含最有价值的信息。投资者可能会询问公司的战略方向、财务状况或市场预期，而管理层的回答提供了深入了解公司运营和前景的窗口。

问答对提取任务涉及从转录的金融会议中识别和提取相关的问答对。这对于分析讨论内容和使关键见解易于获取至关重要。要成功执行这项任务，大型语言模型必须识别会议中提出的各类问题，并准确定位其对应的答案。

例如，像"我们刚才在讨论什么？"这样缺乏实质性信息的问题应该被忽略。此外，参与者可能一次提出多个问题，而回答可能按顺序逐一解决这些问题。这种复杂性要求大型语言模型能够理解对话的结构，正确地将每个问题与其答案配对。

根据统计，英语会议平均包含17.23个问答对，每个问题平均长度为17.62个标记，每个答案平均长度为110.19个标记。

### 问题回答任务

问题回答任务评估大型语言模型定位知识的能力，这对于有效的长上下文处理至关重要。为简化起见，研究团队使用上述提取的问答对作为这项任务的基础。

正如前面提到的，转录的演讲文本可以划分为多个部分，问答任务测试大型语言模型在指定部分内查找证据的能力，而其他包含相似但不相关内容的部分则作为干扰。这种设置确保了对模型信息检索技能的集中评估。

四、实验评估：七种大型语言模型的表现

研究团队使用M?FinMeeting评估了七种具有代表性的大型语言模型，包括两种OpenAI的GPT模型和五种开源大型语言模型：

1. GPT-4o-2024-08-06-128K 2. GPT-3.5.turbo-0125-16K 3. GLM4-9B-Chat-1000K 4. Llama3.1-8b-Instruct-128K 5. Qwen2-7B-chat-128K 6. Qwen2-72B-Instruct-128K 7. Qwen2.5-72B-Instruct-128K

所有模型都支持M?FinMeeting中的语言。实验采用零样本设置，即不使用任何训练样本，直接测试模型的能力。

对于摘要生成任务，研究团队要求大型语言模型隐式识别文档部分并生成单独的摘要，然后将这些摘要组合成最终的文档摘要。对于问答对提取任务，首先提示大型语言模型提取所有问题，然后按顺序为每个问题提供答案。对于问题回答任务，研究团队将相关问题组合到一个提示中，允许大型语言模型生成包含所有答案的综合响应。

研究团队使用多种指标评估模型性能，包括精确度、召回率和F1分数。同时，他们使用GPT-4作为评判（GPT-4-Judge）来评估文档级摘要和生成的问答对，基于五个标准：覆盖率、冗余度、可读性、准确性和一致性，分数范围从0到100。为了验证评估的公正性，研究团队还使用Qwen-plus作为替代评判模型，并进行了人工评估。

实验结果显示，七种大型语言模型可分为三组：

第一组包括Qwen2.5-72B-Instruct、Qwen2-72B-Instruct和GPT-4o，它们的整体GPT-4-Judge分数接近或超过70.0。其中，Qwen2.5-72B-Instruct表现最佳，其次是GPT-4o和Qwen2-72B-Instruct，它们的表现相当。

第二组包括Qwen2-7B-Instruct和GLM4-9B-Chat，它们的分数约为60.0。

第三组包括GPT-3.5-turbo和LLaMA3.1-8B-Instruct，其中LLaMA3.1-8B-Instruct优于GPT-3.5-turbo。

在摘要生成任务中，所有模型的部分级别摘要的精确度、召回率和F1分数都低于30%，表明生成的摘要与参考摘要之间的一致性较低。这些低分数表明大型语言模型在语义准确性和文档分段方面都存在困难。

在问答对提取任务中，精确度、召回率和F1分数同样较低，表明生成的问题与参考问题之间的一致性较低。例如，即使是表现最好的Qwen2.5-72B-Instruct，其召回率也只有45.65%，这意味着它错过了一半以上的参考问题。这突显了提取相关问答对的任务还有很大的改进空间。

在问题回答任务中，所有大型语言模型的表现——由精确度、召回率、F1和GPT-4-Judge分数衡量——明显优于问答对提取任务。这种差异并不令人意外，因为在问题回答任务中，问题是在提示中明确提供的。高F1分数（超过90%）表明大多数大型语言模型能够很好地遵循指令并正确重复问题。

研究团队还分析了不同语言、不同行业部门和不同输入长度对模型性能的影响。他们发现，大多数模型在日语中表现最佳，但在中文或英语中没有明显优势。在行业部门方面，通信服务、非必需消费品和信息技术在摘要生成和问题回答任务中通常获得较高的GPT-4-Judge分数，但问答对提取任务的表现趋势更为复杂，各部门之间的差异更大。对于输入长度，一个关键观察是GPT-3.5-turbo的性能在输入超过15K标记时急剧下降，这是由于它的16K标记上下文限制。相比之下，Qwen2.5-72B-Instruct和GPT-4o在三个任务中展示了稳定且出色的性能，特别是在处理超过15K标记的较长上下文时表现卓越。

研究团队还探索了基于检索增强生成（RAG）的问题回答方法，其中大型语言模型基于检索的文档块单独回答问题。实验结果表明，对于超过15K标记的文档，在单个响应中回答所有问题（基线1）优于所有其他一次回答一个问题的变体。此外，对于在文档长度超过10K标记时一次回答一个问题的变体，研究团队发现较大的上下文会导致更好的性能，具体为：基线2 > RAG（前5） > RAG（前3） > RAG（前1）。值得注意的是，RAG（前5）仅在文档短于10K标记时优于非RAG变体。

五、研究的意义与影响

M?FinMeeting数据集的开发填补了金融领域人工智能评估基准的重要空白。与现有的基准相比，M?FinMeeting更接近真实世界的金融场景，能够更全面地评估大型语言模型在理解金融会议方面的能力。

这项研究的意义不仅限于学术层面。在实际应用中，一个能够有效理解金融会议的人工智能助手将极大地提高金融专业人士的工作效率。想象一下，投资分析师可以使用这样的助手自动总结冗长的季度财报电话会议，提取关键问答，并回答特定问题，从而节省大量时间并减少信息遗漏的风险。

此外，M?FinMeeting的多语言特性使其能够支持全球金融市场的应用。随着全球金融一体化的深入，跨语言理解变得越来越重要。一个能够同时处理英语、中文和日语金融会议的模型将为国际金融机构提供巨大价值。

然而，实验结果也揭示了当前大型语言模型在处理金融会议理解任务时的局限性。即使是最先进的长上下文模型，如Qwen2.5-72B-Instruct，在某些任务上的表现仍有显著提升空间。这表明金融会议理解仍然是一个具有挑战性的问题，需要进一步的研究和创新。

未来的研究可能会探索结构化建模方法，如朱杰等人在2019年提出的方法，以改进长输入上下文的处理。此外，针对金融领域的特定预训练和微调策略可能会进一步提高模型在M?FinMeeting任务上的表现。

六、结论与未来展望

M?FinMeeting作为一个多语言、多行业、多任务的金融会议理解评估数据集，为评估大型语言模型在金融领域的能力提供了宝贵的资源。它不仅弥补了现有金融评估基准的不足，还为未来的研究指明了方向。

实验结果表明，虽然当前最先进的大型语言模型在处理金融会议理解任务时取得了一定成功，但仍然面临挑战，特别是在摘要生成和问答对提取任务上。这些挑战为未来的研究提供了机会，推动金融领域人工智能技术的进一步发展。

随着大型语言模型技术的不断进步，我们可以期待未来会出现更强大的金融会议理解系统，这些系统将能够更准确地总结会议内容，提取关键问答，并回答特定问题。这将为金融专业人士提供强大的辅助工具，提高工作效率，并可能改变金融信息处理的方式。

M?FinMeeting数据集及其项目已在GitHub上公开发布（https://github.com/aliyun/qwen-dianjin），有兴趣的读者可以访问该链接获取更多信息和资源。