FinTagging: 金融信息提取与结构化的新基准测试，让大语言模型更懂财报数据

在2025年5月，由The Fin AI公司的研究团队与美国哥伦比亚大学、佐治亚理工学院和古斯塔夫阿道夫学院的学者合作，发布了一项名为"FinTagging"的研究，这项突破性工作发表在arXiv预印本平台（arXiv:2505.20650v1）。这个由Yan Wang、Yang Ren、Lingfei Qian等人领导的团队，专注于解决一个金融行业的关键挑战：如何让计算机准确理解财务报告中的数字含义。

想象一下，全球每年有超过200万家公司发布财务报告，每份报告平均包含2,000多个数字。仅在2023年，美国证券交易委员会（SEC）的33,000份文件中就发现了6,500多个标记错误。这些数字背后隐藏的含义至关重要，它们关系到投资决策、监管审查和市场分析。但问题在于，不同公司使用不同的术语描述相同的财务概念，这使得准确解读这些数据变得极其困难。

为了解决这个问题，1999年引入了一种叫做"可扩展商业报告语言"（XBRL）的全球标准，它就像是财务数据的通用翻译器。XBRL通过给每个数字添加标签，将分散的财务披露转化为统一格式，让计算机能够自动识别"这个数字是收入"、"那个数字是费用"。但这个标记过程仍然非常耗时且容易出错，因为标记者需要从10,000多个标准化概念中选择最适合的一个。

传统的自动化尝试需要大量人工标注数据，泛化能力差，且难以应对不断扩展的分类体系。近年来，大语言模型（LLM）在零样本和少样本推理方面展现出强大能力，但它们在XBRL标记任务上的表现尚未得到充分探索。

现有的金融标记基准测试存在两个主要局限性：一是过度简化任务，将标记视为平面多分类问题，缺乏足够上下文来区分细粒度的财务事实；二是忽略了表格数据，尽管表格在财务报告中占据核心地位。

为了解决这些问题，研究团队提出了FinTagging，这是第一个全面、表格感知的XBRL基准测试，专门用于评估大语言模型在结构化信息提取和语义对齐方面的能力。与以往的基准测试不同，FinTagging将XBRL标记问题分解为两个子任务：FinNI（金融数值识别）和FinCL（金融概念链接）。这种方法要求模型既能从非结构化文本和结构化表格中提取事实，又能将这些事实与完整的美国通用会计准则（US-GAAP）分类系统对齐。

研究团队在零样本设置下评估了一系列最先进的大语言模型，包括GPT-4o、DeepSeek-V3和Fino1-8B等。实验结果显示，虽然这些模型在信息提取方面表现出强大的泛化能力，但它们在细粒度概念对齐方面仍然存在困难，特别是在区分密切相关的分类条目时。这一发现突显了现有大语言模型在完全自动化XBRL标记方面的局限性，并强调了改进语义推理和模式感知建模的必要性。

这项研究的代码已在GitHub上公开，数据集也可在Hugging Face上获取，为研究人员和开发者提供了宝贵资源，以进一步推动金融自动化和数据标准化的发展。

让我们深入了解这项研究的方法和发现。

一、什么是XBRL标记，为什么它如此重要？

想象你需要比较两家公司的财务状况，一家使用"现金流"，另一家称之为"资金流动"，尽管它们实际上指的是同一件事。这种术语不一致使得比较变得像在比较苹果和橘子。XBRL标记就像是一种通用翻译器，将这些不同的表达方式转换为标准化的"标签"，使得计算机和人类都能进行一致的比较。

在实践中，XBRL标记是将财务报告中的每个数字与一个特定的概念标签关联起来的过程。例如，当标记"2024年12月31日，公司的额外实收资本为2,580,824美元"这一信息时，需要为数字"2,580,824"分配正确的标签，比如"us-gaap:AdditionalPaidInCapital"。

这项任务非常复杂，因为标记者必须从10,000多个可能的标签中选择最适合的一个，而且不同的数字需要不同类型的标签。例如，有些数字代表货币金额（monetaryItemType），有些表示百分比（percentItemType），还有一些表示每股数值（perShareItemType）或股份数量（sharesItemType）。

正确的XBRL标记对投资者、监管机构和分析师至关重要。它使他们能够自动提取和分析财务数据，发现趋势，比较不同公司，并做出更明智的决策。然而，手动标记过程耗时且容易出错。在2023年，美国证券交易委员会的33,000份文件中发现了6,500多个标记错误，这表明自动化解决方案的迫切需求。

二、FinTagging：一种全新的财务信息提取与结构化方法

传统的XBRL标记基准测试，如FiNER和FNXL，将任务简化为极端多分类问题：给定一个句子，直接预测其中每个数字对应的标签。这种方法有两个主要问题：一是它无法处理复杂的上下文关系，二是它通常只覆盖了一部分常用标签（如1k+），而非完整的US-GAAP分类系统（10k+）。更重要的是，这些基准测试完全忽略了表格数据，尽管表格在财务报告中占据核心地位。

研究团队提出的FinTagging基准测试采用了全新的方法，将标记任务分解为两个子任务：

1. 金融数值识别（FinNI）：这个任务需要模型从文本和表格中识别出所有财务数值，并为每个数值分配一个粗粒度的数据类型。想象这就像在杂乱的超市中找出所有食品并将它们分类为蔬菜、水果、肉类等大类。

2. 金融概念链接（FinCL）：这个任务更进一步，要求模型将每个已识别的数值与最合适的US-GAAP概念关联起来。这就像是在确定蔬菜类别后，进一步精确地识别这是西兰花、菠菜还是卷心菜。

通过这种分解，FinTagging能够实现两个目标：一是覆盖完整的US-GAAP分类系统（17,388个概念），二是避免单步分类的不可行性，使得对模型性能的评估更加细粒度。

研究团队在与金融报告专家合作的基础上，从30家上市公司的2024年年度10-K报告中收集了数据。这些报告包含约81,325个事实，其中69,451个链接到标准分类标签，11,874个链接到SEC扩展标签。通过BeautifulSoup工具解析这些报告，团队识别了76,835个叙述性句子（约1600万字符）和5,450个财务表格。

研究团队进一步注释了3,354个句子和3,245个表格序列，为FinNI-eval和FinCL-eval两个子任务数据集构建了基础。其中，FinNI-eval包含6,599个样本，平均输入令牌数为986.11；FinCL-eval包含52,572个查询-答案对，平均输入令牌数为61.11。这两个数据集都经过了专业注释，提供了金标准映射。

三、如何评估大语言模型在财务标记任务上的表现？

为了全面评估大语言模型在XBRL标记任务上的表现，研究团队设计了一个统一的评估框架。这个框架就像是一个标准化的考试，测试模型在事实提取和概念对齐两个方面的能力。

对于FinNI子任务，评估重点是模型能否准确识别财务数值及其类型。具体来说，评估使用了配对级指标（pair-level metrics），包括精确度（Precision）、召回率（Recall）和F1分数。这就像是评估一个学生在寻宝游戏中的表现：他找到了多少真宝藏（召回率），他标记为宝藏的物品中有多少确实是宝藏（精确度），以及这两者的平衡（F1）。

对于FinCL子任务，评估被重新构建为一个重排序问题。首先，系统使用文本嵌入模型为每个分类概念生成嵌入，然后基于语义相似性检索最相关的候选标签。大语言模型的任务是从这些候选项中选择最佳匹配的标签。这类似于一个多项选择题，而非开放式问题，使得评估更加实用和客观。

研究团队评估了三类模型：

1. 通用闭源大语言模型：包括GPT-4o。 2. 通用开源大语言模型：包括DeepSeek-V3、DeepSeek-R1-Distill-Qwen-32B、Qwen2.5系列（0.5B至14B）、Llama-3.2和3.1系列以及Gemma-2-27b-it。 3. 领域特定金融大语言模型：Fino1-8B。

此外，团队还将这些大语言模型与强大的预训练语言模型（PLM）基线进行了比较，包括BERT-large、FinBERT和SECBERT。

所有评估都在零样本设置下进行，意味着模型没有经过特定于任务的训练。输入长度标准化为FinNI任务2,048个令牌，FinCL任务4,096个令牌，生成限制为1,024个令牌，以支持推理密集型输出。

四、实验结果揭示了什么？

实验结果揭示了大语言模型在财务标记任务上的能力和局限。让我们分别看看总体表现和两个子任务的结果。

在总体表现方面，DeepSeek-V3和GPT-4o取得了最高的宏观F1分数（分别为0.0582和0.0508），超过了所有微调的预训练语言模型。这表明，在我们的任务设计下，大型语言模型能够有效处理频繁和罕见的财务标签，显示出强大的泛化能力。DeepSeek-R1-Distill-Qwen-32B也取得了不错的宏观F1（0.0266），这表明良好的架构和预训练可以帮助较小的模型在零样本设置下表现良好。

从微观层面来看，DeepSeek-V3再次表现强劲，微观F1为0.1132，排名第三，尽管没有微调。GPT-4o也表现不俗，得分为0.0860，优于大多数开源和特定领域模型。

在FinNI子任务上，较大的模型在识别数值实体和生成结构化输出方面表现更好，即使没有金融领域训练。DeepSeek-V3取得了最高的精确度和召回率，优于所有其他模型。相比之下，Qwen2.5-1.5B和-0.5B等较小模型的F1低于0.1，凸显了它们在零样本设置下的局限性。有趣的是，DeepSeek-R1-Distill-Qwen-32B显示出强大的精确度，这表明模型设计和蒸馏可以帮助减轻规模较小的影响。

然而，特定于金融领域的Fino1-8B模型，尽管在金融推理QA任务上进行了微调，但表现不具有竞争力。这表明，只有特定于任务的训练才能有效提高FinNI的表现；仅在金融语料库上预训练对于与任务不良对齐的情况提供的好处有限。

在FinCL子任务上，整体表现较低，凸显了金融领域细粒度概念链接的挑战。DeepSeek-V3取得了最高的准确率（0.1715），其次是GPT-4o，而所有其他模型的得分均低于0.11。即使是Qwen2.5-14B和Gemma-2-27B等大型开源模型也表现不佳，较小的模型表现接近随机。这反映了处理复杂分类系统和微妙金融语义的难度。

研究团队还进行了消融分析，将他们的基准测试与极端多分类设置进行了比较。结果显示，所有大语言模型在极端分类下完全失败，精确度、召回率和F1均为零，这证实了在几千个平面标签中进行单步选择对大语言模型评估来说不是一个有效协议。通过将提取与概念链接解耦，并覆盖完整的10k+分类系统，FinTagging产生了有意义的分数，因此为未来的模型改进提供了更现实的测试平台。

五、这项研究对金融行业和AI发展意味着什么？

这项研究对金融行业和AI发展有着深远的影响。首先，它提供了一个更加现实和全面的基准测试，用于评估大语言模型在金融信息提取和结构化方面的能力。这对于开发更精确的自动化XBRL标记系统至关重要，而这样的系统可以显著减少手动标记的错误和成本。

其次，研究结果表明，虽然大语言模型在信息提取方面表现出色，但它们在处理金融领域的细粒度语义对齐方面仍然面临挑战。这强调了专门为金融领域开发模型的必要性，特别是那些能够理解和处理复杂财务概念的模型。

第三，通过将标记任务分解为信息提取和概念链接两个子任务，这项研究提出了一种更有效的方法来处理XBRL标记。这种方法不仅适用于大语言模型，也可以应用于其他类型的模型和系统。

最后，这项研究为未来的研究和发展指明了方向。通过公开代码和数据集，研究团队鼓励更多研究人员和开发者参与到这一领域，共同推动金融自动化和数据标准化的发展。

这项研究也有一些局限性。研究团队尚未评估更广泛的模型，包括最近发布的GPT-4.1、LLaMA-4和Qwen-3。此外，虽然他们提供了详细的实验结果，但没有进行统计显著性测试。研究团队收集的用于微调预训练语言模型的数据集较小，也没有为大语言模型构建特定任务的训练数据。未来的工作可能会探索通过有针对性的微调来构建基于大语言模型的金融标记代理，以进一步提高性能。

六、总结与展望

FinTagging代表了金融信息提取和结构化领域的一次重要突破。通过将XBRL标记问题分解为金融数值识别和概念链接两个子任务，研究团队创建了一个更加现实和全面的基准测试，用于评估大语言模型在财务报告处理方面的能力。

实验结果表明，虽然顶级大语言模型如DeepSeek-V3和GPT-4o在信息提取方面表现出色，但它们在细粒度概念对齐方面仍然面临挑战。这强调了改进模型在金融领域的语义推理和模式感知建模的必要性。

随着金融行业越来越依赖自动化工具来处理大量数据，准确的XBRL标记变得尤为重要。FinTagging为开发更准确、更可靠的自动化标记系统铺平了道路，这将有助于减少错误，提高效率，并最终使投资者、监管机构和分析师能够做出更明智的决策。

未来的研究可能会探索更多先进模型的性能，进行更严格的统计分析，并开发特定于金融领域的训练方法，以进一步提高大语言模型在XBRL标记任务上的表现。随着这些技术的发展，我们可以期待金融报告的处理变得更加自动化、准确和有效。

FinTagging的代码已在GitHub上公开（https://github.com/The-FinAI/FinTagging），数据集也可在Hugging Face上获取（https://huggingface.co/collections/TheFinAI/fintagging-68270132372c6608ac069bef）。对这一领域感兴趣的研究人员和开发者可以利用这些资源，继续推动金融自动化和数据标准化的进步。