香港大学团队让AI模型自学表格识别，无需人工标注也能超越最强AI

表格识别这个任务对于我们普通人来说可能有些陌生，但实际上它在我们的数字生活中无处不在。当你用手机扫描一张包含表格的文档，或者当企业需要将大量纸质报表转化为可编辑的电子表格时，背后都依靠着表格识别技术。这项由香港大学、上海AI实验室、北京大学等多个机构联合开展的研究发表于2025年12月，论文编号为arXiv:2512.01248v1。研究团队开发了一个名为TRivia的全新框架，让AI模型能够在没有任何人工标注的情况下，仅从野外收集的表格图片中自主学习如何识别表格。

这就像是教一个孩子学认字，传统方法需要老师指着每个字告诉孩子这是什么字，而TRivia就像是让孩子通过看大量的书籍，自己琢磨出字的含义，最终甚至比接受传统教学的孩子认字更准确。研究团队基于这个框架训练出的TRivia-3B模型，在多个标准测试中都超越了现有的最强表格识别系统，包括谷歌的Gemini 2.5 Pro和其他知名AI模型。更重要的是，这个模型体积相对较小，只有30亿参数，可以在普通设备上运行，特别适合需要保护数据隐私的场景。

一、传统表格识别的困境就像手工制作与工厂生产的差异

要理解这项研究的重要性，我们先来看看传统表格识别面临的问题。目前的AI模型要学会识别表格，就像学徒学手艺一样，需要师傅手把手地教。具体来说，就是需要大量已经标注好的训练数据——每张表格图片都要有专业人员仔细标记出表格的结构和内容，告诉AI这里是表头，那里是数据行，这个单元格属于哪一行哪一列。

这种传统的训练方式面临三个核心困境。首先是成本问题，就像手工制作产品一样昂贵。每标注一张表格图片，专业人员需要花费大量时间仔细分析表格结构，这个过程既耗时又容易出错。其次是规模限制，即使投入大量人力，能够标注的数据量也是有限的，远远无法满足训练高性能AI模型的需求。最后是天花板效应，即使是最大规模的开源努力，比如MinerU2.5项目，尽管使用了数百万样本和昂贵的人工标注，其性能仍然被训练数据的质量所限制。

这种情况就像是一个工厂，无论怎么扩大生产规模，如果原材料的质量有限，最终产品的质量也会受到制约。而且，那些表现最好的商业模型，比如Gemini 2.5 Pro，虽然性能卓越，但只能通过商业API访问，这就像是只能租用而无法拥有的高级设备，在涉及敏感文档的场景中存在隐私和合规风险。

二、TRivia的突破性思路如同让AI成为自学成才的专家

面对传统方法的局限，研究团队提出了一个革命性的想法：能不能让AI模型像人类专家一样，通过大量实践和反思来自主学习表格识别技能？这就是TRivia框架的核心思想。TRivia这个名字来自"Table Recognition via self-supervised learning"的缩写，直译过来就是"通过自监督学习进行表格识别"。

这个方法的巧妙之处在于，它不再依赖人工标注的"标准答案"，而是设计了一套自我验证的学习机制。就像一个学生通过做练习题来检验自己的学习效果一样，TRivia让AI模型通过回答关于表格的问题来验证自己的识别结果是否正确。如果模型能够根据自己识别出的表格结构准确回答问题，说明识别是成功的；如果回答错误，说明识别有问题，需要改进。

整个框架建立在一个简单而深刻的洞察之上：如果一个AI模型能够正确理解表格的结构和内容，那么它就应该能够回答关于这个表格的各种问题。这种"理解即能力"的验证方式，避免了对人工标注的依赖，同时提供了丰富而可靠的学习信号。

TRivia采用了一种叫做"群体相对策略优化"的强化学习技术。这听起来很复杂，但实际上就像是让多个学生同时解答同一道题，然后通过比较他们答案的差异来判断哪个学生掌握得更好。对于那些让模型产生分歧较大答案的表格图片，TRivia认为这些样本更有学习价值，因为它们能够更好地帮助模型区分正确和错误的识别方法。

三、智能数据筛选机制确保学习效率最大化

在TRivia的学习过程中，并不是所有的无标注表格图片都具有同等的学习价值。这就像学习任何技能一样，选择合适难度的练习材料至关重要。太简单的材料无法提升水平，太困难的材料可能导致挫败感和错误学习。因此，研究团队设计了一套精巧的数据筛选机制，确保AI模型能够从最有价值的样本中学习。

这套机制的核心是"响应一致性采样"策略。具体操作是这样的：对于每张表格图片，研究团队让当前的AI模型生成多个不同的识别结果，然后计算这些结果之间的相似度。如果模型对某张表格的多次识别结果差异很大，说明这张表格对模型来说是有挑战性的，蕴含着丰富的学习信息。相反，如果模型对某张表格的识别结果高度一致，说明模型已经能够很好地处理这类表格，继续用它训练的收益就不大了。

这种方法的巧妙之处在于，它不需要人工判断哪些样本更有价值，而是通过模型自身的表现来自动识别学习的重点。这就像一个经验丰富的教练，能够根据学生的表现自动调整训练内容，专注于学生最需要提升的方面。

通过这种筛选机制，研究团队从最初收集的10万张表格图片中选出了约5万张最有学习价值的图片。这种精准筛选不仅提高了学习效率，还确保了训练资源的最优配置。

四、基于注意力机制的问答生成让学习更加全面深入

有了高质量的学习样本，下一个关键问题是如何为每张表格图片生成有效的问答对。这些问答对就像是检验学习效果的考试题目，必须既能全面覆盖表格的各个部分，又要确保答案的准确性。

研究团队发现，简单地让AI模型随意生成问答对存在明显的局限性。单次生成往往只能覆盖表格的部分内容，而多次生成又容易产生大量重复或相似的问题。这就像出考试题时，如果不精心设计，要么题目覆盖面不够，要么重复性太高，都无法有效检验学生的真实水平。

为了解决这个问题，研究团队巧妙地利用了视觉语言模型的注意力机制。当AI模型回答关于表格的问题时，它的注意力会自然地聚焦在表格中与答案相关的区域。通过分析这些注意力分布，研究团队能够确定每个问答对实际关注的表格区域，从而确保生成的问题集合能够均匀覆盖整个表格。

这个过程包含三个精心设计的步骤。首先是候选问答池的构建，通过多次提示生成大量可能的问答对。接着是有效性交叉检验，使用额外的AI模型验证每个问答对是否确实需要依赖表格内容才能回答，从而排除那些不依赖视觉信息的问题。最后是基于注意力的筛选，确保选出的问答对能够覆盖表格的不同区域，避免学习信号的冗余。

通过这种精心设计的问答生成机制，每张表格图片平均能够产生约28个高质量的问答对，这些问答对既保证了学习信号的丰富性，又确保了验证过程的可靠性。

五、TRivia-3B模型的三阶段训练展现卓越性能

基于TRivia框架，研究团队开发了TRivia-3B模型，这是一个参数量为30亿的表格识别专用AI模型。该模型的训练采用了精心设计的三阶段策略，每个阶段都有其特定的目标和作用。

第一阶段是OTSL标签预热训练。OTSL是一种比HTML更简洁的表格表示格式，它通过编码邻接关系而不是显式预测跨行跨列属性来表示合并单元格，大大减少了标记长度并简化了结构预测。在这个阶段，研究团队使用大规模开源数据集训练模型，让它熟悉OTSL语法和结构。这就像学习一门新语言的基础语法阶段，为后续的复杂应用奠定基础。

第二阶段是监督精调训练。在这个阶段，研究团队使用约5万张真实世界的表格图片对模型进行微调，提升其在真实场景下的鲁棒性和泛化能力。这个阶段相当于从理论学习转向实践应用，让模型适应真实世界中表格的多样性和复杂性。

第三阶段是TRivia自监督强化训练。这是整个框架的核心阶段，模型通过前面描述的问答机制在无标注数据上进行自我改进。在这个阶段，模型就像一个不断自我反思和改进的学者，通过处理越来越多的实际案例来提升自己的专业水平。

经过这三个阶段的训练，TRivia-3B模型在多个标准测试集上都表现出了卓越的性能。在OmniDocBench、CC-OCR和OCRBench v2这三个广泛采用的表格识别测试集上，TRivia-3B的平均TEDS得分达到了89.88分，超越了包括Gemini 2.5 Pro在内的众多强大基准模型。

六、深度实验分析揭示各组件的关键作用

为了深入理解TRivia框架各个组件的作用，研究团队进行了全面的消融实验，这些实验就像是拆解一台精密机器来研究每个零件的功能。

关于表格问答驱动的监督信号，实验结果证明了这种方法相比直接使用伪标签的优越性。当研究团队尝试直接使用教师模型生成的HTML标签进行训练时，发现这些不完美的标签实际上会损害模型性能。监督微调导致平均TEDS下降8.37分，强化学习略有改善但仍然下降4.92分。相比之下，TRivia的问答机制成功避免了这种偏差，实现了性能的显著提升。

注意力引导的问答生成机制同样被证明是至关重要的。当移除这个机制时，模型在处理结构复杂或视觉模糊的表格时表现明显下降。这说明多样化的学习信号对于模型性能的重要性，就像全面的练习对于技能掌握的重要性一样。

响应一致性采样策略也显示出了显著的效果。与随机采样相比，这种策略加速了收敛过程，并将TEDS得分从52.0提升到63.5。这证明了智能样本选择对于学习效率的重要作用。

非法样本过滤机制在稳定训练过程中发挥了关键作用。当模型生成无效响应时，如果不进行过滤，会人为压缩奖励分布并破坏强化学习的稳定性。实验显示，这种过滤机制将收敛步数减少了约25%，并提升了最终性能3个TEDS点。

七、TRivia作为数据标注器展现广泛应用潜力

除了直接的表格识别性能提升，TRivia还展现了作为自动化数据标注系统的巨大潜力。这种能力对于扩展表格识别技术的应用范围具有重要意义。

研究团队使用TRivia-3B为一组未在训练中见过的表格图片生成伪标签，然后用这些标签训练另一个模型。结果显示，使用TRivia生成标签训练的模型几乎达到了与TRivia-3B相同的性能水平，这证明了TRivia生成标签的高质量。特别值得注意的是，在挑战性的CC-OCR基准测试中，蒸馏模型甚至略微超越了TRivia-3B本身。

这种能力的意义在于，TRivia可以作为一个可扩展、全自动的标注系统，为构建高质量表格识别数据集提供了一种新的范式。与依赖人工标注或昂贵的专有模型蒸馏相比，TRivia提供了一种动态适应数据集特征的标注方案。

这就像是从手工作坊模式转向了自动化生产线，不仅大大提高了效率，还确保了产品质量的一致性。对于那些需要在特定领域或特定类型表格上训练专用模型的应用场景，TRivia提供了一种既经济又高效的解决方案。

八、技术创新与未来展望彰显研究价值

TRivia框架的成功不仅在于其直接的性能提升，更在于它代表的技术创新方向。这项研究首次证明了在表格识别这样的复杂视觉理解任务中，自监督学习可以超越传统的监督学习方法。

从技术角度来看，TRivia的创新主要体现在三个方面。第一是问答驱动的代理任务设计，巧妙地将表格理解能力转化为可验证的问答能力。第二是基于注意力机制的智能数据策展，确保学习信号的多样性和有效性。第三是响应一致性采样策略，自动识别最有学习价值的样本。

这些创新不仅适用于表格识别，还可能推广到其他需要结构化理解的视觉任务中。比如，在文档布局分析、图表理解、甚至更广泛的场景理解任务中，都可能借鉴TRivia的核心思想。

从实用角度来看，TRivia解决了表格识别技术推广应用中的一个关键障碍——对大规模标注数据的依赖。这使得中小型企业和研究机构也能够训练出高性能的表格识别模型，降低了技术应用的门槛。

研究团队已经承诺将TRivia的模型和代码完全开源，这将进一步推动整个领域的发展。开源不仅意味着技术的民主化，也为后续的改进和创新提供了基础。

总体而言，TRivia不仅是表格识别技术的一次重要突破，更是自监督学习在复杂视觉理解任务中应用的一个成功范例。它证明了在适当的框架设计下，AI系统可以通过自主学习达到甚至超越传统监督学习的效果。这种"无师自通"的能力，可能会在更多领域中得到应用，推动人工智能技术向更加自主和高效的方向发展。随着技术的不断完善和应用场景的扩展，TRivia框架有望成为下一代文档理解系统的重要基础，为数字化办公和智能文档处理带来革命性的改变。

Q&A

Q1：TRivia框架是如何让AI模型在没有人工标注的情况下学会表格识别的？

A：TRivia采用了一种巧妙的自我验证机制。它让AI模型通过回答关于表格的问题来检验自己的识别结果是否正确。如果模型能根据识别出的表格结构准确回答问题，说明识别成功；如果回答错误，说明需要改进。这种方法避免了对人工标注的依赖，让模型通过大量实践自主学习表格识别技能。

Q2：TRivia-3B模型的性能相比现有的表格识别系统有什么优势？

A：TRivia-3B在多个标准测试中都超越了现有的最强系统，包括谷歌的Gemini 2.5 Pro。在三个主要测试集上，TRivia-3B的平均TEDS得分达到89.88分，显著超越其他模型。更重要的是，它只有30亿参数，体积相对较小，可以在普通设备上运行，特别适合需要保护数据隐私的场景。

Q3：普通企业或个人用户能否使用TRivia技术来处理自己的表格识别需求？

A：可以的。研究团队已经承诺将TRivia的模型和代码完全开源，这意味着任何人都可以免费使用这项技术。由于模型体积相对较小，普通企业甚至个人用户都可以在自己的设备上部署和运行，无需依赖云服务，特别适合处理敏感文档时的隐私保护需求。