跨语言质量判断：基于语言模型的多语言预训练数据过滤方法

在人工智能领域，大型语言模型(LLMs)的预训练数据质量对模型性能至关重要。2025年5月，来自拉马尔研究所、弗劳恩霍夫IAIS、DFKI SAINT、黑森AI和达姆施塔特工业大学等机构的研究团队发表了一篇重要论文，提出了一种名为JQL(Judging Quality across Languages，发音为"Jackal")的创新方法，旨在高效筛选多语言预训练数据。这项研究已发表在arXiv上(arXiv:2505.22232v1)，感兴趣的读者可以前往查阅完整论文。

想象一下，你正在为一场国际美食节挑选食材。你需要确保来自世界各地的食材都达到最高品质，但你既不懂所有的语言，也没有时间亲自检查每一件食材。这就是大型语言模型训练者面临的挑战——如何从海量的多语言网络文本中筛选出最优质的内容？

研究团队指出，高质量的多语言训练数据对于有效预训练大型语言模型至关重要，但目前市面上适合的开源多语言数据集仍然有限。现有的最先进数据集主要依赖启发式过滤方法，这限制了它们的跨语言迁移能力和可扩展性。就像用一把只适合挑选苹果的工具去挑选全球各种水果一样，这些方法在处理多语言数据时显得力不从心。

JQL方法的核心思想是将大型语言模型的评判能力"提炼"到轻量级的评估器中，这些评估器基于预训练的多语言嵌入模型构建。想象成把专业品鉴师的技能传授给许多轻便的自动检测设备，这些设备可以快速、准确地评估各种语言的食材质量。这些模型展现出强大的多语言和跨语言性能，即使是在训练过程中未见过的语言和文字系统也能表现出色。

研究团队在35种语言上进行了实证评估，结果表明，由此产生的注释管道大大优于当前的启发式过滤方法，如Fineweb2。JQL明显提高了下游模型训练质量，并增加了数据保留率。简单来说，这种方法不仅能找出更优质的训练材料，还能保留更多有用的内容，不会过度删减。

让我们深入了解JQL是如何工作的，以及它为什么能在多语言数据筛选领域带来突破性进展。

一、JQL工作流程：四步打造高质量多语言数据

JQL方法由四个主要阶段组成，就像一条精心设计的生产线，每个阶段都有其特定的目标和贡献。

首先，研究团队需要创建可靠的多语言评估标准。他们让人类标注者根据教育价值对英语文档进行评分，使用0到5的等级，其中0表示最低教育价值，5表示最高。这就像请专业美食评论家对食材的新鲜度和品质进行评分。然后，他们将这些文档翻译成所有目标语言，构建了一个多语言真实标注数据集。这个阶段的关键问题是：如何获得可靠的多语言基准数据？

研究团队招募了15名不同背景的标注者，包括计算机科学、英语研究、物理学和数学领域的专家。每个文档由三名独立标注者评分，通过多数投票或平均值（当没有明确多数时）合并这些评分。为确保标注质量和一致性，团队使用了Fineweb-Edu中定义的教育提示作为标注指南，并进行了专门的标注者培训。最终，他们创建了一个包含511个手动标注文档的数据集，并将其翻译成35种欧洲语言，形成了研究的基础数据集。

在第二阶段，研究团队评估了不同大型语言模型作为"评判者"的能力，以找出最适合多语言文档质量评估的模型。他们测试了从Gemma-2-27B-it到Qwen-2.5-7B-it等多种模型，最终选出了Gemma-3-27B-it、Mistral-3.1-24B-it和LLaMA-3.3-70B-it这三个表现最佳的模型。这些模型能够理解多种语言的文档内容，并给出合理的教育质量评分。

第三阶段是JQL方法的核心创新——将大型语言模型的评判能力提炼到轻量级的模型中。研究团队使用第二阶段筛选出的顶级语言模型标注了大量多语言数据，然后利用这些标注训练了一组轻量级的评估器。这些评估器共享一个冻结的多语言嵌入模型（Snowflake Arctic Embed v2.0）作为基础，并在其上添加简单的回归头。这种设计使得注释速度大大提升，在单个A100 GPU上每分钟可处理约11,000个文档，每个文档平均690个标记。

最后一阶段是使用这些轻量级评估器来注释预训练语料库并过滤出高质量子集。研究团队采用了基于百分位数的动态阈值方法，而不是使用固定阈值，这使他们能够更好地控制质量与数量之间的平衡。通过要求多个评估器达成共识，他们进一步增强了筛选的稳健性。

二、研究发现：JQL如何超越现有方法

研究团队在多个方面评估了JQL的性能，结果令人印象深刻。首先，在人类标注的基准测试中，JQL轻量级评估器不仅表现出与原始大型语言模型相当的性能，在某些情况下甚至略有超越。更重要的是，这些评估器展现出强大的跨语言泛化能力，即使在训练过程中未见过的语言上也能表现良好。

在数据筛选效果方面，研究团队使用JQL过滤的数据集训练了2B参数的语言模型，并与使用Fineweb2启发式过滤方法的基线进行比较。结果显示，JQL筛选的数据集在MMLU、HellaSwag和ARC等下游任务上一致地优于基线。特别值得注意的是，使用0.6百分位阈值的JQL能够保留比Fineweb2多4.8%的标记，同时平均性能提高了4.27%，最终性能提升了4.6%。

研究团队还展示了JQL在训练中未见过的语言上的泛化能力。他们在阿拉伯语、泰语和中文这三种语言上测试了JQL，结果表明，即使这些语言的文字系统和语言家族与训练数据完全不同，JQL仍然表现出色。这意味着JQL可以轻松扩展到新的语言，而无需额外的训练或修改。

三、技术细节：JQL如何处理多语言数据

JQL的强大之处在于其简单而有效的设计。与之前需要复杂规则系统或大型语言模型进行在线推理的方法不同，JQL使用预训练的多语言嵌入模型和简单的回归头来评估文档质量。这种设计有几个关键优势：

首先，多语言嵌入模型能够捕捉不同语言之间的语义相似性，使得跨语言迁移成为可能。这些模型将语义等价的文本映射到相似的嵌入空间，无论它们使用什么语言。就像一个能够理解全球各地食材本质特性的系统，不管它们的名称或外观如何不同。

其次，使用冻结的嵌入模型和轻量级回归头大大降低了计算需求。回归头仅占总参数的1%左右，嵌入计算是主要的运行时成本。这使得JQL能够高效地处理大规模数据，同时保持高质量的注释。

第三，JQL支持多种并行任务。由于不同的注释任务（如教育价值评估、成人内容过滤、数学准确性评估或代码质量评估）可以共享同一个嵌入基础，只需要为每个任务添加不同的回归头，这大大降低了添加新任务的成本。

研究团队还发现，使用更长的上下文窗口（8192个标记而不是512个）可以显著提高注释性能，平均提高约7个百分点。对于爱尔兰语或马耳他语等低资源语言，性能提升甚至达到12个百分点。这表明完整理解文档内容对于准确评估其质量至关重要。

研究团队的实验还表明，文档质量评估中排序性能比分类准确性更为重要。尽管不同模型在分类准确性方面存在差异，但只要它们能够正确排序文档质量，它们在数据筛选任务中的表现就相当出色。这就像食材挑选中，能够正确识别出哪些食材相对更新鲜更重要，而不是给每个食材分配绝对准确的新鲜度等级。

四、JQL的实际应用与影响

JQL不仅是一个学术突破，更是一个实用的工具，可以立即应用于大规模语言模型的训练数据准备。研究团队公开发布了JQL的多个组件，包括：

1. 一个包含511个文档的人类标注数据集，涵盖35种语言，用于评估文档的教育价值。 2. 由三个表现最佳的大型语言模型生成的1400多万个文档的注释，覆盖35种语言。 3. 三个轻量级教育质量评估器，用于高效的数据注释。 4. 一个定制的数据注释管道，用于大规模处理网络文本。

这些资源使研究社区和实践者能够复制JQL的结果并将其应用于自己的项目。考虑到高质量的预训练数据是降低训练成本和提高模型性能的最有效因素之一，JQL可能对未来的语言模型发展产生重大影响。

研究团队的工作还指出了几个有前途的未来研究方向。首先，JQL可以轻松扩展到教育价值以外的其他过滤标准，如代码质量、数学准确性或成人内容审核。其次，JQL不仅可以用于预训练数据集的筛选，还可以用于指令微调和对齐等后训练阶段的相关数据选择。这种灵活性使JQL成为一个通用的工具，可以应用于语言模型开发的多个阶段。

总的来说，JQL代表了一种系统的方法，可以高效地策划多样化和高质量的多语言数据，同时显著减少计算需求。它提高了多语言数据集开发的标准，并为如何有效利用语言模型和嵌入模型进行数据筛选提供了宝贵的见解。随着语言模型继续在全球范围内普及，像JQL这样的工具将变得越来越重要，确保所有语言的用户都能从高质量的AI系统中受益。