中国科学家首次为三种少数民族语言建立新闻标题生成数据库——民族大学团队破解语言资源稀缺难题

这项由中央民族大学民族语言智能分析与安全治理教育部重点实验室的徐桂先团队领导的研究发表于2025年9月的arXiv预印本平台，论文编号为arXiv:2509.09990v1。有兴趣深入了解的读者可以通过https://huggingface.co/KEVVVV/CMHG访问完整数据集，或在arXiv平台查阅原始论文。

当今世界，人工智能技术飞速发展，各种智能应用如雨后春笋般涌现。然而，这场技术革命主要惠及了英语、中文等资源丰富的语言，而许多拥有庞大使用人群的语言却被遗忘在角落。就像一场盛大宴会中，主桌上觥筹交错，而角落里的客人却无人问津。中国的藏语、维吾尔语和蒙古语正面临着这样的困境。

这三种语言承载着深厚的文化底蕴，拥有数百万使用者，但在人工智能的世界里却严重缺乏"食粮"——高质量的语言数据。研究人员发现，虽然这些语言在一些国际数据库中有所体现，但数量与其使用人群规模严重不匹配，就像用小茶杯为大象准备饮水一样杯水车薪。更令人担忧的是，现有数据质量堪忧，比如维吾尔语数据中竟然有34%是哈萨克语或阿拉伯语内容，这就像在中文课本里掺杂了大量英文段落一样让人困惑。

为了改变这种状况，中央民族大学的徐桂先团队决定从零开始，为这三种语言量身打造一套专门用于新闻标题生成的数据库。他们将这个项目命名为CMHG（Chinese Minority Headline Generation），寓意为中国少数民族语言的标题生成资源库。这就像为三种语言分别建造了一座专属的图书馆，里面收藏着精心挑选的"书籍"。

研究团队面临的挑战可谓艰巨。他们需要收集足够多的高质量数据，还要确保数据的准确性和实用性。这个过程就像淘金一样，需要从海量的原始材料中筛选出真正有价值的内容。最终，他们为藏语收集了10万条数据，为维吾尔语和蒙古语各收集了5万条数据，形成了一个总计20万条记录的庞大数据库。

数据收集完成后，研究团队并未止步于此。他们深知质量比数量更重要，于是邀请了这三种语言的母语使用者作为"质检员"，对数据进行精细化评估。每种语言都有专门的评估团队，他们像严格的编辑一样，逐一检查每条数据中标题与内容的匹配程度。这个过程就像制作高档手表一样精密，每个零件都必须完美契合。

一、数据来源的精心选择

研究团队在数据收集方面采用了极其谨慎的策略。他们没有盲目地从互联网上抓取信息，而是像挑选食材的大厨一样，精心选择数据源头。他们主要从政府官方网站和权威新闻机构获取内容，这样做的好处是确保了数据的权威性和准确性。

对于藏语，研究团队选择了青海湖网站、中国西藏新闻网、苯教网站等具有代表性的平台。这些网站就像藏语世界的主流媒体，内容涵盖了新闻、文化、宗教等多个领域。蒙古语的数据则主要来自内蒙古自治区政府网站以及呼伦贝尔、锡林郭勒等地区的官方网站。维吾尔语的数据源包括阿克苏新闻网、努尔网络、天山网等新疆地区的重要媒体平台。

数据收集过程就像考古学家挖掘文物一样细致入微。研究团队使用专门的网络爬虫技术，将网页标题作为"标题"样本，将正文内容作为"内容"样本，形成一对一的对应关系。这种做法的巧妙之处在于，网页标题天然具备了新闻标题的特征——简洁、准确、吸引人。

为了确保数据质量，研究团队制定了严格的清洗标准。他们首先剔除了所有非文本内容，如广告、弹窗、导航栏等干扰信息，就像从珍珠中挑出杂质一样。接着，他们处理重复内容问题，确保每条数据都是独一无二的，避免模型训练时出现"背书"现象。在文本标准化方面，他们统一了字符编码，清理了多余的空格和格式错误，让所有数据呈现出整齐划一的外观。

最关键的是语言纯度检查。研究团队发现，许多现有的语言识别工具在处理这三种少数民族语言时存在较高的误判率，就像色盲患者很难准确区分相似颜色一样。因此，他们采用了基于规则的过滤方法，并在训练数据中适度保留一些"噪音"，这样反而能提高模型的鲁棒性，让模型在面对真实世界的不完美数据时表现更好。

二、严格的质量评估体系

收集到原始数据只是万里长征的第一步，真正的挑战在于质量评估。研究团队为此建立了一套堪比国际标准的评估体系，每种语言都有专门的母语评估团队，就像奥运会需要各国裁判一样确保公正性。

评估过程采用了7分制评分系统，这个系统设计得非常人性化。1分代表标题与内容完全不匹配，就像给一篇讲烹饪的文章配上了体育新闻的标题。2分表示略有关联但主题不符，类似于给一篇讲中餐的文章配上了讲西餐的标题。3分意味着有一定关联但不够准确，4分表示关系模糊不清，5分代表有较强关联但存在小问题，6分表示匹配良好仅有轻微瑕疵，7分则是完美匹配。

为了保证评估质量，研究团队设立了严格的一致性检查机制。如果某个评估员给出的分数与其他人相差超过2分，这个评分就会被视为无效，需要重新评估。这就像跳水比赛中，如果某个裁判的打分明显偏离其他裁判，这个分数就会被剔除。

研究团队还设计了巧妙的激励机制来确保评估质量。他们将评分分为两个趋向：4分以下表示不匹配趋向，4分及以上表示匹配趋向。如果评估员的判断与大多数人一致，就能获得0.25元人民币的奖励。如果不仅趋向一致，而且分数与平均分的差距在1.5分以内，还能额外获得0.25元奖励。这种设计既鼓励了准确评估，又避免了盲目跟风。

经过严格筛选，最终保留的高质量样本表现令人满意。藏语保留了2901条样本，蒙古语保留了2931条，维吾尔语保留了2950条。这些样本的平均得分高达6.9分（满分7分），大部分样本都获得了满分，充分证明了评估体系的有效性。

从语言特征来看，三种语言呈现出有趣的差异。藏语的标题和内容相对较短，平均标题长度为12.3个词汇单元，内容长度为376.7个词汇单元。相比之下，蒙古语和维吾尔语的文本明显更长，蒙古语标题平均27.2个词汇单元，内容429.8个词汇单元；维吾尔语标题平均30.2个词汇单元，内容高达815.7个词汇单元。这种差异反映了不同语言的表达习惯和文化特色。

三、评估团队协作的可靠性分析

为了验证评估结果的可靠性，研究团队采用了多种统计方法来分析评估员之间的一致性。这就像检验多个医生对同一病情诊断的一致性一样重要。

研究人员使用了Cohen's κ系数和组内相关系数（ICC）来衡量评估员之间的一致性水平。结果显示，藏语的Cohen's κ系数为0.71，ICC为0.80，表明评估员之间具有很高的一致性。维吾尔语的表现也不错，Cohen's κ为0.44，ICC为0.67。蒙古语的一致性相对较低，Cohen's κ为0.28，ICC为0.42，但这并不意味着评估质量不佳。

更重要的是，研究团队引入了"相同趋向"这个指标，即评估员对于标题内容匹配程度的大方向判断是否一致。结果显示，藏语和维吾尔语的相同趋向率达到了100%，蒙古语也达到了85%。这说明尽管在具体分数上可能有细微差别，但评估员们在总体判断上高度一致，就像不同的品酒师可能给出不同的具体分数，但都能准确区分好酒和劣酒。

四、模型性能的全面测试

有了高质量的数据集，研究团队接下来要验证这些数据是否真的有用。他们选择了两类不同的模型进行测试：小型专用模型和大型通用模型，就像同时测试专业跑车和越野车在不同赛道上的表现。

小型专用模型包括cino-cum和swcm两种。cino-cum模型基于专门为中国少数民族语言优化的CINO编码器，参数量为411M。swcm模型在相同架构基础上进行了改进，通过编码器和解码器之间的权重共享优化，参数量为457M。这两个模型就像专门为某种特定任务训练的专业运动员。

大型通用模型则选择了当前最先进的Qwen2.5-72B和LLaMA3.1-70B。这两个模型就像全能型运动员，虽然参数量庞大（分别为720亿和700亿参数），但需要通过少样本学习的方式来适应特定任务。

实验结果令人鼓舞。在ROUGE-L F1评分（一种衡量文本生成质量的标准指标）上，小型模型表现稳定。cino-cum在藏语上得分0.20，蒙古语0.12，维吾尔语0.09。swcm的表现更好一些，三种语言的得分分别为0.23、0.18和0.15。

大型模型的表现更加出色。Qwen2.5-72B在三种语言上的得分分别为0.24、0.32、0.29，而LLaMA3.1-70B的表现最为突出，得分达到了0.34、0.30、0.35。这就像专业选手和业余选手的差距一样明显，但值得注意的是，专用的小型模型虽然参数量小得多，但在特定任务上仍能取得不错的效果。

为了进一步验证数据质量的影响，研究团队还专门测试了在高质量子集上的表现。他们从每种语言的评估数据中选出得分最高的500个样本，形成了一个精品数据集。在这个数据集上，所有模型的表现都有所提升，证明了高质量数据对模型性能的积极影响。

五、技术细节与实现方案

研究团队在技术实现方面展现了严谨的科学态度。对于小型模型的训练，他们使用了NVIDIA A5000 GPU，配备24GB显存，运行环境为Ubuntu 20.04系统，使用CUDA 11.7和PyTorch 2.3框架。这样的配置在学术研究中算是相当不错的水准。

训练配置经过精心调优。本地批次大小设为20，梯度累积步骤为4，全局批次大小达到80，总共训练50个轮次。优化器选择AdamW，学习率设定为1e-4，并采用线性预热策略，在第一个轮次中学习率从1e-5逐渐增加到1e-4。这种设置就像烹饪时的火候控制，需要在开始时小火慢煨，然后逐渐升温。

对于大型模型，研究团队采用了2-shot学习策略。这意味着模型在处理每个新样本时，会看到两个相似的示例作为参考，就像学生在考试前看到样题一样。这种方法的优势在于不需要大量的训练数据，但仍能取得不错的效果。

为了便于其他研究者使用，团队还设计了标准化的提示模板。模板的结构简洁明了：首先提供任务描述，然后给出两个示例，最后是待处理的内容。这种设计遵循了人类学习的自然规律——通过观察示例来理解任务要求。

六、数据集的深层价值与影响

CMHG数据集的价值远不止于技术层面的突破。从语言保护的角度来看，这个数据集为藏语、维吾尔语和蒙古语在数字时代的传承和发展提供了重要基础。就像为濒危物种建立基因库一样，这个数据集为这些语言的数字化保存做出了贡献。

从社会公平性角度来看，CMHG数据集有助于缩小数字鸿沟。长期以来，人工智能技术主要服务于资源丰富的主流语言使用者，而少数民族语言使用者往往被边缘化。这个数据集的出现，就像在偏远山区建设了高速公路，让当地居民也能享受到现代科技的便利。

在学术研究方面，CMHG为相关领域的研究者提供了宝贵的资源。过去，研究人员想要开展中国少数民族语言的自然语言处理研究，往往面临"巧妇难为无米之炊"的困境。现在有了这个数据集，就像给研究人员提供了充足的"原材料"，可以开展更多创新性的研究工作。

数据集的开放性也值得称赞。研究团队将数据集托管在Hugging Face平台上，任何研究者都可以免费获取和使用。这种开放共享的精神体现了科学研究的本质——知识应该为全人类所共享，而不是被少数人垄断。

从技术标准化角度来看，CMHG为少数民族语言的自然语言处理任务建立了基准。就像体育比赛需要标准的赛道和计时系统一样，学术研究也需要标准化的数据集来衡量不同方法的效果。未来的研究者可以使用这个数据集来测试和比较不同的算法，推动整个领域的进步。

研究团队也坦诚地指出了当前工作的局限性。虽然CMHG在资源稀缺的少数民族语言领域迈出了重要一步，但相比于英语、中文等资源丰富的语言，这些数据量仍然有限。此外，数据集目前主要专注于标题生成任务，对于其他自然语言处理任务的支持还有待扩展。

说到底，CMHG数据集的诞生标志着中国少数民族语言在人工智能时代的一个重要里程碑。它不仅为技术发展提供了基础设施，更重要的是体现了对语言多样性的尊重和保护。在全球化日益加深的今天，保持语言的多样性就像保护生物多样性一样重要。每种语言都承载着独特的文化内涵和思维方式，它们的消失将是人类文明的重大损失。

这项研究也启发我们思考技术发展的方向。真正有价值的技术进步不应该只惠及少数人，而应该让更多的群体受益。CMHG数据集的创建过程虽然艰辛，但为我们展示了一条可行的道路——通过科学的方法、严谨的态度和开放的精神，我们可以为资源稀缺的语言群体提供更好的技术支持。

未来，研究团队计划进一步扩展数据集的规模和覆盖范围，包括更多的少数民族语言和更多样的自然语言处理任务。他们还希望与更多的母语使用者和语言学专家合作，不断提升数据质量。这种持续改进的态度正是科学研究应有的品格。

对于有兴趣深入了解这项研究的读者，可以访问Hugging Face平台（https://huggingface.co/KEVVVV/CMHG）获取完整数据集，或在arXiv平台查阅原始论文（论文编号：arXiv:2509.09990v1）。相信随着更多研究者的参与，中国少数民族语言的数字化未来将更加光明。

Q&A

Q1：CMHG数据集包含哪些语言的数据？数据规模有多大？

A：CMHG数据集包含三种中国少数民族语言的数据：藏语、维吾尔语和蒙古语。具体规模为藏语10万条数据，维吾尔语和蒙古语各5万条数据，总计20万条记录。此外，每种语言还有约3000条经过母语使用者精心评估的高质量测试数据。

Q2：为什么要专门为少数民族语言创建这样的数据集？

A：主要原因是现有的人工智能技术主要服务于英语、中文等资源丰富的语言，而藏语、维吾尔语、蒙古语等少数民族语言严重缺乏高质量的语言数据资源。虽然这些语言有数百万使用者，但在现有国际数据库中的数据量与使用人群规模严重不匹配，且质量堪忧，这限制了相关技术的发展。

Q3：普通人可以如何使用CMHG数据集？

A：CMHG数据集已在Hugging Face平台开放共享，网址是https://huggingface.co/KEVVVV/CMHG，任何人都可以免费下载使用。研究人员可以用它来训练和测试少数民族语言的文本生成模型，教育工作者可以用于语言教学研究，而对这些语言感兴趣的普通人也可以通过数据集了解这些语言的表达特点。