FuxiMT：基于稀疏化大语言模型的中文为中心多语种机器翻译系统——天津大学和清华大学联合打造跨语言沟通新桥梁

近日，天津大学智能与计算学院的朱绍林、董天宇、熊德意教授以及清华大学软件学院的李博共同发表了一篇题为"FuxiMT: Sparsifying Large Language Models for Chinese-Centric Multilingual Machine Translation"的研究论文。该论文发表于2025年5月的arXiv预印本平台，论文号为2505.14256v1，介绍了一种新型的中文为中心的多语言机器翻译模型FuxiMT。有兴趣的读者可通过arXiv网站查阅完整论文。

一、为什么需要中文为中心的翻译模型？

想象一下，如今全球有7000多种语言，而现有的主流大语言模型却只支持极少数的语言。比如LLaMA只支持20种语言，就连覆盖面较广的BLOOM模型也仅包含46种语言。这就好像一个只通向少数几个国家的交通网络，大部分地区的人们仍无法搭上这班高速列车。

更重要的是，虽然针对英语的翻译技术已经相当成熟，但对于中文用户来说，能够直接将其他语言翻译成中文的多语言翻译系统仍然不够完善。这就像大多数国际航线都必须经过某几个枢纽机场一样，许多语言之间的翻译往往需要通过英语作为"中转站"，这不仅效率低下，还可能造成信息的多次转换损失。

正是基于这种现状，天津大学和清华大学的研究团队开发了FuxiMT，一个以中文为中心的多语言翻译系统。这个系统就像是一个专门为中文用户设计的语言枢纽，直接连接65种不同语言，无需经过英语这一"中转站"，实现高质量的多语言互译。

二、FuxiMT是如何工作的？

FuxiMT的核心是一个经过稀疏化处理的大语言模型。如果将传统的语言模型比作一个大型图书馆，里面的每一本书都包含不同语言的知识，那么FuxiMT就像是一个重新设计的智能图书馆，不仅拥有丰富的中文藏书，还配备了一支专家团队，每位专家负责特定类型的翻译任务。

具体来说，FuxiMT基于BLOOMz模型（约70亿参数），并引入了一种称为"混合专家"（Mixture-of-Experts，简称MoE）的技术，使整个系统的参数量达到约130亿。这就好像在原有的图书馆基础上，增设了多个专业翻译部门，每个部门专攻特定语言对之间的翻译，大大提高了翻译的准确性和效率。

在实现技术上，研究团队采用了一种两阶段训练策略：

首先是"中文预训练阶段"。团队在50亿中文句子上对模型进行了预训练。这相当于让整个系统先深入学习中文的各种表达方式、文化背景和语言习惯。就像一个人要成为优秀的翻译家，必须先精通自己的母语一样。这一阶段使用了包括上海AI实验室的Intern WanJuan、北京智源研究院的悟道语料库以及CommonCrawl数据中提取的ChineseWebText在内的三个高质量中文数据集，总数据量超过1TB。

接下来是"多语言翻译训练阶段"。研究团队收集了覆盖65种语言、超过100亿平行句对的翻译语料进行训练。这些数据主要来自OPUS项目，包括NLLB、CCMatrix和OpenSubtitles等知名平台的资源。在这个阶段，研究团队采用了一种称为"课程学习"的策略，就像教育孩子时先教简单的内容再逐渐过渡到复杂内容一样，模型先学习资源丰富的语言对之间的翻译，再逐步学习资源较少的语言对翻译，避免了学习过程中的"偏科"现象。

在结构设计上，FuxiMT将原始BLOOMz模型的参数冻结（固定不变），这保留了模型已有的语言理解能力。同时在解码器中插入MoE模块。每个MoE模块包含8个专家网络，系统会根据输入的内容动态选择最相关的专家来处理翻译任务。这种设计就像一个团队合作系统，每位成员都有自己的专长，系统会自动将翻译任务分配给最适合的"专家"处理。

三、FuxiMT表现如何？

研究团队对FuxiMT进行了全面的评估，将其与多个强大的基线系统进行了比较，包括BLOOMz-7B、GPT-3.5、NLLB等知名语言模型和翻译系统。测试结果令人振奋。

在资源丰富的语言对（如英语-中文、法语-中文等）翻译中，FuxiMT的BLEU分数（一种评估翻译质量的指标，越高越好）达到37.0257，远高于GPT-3.5的27.2460和BLOOMz的13.6740。这就像在熟悉的道路上行驶，FuxiMT比其他系统更能准确、流畅地完成翻译任务。

但FuxiMT真正的优势体现在资源匮乏的语言对翻译上。在低资源和极低资源语言对（如尼泊尔语-中文、索马里语-中文等）的翻译中，FuxiMT分别获得了20.6446和20.6649的BLEU分数，这个成绩大幅领先于GPT-3.5（10.4000和9.1491）等模型。这相当于在人迹罕至的崎岖小路上，FuxiMT依然能够保持稳定前进，而其他系统则显得步履蹒跚。

更令人惊讶的是，FuxiMT在零样本翻译（即模型从未见过的语言对翻译）上也表现出色。例如，对于提格雷语、藏语、土库曼语和皮钦语这四种未见过的语言，FuxiMT在翻译质量上都显著优于其他系统。这相当于一个人虽然没有专门学习过某种语言的翻译，但凭借对相似语言的理解和扎实的语言基础，依然能够理解并翻译出基本意思。

研究团队还进行了详细的消融实验（即通过移除或改变系统的某些组件，观察对整体性能的影响），证实了他们设计的每一个组件都是必要的。比如，如果去掉课程学习策略，平均BLEU分数会从26.15下降到21.93；如果随机初始化而不是利用预训练模型的参数，分数会进一步下降到24.46。这说明FuxiMT成功的秘诀正是这种精心设计的多组件协同工作机制。

四、FuxiMT为什么能够表现如此出色？

FuxiMT的优异表现主要源于几个关键创新：

首先是"中文优先"的预训练策略。通过在大规模中文语料上进行预训练，FuxiMT建立了强大的中文理解和生成能力。这就像一个翻译家先精通了自己的母语，才能更好地进行其他语言的翻译工作。

其次是引入MoE技术提高模型容量和效率。传统的语言模型往往是"全能型"的，所有任务都使用相同的参数，这就像一个人不管遇到什么问题都用同一套方法解决。而FuxiMT中的MoE结构则是一种"专家协作"的系统，根据输入内容的不同，自动调用最适合的"专家"来处理，大大提高了翻译的精确度和效率。

第三是课程学习策略。FuxiMT采用了从高资源语言到低资源语言的渐进式学习方法，这类似于人类学习时先掌握基础知识再学习复杂内容的过程。这种策略使模型能够更好地处理资源匮乏的语言翻译任务，不会因为某些语言的数据较少而导致"遗忘"或表现不佳。

最后，研究团队还采用了数据增强技术，特别是针对低资源语言的"回译"技术。回译是指将目标语言的句子翻译回源语言，生成合成的源语言句子，从而扩充训练数据。这相当于从有限的例子中学习出更多的翻译模式，进一步提高了模型在低资源语言上的表现。

五、FuxiMT的未来应用前景

FuxiMT的出现为多语言交流带来了新的可能性。在全球化日益深入的今天，语言障碍仍然是阻碍不同文化和国家之间沟通的重要因素。FuxiMT作为一个中文为中心的多语言翻译系统，不仅能够帮助中文用户更便捷地获取各种语言的信息，也为其他国家的人们了解中文内容提供了更好的工具。

在实际应用方面，FuxiMT可以用于多种场景：

国际贸易和商务交流：帮助中国企业与全球不同国家的合作伙伴进行更高效的沟通，特别是针对一些使用小语种的国家和地区。

跨文化研究和教育：促进学术交流，使研究者能够更容易地获取不同语言的研究成果，推动全球知识共享。

旅游和日常交流：为中国游客提供更准确的多语言翻译服务，同时也帮助来华的外国游客更好地理解中文信息。

应急响应和国际援助：在全球性危机或自然灾害中，快速准确的多语言翻译可以帮助各国更好地协调行动，传递关键信息。

对于未来的发展方向，研究团队可能会进一步扩大支持的语言范围，提高翻译质量，特别是对于极低资源语言的翻译能力。同时，他们也可能会探索如何将这种技术与其他模态（如图像、语音等）结合，实现更全面的多模态多语言交流系统。

六、结语

FuxiMT的研发是多语言机器翻译领域的一项重要进展，特别是对于以中文为中心的翻译系统来说。它通过结合大语言模型的强大语言理解能力和MoE的专家协作机制，实现了对65种语言的高质量翻译，尤其在低资源语言翻译方面表现出色。

这项研究不仅填补了现有大语言模型在多语言翻译上的一些空白，特别是中文为中心的翻译需求，也为如何有效利用稀疏化大语言模型进行特定任务提供了宝贵经验。从更广泛的角度来看，它代表了人工智能技术如何帮助人类跨越语言障碍，促进全球交流与合作的一个生动例子。

随着技术的进一步发展和应用场景的不断拓展，我们有理由期待像FuxiMT这样的系统能够为构建更加包容、互联的全球交流网络做出更大贡献。毕竟，在技术进步的背后，最终目标是让世界各地的人们，无论使用何种语言，都能够更容易地分享思想、交流情感，共同构建人类知识的丰富宝库。

如果你对FuxiMT感兴趣，可以通过arXiv平台（论文号：2505.14256v1）查阅原始论文，了解更多技术细节和研究成果。研究团队的这一进展无疑为中文用户与全球不同语言使用者之间的交流搭建了一座更加坚实的桥梁。