中科院提出跨语言推理新法则：AI在英语训练后为何难以"融会贯通"其他语言

由中国科学院自动化研究所和中国科学院大学人工智能学院的研究团队最新发布了一项关于大语言模型跨语言推理能力的重要研究。这项研究由杨雯、吴俊宏、李冲等研究人员于2024年10月发表，题目为《平行扩展法则：从跨语言视角揭示推理泛化能力》，感兴趣的读者可以通过论文编号arXiv:2510.02272查询完整论文。

这个研究团队发现了一个令人意外的现象：当我们用英语训练一个AI模型让它变得更聪明后，它却很难把这种聪明才智运用到其他语言上。就好比一个人在中文环境下学会了复杂的数学推理，但当遇到英语数学题时，却表现得像个新手一样。这个发现挑战了我们之前认为AI推理能力应该像人类思维一样不依赖特定语言的假设。

研究团队通过大规模实验揭示了三个重要发现。首先是"首次平行跃迁"现象，当AI从只用一种语言训练转向同时使用两种语言时，它的跨语言能力会出现惊人的飞跃，但继续增加更多语言带来的提升却相对有限。其次，他们发现了"平行扩展法则"，即AI的跨语言推理能力遵循一种可预测的数学规律，随着训练语言数量的增加呈现递减式增长。最重要的是，研究还发现了"单语言泛化差距"，即仅用英语训练的模型表现远不及平行扩展法则的预测，说明这些模型严重依赖英语特有的语言模式，而非真正的通用推理能力。

这项研究不仅为我们理解AI的语言处理机制提供了新的视角，更为开发真正具备跨语言智能的AI系统指明了方向。通过"并行训练"策略，即同时使用多种语言的数据来训练AI，研究团队证明了可以显著提升模型的跨语言推理能力，这对于构建服务全球用户的AI系统具有重要价值。

一、发现问题：当聪明的AI遇到语言壁垒

在AI发展的浪潮中，强化学习后训练技术让大语言模型在数学推理等复杂任务上表现得越来越出色，甚至在某些基准测试中超越了人类水平。然而，中科院研究团队在实际应用中发现了一个令人困惑的现象：这些在英语环境下表现卓越的AI模型，在面对其他语言时却显得"水土不服"。

这就像培养了一个在中式厨房里技艺高超的大厨，他能做出精美的中式菜肴，但当你让他去意大利餐厅工作时，他却不知道如何应对意式烹饪的要求。明明都是烹饪，为什么换个环境就不行了呢？同样的问题也困扰着AI研究者：明明都是数学推理，为什么AI在英语环境下能解决复杂问题，换成中文或其他语言就表现平平了呢？

以往的研究主要关注AI模型在不同任务或不同模态间的泛化能力，比如从文字理解转向图像识别，但很少有人深入探究同一种能力（如数学推理）在不同语言间的转移情况。这个看似简单的问题背后，实际上涉及到AI是否真正掌握了与语言无关的抽象推理能力，还是只是学会了英语特有的表达模式。

认知神经科学研究告诉我们，人类的推理能力在很大程度上是独立于语言的。一个中国人学会了几何定理后，即使用英语表述同样的几何问题，他的推理过程本质上是相同的。但AI模型是否也具备这样的能力呢？

研究团队决定系统性地探索这个问题。他们选择了13个开源的英语中心化大推理模型，涵盖了从15亿到320亿参数的不同规模，并在11种类型迥异的语言上进行测试，包括西班牙语、俄语、德语、法语、孟加拉语、斯瓦希里语、泰语、日语、中文和泰卢固语。这些语言不仅在语系上差异巨大，在资源丰富程度上也有显著区别。

通过在数学推理、科学问题解答等多个基准测试上的全面评估，研究团队发现了一个惊人的事实：即使是最先进的AI模型，其跨语言推理能力也存在显著差异。更令人意外的是，模型的初始能力越强，其跨语言泛化能力反而可能越差。这个发现彻底颠覆了我们的常规认知。

二、深入调查：揭示影响跨语言推理的关键因素

为了找出影响AI跨语言推理能力的根本原因，研究团队设计了一系列精密的对照实验，就像医生用不同的检查方法来诊断病因一样。

首先，他们发现模型的"出身背景"对跨语言能力有着决定性影响。研究团队比较了三种不同类型的初始模型：基础模型（就像刚从大学毕业的通用人才）、数学专门模型（类似数学专业的毕业生）和指令调优模型（经过专门训练能听懂和执行各种指令的助手）。

令人意外的是，那些经过指令调优、看似更"聪明"的模型，在跨语言推理方面的表现反而不如基础模型和数学专门模型。这就好比一个接受过严格礼仪训练的管家，虽然在熟悉的环境中表现完美，但到了文化背景完全不同的国家就显得无所适从。研究发现，指令调优模型在训练过程中过度适应了英语的表达方式和交互模式，导致它们在面对其他语言时变得"僵化"。

接着，研究团队比较了不同模型架构的表现。他们选择了Qwen2.5-7B和Llama3.1-8B两个代表性模型进行对比。结果显示，虽然Qwen2.5在英语任务上表现更优秀，但Llama3.1却展现出了更好的跨语言泛化能力。这个现象可以用"专业化程度"来解释：过度专业化的模型就像只会在特定环境下工作的精密仪器，而通用性更强的模型则像瑞士军刀，虽然在单项任务上可能不是最精专的，但适应性更强。

模型规模的影响同样出人意料。研究团队对比了15亿参数和70亿参数两种不同规模的模型。在数学推理这种模型"拿手"的任务上，小模型反而显示出了更大的跨语言提升潜力。而在更具挑战性的科学推理任务上，大模型则表现出更稳定的跨语言转移能力。这就像训练运动员一样：基础较弱的运动员在改进训练方法后往往有更明显的进步空间，而已经达到高水平的运动员则更善于将技能运用到相关的新项目中。

更深入的分析揭示了一个核心问题：模型初始英语能力越强，越容易形成对英语特有模式的依赖。这些模型在学习过程中过度拟合了英语的语法结构、表达习惯和推理链条，当面对结构迥异的其他语言时，就像习惯了右舵驾驶的司机突然要开左舵车一样，原有的"肌肉记忆"反而成了障碍。

三、寻找解决方案：平行训练的神奇效果

基于前面发现的问题，研究团队提出了一个看似简单但效果惊人的解决方案：平行训练。这个概念可以用学习外语的经历来理解。传统的AI训练方法就像先把中文学得炉火纯青，然后再去学英文，结果发现中文思维模式已经根深蒂固，很难适应英文的表达方式。而平行训练就像从一开始就同时学习中文和英文，让AI在学会某个概念的时候，同时掌握它在不同语言中的表达方式。

研究团队精心设计了一个实验，他们从英文数学训练数据中选出1000个样本，然后将这些样本翻译成七种不同的语言：西班牙语、俄语、德语、法语、孟加拉语、泰语和中文。这七种语言涵盖了不同的语系和资源水平，形成了一个理想的测试环境。

实验从最简单的情况开始：只用英语训练（传统方法），然后逐步增加平行语言的数量，从英语加一种语言，一直增加到英语加七种语言。就像逐步增加食材来观察菜品味道的变化一样，研究团队仔细记录每增加一种语言后模型表现的变化。

结果令所有人震惊。首先出现的是研究团队称为"首次平行跃迁"的现象。当模型从纯英语训练转向英语加一种其他语言的平行训练时，其跨语言推理能力出现了巨大飞跃。具体来说，多语言转移指数从1.16暴增到2.50，提升幅度超过115%。这就好比一个人原本只会用筷子吃饭，当他学会使用叉子后，突然发现自己对各种餐具都有了更好的适应能力。

更有趣的是，继续增加更多语言带来的收益却呈现递减趋势。从一种平行语言增加到七种平行语言，多语言转移指数只从2.50增加到3.63，提升幅度约45%。这种现象符合经济学中的边际效用递减规律：第一口蛋糕带来的满足感是巨大的，但第十口蛋糕的满足感就没那么强烈了。

通过对实验数据的深入分析，研究团队发现了一个令人兴奋的规律：平行扩展法则。这个法则表明，AI的跨语言推理能力遵循一个可预测的数学公式：f(X) = α·X^β，其中X是训练中使用的平行语言数量。

对于跨语言转移能力，这个公式是f(X) = 2.00·X^0.29；对于整体准确度，公式是f(X) = 56.98·X^0.02。这两个指数都小于1，证明了边际收益递减的现象。更重要的是，转移能力的指数（0.29）远大于准确度的指数（0.02），说明平行训练的主要价值不在于提高模型的绝对性能，而在于教会模型如何将能力从一种语言转移到另一种语言。

这个发现具有深远的理论和实践意义。它告诉我们，AI模型可以通过相对少量的平行数据学会跨语言迁移的"元技能"，而不需要在每种目标语言上都进行大量训练。这就像学会了骑自行车的原理后，就能比较容易地学会骑摩托车和滑板车一样。

四、重大发现：单语言模型的根本缺陷

研究过程中最令人震惊的发现是"单语言泛化差距"的存在。当研究团队将只用英语训练的模型表现与平行扩展法则的预测进行比较时，他们发现了一个巨大的差距。

按照平行扩展法则，如果AI的推理能力是真正通用的，那么只用英语训练的模型在跨语言转移方面的表现应该达到某个基准水平。但实际情况是，纯英语训练的模型表现远远低于这个预期。在跨语言转移指数上，实际值是1.16，而理论预期是2.00，差距高达42%。在准确度方面，实际值是54.24%，理论预期是56.98%，虽然差距看起来不大，但考虑到AI模型性能提升的困难程度，这个差距同样意义重大。

这个差距的存在揭示了一个深层问题：当前的英语中心化AI模型并没有学会真正与语言无关的推理能力，而是过度依赖英语特有的语言模式和表达方式。这就像一个只在北京生活过的人，虽然能够熟练处理各种生活问题，但一旦到了上海，就会因为方言、习俗和生活方式的差异而感到不适应。

为了验证这个假设，研究团队还对比了使用平行数据和非平行数据训练的效果。结果证实，只有当模型接触到语义对等但表达方式不同的平行数据时，才能真正学会跨语言的抽象推理能力。非平行数据虽然增加了语言的多样性，但无法建立不同语言间的对应关系，因此效果有限。

这个发现对AI发展具有重要启示。它表明，要构建真正具备跨语言智能的AI系统，仅仅在一种语言上达到高性能是不够的，必须从训练阶段就考虑多语言的平行学习。这需要我们重新思考AI训练数据的构建方式和训练策略的设计。

五、实践验证：不同语言选择的影响

在探索平行训练策略时，一个自然而然的问题是：选择哪种语言作为平行训练的伙伴更有效果呢？研究团队对此进行了细致的实验验证。

他们分别选择俄语、孟加拉语、德语和中文作为与英语配对的平行语言，观察不同语言选择对模型跨语言能力提升的影响。结果显示，虽然不同语言确实会带来略微不同的效果，但总体差异并不大。俄语表现最好，多语言转移指数达到2.84，而中文的表现相对较低，为2.50，但这个差距在统计学上并不显著。

更有趣的发现是，低资源语言（如孟加拉语、斯瓦希里语、泰卢固语）从平行训练中获得的收益最大。这些语言在传统的英语中心化训练中往往表现很差，甚至出现负迁移（即训练后表现反而变差）。但在平行训练模式下，它们的表现得到了显著提升，某些情况下的改善幅度甚至超过了高资源语言。

这个现象可以用"平衡发展"来理解。在只使用英语的训练中，模型会过度强化英语的表达模式，对于结构差异较大的低资源语言，这种强化实际上是有害的，就像用右手写字的习惯会阻碍左手写字技能的发展。而平行训练则迫使模型寻找不同语言间的共同抽象规律，这种抽象能力特别有利于那些在传统训练中被"忽视"的语言。

研究还发现，当使用某种特定语言作为平行训练语言时，模型在该语言上的表现会有额外提升。比如，当使用孟加拉语作为平行训练语言时，模型在孟加拉语任务上的表现明显优于使用其他语言进行平行训练的情况。这个现象很好理解：就像一个同时学习中文和英文的人，在这两种语言上都会比只学其中一种的人表现更好。

六、理论突破：重新理解AI推理的本质

这项研究最深刻的贡献在于它让我们重新审视AI推理能力的本质。传统观点认为，既然AI在某种语言（通常是英语）上表现出了强大的推理能力，那么这种能力应该可以自然地迁移到其他语言上。毕竟，数学定理和逻辑规律在任何语言中都是相同的。

但研究结果显示，现实远比我们想象的复杂。AI模型学到的并不是纯粹的抽象推理能力，而是与特定语言深度绑定的推理模式。这就像学会了中式太极拳的人，虽然掌握了很多搏击技巧，但当面对西式拳击时，原有的招式可能并不适用，甚至可能成为负担。

平行扩展法则的发现为我们提供了一个全新的理论框架。这个法则表明，跨语言推理能力的获得遵循特定的数学规律，可以通过相对少量的平行数据实现显著提升，但同时也受到边际收益递减的制约。这个规律的存在说明，不同语言的推理模式虽然表面上差异巨大，但在深层次上存在可以被AI模型学习和抽象的共同规律。

首次平行跃迁现象更是揭示了AI学习的一个重要特点：从单语言到多语言的转变不是线性的，而是一个质的飞跃。这个飞跃反映了AI模型内部表征的根本性重组。在单语言训练中，模型建立的是语言特定的推理路径；而在平行训练中，模型被迫构建更加抽象和通用的推理框架。

单语言泛化差距的存在进一步证实了这个观点。如果AI的推理能力是真正通用的，那么在任何语言上训练得到的模型都应该具有相似的跨语言迁移能力。但实际情况表明，只有通过多语言平行训练，AI才能学会真正与语言无关的抽象推理。

这些发现对AI研究和应用都有重要启示。对于研究者来说，它提醒我们不能简单地假设在一种语言上的成功可以自动迁移到其他语言。对于应用开发者来说，它指出了构建真正全球化AI系统的正确路径：从设计阶段就考虑多语言支持，而不是事后补救。

七、应用前景：构建真正全球化的AI系统

这项研究的发现为构建服务全球用户的AI系统提供了重要指导。在全球化的今天，AI系统需要为使用不同语言的用户提供一致的高质量服务。但传统的英语中心化开发模式显然无法满足这个要求。

基于平行扩展法则，研究团队提出了"并行优先"的AI开发策略。这个策略的核心思想是：与其先在英语上达到极高性能然后再考虑其他语言，不如从一开始就使用多语言平行数据进行训练。虽然这可能会在单一语言上的性能有所妥协，但可以获得更好的整体跨语言性能。

这个策略特别适用于资源受限的场景。研究表明，即使只增加一种平行语言，就能获得巨大的跨语言能力提升。对于很多实际应用来说，这种投入产出比是非常有吸引力的。想象一个服务全球用户的客服机器人，如果它只在英语上训练，那么中文用户可能会得到质量很差的服务。但如果在训练时加入中英平行数据，即使数据量不大，也能显著提升中文服务质量。

研究还为AI模型的评估提供了新的标准。传统的评估主要关注单一语言的性能，但这项研究表明，跨语言迁移能力同样重要，甚至在某些应用场景下更加重要。多语言转移指数这样的指标应该成为评估AI模型的标准工具。

对于低资源语言用户来说，这个研究带来了希望。研究显示，平行训练对低资源语言的改善效果特别显著。这意味着，即使是使用相对小众语言的用户，也有可能通过合适的训练策略获得高质量的AI服务。

当然，这个研究也揭示了当前AI发展的一个重要局限：我们的AI系统还远未达到人类那样的语言无关推理能力。人类在掌握一种语言的某个概念后，通常能够相对容易地将这个概念迁移到其他语言中。而AI系统需要通过专门的平行训练才能获得这种能力，这说明我们对智能本质的理解还有很长的路要走。

从技术发展的角度看，这项研究为未来的AI架构设计提供了方向。新一代的AI模型应该从底层就考虑多语言支持，而不是将其作为事后添加的功能。这可能需要重新设计模型架构、训练算法和数据处理流程。

说到底，这项由中科院研究团队完成的工作不仅是对当前AI能力的深入剖析，更是对未来AI发展方向的重要指引。它告诉我们，构建真正智能的AI系统需要超越单一语言的局限，拥抱多语言的复杂性和多样性。只有这样，AI才能真正成为服务全人类的智能助手，而不仅仅是某一种语言使用者的专属工具。

通过"并行训练"这个相对简单的策略，我们就能够显著提升AI的跨语言推理能力，这为全球化的AI应用开辟了新的可能。当然，这只是一个开始。随着我们对跨语言智能理解的深入，相信会有更多创新方法涌现，最终实现真正语言无关的人工智能。

Q&A

Q1：什么是平行扩展法则？它是如何工作的？

A：平行扩展法则是中科院研究团队发现的一个数学规律，表明AI的跨语言推理能力遵循公式f(X) = α·X^β，其中X是训练使用的语言数量。简单说就是当AI同时用多种语言训练时，它的跨语言能力会按照特定数学规律提升，但遵循边际收益递减原则。最有效的是从单语言增加到双语言，这时提升最明显。

Q2：为什么英语能力强的AI模型跨语言表现反而更差？

A：研究发现这是因为过度专业化导致的。就像一个只在中式厨房工作的厨师，虽然中餐做得很好，但到了西餐厅就不适应了。英语能力强的AI模型在训练中过度适应了英语的语言模式和表达方式，形成了对英语特有模式的依赖，当面对其他语言时，这些固化的模式反而成了障碍。

Q3：平行训练策略在实际应用中有什么优势？

A：平行训练的最大优势是投入产出比高。研究显示仅增加一种平行语言就能让AI的跨语言能力提升115%以上，这比传统的先学好英语再学其他语言的方法效率高得多。对于需要服务全球用户的AI系统来说，从一开始就用多语言数据训练，能确保各种语言用户都获得较好的服务质量，特别是对低资源语言用户改善效果更明显。