语言神经元视角：对齐方式如何增强大语言模型的多语言能力？

在数字化时代，大语言模型(LLMs)的多语言能力变得愈发重要。最近，南京大学和微软亚洲研究院的研究团队发表了一项引人注目的研究，探索了对齐技术如何增强LLMs的多语言处理能力。这篇题为《How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective》的论文由Shimao Zhang、Zhejian Lai、Xiang Liu等人合作完成，发表于2025年5月。这篇研究从语言神经元的视角出发，揭示了LLMs内部处理多语言信息的机制。

想象一下，你在学习一门新语言时，大脑中有些神经元专门负责处理特定语言的特点，而其他神经元则能处理多种语言共通的部分。大语言模型中也存在类似的现象！研究人员发现，模型内部存在一些"语言特定神经元"，它们在处理不同语言时会被选择性激活。这个发现为我们理解和改进模型的多语言能力提供了一个全新视角。

但研究人员注意到现有的神经元识别方法存在一个关键问题：有些神经元虽然在多种语言中都会被激活，但并不完全是"语言无关"的，它们介于语言特定和语言无关之间。这就像一个人可能掌握了几种相关语言（如西班牙语、法语、意大利语），但不懂所有语言。现有方法无法正确分类这类"语言相关神经元"。

为解决这个问题，研究团队提出了一种更精细的神经元识别算法，可以检测三类神经元：语言特定神经元（只对一种语言激活）、语言相关神经元（对多种但非全部语言激活）和语言无关神经元（对所有语言都激活）。基于这种更精确的分类，研究人员将LLMs处理多语言信息的内部过程分为四个阶段：多语言理解、共享语义空间推理、多语言输出空间转换和词汇空间输出。

研究团队使用"多语言对齐作为偏好优化"(MAPO)作为代表性对齐算法，分析了对齐前后模型内部不同类型神经元的变化。他们还探索了"自发多语言对齐"现象，即对少数语言进行对齐可以提高模型在未见语言上的表现。

这项研究不仅帮助我们理解大语言模型如何处理多语言任务，还为改进模型的多语言能力提供了实用见解。就像我们通过理解大脑的语言处理机制可以开发更好的语言学习方法一样，理解LLMs中的语言神经元有助于开发更高效的多语言模型训练方法。

一、研究背景与动机

想象你有一个能说多种语言的朋友，他说英语非常流利，但在其他语言上水平参差不齐。大语言模型(LLMs)也面临类似情况——它们在英语等高资源语言上表现出色，但在低资源语言上能力有限。这是因为训练语料库中不同语言的数据量存在严重不平衡。

研究人员们一直在尝试各种方法提升模型的多语言能力。最直接的方法是在预训练阶段增加非英语文本的比例，或者进行多语言持续预训练。这就像让一个人浸泡在多语言环境中学习。但这些方法往往需要大量的计算资源和多语言数据，就像长期的语言学习需要大量时间和教材一样。

考虑到大语言模型在高资源语言上的优秀表现，多语言对齐技术应运而生。这种方法试图将模型在高资源语言上的能力迁移到低资源语言上，有点像通过已掌握的英语来辅助学习其他语言。一个代表性例子是MAPO（多语言对齐作为偏好优化），它利用训练良好的多语言翻译模型计算对齐分数，基于将非英语响应翻译成英语的条件生成概率。

与此同时，关于语言特定神经元的研究揭示了LLMs内部的一些奥秘。研究表明，模型内部存在一些神经元会在处理特定语言时被选择性激活。这些神经元主要分布在模型的顶层和底层，与多语言处理的三阶段工作流一致。这有点像我们的大脑中某些区域专门负责处理特定语言的特点。

然而，现有的语言特定神经元识别方法存在一个关键限制：它们无法正确分类那些在多种语言间共享但不是完全语言无关的神经元。正如图1所示，有些神经元在多种语言中都表现出高激活概率，但并非对所有语言都如此。在现有框架下，这些神经元可能被错误地归类为语言特定或语言无关神经元。

这些发现引发了一个重要问题：我们能否从语言神经元的角度，更好地分析和理解多语言对齐如何增强LLMs的多语言能力？这正是本研究要探索的核心问题。

二、研究方法与创新点

本研究的一大创新点在于提出了一种更精细的神经元识别算法。想象你是一位语言学家，不仅要识别出专精于单一语言的人才（语言特定神经元），还要找出精通多种语言的通晓者（语言相关神经元）和语言全才（语言无关神经元）。

研究团队将"语言神经元"定义为语言特定神经元和语言相关神经元的并集，与语言无关神经元相对。在此基础上，他们提出了一种新的识别算法，能够识别那些实际上在多种语言间共享的语言相关神经元。

具体来说，这个算法基于熵和激活概率值来识别不同类型的神经元。如果把神经元的激活比作灯泡的亮度，算法会观察每个神经元在处理不同语言时的"亮度模式"。一个神经元可能在处理英语时非常"亮"，在处理法语时中等"亮"，而在处理其他语言时几乎不"亮"。算法通过分析这些"亮度模式"的分布特征，识别出不同类型的神经元。

研究使用MAPO作为代表性多语言对齐算法。MAPO利用训练良好的多语言翻译模型计算对齐分数，这个分数基于将非英语响应翻译成英语的条件生成概率。高条件概率被解释为目标语言响应与其英语对应项之间的更强对齐。这个对齐分数随后被整合到偏好优化算法中。

在实验设置方面，研究团队在数学推理任务和不同语言上进行了实验。他们选择了MistralMathOctopus-7B和MetaMathOctopus-7B两个模型，在MGSM和MSVAMP两个多语言数学推理基准上进行评估。选择的语言包括英语（作为枢纽语言）以及中文、俄语、德语、法语、西班牙语、日语、斯瓦希里语、泰语和孟加拉语这9种代表性非英语语言。

为了构建偏好对，研究人员从NumGLUE（一个算术推理基准）中选择了1、4和8个任务，并将问题翻译成9种语言，从而创建多语言种子数据集。他们使用基础模型采样响应，并使用NLLB-200-distilled-600M作为翻译模型获取对齐分数。最终，对于每个模型和每个目标语言（不包括英语），他们获得了10,000个偏好对。

三、语言神经元识别与验证

研究团队首先需要验证他们提出的语言神经元识别算法是否有效。这就像在开始深入研究之前，先确认你的测量工具是否准确。

基于第3.3节介绍的识别算法，研究人员在模型中识别出语言特定神经元、语言相关神经元和语言无关神经元。为了验证这种识别方法的有效性，他们遵循Tang等人的方法，通过停用识别出的语言神经元来观察模型在不同语言上的困惑度变化。

实验在基础模型和对齐后的模型上都进行了，结果如图2所示。无论是停用语言特定神经元还是所有语言神经元，结果都表现出一致的模式：每行中的对角线元素显示最高值。也就是说，停用某种语言的语言神经元对该语言的处理影响最大。

值得注意的是，停用所有语言神经元比仅停用语言特定神经元产生更明显的影响。这些观察支持以下发现：

1. 研究团队的算法能有效识别语言特定和语言相关神经元； 2. 对于一种给定语言，除了其语言特定神经元外，还有相当数量的共享语言相关神经元贡献到其性能； 3. 停用一种语言的所有语言相关神经元不会对模型在其他语言上的性能造成显著影响。

这些发现证实了研究团队识别的语言神经元的有效性，并进一步提供了关于语言神经元特性的见解。这就像确认了我们能准确识别出一个人精通哪些语言，以及这些语言技能之间的相互关系。

四、模型内部多语言处理机制分析

在确认了语言神经元识别方法的有效性后，研究团队对模型的所有层进行了层级功能分析。他们首先分析了基础模型中不同类型神经元的分布情况，如图3所示。

通过分析不同类型神经元的分布特征，研究人员将LLMs的多语言推理内部处理过程分为四个部分，而不是一些研究中讨论的三阶段划分：

1. 多语言理解阶段：在初始层中，语言神经元（语言特定和语言相关神经元）数量达到峰值，而语言无关神经元相对较少。模型在这一阶段将多语言输入映射到统一的语义空间。这就像我们阅读不同语言的文本时，首先需要理解每种语言的特点，将其转化为可理解的概念。

2. 共享语义空间推理阶段：在中间层，模型在不同语言间共享的语义空间内进行推理。在这一阶段，语言神经元基本缺席，而语言无关神经元占主导地位。这类似于我们在思考问题时，不再关注语言本身，而是专注于概念和逻辑。

3. 多语言输出空间转换阶段：模型在这一阶段将特征转换到多语言输出空间，为生成最终输出做准备。在这部分，语言神经元数量再次达到峰值，而语言无关神经元数量降至最低点。这就像我们在表达想法时，需要重新调用特定语言的知识。

4. 词汇空间输出阶段：在最后一层，模型将不同语言的向量映射到共享词汇空间以生成输出。语言相关和语言无关神经元数量都急剧上升，而语言特定神经元比前几层更少。这类似于我们最终将思想转化为具体语言时的过程。

同时，不同类型神经元的分布与现有研究中提到的结论一致。总体而言，我们可以发现神经元数量与LLMs的不同推理阶段相应变化。

五、多语言对齐前后神经元变化分析

在确定了模型的基本分区和功能后，研究团队进一步分析了多语言对齐前后不同类型神经元的变化。基于LLMs中的四个功能阶段，他们量化了不同类型神经元数量的层级变化(Δ)。图4展示了语言特定神经元、语言相关神经元和语言无关神经元的结果。

在多语言理解阶段，语言神经元数量增加，而语言无关神经元减少。这就像提高了模型对各种语言细微差别的感知能力。

在随后的共享语义空间推理阶段，语言无关神经元显著增加，而语言神经元保持稳定且几乎不存在。这表明对齐后，模型在语言中立的理解和推理能力得到增强。

在第三阶段（多语言输出空间转换），随着语言无关神经元减少，语言神经元整体增加。特别值得注意的是，语言相关神经元数量呈上升趋势。这说明模型增强了将通用推理结果转换为不同语言表达的能力。

最后，在输出阶段，对齐模型中语言无关神经元显著增加，同时语言神经元减少。这表明最终输出更依赖于通用的语言能力，而非特定语言的特征。

研究团队还报告了对齐过程中不同检查点的结果（见附录F）。总体而言，他们发现语言神经元和语言无关神经元在不同层表现出大体相反的趋势，这与LLMs在不同推理阶段的特征相对应。特别是在最后阶段，语言无关神经元比语言神经元发挥更重要的作用。多语言对齐促进了每个阶段相应类型神经元的更有效激活，从而提高了模型处理多语言任务的能力。

六、不同类型神经元的宏观分析

为了获得更全面的视角，研究团队对不同类型的神经元进行了宏观分析。在他们提出的神经元识别算法中，共享特定神经元的语言数量是表征所有激活神经元的一个属性。由于研究涉及10种语言，N的有效范围是1到10。其中，N值从2到9对应语言相关神经元。特殊情况下，N=1表示语言特定神经元，而N=10对应语言无关神经元。

研究团队报告了多语言对齐后每个N值（1到10）的神经元数量变化，如图5所示。结果显示，语言特定神经元数量减少，而共享多种语言的语言相关神经元数量增加。这表明多语言对齐鼓励LLMs开发和利用更多共享的语言相关神经元，而不是仅适用于单一语言的语言特定神经元。同时，在对齐过程中，模型提高了对任务相关通用知识的理解。因此，语言无关神经元的总数也显著增加。

这就像一个人通过学习多种语言，不仅掌握了每种语言的特点，更发现了语言之间的共通之处和底层规律，从而形成了更抽象、更通用的语言理解能力。

七、自发多语言对齐现象分析

"自发多语言对齐"是Zhang等人首次发现并讨论的一个重要现象。它指的是在少数语言上进行对齐可以显著提高模型在训练过程中未见语言上的多语言对齐效果。研究团队在实验中进一步分析了这一现象。

如表1所示，在本研究采用的多语言对齐策略下，自发多语言对齐现象也出现了。除了用于对齐的语言外，LLMs在其他未对齐语言上也表现出显著的性能提升。

为了理解多语言对齐如何泛化到其他语言，研究团队基于他们的方法分析了多语言对齐前后不同类型神经元的变化。以"zh/de => en"为代表性示例，他们在表2中报告了平均结果。对于训练语言，语言特定神经元数量减少，而语言相关神经元数量增加。这表明对齐语言倾向于利用与其他语言共享的语言相关神经元，而不是专用于该语言的语言特定神经元。

更有趣的是，他们将这一分析扩展到训练语言以外的其他语言，观察到类似的现象。这些发现表明，多语言对齐促进了语言相关神经元的使用，同时减少了对语言特定神经元的依赖，这一点在训练语言和其他未见语言中都是如此。研究团队推测，与训练语言共享的新语言相关神经元可能贡献了其他未见语言的性能提升。

这就像一个人通过学习法语和西班牙语，不仅提高了这两种语言的能力，还因为掌握了拉丁语系的共同特点，使学习意大利语或葡萄牙语变得更容易，尽管他从未专门学习过这些语言。

八、进一步分析与发现

除了主要发现外，研究团队还进行了一些额外的分析，揭示了更多有趣的现象。

英语的独特性：由于当前LLMs主要在英语数据上预训练，英语通常在LLMs中扮演特殊角色。在实验中，研究团队也观察到英语表现出与其他非英语语言明显不同的特征。从图2可以看出，停用英语的语言神经元对模型在英语上的表现影响微乎其微，这与其他语言观察到的情况完全不同。这一点也与Tang等人的结果一致。

基于这一发现，研究团队量化了MistralMathOctopus基础模型中英语和非英语语言的神经元数量（表3）。他们的分析显示，英语比其他语言拥有明显更少的神经元，无论是语言特定神经元还是语言相关神经元。研究团队推测，这是因为英语实际上拥有大量语言相关神经元。由于英语作为枢纽语言，这些语言相关神经元可能与几乎所有其他语言共享，从而使它们与语言无关神经元混淆。

神经元分布的稳定性：研究团队还讨论了神经元分布在不同数据域以及对齐前后的稳定性。为了量化神经元分布的稳定性，他们在两种设置下计算了神经元重叠率，结果总结在表4中。他们发现，尽管少数语言神经元的确切位置可能在不同设置下有所变化，但大多数语言神经元的位置分布保持稳定。这也表明在固定超参数下识别的语言神经元具有良好的可靠性和泛化能力。

这就像不同的人学习语言时，尽管每个人的大脑活动模式可能有细微差别，但总体上负责语言处理的大脑区域在不同人之间是相似的。同样，LLMs在处理多语言任务时，也表现出一定的结构化模式。

九、研究结论与未来展望

这项研究从语言神经元的角度系统地研究了多语言对齐机制。研究团队提出了一种基于熵和概率值的新型语言神经元识别算法，可以检测语言特定神经元、语言相关神经元和语言无关神经元。通过停用实验证实了识别出的神经元的有效性。

基于不同类型神经元的分布特征，研究团队将LLMs的多语言推理内部处理过程分为四个部分：多语言理解、共享语义空间推理、多语言输出空间转换和词汇空间输出。他们的分析揭示了不同部分对不同类型神经元的依赖，以及多语言对齐如何显著增强相关层中相应类型神经元的激活。

此外，研究团队还分析了LLMs中的"自发多语言对齐"现象，为语言无关神经元和跨语言共享的语言相关神经元的作用提供了见解。他们还提供了关于英语独特性和神经元分布的观察结果。

总的来说，这项研究基于不同类型的神经元提供了实证结果和有价值的见解，有助于更深入地理解多语言对齐和LLMs的多语言能力。这些发现不仅帮助我们理解LLMs如何处理多语言任务，还为改进模型的多语言能力提供了实用见解和方向。

未来的研究可能会探索更多语言和任务领域，进一步验证和扩展这些发现。同时，基于这些见解开发更有效的多语言对齐技术，可能是一个有前景的研究方向。就像人类通过理解语言学习的认知机制可以开发更有效的语言教学方法一样，理解LLMs中的语言神经元可能有助于开发更高效的多语言模型训练方法。