马拉地语和英语之间，差的不是语言，是一个32B模型和一个10B模型的距离

你有没有想过，同一个AI模型，换种语言问它同一道数学题,答对的概率能差多少?

这不是一个抽象的问题。丹麦奥胡斯大学牵头的一个研究团队,找来了来自丹麦、印度、冰岛、法罗群岛等十几个国家的三十多位研究者和志愿者,干了一件挺"笨"的事：他们把一套经典的小学数学题,一字一句翻译成十五种语言,再用近五十个主流AI模型,在每种语言里各考一遍。

考完之后,一个让人有点意外的数字浮现出来：同一道题,用英语问,模型答对的概率是83%；换成马拉地语问,直接掉到30%。

这个差距有多大？打个比方,如果你在超市排队,十个人里有八个能顺利结账,这是英语的水平;换到马拉地语,十个人里只有三个能结完账,剩下七个要么算错钱,要么直接卡在收银台前不知道该怎么办。这就是同一个AI模型,仅仅因为换了语言,表现上的真实落差。

这篇论文想回答的问题,正是这个落差从哪里来、能不能提前预测、怎么才能缩小它。

**当前方法有什么问题**

要搞清楚"语言差距"从哪来,首先得有一把能公平测量的尺子。

但现有的多语言数学评测,基本都有两个硬伤。

第一个硬伤是"题不一样"。你没法简单地说某个模型在阿拉伯语数学题上考了60分、在法语上考了75分,就得出"这个模型法语数学能力更强"的结论。因为阿拉伯语的那套题和法语的那套题,题目的难度、题型、出题风格本来就可能不一样,这就好比拿两份完全不同的试卷比分数,分数高低根本说明不了谁更会做题。

第二个硬伤更隐蔽,叫"数据污染"。现在主流的数学测试集,比如GSM8K,已经在网上流传了好几年,早就被各大模型的训练数据"吃"进去了。模型考高分,到底是因为它真的会算数学题,还是因为它提前"背过"这道题的答案?没人说得清。

引用块：GSM8K*,一套由OpenAI在2021年发布的小学数学应用题数据集,题目涉及加减乘除和多步推理,是目前检验AI数学推理能力最常用的基准测试之一。

为了解决这两个问题,研究团队没有直接翻译现成的题目,而是用了一种叫"符号模板"的技术。

**符号模板:让每道题都能"重新洗牌"**

具体来说,他们不是把一道固定的题目"小明有5个苹果,给了小红2个,还剩几个"翻译成十五种语言,而是把这道题变成一个模板:"[某人]有[w]个[物品],给了[另一个人][d]个,还剩几个"。这个模板里的人名、数字、物品都是可以替换的变量。

引用块：符号模板*:一种题目生成技术,把数学题中的具体数值、人名等替换成可变参数,从一个模板能自动生成成千上万道结构相同但表面不同的题目,既保证了题目的"骨架"一致,又避免了模型靠死记硬背拿分。

这个设计解决了什么根本矛盾?如果直接用固定题目,那模型要么因为背过答案而虚高得分,要么因为跨语言题目不对等而没法公平比较。而符号模板让研究者可以从同一套"骨架"出发,给十五种语言生成结构完全对应、只是表面数字和人名不同的题目,这样横向比较语言之间的差异才有意义。

这就像面试官出题考察应聘者的逻辑能力,如果每次都用网上能搜到的经典题,聪明的应聘者可能提前背过标准答案;但如果面试官手里有一个"题目生成器",每次面试都能现场换数字、换场景生成一道新题,应聘者就没法靠背题蒙混过关,面试官看到的才是真实能力。如果不用这种方法,直接用翻译好的固定题库,那么这篇论文想要回答的"语言差距到底有多大"这个问题,从一开始就会被"模型背过题"这个干扰因素污染,得出的结论根本不可信。

最终,团队做出了一个叫MULTILINGUAL GSM-SYMBOLIC的数据集,包含100个经过验证的题目模板,覆盖十五种语言,一共能生成三万道题目。这十五种语言横跨印欧语系、汉藏语系、闪米特语系等不同语系,既有英语、德语这样的高资源语言,也有马拉地语、冰岛语这样的低资源语言,覆盖面相当广。

而且每一道题都经过了严格的人工审核。研究团队请了十七位男性和七位女性母语者,大多是20到40岁、有技术背景的高学历人士,先用AI做初步翻译,再人工逐条校对。他们还专门做了一轮"错误分析":用顶尖AI模型跑一遍所有题目,凡是模型答错的,人工检查题目本身是不是表述有歧义或者有错误,然后修正。比如有一道概率题,"掷骰子掷出大于3的数字,比连续掷出两次偶数的概率高多少",这句话本身就有歧义,因为"高多少"既可以理解成倍数关系(200%),也可以理解成百分点差值(25个百分点),团队后来专门加了一句"用百分点表示"来消除歧义。

这种较真的程度,有点像修一座桥之前先把地基下面的土质全部检测一遍,看起来慢,但保证了后面盖的每一层楼都不会因为地基问题塌掉。

**语言不是唯一变量:单位和货币也要本地化**

这里还有个容易被忽略的细节。很多以前的多语言数据集,翻译成其他语言后,题目里用的还是美元、英里、磅这些英制单位,这显然不符合现实使用场景,也可能人为拉高或拉低模型的表现。

这篇论文的团队专门把货币、计量单位、文化指涉和数字格式都做了本地化处理,丹麦语版本用克朗,冰岛语版本符合冰岛的日常计量习惯,而不是简单粗暴地直译。

为了验证这种本地化处理到底有没有必要,他们还专门做了一个对照实验:把英语题目做成"英制版"和"公制版"两份,拿去测试同一批模型,结果发现两者表现几乎没有差异。这说明模型的表现差距不是因为它算不明白公制单位,而是跟语言本身的处理能力有关,这就排除了一个干扰因素,让后续的结论更站得住脚。

**决定AI语言能力的四个因素,哪个影响最大**

有了这把尺子,研究团队接下来要回答核心问题：到底是什么因素,决定了一个AI模型在某种语言上表现好不好?

他们用了一种叫广义线性混合模型的统计方法,把近五十个主流开源模型,在十五种语言上的表现,放在一起做联合分析。

引用块：广义线性混合模型(GLMM)*:一种统计建模方法,能够同时考虑多个相互关联的影响因素,并把因模型本身差异、题目难度差异等"噪音"剥离出去,从而更准确地估计出每个因素真正的独立影响力。

分析结果显示,四个因素对模型表现的影响力从大到小依次是：模型规模、语言资源水平、是否开启推理模式、语言与英语的结构距离。

模型规模的影响力最大。简单说就是模型越大,越聪明,这个结论可能不让人意外,但重要的是它影响力有多大,在这项研究里是四个因素里权重最高的。

语言资源水平排第二。所谓语言资源水平,指的是这种语言在互联网上的文本数量有多丰富,研究团队用了Common Crawl这个全球最大的网页抓取数据库里某种语言的网页数量作为代理指标。

引用块：Common Crawl*:一个长期持续抓取全球互联网网页的公开数据库,包含了数百种语言的海量文本,是训练大语言模型时最常用的预训练数据来源之一。

英语在网上的文本量是以十亿计的网页,而马拉地语可能只有百万级别,量级差了上千倍。语言资源越丰富,模型在这种语言上表现就越好,这个结论不难理解,毕竟模型是"读"互联网文本学出来的,读的英语材料越多,自然对英语越熟练。

第三个因素是推理模式。开启推理模式后,模型会先一步步拆解思路再给出答案,而不是直接甩出结果。

引用块：推理模式(Reasoning)*:部分新一代AI模型支持的一种工作方式,模型在回答前会先生成一段思考过程,逐步分析问题,再给出最终答案,类似人做题时先打草稿再写结果。

打开这个开关,整体表现有明显提升,这个结论也符合直觉,毕竟谁做数学题不是先打草稿再写答案。

第四个因素是类型学距离,指的是一种语言在语法结构上跟英语差多远,比如语序、格标记这些语言学特征上的差异程度。距离越远,表现越差,但这个因素的影响力明显小于前三者。

这四个因素联合起来算的话,能解释92%的语言之间的表现差异,相当精确。但有意思的是,同一种语言下,不同模型之间的差异,这四个因素只能解释23%,换句话说,知道了语言特征,你能比较准确地预测这门语言整体有多难,但具体到某个模型在这门语言上会不会"翻车",还是有相当大的运气成分。

这四个因素联合估计出来后,还有一个特别直观的推论:一个32B参数规模的模型,如果用马拉地语来考,表现大概相当于一个10B参数规模的模型用英语来考。换句话说,你如果想在马拉地语上追上英语的水平,得多花大约三倍的参数规模,这个"兑换率"后面还会细说。

**怎么缩小语言差距:两个真正有用的杠杆**

知道了哪些因素重要还不够,研究团队更进一步,去看这些因素之间会不会相互作用。这才是对开发者真正有用的部分,因为它告诉你,把钱花在哪个方向上,才能真正缩小语言之间的差距。

他们发现了两个明确的杠杆。

第一个杠杆是模型规模。扩大模型规模,能显著缩小高资源语言和低资源语言之间的差距。也就是说,模型越大,语言不平等的问题就越轻。

第二个杠杆是推理模式。打开推理模式,同样能缩小这个差距,虽然效果比扩大规模稍弱一些。

但这两个杠杆都有一个共同的局限:它们对缩小"资源差距"有用,对缩小"结构距离差距"几乎没用。换句话说,如果一种语言本身的语法结构跟英语差得很远,比如马拉地语、阿拉伯语这类,单纯靠加大模型规模或者打开推理模式,没法把这个差距补回来。

这就好比练长跑,你多吃点蛋白质、加强体能训练,能让你跑得更快,这解决的是"体力不够"的问题;但如果赛道本身设计得又陡又绕,体能训练再好也没法让赛道变直。模型规模和推理模式,更像是"体能训练",能解决"资源不够"这个问题;但语言结构上的根本差异,更像是"赛道本身的设计",现在的这两个杠杆对此无能为力。

如果不区分这两种情况,开发者很可能误以为"只要把模型做大,所有语言的问题都能解决",结果把资源投到一个边际效益很低的方向上。这篇论文的价值之一,就是把"能解决的"和"解决不了的"区分清楚了。

**解题的哪个阶段出了问题:不是读不懂题,是算错了**

还有一个很多人会直觉性地以为的问题:AI在低资源语言上表现差,是不是因为它根本读不懂题目?

研究团队专门设计了一个实验来验证这件事。因为符号模板里带有详细的计算标注,他们可以把一道题拆成三个阶段来看：模型有没有正确读出题目里的数字(操作数读取),模型有没有正确算出中间步骤(中间计算),模型最后给出的答案对不对(最终答案)。

结果发现,语言之间的差距在"读数字"这个阶段其实很小,但随着解题步骤往后推进,差距会越拉越大。到了最终答案这一步,差距已经被明显放大。

这个发现相当关键。它说明模型在低资源语言上的问题,不是"看不懂题目在问什么",而是"看懂了题目,但在后续推理和计算过程中逐渐失去准确性"。而且这种失误会一步步累积,就像传话游戏,第一个人说的话稍微有点模糊,传到第十个人那里可能已经完全变样了。

研究团队还发现一个细节:模型按照指令把答案放进指定格式(比如要求用特定符号框住最终答案)的遵守程度,也会因语言而异,德语遵守率高达94.5%,马拉地语只有77.1%。这说明不仅是数学推理能力,连基本的"听指令办事"这个能力,也会随着语言资源减少而打折扣。模型在低资源语言里,是从理解到计算到遵守格式,每一步都在悄悄掉链子。

**符号变体更难,但难度跟语言没关系**

论文里还有一个挺有意思的发现。研究团队把每道题原本的版本(比如GSM8K原题)和用符号模板生成的"变体"版本拿来对比,发现符号变体整体上确实更难一些,平均准确率要低3个百分点左右。

但这个"变难"的幅度,在十五种语言之间波动很大,从英语的1.7个百分点,到俄语的5.5个百分点不等。更有意思的是,这种波动跟语言资源水平、跟语言结构距离这两个此前反复提到的关键因素,完全没有统计上的关联。

这说明了什么?说明一个模型在某种语言上"整体擅长不擅长",和这个模型在某种语言上"遇到陌生题型会不会乱了阵脚",是两件完全不同的事情,背后的决定因素也不一样。这有点像一个学生平时考试成绩很稳(语言整体能力强),但一到换个出题风格的考试就手忙脚乱(符号变体脆弱性),这两种能力并不是一回事,不能用同一套标准去衡量。

**不用全部测,也能大致猜出AI在陌生语言上的表现**

这篇论文还有一个相当实用的发现:能不能不用真的去跑一遍某种语言的测试,就提前估算出模型在这种语言上大概能考多少分?

答案是:可以,而且准确度相当不错。

研究团队做了一个"留一法"实验:每次假装不知道某一种语言的真实成绩,只用其他十四种语言的数据去训练预测模型,然后看预测出来的分数跟真实分数差多少。

结果显示,预测某种语言整体难度的平均误差只有3.2个百分点,相关系数高达0.93；而预测某个具体模型在某种语言上的具体表现,误差是6.0个百分点,相关系数0.96。这意味着什么?意味着如果你想知道某个新出的AI模型大概能在一种从没测过的语言上考多少分,不需要真的大费周章做一遍完整的多语言评测,只靠这套预测框架,就能给出一个相当靠谱的估计。

如果进一步,只在目标语言上补充测试10道题(而不是完整的100道模板),预测误差还能进一步压缩到4.19个百分点。这对于那些资源有限、没办法给每种语言都做大规模评测的团队来说,是个相当实用的"抄近道"办法。

这就好比给一座还没建好的桥提前做承重评估。工程师不需要等桥完全建好才知道能不能过车,他们可以根据已经建好的同类型桥梁的数据,加上对这座新桥的材料、跨度等关键参数的了解,就能比较准确地预估它的承重能力。如果不这么做,那每一种新语言、每一个新模型组合,都得重新跑一遍完整评测,成本会高到让很多团队根本做不起这种研究。

**用模型规模换语言资源的"汇率"**

既然模型规模和语言资源都能影响表现,那研究团队干脆算了一笔更精细的账:如果想让一个低资源语言达到和高资源语言同等的表现水平,到底要多大代价?

答案相当有意思。研究显示,模型参数翻一倍带来的提升,大致相当于语言数据量翻四倍带来的提升。换句话说,参数规模的"性价比"要比语言数据的"性价比"高得多。

具体到每种语言,研究团队算出了一个"等效模型规模倍数"。比如意大利语只需要1.4倍的参数规模就能追上基准水平,而马拉地语需要3.5倍、冰岛语需要3.1倍、爱沙尼亚语需要2.8倍。这组数字相当直观地告诉你,一种语言离英语越"远"(不管是资源上远还是结构上远),它需要的模型规模补偿就越大。

这就好比两个人去同一个目的地,一个人走的是修好的高速公路,另一个人走的是崎岖的山路。要想同时到达,走山路的人要么得提前出发,要么得用更快的交通工具来补偿路况的劣势。对马拉地语来说,"用更快的交通工具"就相当于"用更大的模型",而且这个补偿幅度还不小,接近三倍半的规模差距。

| 核心发现 | 具体数值 |

|---|---|

| 模型规模影响力 | β = 1.77(四因素中最大) |

| 语言资源水平影响力 | β = 0.77 |

| 推理模式影响力 | β = 0.67 |

| 类型学距离影响力 | β = -0.25 |

| 语言间差异可解释度 | **92%** |

| 模型×语言交互可解释度 | 23% |

| 预测未知语言表现误差(无额外数据) | 6.0个百分点 |

| 预测未知语言表现误差(补充10道题) | **4.19个百分点** |

| 英语准确率(以Qwen2.5-7B为例) | 83% |

| 马拉地语准确率(同一模型) | **30%** |

**这项研究还留下了哪些边界**

研究团队很坦诚地承认了这项工作的局限。

数据集目前覆盖100个模板、15种语言,虽然已经尽量做到了语系、资源水平、文字系统的多样化覆盖,但团队也承认,如果加入更多语言,结论可能会更稳健。他们为此特意把数据集设计成可扩展的,后续研究者可以在这个框架上继续添加语言。

他们还做了一个采样规模的分析:用50个模板就已经能和100个模板得出几乎一致的模型排名(相关系数0.99),但如果想把单次测量的误差再砍半,大概需要400个模板,这说明继续加大采样规模的边际收益正在递减。

另外,这套数据集用的是小学数学题,属于相对简单的任务。研究团队也做了对照实验,确认在不同难度阈值下重新拟合模型,结论依然稳定,但他们也提醒读者,不同领域(比如医疗问答、法律咨询)里语言差距的决定因素可能完全不同,数学只是一个"文化中立"的试验场,结论能不能直接推广到其他任务,还有待验证。

团队还指出,"语言资源水平"这个概念本身其实是个粗糙的代理指标,它没法完整反映一门语言背后说话人数量、说话人的经济水平等更复杂的因素,Common Crawl里某些低资源语言的文本质量本身也参差不齐,这些都可能给结论带来一定的噪音。

**写在后面**

读完这篇论文,最让我意外的不是"AI在低资源语言上表现差"这个结论,这个事实其实业内早有共识。真正让我多想了一层的,是那个"32B模型打马拉地语,相当于10B模型打英语"的具体换算。

这个数字把一件原本模糊的事情,变成了一个可以量化、可以谈判的东西。以前我们说某种语言是"低资源语言",这个词本身带着一种宿命感,好像资源少是没法改变的既定事实。但这篇论文告诉你,资源的缺口是可以用别的东西去弥补的,只是弥补的"汇率"不太划算,需要三倍左右的模型规模。这让"公平"这件事,从一句口号变成了一道可以算清楚的账。

另一个让我反复琢磨的地方,是解题过程的分阶段分析。原本以为低资源语言表现差是因为模型"读不懂题",结果发现读题这一步其实差距很小,真正拉开差距的是后面的推理和计算步骤。这个发现有点反直觉,它说明了语言能力和推理能力在AI模型内部可能不是简单的串联关系,一种语言训练数据少,影响的不只是"语言理解"这一个环节,而是渗透进了整个思维链条的每一步,越往后误差积累得越多。这让我开始怀疑,我们平时说的"AI的语言能力"和"AI的推理能力",这两个标签本身的边界,可能没有我们想象中那么清晰。

还有一点值得单独说一说:符号变体的"脆弱性"跟语言资源、语言结构完全没有关系,这个发现当时读到的时候我愣了一下。按直觉,低资源语言的模型应该更脆弱,一遇到陌生题型就更容易崩。但数据说不是这样,脆弱性是一个独立的维度,俄语这种相对资源还不错的语言反而脆弱性最高。这提醒我,不要轻易用一个维度的好坏去推断另一个维度,语言能力这件事,远比"资源多就什么都好"要复杂。

下次你用某个AI工具,切换到一门不那么常见的语言问它问题时,不妨想想,它给你的答案背后,可能已经经历了一场从读题到推理到表达的层层衰减。而这场衰减,现在终于有人把它量清楚了。

Q&A

Q1：MULTILINGUAL GSM-SYMBOLIC数据集是什么?

A：这是奥胡斯大学团队开发的一套多语言数学推理评测数据集,包含100个经过人工验证的题目模板,覆盖15种语言,利用符号模板技术可以生成三万道结构相同但表面不同的题目,用来公平比较AI模型在不同语言上的数学推理能力。

Q2：为什么同一个AI模型用不同语言问数学题,答对率差这么多?

A：研究发现模型规模、语言资源水平(该语言在互联网上的文本量)、是否开启推理模式、语言与英语的语法结构距离这四个因素共同决定了表现差异,其中模型规模影响最大,语言资源水平排第二,这四个因素加起来能解释92%的语言间表现差异。

Q3：怎么缩小AI在不同语言上的表现差距?

A：研究发现扩大模型规模和打开推理模式这两个杠杆,能有效缩小高资源语言和低资源语言之间的差距,但对于语言结构本身跟英语差异很大的语言(比如类型学距离远的语言),这两个方法基本没用。