多语思考能力：探索多语言环境如何提升大语言模型的推理能力

一项来自南京大学、上海人工智能实验室和卡内基梅隆大学联合研究团队的最新发现

2025年4月，南京大学国家软件新技术重点实验室的高长江、黄旭、朱文浩、黄树坚，卡内基梅隆大学的李磊以及上海人工智能实验室的袁飞共同发表了一篇引人深思的研究论文，探讨了多语言思考如何能够增强大语言模型(LLM)的推理能力。该论文题为《Could Thinking Multilingually Empower LLM Reasoning?》（多语思考能否增强大语言模型的推理能力？），已发表在arXiv预印本平台上（arXiv:2504.11833v1）。

一、研究背景：为什么大语言模型需要多语言思考？

想象一下，你正在学习一门复杂的数学问题。有时候，用你的母语思考可能会让你卡壳，但当你尝试用另一种语言重新思考这个问题时，突然间思路就变得清晰了。这种现象不仅存在于人类认知中，研究团队发现，大语言模型也展现出类似的特性。

长期以来，研究人员一直认为大语言模型存在"英语偏见"——它们在处理英语任务时表现更好。这种现象并不奇怪，毕竟模型训练数据中英语资源占比最大。然而，研究团队观察到一个有趣的现象：在某些需要复杂推理的任务中，使用非英语语言反而能让模型表现得更好。

就像一个人有时用第二语言思考问题能激发新的思路一样，大语言模型在某些非英语语言中展现出了超越英语的推理能力。这种现象此前并未得到充分研究，促使研究团队开始探索多语言思考对大语言模型推理能力的潜在影响。

二、研究方法：如何测量多语言思考的效果？

为了量化多语言思考对大语言模型推理能力的提升，研究团队设计了一系列巧妙的实验。想象一下科学家们正在给模型准备一次多语言"智力测试"，他们使用了两个专门设计用于测试推理能力的任务：

GPQA（研究生级别的谷歌证明问答）：这是一个包含复杂科学问题的数据集，难度相当于研究生水平的科学问题，需要模型进行深度科学推理。

MGSM（多语言小学数学）：一个数学推理数据集，包含各种数学问题，需要模型展示数学推理能力。

研究团队选择了三个主流的大语言模型作为研究对象：

Qwen2.5-72B：字节跳动旗下的前沿大语言模型
LLaMA3.1-70B：Meta开发的开源大语言模型
R1-distill-LLaMA3.1-70B：一个经过蒸馏的LLaMA变体

实验过程就像是让这些AI模型参加一场多语言的头脑奥林匹克。研究团队将原本英语的问题翻译成了16种不同的语言，包括西班牙语、法语、德语、俄语、塞尔维亚语、孟加拉语、中文、日语、韩语、阿拉伯语、泰语、匈牙利语、越南语、斯瓦希里语和泰卢固语。然后，研究人员让模型分别用这些不同语言回答同一问题，就像让一个多语言者用不同语言思考同一个问题一样。

他们使用了一个名为"Acc@k"的指标来评估模型的表现，这个指标测量了模型生成k个答案中至少有一个正确的概率。换句话说，如果我们给模型k次回答同一问题的机会，它能不能至少答对一次？

为了确保实验的可靠性，研究团队还设置了几个对照实验：

Repeat（重复）：用同一种语言（英语）重复提问同一个问题，但每次使用不同的随机种子，这就像是用同样的语言反复思考同一个问题。

Paraphrase（释义）：将英语问题改写成不同表达方式但保持意思不变，就像是用同一种语言但换不同的表述方式来思考问题。

这些对照实验帮助研究者辨别出真正的多语言效应，而不是简单的随机性或表达差异带来的效果。

三、惊人发现：多语言思考大幅提升了模型的推理上限

研究结果令人惊讶：多语言思考显著提高了大语言模型的推理能力上限。就像给AI开启了一扇全新的思考之门。

在GPQA任务中，通过聚合来自17种不同语言的回答，模型的准确率从单独使用英语时的约45%飙升至约90%。这相当于把一个普通水平的学生提升到了顶尖水平！同样，在MGSM任务中，多语言思考将准确率从约90%提高到接近100%。

更令人惊讶的是，研究团队发现，多语言思考的优势开始显现只需4种语言，之后随着语言数量的增加，性能持续提升。这就像人类大脑在接触到多种语言后，思考问题的角度和深度也随之增加一样。

与仅使用英语的基线相比（无论是多次随机尝试还是改写问题），多语言思考的准确率提高了将近10个百分点。这一发现表明，多语言思考确实带来了质的飞跃，而不仅仅是因为增加了尝试次数或改变了问题表述。

四、多语言思考的奇妙特性：鲁棒性和包容性

多语言思考展现出了几个令人惊叹的特性，就像一个成功的国际合作团队，成员来自不同文化背景却能相互弥补，共同解决复杂问题。

首先，多语言思考对语言选择表现出了惊人的宽容度。研究团队随机从17种语言中选择4种进行测试，发现平均性能与最佳语言组合相差无几。这表明多语言思考的优势并不依赖于特定的"精英语言"，而是来源于语言多样性本身带来的思考角度变化。

其次，研究发现机器翻译和人工翻译对性能影响不大。即使使用谷歌翻译这样的自动工具翻译问题，模型的多语言推理能力依然保持稳定。这意味着获取多语言推理能力的门槛并不高，不需要昂贵的人工翻译资源。

第三，研究团队发现不同语言对不同难度的问题有各自的优势。就像一个团队中有人擅长解决创意问题，有人擅长处理逻辑问题一样，某些语言在某类问题上表现更佳。例如，在GPQA任务中，对于简单的本科水平问题和困难的研究生水平问题，最适合的语言组合是不同的。

最后，存在一些"关键优势语言"，它们经常能补充其他语言的错误。这些语言在其他语言失败的问题上往往能给出正确答案，就像团队中的救火队员总能在关键时刻解决别人解决不了的问题。

五、现实挑战：为什么我们难以充分利用多语言思考的潜力？

尽管多语言思考展现出了巨大潜力，但研究团队发现，要充分发挥这一潜力并不容易。就像拥有了一支多才多艺的团队，却还没找到让所有人才能充分发挥的协作方式。

研究人员测试了几种常见的答案选择策略：

多数投票法：让模型用不同语言回答同一问题，然后选择出现最多的答案。这就像是让团队成员投票决定最终方案。

提示引导法：通过特殊的提示引导模型选择最合适的语言进行思考，或者要求模型自行翻译问题。这就像是给团队一个明确的工作流程指导。

模型自评法：让模型自己充当评委，判断不同语言产生的答案哪个更好。这就像是指定团队中一个成员作为项目经理来协调各方意见。

然而，研究表明，这些方法都无法充分发挥多语言思考的潜力。特别是多数投票法，随着语言数量增加，性能反而下降，与Acc@k指标的趋势相反。这表明，虽然多样化的思考角度有助于找到正确答案，但简单地依靠"多数意见"可能会被错误的共识误导。

模型自评法虽然在某些情况下表现不错，但往往偏好高资源语言（如英语），而忽视某些低资源语言中可能隐藏的宝贵见解。这就像团队中资历较浅的成员提出的好点子被忽视了一样。

六、未来展望：解锁多语言思考的全部潜力

这项研究揭示了多语言思考在增强大语言模型推理能力方面的巨大潜力，同时也指出了目前实现这一潜力的挑战。就像我们发现了一座宝藏，但还缺少最有效的挖掘工具。

研究团队的工作为未来研究指明了几个有希望的方向：

开发更高效的答案选择策略，能够真正从多语言思考中提取最有价值的见解，而不仅仅依赖简单的多数投票。

探索多语言思考背后的认知机制，理解为什么不同语言对推理有不同影响，这可能揭示语言与思维之间更深层次的联系。

设计专门针对多语言推理优化的模型架构，让模型能够更自然地整合来自不同语言的思考过程。

这项研究不仅对AI领域有重要意义，也启发我们思考人类认知中的多语言思考过程。正如一个人掌握多种语言可能获得更丰富的思考视角一样，多语言AI可能在推理能力上有质的飞跃。

七、结论：多语言思考——AI推理能力的新疆域

回顾整个研究，南京大学、上海人工智能实验室和卡内基梅隆大学的研究团队向我们展示了一个令人兴奋的发现：让大语言模型用多种语言思考同一问题，可以显著提高其推理能力。就像打开了模型思考的新维度，让它能从多个文化和语言视角审视问题。

在GPQA任务中，多语言思考将准确率从45%提升到约90%；在MGSM任务中，准确率从90%提升到接近100%。这种提升是稳健的，不依赖于特定语言组合或翻译质量，只需4种语言就能开始显现优势。

然而，现有的答案选择方法还无法充分发挥多语言思考的潜力。尽管如此，这项研究为未来开发更高效的多语言推理系统铺平了道路。

对于AI研究者来说，这项研究提供了重要的启示，表明多语言思考可能是提升大语言模型推理能力的有效途径。对于普通用户来说，未来的AI助手可能会在背后使用多种语言进行思考，即使它们与你交流时只使用一种语言，从而提供更准确、更全面的回答。

正如一个人学习新语言不仅获得了沟通工具，还获得了新的思考方式，大语言模型通过多语言思考，也获得了更强大的推理能力。这项研究揭示的不仅是AI技术的进步，更是对语言与思维关系的深刻洞察。

有兴趣深入了解这项研究的读者可以通过arXiv:2504.11833v1访问完整论文，或访问项目GitHub仓库：https://github.com/CONE-MT/multilingual_reasoning。