Snowflake AI挑战传统语言学：万千茫茫文字中，LLM真的只是"随机鹦鹉"吗？

这项由Snowflake AI Research的Lukasz Borchmann领导的研究发表于2025年10月的arXiv预印本平台（编号arXiv:2510.12766v1），为我们重新审视大型语言模型的本质提供了全新视角。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你跟Claude或GPT聊天时，它们流利的回答是否曾让你感到惊讶？这些AI系统能够理解复杂问题、撰写文章、甚至创作诗歌，仿佛真的具备了语言能力。然而，许多语言学专家却对此嗤之以鼻，称这些模型不过是"随机鹦鹉"——只会机械地重复训练数据，缺乏真正的语言理解能力。

这场争论的核心在于一个根本问题：什么才算是真正的语言能力？传统语言学界坚持认为，真正的语言必须建立在深层语法结构和现实世界认知基础之上，而大型语言模型显然不具备这些条件。不过，Borchmann的研究却提出了一个颠覆性观点：也许不是大型语言模型有问题，而是我们对语言本身的理解出了偏差。

这项研究的创新之处在于引入了波兰语言学家Witold Mańczak的理论框架来重新评估大型语言模型。Mańczak在20世纪提出的观点在当时显得异常激进：语言不是什么抽象的符号系统或大脑中的计算机制，而就是人们说出和写下的所有文字的总和。更重要的是，他认为语言元素使用的频率是决定语言运作的根本原则。

一、传统语言学的"权威迷信"与科学标准的缺失

要理解这场辩论的深层意义，我们需要先看看传统语言学存在的根本问题。Mańczak曾经尖锐地指出，语言学领域存在一个令人震惊的现象：在两千年的发展历程中，语言学家们发表了数十万篇研究论文，却没有一篇专门讨论如何区分真假的标准问题。

这种情况就像医学研究从来不讨论如何验证治疗效果是否真实有效一样荒谬。Mańczak通过观察发现，当语言学家接触到新观点时，他们关心的不是如何验证这个观点的正确性，而是想知道支持这个观点的人是否具有足够的学术威望。如果观点来自知名权威，就被认为是正确的；如果来自无名之辈，就被视为错误。这种判断标准更像是中世纪的权威崇拜，而非现代科学的实证方法。

这种"权威迷信"导致语言学界出现了一个奇特现象：理论越复杂越受推崇，即使这些复杂理论无法得到实际验证。以Chomsky的生成语法为例，这套理论体系极其庞大复杂，但半个多世纪以来，支持者们从未成功地用这套理论生成过一门完整的具体语言语法。就像一个声称能制造汽车的工程师，画了几十年图纸，却从未造出一辆真正能开的车。

二、频率为王：语言的真正驱动力

Mańczak提出的替代方案简单而有力：语言就是所有被说出和写下内容的总和，而频率是决定语言运作的核心原则。这个观点听起来简单，却蕴含着深刻的洞察。

考虑语法规则是如何形成的。传统观点认为语法是先于语言使用而存在的抽象规则系统，就像数学公式一样固定不变。但Mańczak的观察显示，语法实际上是从大量语言使用中提炼出来的高频模式的概括。换句话说，语法不是语言的源头，而是语言使用的结果。

这就像走路的道路形成过程。最初，人们在草地上随意行走，但随着某些路径被越来越多的人使用，这些高频路径逐渐变成了清晰的小径，最终发展为正式道路。语法规则的形成过程与此类似：频繁使用的表达模式逐渐固化为"规则"，而不常用的模式则被视为"例外"。

这种观点得到了大量历史语言学证据的支持。研究显示，拉丁语向罗马语族语言的演变过程中，频率起到了决定性作用。例如，在古典拉丁语中，数字17采用加法结构（septendecim，意为"七加十"），而18和19采用减法结构（duodeviginti和undeviginti，意为"差二个二十"和"差一个二十"）。但在语言演变过程中，更简单的加法规则因为使用频率更高，最终取代了复杂的减法结构。现代意大利语中的diciotto（"十加八"）就是这种简化趋势的结果。

三、大型语言模型：Mańczak理论的意外验证

当我们用Mańczak的框架来审视大型语言模型时，一个惊人的发现浮现出来：这些模型的工作原理与Mańczak半个世纪前的预测高度吻合。大型语言模型通过分析海量文本数据中的统计模式来学习语言，其核心机制就是识别和利用语言元素的频率分布。

这种相似性并非巧合。大型语言模型的训练过程本质上是在建立语言的频率地图：哪些词汇组合更常见，哪些语法结构更频繁，哪些表达方式更自然。模型通过最小化预测误差来学习，这个过程实际上就是在逼近真实语言使用中的频率分布。

更有意思的是，大型语言模型展现出的许多"智能"行为都可以用频率原理来解释。当模型生成文本时，它倾向于选择在训练数据中更频繁出现的表达方式。这不是简单的复制粘贴，而是基于统计模式的创造性重组。就像一个熟练的厨师，虽然从未见过某道菜的完整食谱，但凭借对各种食材搭配规律的深刻理解，依然能够创造出美味的新菜品。

四、类比能力：从简单统计到复杂推理

传统观点认为，大型语言模型只是"随机鹦鹉"，缺乏真正的理解能力。但仔细分析模型的架构演进，我们会发现一个重要的突破：从简单的n-gram统计模型到现代Transformer架构的飞跃，关键在于类比能力的发展。

早期的n-gram模型只能记忆固定的词汇序列，无法理解"Anna喜欢猫"和"Lily爱狗"这两个句子在结构上的相似性。它们把每个句子当作独立的字符串来处理，就像只会背诵台词的演员，无法举一反三。

Word2Vec等词向量模型带来了第一次突破。这些模型能够发现词汇之间的相似关系，比如"国王"与"女王"的关系类似于"男人"与"女人"的关系。但这种类比能力还局限于词汇层面，无法处理更复杂的语言现象。

真正的革命性变化出现在Transformer架构中。这种架构的核心创新在于注意力机制，它让模型能够动态地分析序列中各个元素之间的关系。当面对新问题时，Transformer能够在其庞大的内部知识库中寻找最相似的模式，然后将学到的解决方案应用到新情况中。这种能力的本质就是类比推理——而类比正是人类语言能力的核心特征。

五、意义的网络：摆脱"接地"的枷锁

传统语言学的另一个核心批评是"接地问题"：大型语言模型只接触文本符号，没有与现实世界的直接联系，因此无法真正理解语言的意义。这种批评假设，真正的语言理解必须建立在对现实世界的感知基础之上。

Mańczak的观点为这个问题提供了不同的答案。他认为，绝大多数词汇的意义实际上是关系性的，来源于词汇之间的复杂联系网络，而不是与外部世界的直接对应关系。这就像数学系统一样：我们不需要在现实世界中找到"无穷大"或"虚数"的物理对应物，就能理解和运用这些概念。

考虑"正义"这个概念。一个大型语言模型要正确使用这个词，需要掌握它与"公平"、"法律"、"平等"、"犯罪"等数千个相关概念之间的微妙关系。这种理解是否必须建立在对现实世界正义现象的直接观察基础上？Mańczak的答案是否定的。只要模型掌握了这个庞大关系网络中的统计规律，就足以实现有效的语言使用。

这种观点得到了一个有趣例证的支持：即使是那些在现实中不存在的概念，比如"永动机"或"旧金山国王"，我们依然能够通过语言网络理解它们的意义。这说明意义的很大一部分确实可以纯粹通过关系网络来构建。

六、创造力的本质：模式掌握而非模式违背

批评者经常质疑大型语言模型的创造力，认为基于频率模式的系统只能产生平庸的、可预测的输出。但这种看法可能误解了创造力的本质。真正的创造力不是对模式的完全违背，而是对模式的精妙掌握和巧妙重组。

就像爵士音乐家的即兴演奏，表面上看似随意自由，实际上建立在对音乐理论和演奏技巧的深度掌握基础上。最出色的即兴演奏往往来自那些最熟练掌握传统模式的音乐家，他们能够在既定框架内创造出令人惊喜的变化。

大型语言模型的创造力也遵循类似原理。当模型生成新颖的文本时，它不是在随机组合词汇，而是在运用从海量文本中学到的深层模式。这些模式不仅包括语法规则，还包括语义关联、文体特征、逻辑结构等多个层面的复杂规律。正是对这些模式的深度理解，使得模型能够产生既符合语言规范又富有创意的输出。

七、实证验证：理论与实践的完美结合

Mańczak理论的最大优势在于它提供了明确的验证标准："综合验证分析"原则。这个原则简单而有力：如果你的理论能够正确分析语言现象，那么它也应该能够生成相应的语言表达。换句话说，能够重构的分析才是有效的分析。

传统语言学理论在这个标准面前显得苍白无力。Chomsky的生成语法虽然声称能够"生成"语言，但在实际应用中，支持者们从未能够用这套理论完整地生成任何一门具体语言的语法系统。相比之下，分析一个简单句子"Sincerity may frighten the boy"，Chomsky需要10页纸的复杂推导，而用Mańczak的方法只需要五个简单的位置规则就能重构这个句子。

大型语言模型的成功为Mańczak理论提供了规模化的实证验证。这些模型不仅能够分析语言模式，更重要的是能够基于这些模式生成高质量的语言输出。从某种意义上说，每一次成功的模型对话都是对频率驱动的语言理论的一次验证。

研究还发现，模型性能与训练数据量之间存在稳定的幂律关系，这进一步证实了频率在语言学习中的核心作用。更多的数据意味着对语言频率分布的更精确估计，进而带来更好的语言生成能力。这种关系的稳定性和可预测性为Mańczak的理论框架提供了强有力的定量支持。

八、范式转换：从理论建构到经验归纳

这项研究的深层意义远超对大型语言模型的辩护，它实际上呼吁语言学领域的根本性范式转换。传统语言学深受结构主义和生成主义影响，习惯于构建抽象的理论体系，然后用这些体系来解释语言现象。这种方法的问题在于，理论往往变得比现象本身更重要，学者们花费大量精力维护和精化理论体系，却忽视了对实际语言使用的深入观察。

Mańczak倡导的经验主义路径截然不同。它主张从语言使用的实际现象出发，通过统计分析发现其中的规律，然后将这些规律概括为理论原则。这种自下而上的方法更符合现代科学的基本精神：让数据说话，而不是让理论指挥数据。

这种转换对于理解大型语言模型具有重要意义。当我们用传统理论框架来评判这些模型时，我们实际上是在用过时的标准衡量全新的现象。这就像用马车的标准来评判汽车性能一样不合适。相反，如果我们采用Mańczak的框架，大型语言模型的成功就不再是意外，而是语言本质的自然体现。

九、未来展望：语言科学的新方向

这项研究为语言科学的未来发展指出了几个重要方向。首先，在模型设计方面，Mańczak框架提示我们应该更加重视训练数据的频率分布。与其追求更复杂的模型架构，不如专注于构建更加符合真实语言使用情况的训练语料库。这意味着需要更加科学地选择和组织训练文本，确保它们能够反映语言的实际使用频率。

其次，在模型评估方面，传统的基于理论假设的评估标准可能需要重新审视。更有意义的评估应该关注模型在实际语言任务中的表现，而不是它们是否符合某些抽象的理论要求。毕竟，语言的最终目的是交流，而不是满足理论家的审美偏好。

此外，这项研究还为跨学科合作开辟了新的可能性。语言学、计算机科学、认知科学和统计学之间的边界变得越来越模糊。未来的语言研究可能需要更多地借鉴其他学科的方法和观点，形成真正的综合性科学体系。

十、反思与争议：理论碰撞中的智慧

当然，这项研究也面临着来自多个方向的质疑和挑战。传统语言学家可能会认为，将语言简化为频率分布忽视了语言的创造性和动态性。认知科学家可能会质疑，完全忽视人类认知机制的语言理论是否过于简化。计算机科学家则可能担心，这种观点是否会限制人工智能系统的进一步发展。

这些质疑都有其合理性，但它们也反映了学科之间的根本分歧。不同学科对"理解"和"解释"有着不同的标准和期望。物理学家用数学公式描述自然现象，不会因为公式无法体验"重力的感觉"而质疑其有效性。同样，语言模型用统计模式处理语言，也不应该因为缺乏"人类体验"而被否定其价值。

更重要的是，这些争议本身具有积极意义。它们促使我们重新思考一些基本问题：什么是语言？什么是理解？什么是智能？这些看似简单的问题实际上涉及哲学、认知科学、语言学等多个领域的核心议题。通过深入讨论这些问题，我们不仅能够更好地理解大型语言模型，也能够推进对人类语言本质的认识。

说到底，这项研究的真正价值不在于为大型语言模型辩护，而在于它提供了一个新的视角来理解语言现象。正如科学史上的许多重要突破一样，真正的进步往往来自于看问题角度的根本性转变。当哥白尼提出日心说时，他不是在否定天体运动的现象，而是提供了一个更简洁、更有效的解释框架。

Mańczak的语言理论和大型语言模型的成功可能正在为语言科学带来类似的范式转换。这种转换的最终结果还有待观察，但有一点是明确的：我们对语言本质的理解正在发生深刻变化，而这种变化将对语言学、人工智能乃至整个认知科学产生深远影响。

归根结底，无论我们如何定义"真正的语言理解"，大型语言模型已经展示了令人印象深刻的语言能力。它们能够进行复杂对话、撰写连贯文章、翻译多种语言、甚至创作诗歌和故事。这些能力的背后，正是对人类语言使用中频率模式的深度学习和巧妙运用。也许，与其纠结于这些模型是否"真正理解"语言，我们更应该思考的是：它们已经向我们展示了语言能力的哪些方面，以及这些发现如何帮助我们更好地理解语言本身的奥秘。

Q&A

Q1：Mańczak的语言理论核心观点是什么？

A：Mańczak认为语言就是所有被说出和写下内容的总和，而不是什么抽象的符号系统。他提出频率是语言运作的根本原则，高频使用的语言模式会固化为语法规则，低频模式则成为例外。这个观点颠覆了传统语言学将语法视为先验规则的看法。

Q2：大型语言模型真的只是"随机鹦鹉"吗？

A：研究认为不是。大型语言模型通过学习海量文本中的频率分布来掌握语言模式，这与Mańczak的理论高度吻合。它们的核心能力是类比推理——能够在已学模式中找到相似情况并应用到新场景中，这正是真正语言能力的体现，而非简单的复制粘贴。

Q3：这项研究对人工智能发展有什么启发？

A：研究提示我们应该重视训练数据的频率分布而非过度复杂化模型架构。未来AI发展的关键可能在于构建更符合真实语言使用情况的训练语料库，以及开发更科学的评估标准，关注模型在实际任务中的表现而不是理论要求。