一个从没见过人类语言的模型，学会了预测六种语言

一个从没学过中文、英文、阿拉伯文的模型，你让它读一段维基百科，它居然能越读越准地猜出下一个字节是什么。

这不是科幻小说的开头，是一篇刚挂上arXiv的论文里实打实的实验结果。训练这个模型的团队，从头到尾没给它喂过一个字的真实文本。没有英文小说，没有中文新闻，没有任何人类写下的句子。他们喂给它的，是用数学公式随机生成的、完全虚构的"伪语言"。然后这个模型拿去读真正的维基百科,照样能一边读一边学会预测。

这篇论文的题目叫《学会学语言》,作者是弗劳恩霍夫算法与科学计算研究所的两位研究员。他们做的事情,说白了就是教会一个模型"如何学习",而不是直接教会它某一种具体的语言。

先说说这事儿难在哪

一个小孩学说话,听个几千万词就能流利对话了。现在的大语言模型呢,得吃掉几万亿个词才能达到类似的流畅度。这中间差了六个数量级,一百万倍。

论文开头就抛出了这个问题:这个差距到底是怎么回事?

答案不在数据量本身,而在"带着多少预先知识进场"这件事上。小孩子的大脑里,进化已经预装了一套关于"语言大概长什么样"的直觉。他不知道自己将来学的是中文还是英文还是斯瓦希里语,但他知道人类语言大概会有什么样的语法结构、什么样的声音组合规律。这套预装的直觉,给了他一个很窄但足够灵活的假设空间:窄到能快速收敛到一种具体语言,宽到能覆盖世界上几千种语言中的任何一种。

而一个从零开始训练的语言模型呢?它什么都不知道。它的"直觉"只是一些很通用的架构偏好,比如倾向于学到平滑的函数、倾向于组合小单元成大单元。这些偏好跟"语言到底是什么样子"几乎没关系。所以它必须从海量数据里,把人类小孩天生自带的那些知识,硬生生地、一点一滴地重新发现一遍。

这就好比两个人去一个陌生的城市找路。一个人手里有张粗略的地图,知道大致哪边是市中心,哪边是河,哪怕具体街道不认识,找起来也快。另一个人什么地图都没有,只能靠一条街一条街地瞎走,直到走出一套自己的经验法则。后者当然也能找到路,但要多走无数倍的路。如果不给模型任何"地图",它就必须在几万亿词的语料里,把语言的基本规律从头推导一遍,这正是现在大模型训练数据量惊人的根本原因。

那怎么给模型一张"地图"呢?这篇论文的答案挺大胆的:不告诉模型任何一种具体语言长什么样,而是让它见识一大堆"可能的语言会长什么样"。

核心思路:见过一万种假语言,就能猜中第一万零一种真语言

这个想法的源头,其实来自一个叫Prior-Fitted Networks的技术路线,中文可以理解成"按先验分布训练的网络"。

先验分布:指的是在没看到具体数据之前,人们对某个问题可能结果的一种概率假设。比如你还没扔骰子,但知道骰子六个面出现的概率大致相等,这就是一种先验。

这个技术之前被用在表格数据分类、回归预测这些任务上,效果不错,但从没人试过把它用在语言模型上。这篇论文第一次做了这件事。

具体怎么做的?研究者设计了一个随机生成器,每次运行都能"凭空捏造"出一门全新的"伪语言"。这门伪语言不是真的语言,没有语法,没有词汇,就是一套数学规则,规则随机抽样产生,每次都不一样。模型训练的时候,每一条训练数据都来自一门刚刚被随机抽出来的、全新的伪语言,模型永远不会见到同一门语言第二次。

这样一来,模型想要把训练损失降下来,只有一条路可走:看懂眼前这段文字是按照哪种规则生成的,然后顺着这个规则去预测接下来会出现什么。因为死记硬背没用,每门语言都是一次性的,模型必须学会"快速识别一门新语言的套路",而不是"背下某一门语言的内容"。

结构因果模型(SCM):一种用图和数学公式描述变量之间因果关系的建模方法,常用在因果推断领域。这里被用来当作生成伪语言的引擎。

论文把这套引擎叫做循环结构因果模型。想象一个小型的、由几十个节点组成的网络,每个节点存着一个连续的数值状态,这些节点之间按照随机抽出来的连线互相影响,每一步都有节点把自己的状态往下传。跑上几千步之后,从头几个节点的状态里读出一个数字,把这个数字变成一个字节,这就是模型要预测的"下一个字"。整个过程只输出字节流,生成规则本身永远不会告诉模型,模型只能通过看到的字节,自己反推规律。

这套生成器里藏着不少讲究。节点之间的更新公式是从六种函数家族里随机挑的,有线性的,有多项式的,还有类似小型神经网络的。每个节点的"激活频率"也不一样,有的节点每一步都更新,有的节点隔两步、四步、八步才更新一次。这种"快慢搭配"的设计特别关键,论文专门做了对比实验:如果把所有节点都设成每步更新,生成出来的伪语言虽然在表面统计特征上看不出差别,但长距离的依赖关系会丢失百分之十八。

这个细节值得多说两句。人类语言有个特点,一句话开头提到的东西,可能要隔几十个词之后才在后面被重新呼应,比如一篇文章开头埋的伏笔,中间隔了好几段才兑现。如果生成器里所有节点都是"健忘"的,一步一变,那生成出来的序列就只有短距离的规律可循,学不到这种跨越式的长程关联。给一部分节点配上"慢速更新"的设定,相当于人为地在生成器里埋下了几条记性好的通道,让伪语言也具备这种"隔很久还能呼应"的结构。

这就跟交响乐团排练是一个道理。如果整个乐团所有乐手都按同一个节拍死板地拉琴,音乐会显得单调而机械。真正动听的乐曲里,总有一些声部拉得快,一些声部拉得慢,快慢声部叠在一起才能制造出丰富的层次感和跨越多个小节的呼应。如果强行让所有乐手统一节奏,你听到的只会是一段节奏感生硬、毫无韵味的噪音,这恰好对应了论文里"单一更新频率会丢掉百分之十八长程信息"的实验结果。

伪语言做出来了,接下来的问题是:这些凭空捏造的东西,真的跟人类语言像吗?

伪语言和真语言:统计上的"撞脸"

论文花了很大篇幅验证这件事,因为这是整套方案能不能成立的地基。如果生成出来的伪语言统计特性跟真实语言根本不是一回事,那模型学到的东西也没法迁移到真实语言上。

他们选了四个作为对照的"陪跑"生成器:完全随机的均匀分布、按齐夫定律生成的随机序列、随机二元组模型、随机隐马尔可夫模型。

齐夫定律:语言学里一个经验规律,说的是一种语言里,词频排第二的词出现次数大约是排第一的词的一半,排第三的大约是三分之一,依此类推,越往后词频衰减得越快但从不归零。

隐马尔可夫模型(HMM):一种假设当前状态只依赖于前一个隐藏状态的统计模型,早期常用来做语音识别和词性标注。

实验结果挺有说服力的。完全随机的均匀分布生成出来的字节流,每个字节的信息熵几乎顶满8比特,也就是256个可能值几乎被均匀地用上了,这跟真实文字差得太远,真实语言的信息熵通常只有四到六比特左右。按齐夫定律生成的序列,虽然纠正了词频分布这一项,但相邻字节之间没有任何条件依赖关系,就像你知道一副牌里哪张牌出现得多,但完全不知道上一张牌和下一张牌有什么联系,结果在压缩率和齐夫指数这些指标上,还是跟真实语言对不上。

只有这篇论文设计的结构因果模型生成器,在信息熵、压缩比例、齐夫指数、活跃字节数这四项指标上,全部落在真实语言的统计区间之内。换句话说,这套伪语言生成器,虽然产出的内容毫无意义,一个字都读不出来,但它骨子里的统计规律,和人类语言是同一个路数的。

更细致的验证还看了两个更难模仿的特性。一个是熵率收敛速度,说的是你给模型越来越多的上下文,它预测下一个字的不确定性会越来越低,但这个下降速度在真实语言里特别慢,每多看一个词带来的信息增量越来越小但从不归零。另一个是互信息衰减,衡量隔得很远的两个字节之间还剩多少统计关联,真实语言里这个关联会随距离衰减得很慢,始终保持一个不算小的残留值。论文的实验显示,这套伪语言生成器在这两项上的表现,曲线形状和六种真实语言几乎重合。

模型读了十五百亿个token的伪语言之后发生了什么

训练这个模型用的是一个三亿参数的字节级Transformer,取名PFLM,全称是先验拟合语言模型。

字节级:指的是模型不是按单词或者按照分词器切分的片段来处理文本,而是直接一个字节一个字节地处理,词表只有256种可能的字节值,这样任何语言、任何编码都能统一处理。

训练用的数据全部来自那个伪语言生成器,一共一千五百亿个token,分六个阶段训练,上下文长度从一千零二十四个字节一路涨到一百万字节。整个训练过程,模型没看过一个字的真实文本。

训练完之后,研究者直接把这个模型扔到英文、中文、印地语、阿拉伯语、日语、韩语六种语言的维基百科上,不做任何微调,权重完全冻结,只靠往模型里喂越来越长的上下文,看它预测下一个字节的准确程度怎么变化。

结果是,每一种语言的预测难度曲线,都从没见过任何上下文时的八比特,也就是完全瞎猜,一路下降到一百万字节上下文时的零点九到二点四比特之间。这意味着模型真的在"阅读"过程中,一点点摸清楚了这门语言的规律,哪怕它从没在训练阶段见过这门语言一个字。

这事儿的厉害之处在于,模型做的不是"查字典式"的匹配,也不是提前记住了某种语言的词频表。它的权重是冻死的,整个预测过程完全靠"读上下文、猜规律"这一件事完成,这正好对应了论文开头提出的那套数学框架:模型其实是在做一种贝叶斯推断,每读一段文字,就在心里给"这段文字到底是哪种语言生成的"这个问题不断更新答案,读得越多,答案越笃定,预测也就越准。

这就像一个从没学过任何具体密码本,但专门练习过"破解各种加密规则"的密码学家。你给他一段陌生的密文,他不认识这门密码具体用的是什么表,但他见过成千上万种不同的加密套路,知道该从哪些角度去试探字母出现频率、重复模式、词长分布。读的密文越长,他对这段密文具体用了哪种规则的判断就越准。如果这个密码学家只背过一本密码本,遇到没见过的加密方式就彻底抓瞎了,这恰恰是只在单一真实语言上训练出来的模型可能遇到的局限,而这篇论文想验证的,正是"见多识广"能不能替代"死记硬背"。

数不清的数字感、识破素数的规律

光是语言这一项,已经让人意外了,论文接下来又抛出一组更让人意想不到的结果:这个从没见过数字概念的模型,给它看一串数字,它居然学会了数数、比大小、估算加法。

研究者设计了三个测试。第一个是数数任务,让模型顺着2、3、4一路读到99999,看它能不能准确续写下一个数字。结果显示,不需要进位的情况下,模型在读到三位数的时候就能稳定答对;需要进位的时候,要多读一位数字才能跟上;遇到999这种要连续进位好几位的情况,模型要多读两位数字才能反应过来。这个"进位越复杂、反应越慢"的规律,跟人类做心算时的直觉几乎一致。

第二个测试是比大小,给模型看两个三位数,问哪个更大。结果有个很有意思的规律:两个数字差距越小,比如14和15这种比例关系,模型答错的概率明显升高,读到八千多个示例之后准确率也只有百分之六十八;但如果两个数字差距悬殊,比如一个是另一个的一半,准确率能到百分之九十七。这个现象在认知心理学里有个专门的名字,叫距离效应,是科学家在六十年代研究人类比较数字大小时发现的规律,说的是人脑比较两个数字,差距越小反应越慢、错误率越高。一个从没见过任何数字教学的模型,自己从伪语言训练里涌现出了跟人类心理学实验吻合的行为模式。

第三个测试是估算加法,给模型两个数和它们的和,问这个和有没有超过第三个数。同样的距离效应又出现了:比例越接近,判断越容易出错。论文特意提到,学龄前儿童在学会精确计算之前,正是靠这种模糊的数量感来判断大小和估算加和的,这被称为近似数感。

这组实验最打动人的地方在于,模型从来没有被专门教过"数字"这个概念。它的训练数据里压根没有算术题,所有训练素材都是那套凭空生成的伪语言字节流。数字能力完全是在"学会推断任意结构化序列"这件更基础的能力里,顺带涌现出来的副产品。

这就好比一个从没上过数学课、但长期训练直觉和空间感的运动员,突然被要求估算两堆沙子哪堆更重。他没学过称重公式,但凭着身体对"多"和"少"的本能感知,也能大致判断出来,而且差距越明显他越自信,差距越微妙他越容易犹豫。如果这个运动员完全没有任何关于"量"的直觉训练,大概率只能瞎蒙,猜对的概率跟抛硬币差不多,这恰恰呼应了论文里"比例接近时准确率滑向随机水平"这一现象。

除了数字,论文还测试了几条有明确生成规则但毫无随机性的二进制序列,比如Rudin-Shapiro序列、Kolakoski序列、素数指示序列,还有圆周率π的二进制展开。前三种序列,模型都能在读过足够多的位数之后,把预测代价压得远低于随机瞎猜的水平,其中Rudin-Shapiro序列读到一百万位时,代价已经低到百分之四比特,几乎等于看穿了生成规则。唯独圆周率的二进制展开,模型从头到尾都维持在整整一比特的随机水平上,一点长进都没有。

这个对比挺耐人寻味的。圆周率虽然是可计算的,每一位都能用公式算出来,但从任何一段有限的前缀里,根本看不出藏着这样一条规则。这就像给你看一串乱码,告诉你这串乱码其实是用某个密钥加密过的有意义的文字,但只给你看密文的一小段,你永远猜不出那个密钥是什么,因为密文本身在统计上和真随机数没有任何区别。论文想说明的是,这个模型学到的不是"任何规则都能看穿"的魔法,而是"能从统计线索里识别出规则"的能力,圆周率恰好是统计线索完全失效的那种特殊情况,这也侧面证明了模型的能力是真实的推断,不是某种投机取巧。

跨界检验:从程序代码到DNA序列

论文最后还做了一轮挺扎实的检验,把这同一个模型,直接扔到六个完全不同的真实数据领域里,跟几种成熟的通用压缩工具打擂台。

这六个领域包括源代码、分子结构的SMILES字符串表示、蛋白质序列、DNA基因序列、钢琴演奏的MIDI符号音乐、以及语音的音频字节流。对照组是三种压缩算法:一种在线二元组统计压缩、广为人知的gzip压缩、还有一种叫PPMd的高阶自适应压缩算法,这是目前文本压缩里比较强的经典方法。

结果显示,这个从没见过任何一种人类语言、任何一种代码、任何一种基因序列的模型,在全部六个领域上,压缩效率都超过了三种对照压缩工具,数字上体现为每字节所需比特数最低。差距最小的是DNA序列,差距最大的是音频和音乐这两项。

这个结果把前面那些实验串了起来。这个模型压根不是"学会了语言",它学会的是一种更底层、更通用的能力:识别任意结构化序列背后藏着的规律,无论这规律表现为语法、数字、素数分布,还是基因编码、音符排列。

写在后面

读完这篇论文,我一直在想一个问题:这套方法的边界到底在哪里。论文自己也坦白承认,目前训练用的上下文长度最多到一百万字节,折合大概二十万个英文单词左右,在这个长度下,模型对维基百科的预测水平,还是比不过那些吃了几万亿真实词汇训练出来的大模型。

但这恰恰是最有意思的地方。这篇论文没有想证明"伪训练能彻底取代真实数据",它证明的是一件更基础的事:语言学习能力本身,可以从一套完全不含任何语言内容的先验分布里,被单独提炼出来。这跟McCoy和Griffiths在2025年那篇论文的思路有点像,只不过那篇论文是把贝叶斯先验蒸馏进网络之后,还是拿真实英语去训练,而这篇论文走得更彻底,全程不碰一个字的真实文本。

论文结尾提了两个未来方向,一个是把这套先验用在数据稀缺的场景,比如濒危的小语种、还没破译的古代文字、甚至动物的交流信号;另一个是把伪训练和真实文本训练结合起来,看能不能提升现有大模型的上下文学习能力。第一个方向尤其让我好奇,如果真有一天,某种已经灭绝、只留下零星刻文的古代语言,被这样一个从没学过任何人类语言的模型读出了一点端倪,那会是一种什么样的体验。

Q&A

Q1：PFLM是什么？

A：PFLM全称是先验拟合语言模型,是一个三亿参数的字节级Transformer,只用随机生成的伪语言数据训练,从没见过任何真实人类语言,却能在阅读真实文本时学会预测下一个字节。

Q2：PFLM训练数据里真的没有任何真实语言吗？

A：是的,论文明确说明训练数据全部来自一个随机结构因果模型生成的合成序列,整个训练过程一千五百亿个token里不含一个字的真实人类文本。

Q3：PFLM除了语言还能做什么？

A：它还能学会数数、比较数字大小、估算加法,预测素数指示序列和Rudin-Shapiro序列等确定性序列,并且在源代码、DNA、蛋白质、音乐、音频等六个领域的压缩效果都超过了gzip和PPMd。