AI评价"创造力"的尺子，为什么一直对不上号？

你有没有想过一个问题：如果让十个人去评价同一个AI写的诗，他们会打出一样的分数吗？

答案大概率是不会。有人觉得辞藻华丽就是有创意，有人觉得出人意料的比喻才算，还有人干脆打开专业的评分量表，一条一条地核对"原创性""流畅度""精细度"。这种混乱不只发生在普通读者身上，就连专门研究AI创造力的学术论文也是各说各话。

芝加哥大学的研究者们翻了82篇相关论文,发现一个让人哭笑不得的现象：评测AI创造力的方法五花八门,有的用专家打分,有的让另一个AI当裁判,有的干脆比对生成内容和训练数据的相似度。更麻烦的是,这些方法得出的结论常常互相打架。比如用语义相似度来衡量,AI看起来创意十足;换成专家评审,AI立刻显得平庸不堪。这不是某个研究做错了,而是大家压根没有在同一个频道上说话。

这篇论文想解决的,就是这个底层的混乱:这么多形态各异的创造力测试,它们背后到底有没有一个共同的东西?如果有,这个东西是什么?

**长尾**：统计学里指一种分布形态,少数常见情况占据大部分概率,而大量罕见情况分散在"尾巴"里,这个"尾巴"区域出现概率低但种类繁多,俗称长尾区域。

研究团队给出的答案是：所谓创造力,本质上就是模型在"长尾"区域里的表现能力。

这件事难在哪里

要理解这个结论,得先弄明白一件事：为什么评价AI写作文和评价AI做数学题,用的是完全不同的工具?

传统的AI能力测试,比如做数学题、回答常识问题,衡量标准很直接：答案对不对。但创造力测试完全不是这么回事。你让AI写一个故事,没有唯一正确答案,你只能说这个故事"好不好""新不新"。于是不同的研究团队各自发明了自己的打分方式,有的关注用词的罕见程度,有的关注情节的意外性,还有的直接把AI生成的内容和互联网上已有的文本做比对,看重复率。

这就好比去评价一道菜好不好吃。有人靠米其林评委的舌头,有人靠问卷调查食客的打分,还有人干脆去查这道菜的配方有没有在菜谱网站上出现过。三种方法测的其实不是完全一样的东西,但大家都管它叫"好吃"。创造力评测的乱象,根源就在这里。

研究者们没有满足于罗列这些差异,而是往下深挖了一层：这些五花八门的测试方式,是不是其实都在无意识地做同一件事?

一个数学公式牵出的答案

心理学界对创造力有个流传了几十年的共识性定义：创造力等于新颖性乘以质量。一个作品光新颖没用,得同时有价值；光有价值但千篇一律,也算不上创造力。

**新颖性-质量乘积公式**：心理学中描述创造力的经典公式,Creativity = Novelty × Quality,即创造力是新颖程度和作品质量两者的乘积,而不是简单相加。

研究团队把这个公式往前推了一步。他们设想了一个叫做"参照分布"的东西。

**参照分布**：用来描述某个输入输出组合在某个文本来源（比如某个语料库）中出现概率高低的统计分布,出现概率高说明常见,概率低说明罕见。

举个例子。如果你问AI"天空是什么颜色",AI回答"蓝色",这个问答组合在互联网文本里出现的概率极高,属于参照分布的"峰值"区域。但如果你问AI"用三个意象描写一场永不结束的雨",这个问题本身就罕见,AI给出的任何回答相对而言都处在"长尾"区域,因为类似的问答对在训练语料里很少见。

论文作者做了一个数学推导：把新颖性和质量相乘得到的创造力分数,按照输入的新颖程度拆解成无数个"层",每一层代表某个新颖度阈值以上的所有样本。推导出的结论是,同样大小的一个质量优势,如果出现在新颖度更高的区域,它对整体创造力得分的贡献权重就更大。

这意味着什么?意味着两个模型哪怕在"天空是什么颜色"这种常见问题上表现完全一样,只要在"永不结束的雨"这种罕见问题上一个答得好一个答得差,那个答得好的模型创造力得分就会明显更高。这个数学关系不是研究者凭空设定的规则,而是从新颖性乘以质量这个经典定义里严格推导出来的。

如果不做这个推导会怎样?那创造力评测就只能停留在"感觉"层面,没法解释为什么有的基准测试测出来的结果更贴近人类判断,有的却偏差很大。这个数学框架相当于给原本模糊的直觉装上了一把尺子。

拿皮尔语料库当量尺

光有理论公式还不够,研究者需要把"新颖性"这个抽象概念变成可以实际计算的数字。

他们选择了**The Pile**这个文本语料库作为参照系。

**The Pile**：一个包含800GB多样化文本的大型预训练语料库,常被用作训练大语言模型的基础数据来源。

具体计算方式是数n-gram在语料库里出现的次数。

**n-gram**：文本中连续n个词组成的片段,比如"今天天气很好"这句话,取n=2时可以切出"今天天气""天气很好"等片段,用来统计语言的常见搭配模式。

研究者用了一个叫Infini-Gram-Mini的工具,快速查询某段文字里的n-gram在The Pile里出现过没有。如果一段文字里大部分n-gram都是语料库里从没出现过的新组合,这段文字的"新颖度"就高。

这就像检查一份简历里的工作经历是不是放之四海而皆准的模板话术。如果一份简历写满了"具有团队合作精神""能够承受工作压力"这种在无数简历里都能查到的套话,它的新颖度就极低；但如果写的是"曾独自在零下三十度的科考站修复过一台冻裂的发电机",这种罕见表述在任何简历模板库里几乎查不到相似的说法,新颖度自然就高。用n-gram查重率来衡量文本新颖度,本质上就是在做这种"是不是套话"的自动化检测。

为什么要用The Pile而不是别的语料库?因为The Pile的收录时间早于论文测试的所有基准,这样就避免了"AI提前背过这些测试题"的污染问题。如果用一个包含最新网络内容的语料库,很可能某个创造力测试题本身就已经被收录进去了,这样测出来的"新颖度"就失真了。

三个维度画出创造力地图

有了参照分布这把尺子,研究者把每一道测试题和AI的回答,放进一个二维坐标系里。横轴是"问题本身有多罕见",纵轴是"给定这个问题,回答有多罕见"。

这样整个空间被切成了四块。两个轴都低的地方叫"峰值区",问题常见,回答也常见,比如前面提到的"天空是什么颜色"。一个轴高一个轴低的地方分别叫"输入尾部"和"输出尾部"。两个轴都高的地方叫"联合尾部"。

研究团队测了15个基准测试,涵盖写作、数学推理、开放式问答三大领域,横跨26个开源模型。结果非常一致：创造力测试普遍比标准能力测试更靠近"尾部"区域,不管是哪个任务领域都是如此。

在写作领域,一个叫Arena-Hard Creative Writing的创造力测试,两个轴的数值都在0.6到0.7之间,远高于Alpaca这类标准指令跟随测试。在数学领域,专门测创造性解题的CreativeMath,比常规的AIME竞赛题更靠近输入尾部。在问答领域,需要脑筋急转弯式思维的MacGyver和Braingle测试,也明显比常识问答测试CommonsenseQA更靠近输出尾部。

研究者进一步把"怎么让一道题变得更有创造力"这件事,归纳成了三种操作手法。

第一种叫**筛选**,直接从一堆题目里挑出那些天生罕见的。CreativeMath就是这么做的,专家们从AMC和AIME竞赛题库里专门挑出需要跳出常规思路才能解决的题目。这种操作把问题本身推向了输入尾部。

第二种叫**要求**,不改变问题本身,而是在提示词里直接要求"请有创意地写"或"请提出一个与众不同的解法"。这种操作把答案推向了输出尾部,因为明确的指令让AI不得不偏离最常规的回答路径。

第三种叫**约束**,给问题附加一些限制条件,堵死最常见的答案路径。比如CS4这个写作测试要求故事必须设定在海边小镇,并且要包含主角青年时期的插叙。这种组合限制让问题和答案同时变得罕见,推向联合尾部。

这三种手法就像三种不同的烹饪限定赛规则。筛选相当于只允许选用稀有食材,选手拿到的原料本身就少见；要求相当于裁判明确说"今天的主题是颠覆传统做法",逼着选手不走寻常路；约束则是同时限定食材和做法,比如"必须用土豆做甜品,还不能加糖"。三种规则都能逼出和日常菜谱不一样的结果,但逼出来的方式完全不同。如果不做这种区分,研究者就没法解释为什么有的创造力测试偏重考察选题的刁钻,有的偏重考察应变能力,有的两者都考。

尾部表现真的更贴近人类判断吗

光证明创造力测试集中在尾部还不够,研究者还得回答一个更关键的问题：模型在尾部区域的表现好不好,是不是真的和人类认为的"有创造力"对得上号?

他们找了一个外部参照标准,叫**LM Arena创意写作排行榜**。

**LM Arena**：一个让真实用户对不同AI模型的输出进行两两对比打分的平台,通过大量真人投票计算出每个模型的相对实力分数,俗称竞技场式评测。

LM Arena专门有一个创意写作分类,汇总了大量真人用户对AI写作质量的直接偏好投票,这个排名被研究者当作"人类心目中真正的创造力排名"。

具体做法是,把每个基准测试里的题目,按照刚才那把"参照分布"尺子的新颖度,从低到高切成五等份。最低的一份叫峰值区,最高的一份叫尾部区。在每一份里,用模型的任务表现给模型排个名,再拿这个排名去跟LM Arena的人类排名做对比,用一个叫Kendall's τ的统计量衡量两个排名有多一致。

**Kendall's τ**：一种衡量两个排序列表一致程度的统计量,数值越接近1说明两个排序越一致,越接近0说明两者几乎没有关联。

在Arena-Hard Creative Writing这个测试上,结果很明显：最靠近尾部的两组,τ值达到0.33到0.39,而最靠近峰值的三组只有0.06到0.15。换句话说,在最罕见、最刁钻的那批题目上,模型之间的表现差异,比在最常见的那批题目上更能预测人类会喜欢谁。

更有意思的是,这个模式不只出现在专门的创造力测试上。研究者在GPQA-Diamond这个纯粹的科学问答测试上也做了同样的实验,这个测试压根不是为了测创造力设计的,但结果同样是尾部区域的τ值达到0.40和0.22,明显高于峰值区域的0.10到0.18。

这就像你去评价一个厨师的真实水平。如果只看他做一道家常炒青菜炒得怎么样,很难分出高下,因为这道菜太简单,大部分合格的厨师都能做到及格线以上,差异被压缩得很小。但如果让他现场用三种你从没见过的食材即兴创作一道菜,好厨师和普通厨师之间的差距一下子就暴露出来了。标准测试就像那道家常炒青菜,大家都做得不错,区分度不够；而尾部测试就像那场即兴创作,真正考验功力的地方才显现出来。

研究者还把分组从五份加密到十份,确认这个趋势在更细的颗粒度下依然成立。在两个测试上,新颖度和排名一致性之间的统计相关性都达到了显著水平（Spearman相关系数0.66到0.86,p值在0.0016到0.038之间）。

不过这个规律不是在所有基准测试上都百分之百成立。研究者坦诚地列出了一些反例,比如StoryGen和TinyStories这两个测试,尾部区域的一致性反而比峰值区域略低。研究者认为这说明尾部表现是一个"和创造力相关的信号",而不是一个放之四海而皆准的万能规则,它在题目质量函数和人类评价标准比较贴合的情况下效果最明显。

创造力和难度不是一回事

读到这里你可能会冒出一个疑问：所谓的"长尾",听起来不就是"难题"吗?之前不是也有不少研究说,AI在训练数据里罕见的知识点上表现差吗?

这确实是研究者自己主动提出来检验的一个担忧。如果长尾区域只是单纯的"难",那这篇论文说的创造力评测,岂不是把难度测试换了个马甲?

他们做了一个直接的对照实验。拿MATH数学竞赛题和剑桥英语CEFR分级阅读题这两个数据集,各自按照"难度"和"新颖度"两种标准分别挑出20%的子集,再看这两种挑法选出的题目重叠率有多高。

结果显示,重叠率非常低。MATH数据集上,新颖度挑出来的题目和难度挑出来的题目,重叠率只有0.07,比随机挑选的基线0.17还要低。按新颖度挑出来的题目里,居然有34%属于难度等级最低的第一级。剑桥CEFR数据集上重叠率略高一些,但也只有0.23,仍然明显偏低。

这说明了什么?说明"罕见"和"困难"根本是两条不同的轴线。一道题可能用词极其生僻、问法前所未见,但解答思路其实很简单；也可能一道题用词平淡无奇,但逻辑链条极其复杂。这就好比一道谜语和一道微积分大题,前者的语言表达方式可能你这辈子都没见过,但猜出谜底可能只需要一个灵光一现；后者的每个单词你都认识,但推导过程能让人抓破头皮。

研究者特别强调,这两个研究方向问的其实是不同的问题。关于"难度"的研究关心的是：对于同一个模型,它在罕见输入上表现是不是更差。而这篇论文关心的是：在同一批罕见输入上,表现更好的模型,是不是更接近人类心目中有创造力的那个。这两件事可以同时成立,互不矛盾。

给已有测试装一把更便宜的尺子

既然已经证明尾部表现和人类创造力判断之间有关联,研究者接下来做了一件很实用的事：把这个发现变成一个可以直接拿来用的诊断工具,叫**q@Tail(α)**。

**q@Tail(α)**：一种诊断指标,在一个已有的基准测试里,挑出新颖度排名前α比例（比如前25%）的那批样本,只计算模型在这批样本上的平均质量得分。

这个指标最大的好处是不需要重新设计一套全新的创造力基准测试,直接拿现成的测试题,按照新颖度排个序,挑出最罕见的那一批,专门看模型在这批题目上做得怎么样就行。相当于在已有的体检报告里,专门把最刁钻的几项指标挑出来重点看,而不是推翻整个体检流程重新做一遍。

研究者拿这个指标去检验了市面上一批号称能"提升AI创造力"的方法,包括调整采样温度、给AI设定虚拟人格、让多个AI分头思考再合并答案、自洽性投票等测试时技巧,也包括专门为提升创造力做过微调训练的模型。

结果相当扎心。

在被测试的这些方法里,大多数都能提高一个叫"峰值新颖度"的指标,也就是让AI在常见问题上答得更出人意料。但几乎所有方法同时都让"尾部质量"下降了,也就是说,在那些本来就罕见的问题上,这些方法反而让AI答得更差了。

唯一的例外是一种叫min-p采样的解码技巧,它让尾部质量提升了17.7%,但代价是让整体新颖度下降了16.3%,峰值新颖度更是暴跌了44.2%。

**min-p采样**：一种文本生成时控制随机性的解码策略,通过设定一个相对概率阈值来筛选候选词,目的是在保持连贯性的同时增加输出多样性。

这个结果意味着,现在流行的大部分"让AI更有创意"的小技巧,本质上是在用一种简单粗暴的方式制造表面上的新奇感,比如把生成的随机性调高一点,但这种随机性带来的"新"往往是以牺牲在真正困难场景下的回答质量为代价的。研究者还额外测了思维链提示和Claude Opus这类更强的闭源模型,发现它们的尾部质量确实能做得更高,这说明尾部质量是可以被真正提升的,只是现在大部分轻量级技巧还没找到对的路子。

这就好比一个学生为了显得"有想法",在作文里堆砌了很多生僻词汇和跳跃的比喻,老师乍一看觉得挺有创意,但仔细读会发现逻辑经不起推敲,碰到真正需要深度思考的难题时反而漏洞百出。真正的创造力不是靠制造表面的陌生感,而是在陌生情境里依然能给出站得住脚的高质量答案。

对创造力和整体能力的关系的一点坦诚

研究者在论文里特意做了一件很诚实的事：他们检查了LM Arena创意写作排行榜本身和模型整体能力排行榜之间的关系,发现两者的相关系数高达0.94,几乎是强绑定的。模型在指令跟随、数学、编程这些能力上的排名,也都和创意写作排名有中高强度的正相关。

这意味着这篇论文测出的"创造力信号",没办法完全剥离出一个和模型整体能力毫无关系的纯粹"创造力因子"。研究者对此的解释是,这符合新颖性乘以质量这个经典定义的内在逻辑：创造力离不开质量,而质量本来就依赖模型的通用语言能力、推理能力和指令跟随能力。如果强行把所有通用能力的影响都剔除掉,剩下的"质量"部分也会被削弱,整个创造力定义就站不住了。

所以研究者把q@Tail定位成一个"和创造力相关的诊断信号",而不是一个能够完全独立于通用能力之外的纯粹创造力测量仪。这种坦诚在学术论文里不算常见,很多研究倾向于把自己的指标包装得尽善尽美,但这篇论文选择老老实实地说清楚这个指标的边界在哪里。

写在后面

读完这篇论文,最让我意外的不是那个数学推导,而是那个用MATH和剑桥CEFR数据集做的对照实验。研究者完全可以跳过这一步,直接宣布"长尾表现等于创造力",但他们选择专门花一节篇幅去反驳自己最可能遭到的质疑,用实打实的数字（0.07的重叠率)把"创造力不等于难度"这件事钉死了。这种主动找茬的态度,比论文本身的结论更让我觉得这是一个认真做事的团队。

另一个让我反复琢磨的细节是,min-p采样这个唯一能真正提升尾部质量的方法,代价居然是大幅牺牲峰值区域的新颖度。这揭示出一个现在创造力研究里几乎没人正面讨论的矛盾：我们一直以为"让AI更随机一点"就能让它更有创意,但这篇论文用数据说明,随机性和真正的创造性质量之间,可能根本不是同一回事,甚至可能是互相拖后腿的两件事。

如果你是做AI产品的人,看到这篇论文大概会冒出一个实际的问题：下次评测一个新模型"有没有创意"的时候,是不是应该先去查一下测试题本身到底够不够"罕见",再决定要不要相信这个分数?

Q&A

Q1：论文提出的长尾创造力评测方法是什么？

A：论文提出创造力评测的核心可以归结为模型在参照分布"长尾"区域的表现,也就是输入问题罕见、答案罕见或两者都罕见的情况下,模型能否依然给出高质量回答,这个表现程度和人类对创造力的判断高度相关。

Q2：q@Tail(α)这个诊断指标怎么用？

A：q@Tail(α)是在一个已有基准测试中,按新颖度把题目排序,只挑出最罕见的那部分（比如前25%)样本,计算模型在这部分题目上的平均质量得分,不需要重新设计测试就能快速诊断模型的创造力表现。

Q3：现在那些号称提升AI创造力的方法真的有效吗？

A：论文测试发现大多数方法（如调高采样温度、设定人格、多角度思考等)虽然提高了常见问题上的新颖度,但在真正罕见的尾部问题上质量反而下降,只有min-p采样等少数方法能提升尾部质量,但也会牺牲整体新颖度。