当AI"偷懒"只往热门答案靠，香港科技大学如何用一招"批量比较"让它学会公平预测？

这项由香港科技大学领导的研究以预印本形式发布于2026年5月，论文编号为arXiv:2605.01402，有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。

**AI老师的"偷懒"习惯**

假设你正在训练一个AI助手来猜人的年龄。你给它看了一万张照片，其中八千张是三四十岁的中年人，剩下两千张才是老人和小孩。经过长期训练，这个AI很快就学会了一个"聪明的偷懒方法"：不管看到什么样的脸，都往三四十岁猜——反正大多数时候都不会猜太离谱。

这种行为有个专业名字叫"向均值回归"，说白了就是AI摸清了"大多数答案是什么"之后，就开始无脑往那个方向靠。对于热门区间的预测，它表现得还过得去；但碰到真正的老人或幼儿，就会频频出错，因为这些情况在训练数据里太少见了，AI根本没认真学过。

现实世界里，这类问题无处不在。医院里的骨龄估算、电影评分预测、从照片推断年龄——凡是需要AI输出一个具体数字的场合，只要训练数据的分布不均匀，AI就容易犯这种"往主流答案靠"的毛病。香港科技大学的研究团队正是看到了这个痛点，提出了一套叫做"CCC-GRPO"的新训练框架，专门对付这种偷懒行为。

**一、训练AI"猜数字"为什么这么难**

要理解这个问题，先得搞清楚现代多模态大语言模型（可以理解为那种既能看图又能读文字的AI，比如能回答"这张照片里的人多大了？"的系统）是怎么学习的。

这类AI在训练时，学的其实是"下一个字（或词）是什么"——就好像在玩填空游戏。当我们要它输出数字"27"时，它实际上是先预测第一个字符是"2"，再预测第二个字符是"7"。整个学习过程是字符一个一个来的，而非把"27"作为一个完整的数值来理解。

这就带来了一个根本性的矛盾：数字本来是连续的，"26"和"27"之间的差距极小，"27"和"99"之间的差距极大。但当AI用字符预测的方式来学习时，它并不天然理解这种数值上的远近关系。在它眼里，只要下一个字符对了就算对，猜错了哪怕差一点也是错。这种学习方式对语言生成很有效，但对于需要精确数值的回归任务来说，相当于拿锤子去拧螺丝——工具选错了。

更糟糕的是，当训练数据本身就不均匀时，这个问题会被进一步放大。在长尾分布的数据集里（也就是大多数样本集中在某个区间，其他区间样本稀少的情况），AI能从热门区间获得大量反馈信号，而从稀少区间获得的纠错机会极为有限。结果就是AI越来越擅长预测热门值，越来越懒得学习冷门值。

现有的改进方案各有局限。有些方法试图改造AI的内部架构，给它加装专门的"数字预测头"，但这样一来就破坏了AI原本统一的生成能力，相当于把一把瑞士军刀拆开来只保留某一个功能。有些方法让AI先写出分析过程再给出答案（类似"解题步骤"的方式），但这会让推理时间大幅增加，实用性打折。还有些方法只是在字符级别做了一点微调，本质上还是治标不治本。

**二、从"单打独斗"到"批量比较"：核心思路**

研究团队的关键洞察在于：现有的训练方式，无论是传统的监督微调还是基于强化学习的改进版，都在用"单打独斗"的方式评判每一个预测。也就是说，AI猜出一个数字，系统就把这个数字和正确答案对比，给出反馈，然后继续处理下一张图片。每次评判都是独立的，互不相干。

这种方式的问题在于，AI永远感受不到自己在整体分布上的偏斜。它每次猜完"中年人年龄"都得到还不错的反馈，从没有人告诉它"你已经连续几百次都往30多岁猜了，完全没有给过小孩或老人公平的机会"。

研究团队提出的新框架叫做CCC-GRPO，其中"CCC"是一种叫"一致性相关系数"的统计指标，"GRPO"则是一种强化学习方法。它的核心创新是把评判方式从"单次比较"改成了"批量比较"。

具体运作起来是这样的：每次训练时，系统不是一张图一张图地单独处理，而是把一批图片（比如16张）放在一起。对于批次里的每张图，AI会生成好几个候选预测（比如4个不同的猜测值）。然后，系统会把这一批图片所有的预测值和所有的正确答案放在一起，统一计算一个叫CCC的分数——这个分数衡量的是"AI预测的整体分布和真实答案的整体分布有多吻合"。

以年龄预测为例，如果这批16张图片的真实年龄从10岁到80岁都有，但AI的预测全都挤在30到50岁之间，CCC分数就会很低——因为预测值的分布和真实值的分布相差太远。反过来，如果AI的预测覆盖了整个年龄范围，和真实分布大致吻合，CCC分数就会很高。

**三、CCC这把尺子为何比误差更聪明**

CCC这个指标之所以被选中，是因为它同时测量了三件事，而不是只看一件。

第一件事是相关性——预测值的变化趋势和真实值是否一致？比如真实年龄大的那些照片，AI是不是也给出了相对更大的预测值？第二件事是规模一致性——预测值的波动幅度和真实值的波动幅度是否相当？如果真实年龄跨度从10到90岁，但AI的预测只在40到60岁之间波动，说明它把范围压缩太厉害了。第三件事是均值对齐——预测值的平均数和真实值的平均数是否接近？如果AI整体预测值总是比真实值偏高5岁，也会被扣分。

这三个维度缺一不可。单纯看相关性，一个把所有年龄都猜成常数40岁的AI，相关性可能还是0（因为所有预测都一样，根本无法和任何真实值建立相关关系），CCC分数会直接崩塌——这就给了那种"永远猜平均值"的偷懒行为一记直接的惩罚。单纯的排名类指标（比如斯皮尔曼相关）只管相对顺序对不对，但对绝对数值毫不敏感，这在需要精确数值的任务里不够用。CCC把三者结合，恰好覆盖了长尾回归问题里最容易出错的几个方向。

**四、批量比较在训练中如何实际运作**

在技术实现层面，每次计算CCC分数时，研究团队并非简单地把整批图片的所有候选预测都扔进去做一锅大杂烩，而是设计了一个更精巧的结构。

对于批次里的某张图片（比如第i张），AI针对这张图片生成了4个候选预测，同时系统会取其他所有图片的平均预测值作为背景参照。这样，评判第i张图片的某个具体预测时，使用的是一个"比较向量"：这个向量包含了该具体预测值，加上其他所有图片的平均预测值，以及对应的全部真实答案。CCC就在这个向量上计算。

为什么要用"其他图片的平均预测值"而不是"所有候选预测值"？这是为了稳定性考虑。如果直接把所有图片的所有候选预测都混在一起，随机性太大，同一张图片不同候选之间的随机波动会干扰信号，使得反馈变得嘈杂。用平均值作为背景参照，既保留了批次层面的分布信息，又过滤掉了单次采样的随机噪声，就像用多次测量的均值来代替单次测量，结果更可靠。

此外，为了确保AI输出的格式规整（不出现无法解析的乱码或超出合理范围的数值），系统还加入了一个格式奖励。格式正确的输出获得一个小加分，格式错误的得零分。这个格式奖励只是辅助性的——一旦AI学会了正确输出格式，这部分奖励就趋于稳定，不再影响优化方向，整体优化还是由CCC主导。

**五、四个测试场景：从人脸到医学影像**

研究团队为了验证这套框架，专门搭建了一个统一的测试平台，涵盖四个不同领域的长尾回归任务，总数据量超过12.9万条。

第一个场景是从野外拍摄的人脸照片中估算年龄，数据集叫AgeDB-DIR，包含约1.2万张训练图片，年龄从0到100岁，但大量图片集中在年轻成年人区间。第二个场景规模更大，叫IMDB-WIKI-DIR，来自网络上的名人照片，训练集约8.2万张，年龄分布极度不均衡，某些年龄段的样本超过3500张，而某些年龄段只有1张。

第三个场景换了一个完全不同的领域：从电影海报图片预测电影的IMDb评分，数据集叫IMDB-Movie-DIR。这个任务的难度特别高，因为单靠一张海报来猜评分本来就充满噪声，加上评分分布的偏斜，给模型制造了双重挑战。第四个场景则进入了医学领域，叫BoneAge-DIR，用儿童手部X光片来估算骨龄（以月为单位，范围0到228个月），这是一个高精度要求的临床辅助任务。

评测方式也经过专门设计：训练集保持原有的不均匀分布，但测试集被刻意构建成近似均匀分布，覆盖整个数值范围。然后根据训练集中每个数值区间的样本量，把测试集划分成"多样本区间"（训练样本超过100条）、"中等样本区间"（20到100条）和"少样本区间"（不足20条），分别报告误差。这样就能清楚地看出一个模型到底是对所有区间都表现均衡，还是只在样本丰富的区间表现好。

**六、实验结果：哪些地方真正改善了**

研究团队把CCC-GRPO和多种对比方法放在一起比较，包括传统监督微调（SFT）、加了软化标签的改进版SFT、逐点回归奖励的强化学习方法等。

在年龄预测（AgeDB-DIR）任务上，以规模较小的3B参数模型为例，传统SFT在中等样本区间的平均绝对误差是7.67岁，在少样本区间是8.36岁。CCC-GRPO把这两个数字分别降低到5.62岁和6.40岁，改善幅度在25%左右；而在样本丰富的区间，两种方法的误差相当，说明新方法改善了尾部表现的同时没有牺牲头部表现。

电影评分预测（IMDB-Movie-DIR）任务展现了更惊人的改善。同样是3B模型，SFT在中等样本区间的误差是11.21分，在少样本区间高达21.51分——这个数字说明SFT几乎在稀少区间完全失控。CCC-GRPO把这两个数字压到了8.12分和16.35分，少样本区间的改善幅度接近24%。如果换用7B的更大模型，少样本区间的误差从17.14分降到14.58分，中等样本区间从9.58分降到6.87分。

骨龄预测（BoneAge-DIR）是最能体现新方法威力的场景，因为这个任务本身难度极高——零样本预测下AI的误差高达95个月（接近8年！），说明没有经过任务专项训练的AI对这类医学图像完全抓瞎。经过传统SFT训练后，误差降到了18.60个月；而CCC-GRPO进一步把误差降到14.22个月，相比SFT改善了约24%。特别值得关注的是，在少样本区间，SFT的误差是21.86个月，CCC-GRPO是14.35个月，这段改善说明新方法在医学任务的稀少数据区间里有实质性的帮助。

IMDB-WIKI-DIR这个大规模数据集的结果也是一致的：CCC-GRPO在中等样本和少样本区间的误差均优于所有对比方法，而且这个规律在3B和7B两种规模的模型上都成立，说明结论并非某个特定模型规模的偶然产物。

**七、细节比较：为什么"批量"比"逐点"更关键**

为了弄清楚到底是哪个设计起了关键作用，研究团队还做了一系列细粒度的对照实验。

其中最重要的一组对比是不同奖励函数之间的比较。研究团队在同一个强化学习框架（GRPO）下，分别测试了四种奖励：逐点MAE奖励（每张图片独立计算误差）、带频率重加权的MAE奖励（稀少区间的误差被赋予更高权重）、批量斯皮尔曼相关奖励（在批次内衡量预测排名的一致性）、以及CCC奖励（批量分布对齐）。

结论相当清晰：逐点奖励无论怎么改进权重，在中等和少样本区间的改善都有限，因为它本质上还是每次只看一个点，感受不到分布层面的偏斜。斯皮尔曼批量奖励在少样本区间有明显改善，说明批量比较这个机制本身已经发挥了作用——但斯皮尔曼只管顺序对不对，不管绝对数值，所以它在样本丰富的区间表现稍弱（因为那个区间需要更精确的数值校准，光靠排名不够）。CCC批量奖励在所有区间都取得了最均衡的表现，因为它在保持批量比较优势的同时，还明确约束了绝对数值的校准。

研究团队还测试了不同数量的候选预测和不同批次大小的影响，发现两个参数的变化对最终结果影响都不大——即使只用4个候选预测和16的批次大小，结果已经相当好。这个发现很重要，因为它意味着CCC-GRPO不需要复杂的超参数调优，在不同配置下都比较稳定。此外，他们还测试了几种不同的强化学习变体（DrGRPO、RegGRPO等），发现性能差异微小，说明方法的有效性来自奖励设计本身，而非某种特定的RL算法选择。

**八、一个有意思的副作用：多样本区间的轻微代价**

任何方法都有权衡，这个框架也不例外。在电影评分预测任务中，CCC-GRPO在样本最丰富的区间（评分集中在中档的那些电影）的误差略微高于传统SFT。这是一个内在的取舍：当你强迫AI去更均匀地覆盖整个数值范围、避免把预测都堆在热门区间时，它在热门区间的"专注度"自然会稍微下降一点。

类似地，在骨龄预测任务里，有一个评估指标叫"绝对误差的几何平均"（GM），CCC-GRPO在样本丰富区间的GM值略高于SFT。研究团队对此给出了详细解释：GM是一个对极端值敏感的指标，哪怕只有极少数样本的误差稍微增大，也会拉高GM的整体数值。但如果实际查看每个样本的误差排序曲线，会发现CCC-GRPO对大多数样本的误差都低于SFT，只有极尾部的极少数样本误差略有增加。这说明GM的轻微劣化是一个指标本身的特性问题，而非模型在多样本区间整体退步。

在需要精确覆盖稀少病例的场景（比如骨龄估算中的极早熟或极晚熟儿童），这种"略微牺牲热门区间的极致精度，换取稀少区间的大幅改善"是完全值得的取舍。但研究团队也诚实地指出，在某些极端强调热门区间精度的应用里，这个取舍可能需要额外考量，未来可以探索混合目标函数来更灵活地控制这种权衡。

**九、为什么这套方法在实际部署中比较友好**

研究团队特别强调，CCC-GRPO是一个"即插即用"的训练框架，不需要改动AI的任何内部结构。现有的多模态大语言模型可以直接用这套框架进行后训练，不需要添加任何新的模块或重新设计架构。

在计算资源方面，以AgeDB-DIR任务为例，传统SFT训练大约需要30分钟，CCC-GRPO大约需要3小时——多出来的时间主要是强化学习框架本身多次采样带来的开销。这个代价并非微不足道，但对于需要在稀少病例上保持可靠性的应用场景来说，这个时间投入是合理的。而且这3小时只是训练成本，一旦训练完成，推理阶段和普通模型没有任何区别，不会让最终用户感受到延迟。

另一个值得注意的细节是：这个方法不依赖于任何标签感知的采样策略。也就是说，训练时不需要刻意去挑选稀少样本来多放进批次里，普通的随机采样就够了。批量CCC本身会自然地惩罚那种"预测分布过于集中"的行为，从而在不改变数据采样策略的情况下，给稀少样本带来更有效的监督信号。

**十、研究的局限与未来方向**

研究团队对自身工作的局限保持了清醒的认识。目前所有实验都局限在一维数值回归（即每次只预测一个数字）的场景，对于需要同时预测多个数值的任务（比如同时预测物体的长、宽、高），框架的有效性还没有经过验证，需要进一步扩展。

此外，所有实验都在Qwen2.5-VL这一个模型系列上进行，最大只测试到7B参数。更大的模型（比如70B甚至更大）上CCC-GRPO是否同样有效，以及有效性和模型规模之间有没有规律，目前还不清楚。

研究团队还指出了一个重要的公平性问题：像年龄预测这类任务，数据集里的长尾区域往往和某些特定人口群体有关联（比如老年人或特定族裔）。虽然CCC-GRPO改善了整体分布的均衡性，但它并不能保证对所有人口子群体都公平。在实际部署前，仍然需要进行细粒度的子群体评估和公平性审计，而不能仅凭整体指标下结论。

归根结底，这项研究做的事情可以用一句话概括：它发现了AI在处理不均匀数据时"向多数派靠拢"这个根本性的偷懒倾向，然后用一种不改变AI结构、只改变训练反馈方式的方法，让AI学会了更公平地对待每一个数值区间。核心武器就是把"每张图单独评判"换成"一批图一起评判，看整体分布对不对"。这种思路简单，但效果实在，在医学骨龄、电影评分、年龄预测等多个场景里都得到了验证。

对于任何依赖AI来辅助决策的场景——尤其是那些稀少情况往往比常见情况更重要的场景（比如罕见病诊断、极端天气预测、异常行为检测）——这种让AI学会"不偷懒、不走捷径"的训练思路，值得认真对待。

---

**Q&A**

Q1：CCC-GRPO和普通强化学习训练方法有什么本质区别？

A：普通强化学习方法（比如基于MAE的回归奖励）在评判AI的预测时，每张图片是单独打分的——AI猜一个数字，和正确答案比，给出误差，完事。CCC-GRPO的关键区别在于它把一批图片放在一起评判，计算AI预测的整体分布和真实答案分布之间的差距。这种批量评判方式能让AI感知到自己是否在把所有预测都往某个区间堆积，从而自然地惩罚"向均值回归"这种偷懒行为。

Q2：骨龄预测任务上CCC-GRPO相比普通微调改善了多少？

A：在骨龄预测（BoneAge-DIR）任务上，普通监督微调训练后的平均绝对误差是18.60个月，CCC-GRPO把这个数字降到了14.22个月，整体改善约24%。在样本稀少的区间（比如极早发育或极晚发育的儿童），改善更为显著：普通微调的误差是21.86个月，CCC-GRPO降到了14.35个月，改善幅度接近35%。更大的7B模型上，整体误差从17.09个月降到13.35个月。

Q3：CCC-GRPO训练比普通微调要花多长时间？

A：以年龄预测数据集为例，普通监督微调大约需要30分钟，CCC-GRPO大约需要3小时，多出来约六倍的训练时间主要来自强化学习需要对每张图片采样多个候选预测。不过这只是训练阶段的开销，训练完成后的推理（实际使用时）和普通模型完全一样，不会让用户感受到任何速度差异。