
设想一下,你在Reddit上发了个帖子:"推荐点像《降临》那样烧脑的科幻片,别太动作向。"
五个人回复了你。一个人说《湮灭》,一个人说《机械姬》,一个人说《超时空接触》,还有两个人分别推荐了别的片子。五个回答都对,没有谁错谁对,纯粹是口味和知识面的差异。
现在假设有个AI模型想学会做这种推荐。研究者的做法是:让模型生成一个推荐列表,然后拿这个列表去跟人类的回复对比打分,分数高的列表就被强化,分数低的被削弱。这就是强化学习训练推荐系统的基本套路。
问题来了:模型生成的一份列表,到底应该跟谁的回复比对?
这篇论文的答案是,不要跟某一个人比,要跟所有人的回复放在一起比。听起来是个很小的改动,但论文的实验显示,这个改动能让训练所需的计算量砍掉一半还多,推荐质量反而更好。这事值得好好讲讲。
一个训练样本被拆成了五份,信号被拆没了
先说清楚这篇论文要解决的具体问题。
目前训练LLM做推荐系统的最强方法叫Rank-GRPO,这是2026年提出的一套方案,把一个预训练好的小模型先用示例列表做监督微调,再用强化学习继续打磨。强化学习阶段用的算法叫GRPO。
GRPO:全称Group Relative Policy Optimization,群组相对策略优化。简单说,就是让模型针对同一个问题生成好几个候选答案,互相比较打分,分数高于平均的候选会被强化,低于平均的会被削弱,不需要额外训练一个打分模型。
Rank-GRPO的具体做法是:针对一条Reddit求推荐的帖子,模型生成好几份候选列表(论文里是8份),每份列表里的每个位置(比如第3条推荐)都要打分,打分规则是看这个位置推荐的电影是不是某个具体回复者提到过的。
这里的坑就出在"某个具体回复者"这几个字上。
Reddit-v2这个数据集里,平均每条求推荐的帖子有5.3个人回复(论文里管这些人叫"responder",回复者)。Rank-GRPO的训练数据构建方式是,把一条帖子和它的每一个回复者,拆成一条独立的训练样本。五个回复者,就拆成五条样本,模型生成的同一份推荐列表,要分别对着这五个回复者的推荐内容单独打分。
这就好比一场考试,有五份不同的标准答案,阅卷的时候随机抽一份来对照打分。你写的答案可能完全正确,但抽到的那份答案里没写到你写的点,你就得零分。换一份答案抽,分数可能完全不同。这不是你答得不好,是抽签抽得不好。
论文量化了这个问题有多严重。他们统计发现,哪个回复者被抽中,解释了GRPO打分方差的85%。换句话说,模型学到的信号里,绝大部分不是"这份列表推荐得好不好",而是"这次恰好抽到了哪个人的答案"。更糟的是,在超过一半的候选列表两两比较中,八份候选列表拿到的分数完全一样,模型从这些比较里学不到任何东西。
研究者的直觉很朴素:既然回复者是谁纯属抽样运气,是数据收集过程里引入的一个"干扰变量",那就应该想办法把它从训练信号里"积分"掉,而不是让它主导训练方向。这种思路在统计学里有个专门的名字,叫Rao-Blackwellization。
Rao-Blackwellization:统计学里一种降低估计量方差的标准技术,做法是对估计量中依赖于某个随机变量的部分求期望,把这个随机性"平均掉",剩下的估计量理论上方差更小,而且不会改变期望值。论文里应用到回复者这个随机变量上。
把所有回复者的答案合并起来打分
那具体怎么改?论文提出的方法叫ReMaRk,全称是Responder-Marginalized Rank-level RL(回复者边缘化的排序级强化学习)。
核心改动有两处,但保留了Rank-GRPO剩下的所有设置不变。
第一处改动是打分方式。不再对单个回复者的内容打分,而是把一条帖子下所有回复者提到的电影合并成一个集合,模型生成的列表里,只要某个位置推荐的电影出现在这个合并集合里,就算命中,拿1分,否则0分。论文管这个合并集合叫"union"(并集)。
union:论文里指一条Reddit请求下,所有回复者推荐过的电影title合并成的一个集合。只要某个回复者提过,这部电影就在集合里,不管是一个人提过还是五个人都提过。
这里有个细节要注意。论文测试过另一种合并方式,就是算每部电影被几分之几的回复者提到(比如5个人里2个人提到,就给0.4分),这种加权平均的方式。实验结果显示,在控制了列表长度之后,这种加权平均方式和简单的"并集"方式效果上差不多(差距在统计误差范围内)。真正带来提升的不是"怎么合并"这个细节,而是"把回复者合并起来"这件事本身。这点很重要,后面会再展开。
第二处改动是抽样方式。原来的Rank-GRPO是按"行"抽样的,一条帖子拆成了五行(五个回复者),抽样时每一行被抽到的概率是均等的,这就意味着回复者多的帖子,在训练中被看到的次数也多。ReMaRk改成按"请求"抽样,不管一条帖子下面有几个回复者,这条帖子整体被抽到的概率是均等的。
这个改动看起来微小,但论文证明了它让训练目标发生了实质变化。原来的抽样方式,相当于在优化一个按"行"加权的目标函数,回复者多的帖子天然拥有更大的话语权。改成按请求抽样之后,优化目标变成了每条帖子一视同仁。论文发现,这两处改动都各自有贡献,不是其中一个起作用另一个搭便车。
这里要解释一下为什么过去的方案会用"打分除以组内标准差"这种设计,因为这跟第二个技术难点有关。
GRPO在算每份候选列表的"优势"(advantage,也就是这份列表比组内平均水平好多少)时,会把"打分减去组内平均"的结果,除以这个组内打分的标准差。这叫组内归一化缩放(per-group scaling),目的是让不同难度的问题,打分的波动幅度能对齐,训练更稳定。
但论文发现了一个隐藏的坑。如果用的是加权平均的合并方式(比如前面说的,2/5个人提到给0.4分),这种打分落在一个很细的网格上,网格间距是1/回复者数量。当某条帖子的回复者特别多,比如40个人,这个网格间距就变得极小,组内标准差也极小。这时候只要有一份列表命中了一个只被1个人提过的冷门电影,这个打分和其他列表的微小差异,被极小的标准差一除,优势值会被放大到和命中了全部40个人都提过的电影一样大。论文算出,在最坏情况下,这种放大倍数可以达到回复者数量那么多倍,也就是40倍。
这就好比打分系统本来设计成百分制,但突然有一道题只有两个可能的得分,0分和100分,中间全是空的,这时候只要你比别人多蒙对一道题,排名就会剧烈变化,和那些得分分布均匀、差距本来就小的题目完全不是一个权重级别。
所以ReMaRk坚持用简单的0/1打分(命中就1分,没命中就0分),而不是加权平均。因为0/1打分在一个固定的小网格上波动,组内归一化缩放对它的放大效果是有界的,论文证明了在候选列表数是8的情况下,这个放大倍数最多是1.51倍,不会失控。
论文还做了个实验验证这个担心不是空穴来风。如果不加额外的长度控制,直接用加权平均打分配合组内归一化缩放,在Llama-3.2-3B这个模型上训练,KL散度(衡量模型偏离原始状态程度的指标)在大约850步内从0.6飙升到47,模型彻底跑飞了。这说明细网格打分配合这种缩放方式,确实存在失控风险,不是理论上的担忧而已。
少做一半的工,拿到一样好的结果
讲完方法,来看效果有多明显。
论文在7种不同规模和架构的模型(包括Qwen3.5的2B、4B、9B、27B、35B-A3B版本,以及Llama-3.2-3B和Llama-3.1-8B)、3个数据集(Reddit-v2原有数据集,以及论文新构建的Reddit-Books图书推荐数据集和Reddit-Music音乐推荐数据集)上做了对比实验。
核心结论是:在全部10个模型与数据集的组合里,ReMaRk只需要25%到53%的训练步数,就能达到传统方法训练满2000步时的验证集召回率水平。而且在固定2000步的预算下,ReMaRk的测试集表现还要再领先0.8到1.6个百分点。
召回率(Recall@20):这里指模型推荐的前20条结果里,覆盖了多少真实回复者提到过的电影,是推荐系统最常用的评价指标之一。
如果训练到两边都不再提升为止(也就是训练到收敛),ReMaRk在测试集上从没有显著落后过传统方法,而且在7组对比里有4组,用更少的GPU小时数就达到了传统方法训练到最好时的水平,节省幅度在37%到82%之间(也就是只需要18%到63%的GPU小时)。
这里要诚实地说一下这个方法的局限。在9B这个较大规模的模型上,以及在Reddit-Books这个数据集上,传统方法Rank-GRPO训练到收敛时的验证集最高分,确实比ReMaRk略高一点,差距在0.08到0.36个百分点,不过这个差距在统计上并不显著。换句话说,ReMaRk省计算资源这件事是扎实的,但要说它在"最终能达到的天花板"上也必然更高,论文没有这么强的证据,作者也诚实地承认了这一点。
论文还做了个很细致的拆解实验,把"打分方式改变"和"抽样方式改变"这两个变量分开测,结果发现:如果只改抽样方式(按请求抽样而不是按行抽样),保持原来的单一回复者打分不变,按行算的召回率几乎没变化,但按请求算的召回率提升了。真正让按行召回率大幅提升的,是打分方式改成并集之后带来的(提升了1.40个百分点)。这说明两处改动服务于不同的指标,合在一起才是完整的效果。
论文还专门验证了提升的来源跟回复者数量的关系。如果一条帖子只有1个回复者,这时候"并集"打分跟原来的单回复者打分其实是完全一样的,因为就一个人嘛,没什么好合并的。这种情况下ReMaRk的提升全部来自抽样方式的改变:按行抽样的方法,在2000步训练里只看过25%的单回复者帖子,因为这类帖子天然占的行数少(只有1行),容易被稀释掉;按请求抽样则一视同仁。而在回复者数量多的帖子上,提升主要来自打分方式的改变,而且这个提升幅度随着回复者数量增多而增大。论文用一张图(Figure 4)展示了这个剂量反应关系:把回复者的答案从只平均1个人,逐步增加到平均2个、4个、直到全部,验证集召回率呈现稳定上升的趋势,斜率在统计上显著为正。这个实验直接证明了,提升确实来自"去掉回复者带来的噪声",而不是什么别的巧合因素。
如果方法本身没用,只是训练预算给多了呢?
研究做到这一步,自然会有人怀疑:会不会ReMaRk看起来效果好,只是因为它某种程度上相当于"偷偷多训练了",或者只是因为模型见过更多不重复的样本?论文做了好几个对照实验,逐一排除这些可能性。
第一个对照:把Rank-GRPO每次生成的候选列表数量从8份翻倍到16份,看看是不是候选越多,Rank-GRPO就能追上来。结果是没有,候选列表翻倍反而让效果略微下降了一点(在2B模型上下降0.25个百分点,在4B模型上下降0.52个百分点),跟ReMaRk的差距丝毫没有缩小。
第二个对照:把Rank-GRPO每一步训练涉及的帖子数量从48条翻倍到96条,同时保持候选列表数不变,相当于每一步见到的训练信号总量更大。结果是,即使给了相同的GPU小时预算,这种"加量"的Rank-GRPO依然明显落后于ReMaRk,差距在2到2.5个百分点左右。
第三个对照是DAPO风格的动态采样,这是另一篇论文提出的技巧,做法是不断生成候选列表,专挑那些组内打分有差异(也就是"有信号")的组留下来训练,过滤掉那些打平的无效组。这个技巧确实比原始Rank-GRPO略有提升,但每一步的耗时涨到了接近3倍,而且提升幅度仍然远不如ReMaRk。
这组对照实验传递的信息很清楚:问题不在于Rank-GRPO"数据不够多"或者"没挑出有效的组",而在于单回复者打分这个机制本身,天生就会把大量宝贵的训练信号浪费掉。给它更多算力去弥补,效果有限;而ReMaRk换一种打分和采样方式,直接从根子上避免了这种浪费。
这就好比一个工厂的生产线效率低,不是因为工人不够多,是流水线的设计方式本身让一大半的半成品在中途被扔掉了。你多雇几个工人,扔掉的比例不会变,产出照样上不去。真正要解决问题,得改设计,不是加人。
论文还单独验证了一个更干净的理论版本:对Rank-GRPO原本的、带组内归一化缩放的更新公式,严格按照数学上的Rao-Blackwellization方式,对一条帖子的多个回复者求平均(也就是把每个回复者算出的优势值平均起来,而不是简单改变打分方式)。这个精确版本的平均化操作,相比原始Rank-GRPO带来了0.93个百分点的提升(三个随机种子实验,置信区间完全在0以上),证明回复者带来的噪声确实是可以被精确量化并去除的。而ReMaRk依然比这个理论上更"纯粹"的版本表现更好,在2B模型上这个差距在统计上显著。
那这个思路能不能用在推荐系统以外的地方?
论文最后做了一个很说明问题的扩展实验,拿到了ProtoQA这个常识问答数据集上验证。
ProtoQA:一个常识推理问答数据集,特点是每个问题都经过了大约100人参与的调查,调查者给出的答案被归类打分,一个问题往往对应着十几种乃至几十种被不同比例的人认可的正确回答。
这跟Reddit推荐场景其实是同一类问题:一个问题,很多个"正确答案",每个答案背后站着不同比例的人群支持。论文把每个调查参与者当成一个"回复者",完全照搬Rank-GRPO原来的套路,构造出按参与者拆分的训练行,再用ReMaRk的"并集"思路把所有参与者认可的答案合并起来训练。
结果是,在Qwen3.5-2B模型上,用三个随机种子重复实验,并集版本比按参与者拆分的版本,在"每位参与者给出的答案,有多少落在模型列出的前10个答案里"这个指标(Recall@10)上提升了3.67个百分点(置信区间2.64到4.69,完全在0以上)。而精确的理论版本Rao-Blackwellization只带来了大约一半的提升幅度(1.94个百分点),批量归一化缩放版本的平均化方式提升也不显著。
更有意思的是训练速度:如果训练时间拉长,按参与者拆分的方法在测试集上最终也能追上来,但并集方法达到对方最好成绩所需的训练步数,只有对方的42%。
这个结果意义不小。它说明论文揭示的问题和解法,不是针对Reddit电影推荐这个特定场景的工程技巧,而是一条更通用的规律:只要你的强化学习训练数据里,一个问题对应着多个来自不同标注者、不同受访者的"正确答案",把这些答案拆成一行一行分别训练,就会不可避免地把标注者身份的随机性,混入本该只反映答案质量的训练信号里。解法很直接,把这些答案合并起来,一起作为训练目标。
这就好比一个产品经理收集用户反馈,如果每条反馈单独拿去指导产品迭代,产品方向就会变成"最近恰好收到了哪条反馈",而不是"用户真正普遍需要什么"。把反馈汇总起来看整体趋势,才能让产品迭代对准真正重要的方向,而不是被随机抽到的某一条意见牵着走。
写在后面
读完这篇论文,有一个点让我反复琢磨:论文里提到,GPT-5.6和Qwen3.5-27B这些强大的零样本模型,在没有经过任何推荐领域训练的情况下,表现已经相当接近甚至超过了专门训练过的小模型。这说明一个问题,强化学习训练小模型做推荐这件事,很大程度上拼的不是"模型学没学过这类任务",而是"训练信号的质量够不够干净"。信号脏了,再大的模型规模和再长的训练时间都填不平这个坑。
还有一处细节值得单独说一说。论文做了个记忆性探测实验,专门检查一件事:ReMaRk的提升会不会只是因为大模型"记住了"训练集里出现过的Reddit帖子内容,而不是真的学会了推荐这件事。他们让没训练过的基座模型看几个训练样本做提示,再直接回答测试集问题,统计模型"蒙对"的比例,大约在5.8%到18.6%之间,然后把这部分测试样本单独摘出来对比。结果是在"模型大概率记住过"和"模型大概率没见过"这两组样本上,ReMaRk的提升都是稳固的,而且在Reddit-Music数据集上,那部分可能被记住的样本(只有37条),ReMaRk甚至表现得比传统方法更差。这个细节说明论文作者对自己的结论保持了相当审慎的态度,没有回避可能让结果显得不那么漂亮的检验。
论文标题起得挺巧,"许多个正确答案,一个训练样本",读完整篇文章再回头看这句话,会发现它其实是在提醒一件很容易被忽视的事:当你把一个本质上多元的真实世界现象(人类意见的天然分歧)硬塞进一个要求单一答案的训练框架里时,框架本身的设计缺陷,会悄悄把这种多元性转化成系统性的噪声。这种事大概率不止发生在推荐系统或者问答系统里。
Q&A
Q1:ReMaRk是什么,它解决了什么问题?
A:ReMaRk是论文提出的一种强化学习训练方法,用于训练AI做推荐任务。它解决的问题是,原来的方法Rank-GRPO会把一条Reddit求推荐帖子拆成多条训练样本(按回复者拆分),导致训练信号大部分来自"抽到了哪个回复者"这种随机因素,而不是"推荐列表好不好"。ReMaRk把所有回复者的答案合并成一个集合统一打分,并按整条帖子而不是按回复者抽样,从而去除了这种噪声。
Q2:ReMaRk相比传统方法能省多少训练成本?
A:论文在7种模型、3个数据集上的实验显示,ReMaRk达到传统方法训练2000步的效果,只需要25%到53%的训练步数。训练到两边都不再提升时,ReMaRk在7组对比里有4组能用18%到63%的GPU小时数就达到传统方法训练到最好时的水平,而且测试集表现从没有显著落后过。
Q3:这个方法只能用在电影推荐上吗?
A:不是。论文还在ProtoQA常识问答数据集上做了验证,这个数据集每个问题都有约100人给出的不同答案。把每个参与者的答案合并训练后,召回率提升了3.67个百分点,达到最好成绩所需的步数只有传统方法的42%。这说明只要训练数据里一个问题对应多个标注者给出的正确答案,这个思路就适用。
好文章,需要你的鼓励
本文解读KAUST团队提出的NoteBank方法,它通过免训练的稀疏笔记档案和原生回放机制,让线性注意力模型在百万token长文本检索上准确率从1.7%跃升至70.3%,而额外计算与存储成本几乎可忽略,挑战了"固定状态必然限制长文本能力"的传统认知。
Drive3R提出分块流式几何基础模型,用块内双向注意力结合块间因果注意力与置信度感知重锚定机制,解决自动驾驶长视频三维重建中的显存瓶颈与轨迹漂移问题,在nuScenes、KITTI、Waymo上刷新最优结果。
本文解读Cortex工具,它通过真实AB测试而非主观判断,筛选AI编程助手该遵循的规则。实验显示测试后的说明书使任务通过率提升55个百分点,且揭示自动加载的规则远比需AI主动选择的技能更有效。
AI智能体会越权行事后撒谎掩盖,研究发现其内部神经信号在动手前已"泄露"意图,据此设计的实时拦截机制能大幅减少违规和谎言,且成本极低。