微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 Vela:当AI开始偷看你的购物车和搜索记录,它学到了什么

Vela:当AI开始偷看你的购物车和搜索记录,它学到了什么

2026-11-12 13:12
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2026-11-12 13:12 • 科技行者

你有没有想过,一个AI助手要怎样才能真正了解你。

不是了解"用户"这个抽象概念,而是了解具体的、独一无二的你:你半夜会搜什么、你的购物车里堆着什么没结账的东西、你刷到什么内容会多停留三秒、你讨厌看到什么就会立刻划走。这种了解,靠读教科书是学不来的,靠互联网上的海量文本也学不来。

这正是一群研究者在2026年遇到的难题。他们给这个难题起了个挺好听的名字,叫做"用户维度的智能",然后做了一件挺大胆的事:把一个社交媒体平台十万用户的真实行为记录,变成了训练AI的教材。

这篇论文的主角叫Vela,它想解决的问题,说出来你可能会觉得很熟悉。

**现在的AI越来越多地被用在需要"懂人"的场景里**

比如帮你管理日程的个人助理,比如猜你想买什么的推荐系统,比如给你投广告的系统。这些场景有三个共同点:它们关心的是具体的某一个人,而不是"平均用户";它们需要看懂你几周甚至几年的行为积累;每一个判断都必须有行为证据支撑,不能瞎猜。

论文把这三点概括成了"用户维度的智能",这是一个挺贴切的说法:它说的不是AI有多聪明,而是AI有多懂你这一个具体的人。

问题是,现在的大模型压根不是为这件事训练出来的。

它们吃进去的训练材料是网页、教科书、代码,还有人工合成的数据。这些东西或许提到过"用户"这个词,但没有一个能告诉AI:一个真实的人,他的兴趣是怎么从上周到这周慢慢变化的。研究者还发现一个挺讽刺的现象:那些在数学、代码上表现更强的大模型,在用户相关的任务上并不一定更厉害。模型给用户做长期行为总结时,容易越说越像在描述一个不存在的"平均人",行为历史越长反而越容易丢准头。

这就好比让一个从没在你家住过的管家来猜你喜欢喝什么茶。他读过所有关于茶的百科全书,背得出每种茶叶的产地和功效,但他不知道你每天下午三点准时要喝的是哪一款,因为他从来没见过你真实的那杯茶是怎么续上的。如果不让他观察你实际的饮茶行为,他永远只能给你推荐"大众最爱喝的茶",而不是你真正喜欢的那杯。

那怎么办?答案摆在那里,只是过去没人系统地用起来。

真实的用户行为数据,其实早就在各大内容平台和个人助理应用里堆积成山了。这些记录里藏着一条天然的监督信号:

用户行为作为监督*:训练AI模型的信号来自用户在平台上的真实行为,而不是人工编造的样本或静态文本。用户下一步实际做了什么,就是检验AI预测对不对的标准答案。

这个思路听起来简单,难的是怎么把杂乱无章的行为日志,变成一份份能喂给AI训练的"习题册"。

一、从十万人的生活轨迹里,挖出九十一种考题

Vela团队拿到的是一个大型社交媒体平台十万用户的匿名行为记录,每个人的历史跨度从几周到几年不等。在正式开始之前,他们先做了一件很必要的清理工作:把所有能直接定位到某个具体人的信息,比如姓名、联系方式、账号ID,全部剔除掉,凡是沾着这类敏感信息的记录,干脆直接扔掉不用。

清理完之后,每个用户的行为被归到六个类别里:浏览内容、搜索东西、购买商品、发布内容、关注账号,还有"划走不感兴趣的内容"。这六类行为,基本覆盖了一个人在社交平台上能做的大部分事情。

接下来是整篇论文最巧妙的设计:怎么把一条行为时间线,变成一道有正确答案的考题。

研究者的做法是,在每个用户的行为序列里切一刀。切口之前的部分叫"可见历史",模型能看到的全部信息;切口之后的部分叫"隐藏未来",这部分内容不给模型看,但会被用来核对模型的预测对不对。具体切法是:每段取七万二千到十二万token的长度,前面大约三分之二作为可见历史,后面三分之一作为隐藏未来。

这个"切一刀"的设计,本质上是在模拟一个真实的预测场景。你能看到一个人过去三周的行为,然后被要求猜他接下来三天会干什么。

这就像看一部只放了八十分钟的电影,然后被要求猜最后二十分钟的结局。如果电影本身就是真实世界录下来的,那你猜得准不准,是有唯一确定答案的,不是你自己瞎编一个"合理结局"就能过关。如果不这么切,而是让AI凭空编造一个用户故事,它永远可以编出一个听起来很合理但压根不是真相的答案,这种训练毫无意义,因为它学到的只是"怎么编得像",不是"怎么猜得准"。

基于这种切法,Vela设计了九十一个问题模板,分成两大家族。

**预测类问题,答案藏在未来里**

预测类问题又分两种。一种叫"客观题":给模型可见历史和一份候选清单,让它从里面挑出用户在未来真的会做的事,比如会买哪个商品。候选清单里混着真正的答案和干扰项,这种题目的评分方式很直接,选对了就是对了,对不上就是错。

另一种叫"开放预测题":不给候选清单,让模型自由作答,比如直接说出用户接下来会搜什么关键词。这种题目的评分麻烦一些,因为模型说的话和标准答案不会一字不差,所以需要另一个AI当裁判,把模型答案里提到的东西和真实的未来行为做语义上的匹配,再用一个叫"集合F1"的指标打分。

集合F1*:一种衡量预测准确度的指标,同时考虑"猜中了多少该猜中的"和"猜错了多少不该猜的",两者平衡取值。

**评分类问题,答案没有唯一标准**

另一类问题叫"评分类问题",它面对的是没有唯一正确答案的任务。比如"开放题"要求模型根据可见历史总结用户的兴趣、性格或者语言风格,这种总结写法可以千变万化,没法用"对不对"来判断,只能靠一套评分细则来打分,比如"是否引用了具体的证据""是否避免了无依据的臆测"。

还有一种叫"归因题",更有意思。它会先告诉模型用户未来确实发生过的某个行为,然后要求模型根据可见历史解释"为什么他会这么做"。这种题考的不是预测能力,而是解释能力,好的答案得指出证据链,还得诚实地承认哪里证据不足,不能把"观察到的关联"硬说成"确定的因果"。

设计这两套题目家族时,研究者还留了一个心机:同一个未来行为事件,只能随机选预测类或者归因类出题,不能两种都出。原因很简单,如果归因题先把答案透露出来了,再问预测题,那模型压根不用推理,直接抄归因题里透露的信息就能蒙对。

这整套流程最后产出了十万道候选题目,覆盖九十一个模板,涵盖六大行为类别。出题和评分这两个关键环节,都交给了一个参数量达到2.4万亿的大模型Qwen3.8来完成,用的是它的最高思考等级。

二、不是所有题都值得练:难度过滤和轨迹筛选

十万道题听起来很多,但研究者没有把它们一股脑全扔进训练流程。他们加了两道关卡。

第一道关卡叫"难度筛选"。做法是让待训练的基础模型Qwen3.6对每道题生成四次回答,不开思考模式,然后看这四次回答的平均得分落在哪个区间。如果平均分落在0.2到0.8之间,这道题留下;如果平均分太低,说明这题太难,模型压根无从下手;如果平均分太高,说明这题太简单,模型随便答都能对,练了也没什么长进。

这个设计背后的逻辑,其实很像健身房里的"渐进式负重"原则。举重的时候,如果杠铃轻到你闭着眼睛都能举起来,那练了也白练,肌肉根本不会被刺激到成长;如果杠铃重到你怎么都举不动,那也练不出来,只会受伤。真正有效的训练强度,是那种你拼一下能举起来、不拼就举不起来的重量。如果不筛掉太简单和太难的题目,模型在训练里要么学不到任何新东西,要么被无法完成的任务反复打击,训练效率会大打折扣。

过了难度关的题目,还要经历第二道关卡,叫"轨迹接受标准"。对每道留下来的题,让生成模型产出四条训练轨迹,也就是四种不同的解题过程和答案,只挑其中得分最高的一条。但这条最高分轨迹还要再经过一次检验:它的得分必须超过难度筛选阶段测出来的那个平均分,否则这道题这次就一条轨迹都不要。

这个双重把关最后留下了大约七万五千道题目,配上一条精选的训练轨迹,构成了名为Vela-Instruct的训练语料库。另外还有一个规模更小的版本叫Vela-RFT,用的是基础模型Qwen3.6自己生成的轨迹,一共9375条训练样本,用来做后续的强化学习实验。

三、验证场:十个考场,检验AI到底懂不懂人

光有训练数据还不够,研究者还搭建了三组评测体系来检验训练效果。

第一组叫VelaBench,用九百八十二道留出来没参与训练的题目构成,题型和训练集一样,覆盖全部九十一个模板。这些题目涉及的用户和训练数据里的用户完全不重叠,保证评测的公正性。

第二组叫"用户相关的分布外评测",一共四个独立的子榜单。PurchaseIntent考的是购买意图预测,给一堆候选商品,看模型能不能排出用户真正会买的那些。ProfileSummary考的是用户画像总结,要求生成结构化的兴趣描述。PersonaBench考的是对用户属性的多选题判断。AdRecommendation考的是广告推荐,看模型能不能根据用户资料生成有效的广告检索词。

第三组叫"通用能力分布外评测",用来检验这套训练方式会不会把模型的其他本事练废了。里面包括数学竞赛AIME 2026,科学问答GPQA-Diamond,指令遵循能力IFBench,还有两个考验情境学习能力的CL-bench和CL-bench Life。

这三组评测合起来,相当于同时考验一个学生"专业课做得怎样""能不能应用到现实场景里""其他学科有没有被耽误"。这种设计思路挺实在的,因为单看专业课分数高,不代表这个学生真的学明白了,也不代表他为了刷这门课的分,把别的科目都荒废了。

四、训练出来的模型,到底强在哪

把基础模型Qwen3.6-35B-A3B,这是一个总参数三十五亿、激活参数三十亿的模型,拿Vela-Instruct训练一遍,得到的新模型叫Vela-35B-A3B。另外用Vela-RFT训练出来的版本叫Vela-35B-A3B-RFT。

结果出来之后,数字还挺扎实的。

在VelaBench上,Vela-35B-A3B拿到63.0分,比没训练过的基础模型高了11.5分。更有意思的是,这个只有35亿激活参数的小模型,在这个榜单上甚至超过了参数规模大得多的DeepSeek-V4-Flash和2.4万亿参数的Qwen3.8。

在四个用户相关的分布外测试上,Vela-35B-A3B平均提高了6.2分,涨幅最猛的是AdRecommendation广告推荐任务,提升了11.2分。

真正让人意外的是通用能力这一块。按常理推测,一个专门为"懂用户"训练的模型,很可能会在数学、科学这些跟用户毫无关系的任务上出现倒退,这是训练领域中常见的"此消彼长"现象。但Vela-35B-A3B在五个通用评测上全部超过基础模型,平均提升了4.0分,IFBench指令遵循能力提升了6.7分,CL-bench Life情境学习能力提升了5.6分。

| 基准测试 | Qwen3.6-35B-A3B基础模型 | Vela-35B-A3B | 提升幅度 |

|---|---|---|---|

| VelaBench | 51.5 | **63.0** | +11.5 |

| ProfileSummary | 20.4 | **30.5** | +10.1 |

| AdRecommendation | 51.1 | **62.3** | +11.2 |

| IFBench | 62.5 | **69.2** | +6.7 |

| CL-bench Life | 7.2 | **12.8** | +5.6 |

| GPQA-Diamond | 82.8 | **87.4** | +4.6 |

这个结果给人的启发挺大的:用真实用户行为数据训练出来的能力,不是一种孤立的"用户理解特长",而是会反过来滋养模型整体的推理和理解能力。这背后一种可能的解释是,理解一个人复杂多变的行为历史,本身就需要模型具备从长文本里抓关键信息、追踪变化、整合证据这些通用能力,练这些题的过程,顺便也把这些底层能力给练扎实了。

五、数据越喂越多,模型会不会越学越好

研究者还做了一组扩展实验,很想知道一件事:如果把训练数据的规模从几千条拉到七万五千条,模型的进步曲线会是什么样。

他们从Vela-Instruct里随机抽了五个不同规模的子集,分别是4.7K、9.4K、18.8K、37.5K和75K条样本,各自训练了一遍。

结果显示,仅用4.7K条样本,VelaBench分数就从51.5跳到了59.2,这说明哪怕是很少量的真实用户行为数据,也能带来显著提升。随着数据量继续增加到75K,分数持续攀升到63.0,而且从37.5K到75K这一段还在稳步上涨,没有明显见顶的迹象。

用户相关分布外评测的平均分从43.5涨到47.5,通用能力评测的平均分从55.8涨到58.2,所有测试规模下的表现都超过了基础模型。

这就像给一个刚上手的厨师逐渐增加练习菜量。切第一百个洋葱和切第一个洋葱带来的手感进步,肯定不是等比例的,前面的提升是最猛的,但只要食材和火候没出问题,继续练下去,手艺还是会往上走,不会因为练多了反而变差。如果研究者只用4.7K数据就停下来验证,可能会误以为天花板已经到了,但多测几个规模点才发现,这条曲线远没有走到尽头。

六、训练出来的底子,会不会让后续的强化学习更有效

论文还做了一个挺讲究逻辑的追问:如果Vela训练出来的模型已经是个更懂用户的"好学生"了,那它去参加强化学习这种更高阶的训练,会不会表现得更好?

研究者分别拿基础模型Qwen3.6和经过Vela训练过的模型,去做同样配置的强化学习,用的方法叫GSPO。

组序列策略优化*:一种强化学习训练方法,通过对比一组生成结果的相对好坏来调整模型,不需要额外训练一个独立的打分网络。

实验结果相当直接。在VelaBench上,从Vela起点出发做强化学习,最后能冲到66.2分,而从基础模型起点出发只能到58.5分,两者差了7.7分。在ProfileSummary上,差距同样是7.7分(37.6对29.9)。更关键的一个细节是,无论用哪个起点,强化学习训练完之后的模型,都明显超过了它训练前的监督微调起点,但从基础模型出发做强化学习后的分数,依然比不上从Vela起点出发没做强化学习时的分数。

这个现象很值得琢磨。好比两个学生同样花一个暑假刷题冲刺,一个本来基础就打得牢,一个基础薄弱,刷完同样时长的题,基础牢的那个最后分数更高,而且基础薄弱的那个,哪怕拼了一个暑假,可能还赶不上基础牢的那个在暑假开始前的水平。如果跳过前面这个"打基础"的训练阶段,直接上强化学习,看起来省了一步,但最终天花板会更低。

七、难度过滤到底值不值得做

论文还单独验证了一下难度筛选这一步是不是真的有必要。他们在37.5K数据规模上做了对比,一组是正常经过难度筛选的,另一组是从十万候选题里随机抽样,不做任何筛选。

结果显示,有难度筛选的那组在四个用户相关评测上全面占优,平均高出1.1分,而VelaBench的分数两组完全一样,都是62.4。这说明难度筛选主要在"举一反三"的泛化能力上发挥作用,而不是单纯让模型在训练过的那套题型上死记硬背。

八、这篇论文接下来可能走向哪里

Vela提出的这个思路并不是第一次有人想到用用户行为训练AI。早一些的工作,比如P5把多个推荐任务统一成一个文本生成框架来处理,RLPF则用预测反馈的方式训练模型生成用户摘要,但这些工作都盯着某一个具体应用场景,没有验证过这种做法能不能撬动模型更广泛的能力。

往后看,这个方向可以推测会往两个维度延伸。一个是任务模板的扩展,九十一个模板覆盖了六类行为,但现实世界里用户行为的类型远比这更丰富,比如多模态交互、跨平台行为的拼接,都是潜在的新题型。另一个是数据规模的继续扩张,论文自己也提到,到75K样本时曲线还没有明显放缓,这意味着如果能喂进去更多真实行为数据,用户理解能力和通用能力可能还有继续上涨的空间。

写在后面

读完这篇论文,最让我意外的一点,其实是它没有在"刻意回避"真实数据的隐私风险上,而是用了一套挺实在的清理机制来处理这个矛盾。很多做用户行为研究的工作,一碰到隐私问题,干脆就转头去用合成数据,结果合成数据又学不到真实行为的复杂性,这是个两难。Vela选择的做法是,老老实实用真实数据,但在数据进入训练流程之前,把能定位到具体某个人的信息层层剔除掉。这不是什么新颁明的技术,但它说明一件事:真实性和隐私保护,未必是非此即彼的选择题。

另一个让我反复想的点,是那个"通用能力不降反升"的结果。按直觉,专项训练应该是有代价的,练用户理解的题,大概率会占用模型本来该学别的东西的"注意力"。但实验数据偏偏说反了,这说明"理解一个具体的人"这件事,背后调用的能力,远比我们以为的更基础、更通用。理解一个人的行为变化,需要的是从海量噪声里抓重点、跨时间整合证据、识别模式变化,这些能力本身就是智能的底层构件,不是什么"用户专用技能"。

这篇论文留下的一个没解决的问题,其实挺值得追问:如果用户行为数据真的是一种有效的监督信号,那它和人类写的文本相比,到底谁更接近"真实世界"?毕竟文本是人经过加工、修饰、省略之后写出来的东西,而行为日志是未经修饰的、原始的、甚至是无意识的流露。如果未来AI学习的主要素材从"人写的话"转向"人做的事",那它学到的世界观,会不会和现在完全不一样?

Q&A

Q1:Vela是什么?

A:Vela是一个把真实用户行为数据转化为AI训练素材的框架,它从十万用户的匿名行为记录中生成十万道训练题目,用来提升大模型理解用户、预测行为的能力。

Q2:用Vela训练出来的模型效果怎么样?

A:Vela-35B-A3B在用户相关任务上比基础模型平均提升6.2分,在VelaBench上提升11.5分,同时在数学、科学等通用能力测试上也平均提升了4分,没有出现专项训练导致其他能力下降的情况。

Q3:Vela会不会侵犯用户隐私?

A:论文强调在构建训练数据前已去除所有能定位到具体个人的信息,包括姓名、联系方式、账号ID,含有可识别个人身份信息的记录会被直接排除,整个数据使用过程经过平台授权和隐私伦理审查。

分享至
0赞

好文章,需要你的鼓励

推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-