小红书打造社交网络专用AI大脑，聊天购物搜索样样精通

这项由小红书NLP团队的曹绍胜等研究人员于2025年1月发表的研究，发布在arXiv预印本平台上（论文编号：arXiv:2507.10605v1），详细介绍了他们开发的专门针对社交网络服务的大语言模型RedOne。有兴趣深入了解的读者可以通过arXiv网站搜索该论文编号查看完整内容。

社交媒体已经成为我们日常生活不可分割的一部分，从刷朋友圈到在小红书上种草，从微博热搜到抖音推荐，这些平台每天都在处理海量的用户内容。然而，社交网络上的语言与我们在学校学的标准语言截然不同——充满了网络热梗、表情包、口语化表达和各种"yyds"、"绝绝子"这样的流行词汇。传统的人工智能就像一个刻板的老师，面对这些活泼的网络语言时经常"不明觉厉"，理解困难。

小红书的研究团队意识到了这个问题。他们发现，现有的AI大脑虽然在处理正式文本方面表现出色，但一旦遇到社交网络上那些随意、情绪化、充满个人色彩的内容时就显得力不从心。更关键的是，社交网络平台需要AI同时处理多种任务：理解用户发布的内容、识别有害信息、推荐相关内容、提供搜索服务等等。传统的做法是为每个任务单独训练一个AI模型，就像为每种家务活雇佣一个专门的保姆，不仅成本高昂，而且各个模型之间缺乏协调，难以发挥整体效应。

为了解决这个问题，研究团队开发了RedOne——一个专门为社交网络量身定制的AI大脑。这个名字的含义是"Red"代表小红书的品牌色彩，"One"则象征着一个模型搞定多项任务的理念。RedOne的特别之处在于，它不是简单地在现有AI模型基础上做些小修小补，而是从零开始，用社交网络的真实数据和使用场景来训练，让AI彻底理解社交媒体的语言规律和用户行为模式。

一、从零开始的社交网络语言学习之路

RedOne的诞生过程就像培养一个完全理解网络文化的年轻人。研究团队设计了一个三阶段的培养方案，每个阶段都有不同的学习重点，确保这个AI能够从基础的语言理解一步步成长为社交网络的行家里手。

第一个阶段叫做"持续预训练"，这就像让一个已经上过大学的学生重新回到图书馆，专门研读社交网络相关的各种资料。研究团队首先搜集了超过1000亿个词汇的训练数据，这个数量级相当于几千万本书的内容。这些数据来源分为两大类：一类是精选的高质量通用文本，确保AI不会忘记基本的语言能力；另一类是来自社交网络平台和开放网络的真实用户内容，包括各种非正式的讨论、短评论、充满讽刺意味的表达和情绪化的内容。

有趣的是，研究团队还利用了用户的互动数据来指导训练过程。他们将用户的点击、点赞、评论等行为作为"老师"的指导信号，帮助AI理解哪些内容是相关的，哪些表达方式更受用户欢迎。这就像让AI观察真实的人际交往，学习什么样的话题和表达方式能够引起共鸣。

为了确保训练数据的质量，团队建立了严格的筛选机制。他们使用规则过滤器识别和清除HTML标签、重复句子等明显的错误内容，同时使用小型语言模型对内容的连贯性和语调适宜性进行全面评估。经过这道道关卡的筛选，最终用于训练的数据从1000亿词汇精简到200亿词汇，确保每一份数据都是精品。

在这个阶段，RedOne基于Qwen2.5模型进行训练，这是一个在多个领域都表现优秀的基础模型。通过在社交网络数据上的持续学习，RedOne逐渐掌握了社交平台特有的语言模式，同时保持了在一般语言任务上的强劲表现。这种平衡非常重要，因为一个只会说网络语言而不懂正式表达的AI显然是不完整的。

二、十八般武艺样样精通的任务学习

第二个阶段叫做"监督微调"，这时的RedOne就像一个已经掌握了基础知识的学生，开始学习各种具体的专业技能。社交网络平台需要AI处理的任务种类繁多，研究团队将这些任务归纳为六大类核心能力，每一类都对应着用户日常使用社交媒体时的真实需求。

内容理解能力是第一大类，主要包括笔记分类、查询分类和查询意图识别三项任务。笔记分类就像是图书管理员的工作，需要AI能够准确判断用户发布的内容属于美食、旅行、时尚还是其他类别，这对内容推荐和搜索都至关重要。查询分类和查询意图识别则更加细致，不仅要理解用户搜索的是什么，还要洞察用户的真实需求——比如搜索"口红推荐"的用户可能是想购买，而搜索"口红怎么卸"的用户可能是遇到了使用问题。

信息抽取能力包括标签预测、机器阅读理解和关键词检测。标签预测让AI能够为用户的内容自动添加合适的话题标签，就像给每篇文章贴上精准的标签，方便其他用户发现。机器阅读理解则要求AI能够像人类一样阅读用户的长篇内容并回答相关问题。关键词检测帮助AI识别内容中最重要的词汇，这对搜索匹配和内容推荐都非常有价值。

语义匹配能力主要处理查询与笔记的相关性判断和检索任务。当用户搜索"夏日穿搭"时，AI需要能够准确判断哪些笔记真正符合用户需求，而不是简单地匹配关键词。这就像一个经验丰富的销售员，能够根据顾客的描述精准推荐商品。

用户行为建模能力通过"浏览后搜索"任务来体现。这个任务很有意思：用户看完一篇关于某个商品的笔记后，会搜索什么内容？AI需要学会预测用户的后续行为，为他们提供更贴心的服务。这就像一个善解人意的朋友，总能猜到你下一步想要什么。

对话和角色扮演能力包括情感陪伴对话和角色扮演对话。社交平台上的用户经常需要情感支持和有趣的互动，AI需要能够进行自然的对话，有时还要扮演不同的角色与用户互动。这要求AI不仅要理解语言，还要有一定的情感智慧。

翻译能力专门针对社交网络领域进行了优化。社交网络上的语言往往带有强烈的情感色彩和文化特色，普通的翻译工具很难准确传达这些细微的差别。RedOne经过专门训练，能够在翻译时保持原文的语调、情感和非正式表达的特色。

在训练过程中，研究团队还特意加入了通用指令数据，包括指令跟随、多轮对话和长链式推理等能力，确保RedOne不会因为专注于社交网络任务而失去其他重要能力。这就像培养一个全面发展的学生，既要有专业特长，也要保持综合素质。

整个监督微调过程分为两个步骤进行。第一步使用完整的社交网络数据集结合大量通用数据进行训练，让模型学习各种任务格式的同时保持通用能力。第二步提高社交网络数据的比例，进一步强化领域特定能力。这种渐进式的训练方式确保了最佳的学习效果。

三、让AI更懂人心的偏好优化

第三个阶段叫做"偏好优化"，这时RedOne已经掌握了各种技能，但还需要学会如何更好地迎合人类的喜好。在社交网络上，同一个问题可能有多种合理的答案，但用户往往更偏爱其中某些回答。比如对于"推荐一个适合约会的餐厅"这个问题，虽然推荐任何一家好餐厅都是合理的，但用户可能更喜欢那些考虑到预算、氛围、交通便利性等细节的贴心推荐。

研究团队将任务分为两类来处理偏好优化。对于主观性较强的任务，比如情感对话和角色扮演，他们首先请领域专家对AI生成的回答进行质量评分，创建偏好标注。然后训练专门的评判模型，让这些模型学会像人类专家一样评价回答的质量，并用这些评判模型扩大偏好数据集的规模。

对于有明确正确答案的客观性任务，研究团队采用了更直接的方法。他们利用数据中的结构化信息构建偏好对，将正确答案作为正面样本，错误答案作为负面样本。同时，他们还专门针对模型的错误进行训练，用正确答案替换模型的错误预测，帮助模型学会避免犯同样的错误。

这个优化过程使用了直接偏好优化技术，这种方法能够让AI更好地理解人类的喜好，同时充分利用数据标签中隐含的信息。最终，经过三个阶段完整训练的RedOne不仅具备了强大的社交网络处理能力，还能够产生更符合人类期望的回答。

四、令人印象深刻的实验成果

为了验证RedOne的实际效果，研究团队进行了全面的测试，结果令人印象深刻。在通用能力测试中，RedOne不仅没有因为专注于社交网络而降低表现，反而在多个基准测试中超越了基础模型。这就像一个专攻某个领域的专家不仅在专业领域表现卓越，在其他方面也保持了优秀水准。

在专门的社交网络基准测试中，RedOne的表现更加亮眼。7B参数版本的RedOne在SNS-Bench测试中比基础模型Qwen2.5-7B平均提升了14.02%，在双语翻译基准测试中提升了7.56%。32B参数版本的提升幅度分别达到了10.14%和6.40%。这些数字背后反映的是RedOne在理解社交网络内容方面的显著优势。

更有意思的是不同任务上的具体表现差异。在标签预测任务中，RedOne-7B的表现达到了88.02%的准确率，相比基础模型提升明显。在查询相关性判断任务中，提升幅度更是达到了12.63%，这意味着用户能够获得更精准的搜索结果。在机器阅读理解任务中也有2.76%的提升，虽然幅度看似不大，但在这类基础任务上每一点提升都很有价值。

研究团队还进行了一个特别有意思的对比实验：他们比较了直接在基础模型上进行任务特定微调和在RedOne基础上进行任务特定微调的效果。结果显示，即使是零样本推理，RedOne在大多数任务上都能超越经过专门微调的基础模型。而在RedOne基础上再进行任务特定微调的效果更是显著超越了基础模型微调的结果。这证明了领域适应性预训练的价值——有了扎实的领域基础，后续的专门训练能够取得更好的效果。

为了理解训练过程中每个阶段的贡献，研究团队进行了详细的消融实验。他们发现，持续预训练阶段虽然在通用任务上的表现略有下降，但在社交网络任务上带来了显著提升。这种权衡是值得的，因为模型的目标就是优化社交网络应用。监督微调和偏好优化阶段都带来了额外的提升，证明了三阶段训练策略的有效性。

五、真实世界中的卓越表现

实验室测试的成功只是第一步，真正的考验来自实际应用。研究团队将RedOne部署到了小红书的实际业务场景中，在有害内容检测和浏览后搜索两个关键应用中验证其效果。

在有害内容检测方面，RedOne表现出了优异的安全防护能力。相比之前使用的单任务模型，RedOne将有害笔记的曝光率降低了11.23%。这个数字看似不大，但在社交平台的规模下意义重大。每天数百万的内容发布中，能够多识别出11.23%的有害内容，意味着为用户创造了更安全、更友善的浏览环境。

在浏览后搜索推荐方面，RedOne展现了对用户行为的深度理解。当用户浏览完某篇笔记后，系统需要预测用户接下来可能搜索的内容并提供相应推荐。RedOne在这个任务上将点击页面率提升了14.95%，这表明AI对用户意图的理解更加准确，能够提供更符合用户需求的推荐内容。

这两个实际应用场景的成功验证了RedOne的实用价值。有害内容检测关乎平台安全和用户体验，而搜索推荐直接影响用户的内容发现效率和平台活跃度。在这两个核心场景中的出色表现，证明RedOne不仅在实验室测试中表现优异，在真实业务场景中也能够创造实际价值。

六、跨领域适应能力的深度考察

为了全面评估RedOne的能力边界，研究团队还专门测试了模型在处理未曾见过的任务时的表现。他们从SNS基准测试中选择了三个任务：一个是完全没有相关训练数据的笔记分类任务，另外两个是有相关数据但在训练时被特意排除的标签预测和机器阅读理解任务。

测试结果揭示了一个有趣的现象：保留通用领域数据进行训练的模型在处理这些未见任务时表现更好，而且这种优势在较大的模型上更加明显。这说明维持通用能力对于领域适应是有益的，一个既精通社交网络又保持广泛知识的AI比纯粹的专用AI更具适应性。

为了更直观地展示RedOne的能力，研究团队提供了一个具体的案例。在浏览后搜索任务中，用户浏览了一篇关于"软底通勤乐福鞋"的种草笔记，标题是"找到了！可以全天行走的软底通勤乐福鞋"。基础模型Qwen生成的搜索查询是"如何选择增高厚底鞋"，这是一个相对通用的购物指导查询。而RedOne生成的查询是"增高厚底乐福鞋"，直接击中了用户想要购买该产品的核心意图，更好地反映了用户的实际需求。

这个案例生动地展示了RedOne对社交网络用户行为的深度理解。在社交平台上，用户浏览种草内容后的搜索行为往往带有明确的购买意图，RedOne能够准确捕捉到这种意图并生成相应的搜索建议，这种能力对提升用户体验和平台商业价值都具有重要意义。

七、技术创新背后的深层思考

RedOne的成功不仅仅是技术实现的成功，更代表了对社交网络AI应用的全新思路。传统的做法是将社交网络看作各种独立任务的集合，为每个任务开发专门的解决方案。RedOne的方法则将社交网络视为一个统一的领域，通过深度理解这个领域的特点来构建全能型的AI助手。

这种统一建模的优势是多方面的。首先，不同任务之间的知识可以相互促进，在内容理解上的提升能够同时改善搜索推荐和有害内容检测的效果。其次，统一的模型架构降低了系统的复杂性和维护成本，一个模型可以处理多种任务，比维护多个专用模型更加高效。最重要的是，这种方法能够更好地适应社交网络快速变化的特点，新的任务和需求可以更容易地集成到现有框架中。

研究团队在数据处理上的创新也值得关注。他们不仅使用了文本内容，还充分利用了用户交互数据来指导训练过程。这种做法将用户的真实行为作为学习信号，让AI能够更好地理解什么样的内容和回答真正受用户欢迎。这比仅仅依靠文本内容的传统方法更加贴近实际应用场景。

在训练策略上，三阶段的渐进式方法也体现了深思熟虑的设计。每个阶段都有明确的学习目标，从基础的领域适应到具体的任务学习，再到最后的偏好优化，形成了一个完整的能力发展路径。这种方法不仅确保了最终效果，还为其他领域的AI开发提供了可借鉴的框架。

RedOne项目展现的另一个重要价值是对多语言社交网络内容的处理能力。社交平台上的多语言内容交互日益频繁，一个真正实用的社交网络AI必须能够处理跨语言的内容理解和生成任务。RedOne在双语翻译基准测试中的优异表现证明了其在这方面的能力。

说到底，RedOne代表了AI技术在垂直领域深度应用的一个典型成功案例。它不是简单地将现有技术搬到新场景中，而是深入理解了社交网络这个特殊领域的需求和特点，从数据收集、模型设计到训练策略都进行了针对性的优化。这种从用户需求出发、以实际效果为导向的研发思路，为AI技术在其他垂直领域的应用提供了宝贵的经验和启示。

对于普通用户而言，RedOne这样的技术进步意味着更加智能、贴心的社交网络体验。无论是更精准的内容推荐，更有效的搜索结果，还是更安全的浏览环境，这些改进都会在日常使用中带来实实在在的价值。当然，随着AI技术在社交网络中的深度应用，相关的隐私保护和算法透明性问题也需要持续关注和妥善解决。

这项研究的发表为社交网络AI技术的发展指明了新的方向，相信会激发更多研究团队在这个领域的探索和创新。对于想要深入了解相关技术细节的读者，可以通过arXiv网站查阅完整论文，获得更加详细的技术信息和实验数据。

Q&A Q1：RedOne是什么？它和普通的AI有什么不同？ A：RedOne是小红书开发的专门针对社交网络的AI大脑，最大的不同在于它专门用社交媒体的真实数据训练，能理解网络流行语、表情包等非正式语言，还能同时处理内容理解、搜索推荐、有害内容检测等多种社交平台任务，就像一个既懂网络文化又身兼数职的全能助手。

Q2：RedOne会不会让社交媒体变得更加智能和个性化？ A：是的，RedOne已经在实际应用中展现了这种能力。它将有害内容检测的准确率提升了11.23%，让用户浏览环境更安全；在搜索推荐方面提升了14.95%的点击率，能更准确地猜测用户想要什么。这意味着用户能得到更精准的内容推荐和更贴心的服务体验。

Q3：普通人能使用RedOne技术吗？它会如何影响我们的日常生活？ A：目前RedOne主要部署在小红书的后台系统中，普通用户通过更好的内容推荐、搜索结果和更安全的浏览体验来感受它的存在。未来这类技术可能会让社交媒体更懂用户需求，提供更个性化的服务，让我们在社交平台上的体验变得更加流畅和有趣。