让AI按照你的要求写作：突破"千篇一律"的新框架——Komorebi AI公司的可配置偏好调优技术

这项由西班牙马德里Komorebi AI公司的Víctor Gallego博士领导的研究，发表于2025年6月的ICML（国际机器学习大会）人工智能对齐工作坊。这份名为"基于评分标准引导的合成数据进行可配置偏好调优"的研究论文，为AI写作控制带来了全新突破。感兴趣的读者可以通过论文编号arXiv:2506.11702v1访问完整研究内容，相关代码和数据集已在github.com/vicgalle/configurable-preference-tuning开源发布。

当你使用ChatGPT或其他AI写作工具时，是否发现它们总是用一种固定的风格回答问题？就像一个只会做一道菜的厨师，无论你想要清淡还是重口味，它都给你同样的味道。这个问题困扰着整个AI行业——现有的语言模型就像被锁定在某种"标准模式"中，无法根据用户的具体需求灵活调整写作风格。

Gallego博士的团队发现了这个问题的根源：传统的AI训练方法假设存在一套"万能"的偏好标准，就像制作一份适合所有人口味的菜谱。但现实中，人们的偏好千差万别——有人喜欢正式严肃的商务文档，有人偏爱轻松幽默的聊天风格，还有人需要富有创意的文学表达。把这些不同需求强行融合成一个"平均值"，结果就是AI写出来的内容既不够正式，也不够生动，更谈不上有创意。

这项研究的突破性在于提出了"可配置偏好调优"（CPT）框架。这就像给AI装上了一个"风格调节器"，用户可以通过简单的指令，让同一个AI模型在不同场合展现出完全不同的写作风格。更重要的是，这种调节不需要重新训练模型，就像调节收音机频道一样简单直接。

一、从"一刀切"到"量身定制"：传统方法的局限性

当前的AI对齐技术，比如强化学习人类反馈（RLHF）和直接偏好优化（DPO），都基于一个隐含假设：存在一套固定不变的"最佳"偏好标准。这就像假设世界上只需要一种服装尺码就能适合所有人一样荒谬。

以一个AI写电影评论为例。传统方法会收集大量人类写的电影评论，然后训练AI模仿这些评论的"平均风格"。结果就是AI写出来的评论可能语法正确、逻辑清晰，但缺乏个性和针对性。它不知道什么时候应该写得更学术严肃，什么时候应该更轻松娱乐，也不知道如何根据不同的读者群体调整语言风格。

这种"一刀切"的做法产生了几个严重问题。首先是缺乏适应性——AI无法根据具体情境调整行为，就像一个只会说标准普通话的机器人，无法根据对话对象是老人还是孩子来调整说话方式。其次是缺乏可控性——用户无法明确告诉AI自己想要什么样的风格，只能被动接受AI的"标准输出"。最后是资源浪费——每次想要调整AI的行为风格，都需要重新收集数据、重新训练模型，成本极高。

二、化腐朽为神奇：合成数据的巧妙运用

Gallego团队的解决方案颇具创意：既然无法收集到覆盖所有可能偏好的真实数据，那就让AI自己"制造"训练数据。这个想法乍听起来像是"左手训练右手"，但实际操作却非常巧妙。

研究团队首先设计了详细的评分标准（rubric），就像制定菜谱一样精确。以写作风格为例，他们制定了一套包含五个维度的评分标准：摄影唤起效果、算法炼金术、本体不稳定性、词汇无政府主义和元反思断裂。每个维度都有明确的评分等级，从"低分"到"极高分"，就像给不同口味的菜品标注辣度等级一样。

接下来是关键的数据生成过程。研究团队使用强大的"教师模型"（如DeepSeek-R1和o3-mini）来生成训练样本。这个过程就像请一位经验丰富的厨师按照不同的菜谱要求，制作出各种风味的菜品样本。教师模型会根据具体的评分要求，生成相应风格的文本。比如，当要求"极高分的词汇无政府主义"时，教师模型会生成充满创意词汇、打破传统语法规则的文本；当要求"低分的词汇无政府主义"时，则会生成标准规范的常规文本。

更巧妙的是系统提示词的生成。研究团队让同样的教师模型将复杂的评分标准"翻译"成简洁明了的系统指令。这就像把详细的烹饪步骤浓缩成简单的"小火慢炖"或"大火爆炒"这样的关键词。例如，复杂的"极高分词汇无政府主义"标准被简化为"生成一个支离破碎、不合逻辑且充满意外联系的文本，拥抱荒诞并颠覆语言和形式的传统期望"这样的简短指令。

三、精心编排的训练过程：让AI学会"变脸"

有了丰富的合成数据，下一步就是训练"学生模型"学会根据不同指令调整行为。这个过程的核心是构建巧妙的偏好对比样本。

具体来说，研究团队会针对同一个写作任务，使用两种不同的评分要求生成两个不同风格的回应。比如，对于"为你喜欢的电影写一篇评论"这个任务，他们会生成一个"极高分非常规风格"的评论和一个"低分常规风格"的评论。前者可能充满创意表达和打破常规的语言实验，后者则遵循标准的影评写作规范。

关键的创新在于构建训练样本的方式。对于上述两个不同风格的评论，研究团队会创建两个训练样本：第一个样本告诉AI，当系统指令要求"非常规风格"时，应该偏好创意评论而非标准评论；第二个样本则相反，当系统指令要求"常规风格"时，应该偏好标准评论而非创意评论。这种"镜像"式的训练样本构建，让AI能够学会根据不同的系统指令产生相应的偏好判断。

训练过程采用了直接偏好优化（DPO）技术，这是一种无需训练额外奖励模型的高效方法。通过这种训练，AI模型逐渐学会了一项关键能力：理解系统指令的含义，并据此调整自己的输出风格。就像一个优秀的演员能够根据导演的指示，在同一个剧本中展现出完全不同的表演风格。

四、实验验证：从理论到实践的完美转化

为了验证这套方法的有效性，研究团队进行了一系列严谨的实验。他们的实验设计就像一场精心安排的"烹饪比赛"，要验证经过训练的AI"厨师"是否真的学会了按照不同要求制作不同风味的"菜品"。

首先是验证"教师模型"生成能力的实验。研究团队测试了DeepSeek-R1和o3-mini两个强大模型是否能够按照评分要求生成相应质量的文本。结果令人惊喜：当要求生成"极高分"文本时，这些模型的平均得分达到了96.3和97.9分（满分100）；当要求生成"低分"文本时，得分分别降到了14.1和23.1分。这种巨大的分数差距证明了教师模型确实具备了按需生成不同质量文本的能力，为后续的合成数据生成奠定了基础。

接下来是核心的学生模型训练效果验证。研究团队选择了五个不同规模的语言模型进行测试，包括Rocinante-12B、Qwen3-4B、Mistral-Nemo-12B、Mistral-Small-24B和Phi-4-14B。这些模型就像不同天赋的学生，要看看它们是否都能掌握这种"风格切换"的技能。

实验结果展现了CPT方法的强大效果。以Mistral-Nemo-12B为例，经过CPT训练后，模型在准确匹配目标风格方面的准确率从60%提升到了83%，相关性指标也有显著改善。更重要的是，这种提升在所有测试模型中都得到了体现，证明了CPT方法的普适性。

特别有趣的是与"多次采样选优"（Best-of-N sampling）的对比实验。这种方法类似于"多做几道菜然后选最好的"，而CPT则是"直接做出想要的菜"。实验显示，经过CPT训练的模型不仅能够直接生成高质量的目标风格文本，还能在与多次采样选优结合时产生更好的效果。这就像一个技艺精湛的厨师，不仅平时做菜水平很高，在精心准备时更能超常发挥。

五、深度剖析：技术细节与创新要点

CPT框架的技术实现体现了多个层面的巧思。在数据层面，研究团队构建了包含900个样本的合成偏好数据集，涵盖四个不同的评分维度和三个不同的分数等级。这个数据集已经开源发布，为后续研究提供了宝贵资源。

在模型训练层面，研究团队采用了参数高效的LoRA（低秩适应）微调技术，只需要一个训练周期就能达到理想效果。这种方法大大降低了计算成本，使得普通研究者也能够复现和改进这项技术。

评估方法的设计也颇具创新性。除了传统的准确率指标，研究团队还引入了Kendall's Tau和Spearman相关系数等统计指标，全面评估模型输出与目标风格的一致性。这就像不仅要看菜品是否合格，还要评估其口感层次的丰富程度。

更值得注意的是系统提示词的精巧设计。这些提示词需要在简洁明了和准确表达之间找到平衡点。过于简单的指令可能无法传达足够的风格信息，过于复杂的指令又会增加模型理解的难度。研究团队通过大量实验找到了这个"甜蜜点"，创造出既便于用户理解又便于模型执行的指令格式。

六、现实应用与未来展望

CPT技术的应用前景非常广阔。在内容创作领域，它可以帮助作家和编辑快速生成不同风格的文案，从严肃的学术论文到轻松的社交媒体内容，一个模型就能胜任。在企业沟通中，同一个AI助手可以根据不同场合调整语言风格，与客户沟通时亲切友好，撰写内部报告时专业严谨。

在教育领域，CPT技术能够让AI导师根据学生的年龄、知识水平和学习偏好调整解释方式。对于小学生，它可以用生动有趣的故事方式解释复杂概念；对于大学生，则可以提供更深入详细的学术分析。

研究团队也坦诚地讨论了技术的局限性和潜在风险。CPT技术依赖于高质量的教师模型来生成训练数据，这意味着教师模型的偏见可能会传递给学生模型。此外，如何确保生成的不同风格内容都符合安全和伦理标准，也是需要持续关注的问题。

在可扩展性方面，当需要支持更多风格维度或更复杂的风格组合时，评分标准的设计和系统提示词的生成可能会变得更加复杂。研究团队建议未来的工作应该探索自动化的评分标准生成和更高效的多维度风格控制方法。

从更广阔的视角来看，CPT技术代表了AI对齐研究的一个重要方向转变：从寻求"一刀切"的完美解决方案，转向支持多样化、个性化的用户需求。这种转变不仅在技术上更加现实可行，也更符合人类社会的多元化特征。

Gallego博士在论文中特别强调了负责任AI开发的重要性。CPT技术虽然为用户提供了更大的控制权，但也需要建立相应的安全防护机制，防止技术被恶意使用。研究团队建议在部署此类技术时，应该包含强健的安全检查机制，确保生成内容的质量和安全性。

这项研究不仅在技术层面实现了突破，更在理念上为整个AI对齐领域提供了新的思路。它证明了通过巧妙的技术设计，我们可以让AI系统变得更加灵活、可控和有用，而不必牺牲安全性和可靠性。随着相关代码和数据的开源发布，相信会有更多研究者在此基础上进行创新，推动这一技术向更加成熟和实用的方向发展。

说到底，CPT技术解决的是一个根本性问题：如何让AI真正为人类的多样化需求服务。在这个人工智能快速发展的时代，我们需要的不是另一个"万能但平庸"的AI工具，而是能够理解并适应我们个性化需求的智能助手。Gallego博士团队的这项研究，正是朝着这个目标迈出的重要一步。对于有兴趣深入了解技术细节的读者，完整的研究论文、代码实现和数据集都已经开源发布，为后续的研究和应用提供了宝贵的基础资源。

Q&A

Q1：什么是可配置偏好调优（CPT）？它能解决什么问题？ A：CPT是一种让AI模型能够根据用户指令动态调整写作风格的新技术。它解决了传统AI只能用固定风格写作的问题，让同一个模型可以在正式商务、轻松聊天、创意文学等不同风格间自由切换，无需重新训练。

Q2：CPT技术会不会让AI生成有害内容？ A：研究团队意识到了这个风险。CPT本身是一个中性的技术框架，关键在于如何设计安全的评分标准和系统提示词。论文建议在实际部署时必须包含强健的安全检查机制，确保所有风格的输出都符合安全和伦理标准。

Q3：普通用户能使用CPT技术吗？有什么要求？ A：目前CPT还是研究阶段的技术，但研究团队已经开源了所有代码和数据集。对于普通用户来说，需要等待技术进一步成熟并被集成到实际产品中。未来可能会出现支持CPT的AI写作工具，让用户通过简单指令就能控制AI的写作风格。