复刻任何画风、保留任何内容——复旦大学与StepFun联手打造的AI"换装大师"FreeStyle

这项由复旦大学、StepFun（阶跃星辰）、西湖大学和香港大学联合完成的研究，于2026年6月18日以预印本形式发布于arXiv平台，论文编号为arXiv:2606.20506v1。感兴趣的读者可以通过这个编号在arXiv上检索并阅读完整的原始论文。

一张照片，两份参考。一份告诉AI"我要这个内容"，另一份告诉AI"我要这种风格"。听起来不难？实则是个让整个AI图像生成领域头疼已久的老大难问题。当你把一张梵高的《星夜》当作风格参考，让AI把你家猫咪的照片"梵高化"时，AI很可能把梵高画里的漩涡、星星甚至那棵柏树都一并塞进猫咪图里——这就是研究者们所说的"内容泄漏"，一种让人哭笑不得的AI幻觉。

为了从根本上解决这个顽疾，来自多家顶尖机构的研究团队提出了一套完整的解决方案，并将其命名为FreeStyle。这套方案不仅仅是一个新模型，而是从数据生产、训练策略到评测体系的全链条设计，力图在"像这种风格"与"保留这个内容"之间找到真正稳定的平衡点。

一、先从一个现实困境说起

平日里，许多人会用AI生图工具做一件事：把自己的照片"变成"某种艺术风格——水彩画、漫画、油画，或者某款流行游戏的美术风格。这个需求听起来很简单，但对AI来说，实际上是在同时完成两件截然不同的任务。

第一件任务是"记住你是谁"。无论风格怎么变，生成的图片里的猫还得是那只猫，而不是别的猫；那个人的脸还得是那张脸，而不是随便一个卡通人物。第二件任务是"穿上新衣服"。生成的图片要真正呈现出参考风格的笔触、色调、纹理和审美感——而不仅仅是在表面刷一层滤镜。

当两件任务同时进行时，AI会遇到一个根本性的困境：风格参考图里除了"风格"，还有"内容"。梵高的画里不只有笔触，还有具体的树、星星和村庄。AI在学习"梵高式笔触"的同时，很容易不小心也把那棵树搬进了你的猫咪图里。这就是"内容泄漏"——一种让最终结果既不像原来的猫，又不纯粹是梵高风格的尴尬状态。

这个问题之所以长期没有被很好地解决，根源在于两个缺失：一是缺乏大规模、干净的训练数据——既要有足够多样的风格，又要保证内容和风格之间没有交叉污染；二是缺乏针对不同泄漏机制的精准干预方法。FreeStyle的核心贡献，正是在这两个维度上同时发力。

二、用社区LoRA挖矿：一个天才的数据生产思路

数据是AI训练的粮食。要训练一个能同时处理"内容参考"和"风格参考"的模型，理想的训练数据应该是这样的三元组：一张内容参考图（比如一只猫）、一张风格参考图（比如某种水彩画风格示例）、以及一张目标图（那只猫以水彩画风格呈现的版本）。

问题是，这样的三元组数据在自然界里几乎不存在，必须人为制造。以往的做法要么覆盖的风格太少，要么制造过程太贵，要么内容和风格之间仍然藕断丝连、分离不彻底。

研究团队想到了一个别出心裁的方案：去挖掘AI绘图社区里的LoRA资源库。LoRA是一种轻量级的AI模型微调技术，可以理解为给大模型装上一个"风格插件"或"内容插件"。全球AI绘图社区（比如Civitai、TensorArt、Liblib等平台）里，有数以万计的创作者上传了自己训练的LoRA——有的专门用来生成某种特定画风（比如"日式二次元线稿风"），有的专门用来生成某个特定角色或物体（比如"写实狼犬"）。

研究团队把这些社区LoRA看作天然的"风格锚点"和"内容锚点"。每一个风格LoRA，就代表了一种经过社区验证的、内聚的视觉风格；每一个内容LoRA，就代表了一类特定的视觉内容主题。把一个风格LoRA和一个内容LoRA组合起来，就能生成天然分离的三元组数据——风格来自风格LoRA，内容来自内容LoRA，两者互不干扰。

这个思路的妙处在于，社区LoRA本身就是一个巨大的多样性宝库，覆盖了从传统东方绘画到现代像素艺术，从写实摄影风到卡通漫画的几乎所有风格流派；内容方面则涵盖了角色、场景、动物、建筑、食物、载具等几乎所有常见类别。这使得最终生产出来的数据集在风格和内容的多样性上，远远超过了以往任何一个同类数据集。

当然，挖矿不是随便挖的，需要严格的筛选流程。研究团队把整个数据生产过程分成了四个环节，环环相扣。

第一个环节是筛选"稳定可用"的LoRA。从各大平台爬取的LoRA多达68600多个，但并非每个LoRA都能稳定工作。研究团队设计了一个批量测试流程：为每个LoRA生成3×3共9张预览图，然后由人工专家和审美评分模型联合判断——如果9张图里至少有7张质量合格，才认定这个LoRA是"稳定触发"的，可以进入下一步。经过这一关，最终留下的FLUX风格LoRA约1700个，内容LoRA约900个；Illustrious模型下风格LoRA约210个，内容LoRA约7000个；Qwen模型下内容和风格LoRA合计约87个。

第二个环节是为每个LoRA生成高质量的参考图。研究团队为不同底层模型（FLUX-dev、Illustrious、Qwen-Image）设计了专门调优的ComfyUI工作流，并结合大约4万个独特提示词组合，为每个LoRA至少生成20张参考图。由于生成结果不总是完美稳定，他们用Qwen3-VL这个视觉语言模型做质量把关：把网上爬取的LoRA演示图作为参考，让模型判断新生成的图是否与LoRA的主题一致，不符合的直接淘汰。

第三个环节是筛选有效的LoRA组合。风格LoRA和内容LoRA虽然各管各的，但混合使用时并不总是和谐共处。有些内容LoRA本身带有强烈的内置风格，一旦和风格LoRA结合，两者就会互相打架，导致生成结果又模糊又混乱。研究团队把所有风格LoRA和内容LoRA做了笛卡尔积（也就是两两配对），每个组合生成一张图，然后同时检验：这张图的内容是否和内容LoRA的单独生成图保持一致？这张图的风格是否和风格LoRA的单独生成图保持一致？两项都通过才算有效组合。这一关的通过率大约只有40%，但正因为筛得严，留下来的组合才真正干净稳定。

第四个环节是批量生成最终三元组数据。有了经过验证的有效LoRA组合，就可以放开手脚批量生产目标图了。由于组合本身已经验证过，这一环节的通过率高达80%，极大地提升了生产效率。最终，研究团队用FLUX模型生产了27.3万个三元组，用Qwen模型生产了3.3万个，用Illustrious模型生产了17.2万个，构成了一个极其庞大且多样的数据集。此外，他们还用Qwen3-VL模型为每个三元组自动生成了描述内容参考图的文字提示词，使训练数据具备了完整的"内容+风格+文字指令"三元结构。

除了LoRA挖矿数据，研究团队还制作了一批"风格迁移"数据用于第一阶段训练。具体做法是：从网上爬取大量内容多样的图片，选取大约645个经过验证的稳定风格触发词，用一个叫Nano Banana Pro的先进生图模型把每张内容图"翻译"成对应风格，然后用DINOv2（一种图像理解模型）检验内容有没有保留，用ONEIG风格编码器检验风格有没有对上，两项都过关的才保留下来，拼成干净的三元组。

三、两阶段训练：像武林高手一样分层练功

有了数据，接下来是训练策略。研究团队没有把所有数据一股脑扔进去训练，而是采用了一种"由易到难、循序渐进"的两阶段课程学习方式。

之所以要分两个阶段，是因为研究团队发现，内容泄漏在不同的任务设置下，走的是完全不同的"偷渡通道"，需要用不同的方法分别堵住。

第一阶段专门处理"只有风格参考"的任务。在这个阶段，模型的任务是：给定一张内容图和一张风格参考图，生成一张把内容图"翻译"成风格参考图风格的新图。研究团队通过仔细分析发现，在这个任务下，内容泄漏主要发生在注意力机制里——具体来说，在去噪过程的后期阶段，模型会对风格参考图里的某些区域给予过度的注意力，导致那些区域的具体内容（比如风格图里的人物、场景）被"照抄"进生成结果里。

为了形象地理解这件事，可以把模型的注意力机制想象成一个学生在考试时的"视线分配"。正常情况下，学生应该把大部分视线放在答题纸（内容图）上，只是偶尔瞄一眼参考资料（风格图）来获取风格灵感。但泄漏情况下，这个学生在考试快结束时突然开始死盯着参考资料不放，把参考资料里的图案和文字都抄进了答题纸——这就是注意力过度分配到风格参考图的问题所在。

为了解决这个问题，研究团队设计了两个配合使用的约束损失函数（可以理解为训练时给模型的"行为准则"）。第一个叫"注意力富集约束"：它会计算每个语义分组（文字部分、内容参考部分、风格参考部分）相对于其token数量比例所获得的注意力比例，得出一个"富集系数"。这个系数为1意味着该组获得的注意力恰好和其大小成正比；大于1说明它获得了"超额关注"。约束要求风格参考部分的富集系数不超过0.6倍的基准值，并且在去噪后期（也就是泄漏最容易发生的阶段）施加更强的惩罚，以此抑制模型对风格图的过度凝视。第二个叫"注意力熵约束"：它确保模型在注视风格参考图时，视线是相对均匀分散在风格图各个区域的，而不是只死盯着某几个token——这样才能提取到全局的风格特征，而不是局部的内容细节。这两个约束只施加在第一个Transformer块上，因为研究发现内容泄漏最先在这一层发生，后续层很难纠正已经形成的错误语义布局。

第二阶段引入"内容参考+风格参考"双参考任务，也就是同时给模型看内容图和风格图，让它生成一张既保留内容结构又呈现目标风格的图。这个任务比第一阶段难得多，因为模型要同时"听"两份参考的话，还要根据文字提示做进一步调整。

然而，当内容参考图出现后，情况发生了根本性变化：模型的注意力大部分被内容参考图吸收，风格参考图的注意力分配不再出现之前那种"后期暴增"的异常模式。于是第一阶段的注意力约束失去了它的"靶心"，不再那么有效。但内容泄漏并没有消失——它换了一条通道悄悄进行。

新的泄漏通道与RoPE（旋转位置编码）有关。RoPE是现代Transformer模型用来理解"哪个token在哪个位置"的一种机制，可以把它理解为给每个图像小块贴上一个精确的"坐标标签"。RoPE编码里有高频成分和低频成分：高频成分记录精细的局部位置关系，低频成分记录宏观的全局结构。研究团队发现，在双参考任务下，风格参考图的高频RoPE成分会和生成图里的对应位置建立精确的"坐标对应"关系，使得模型可以按位置把风格图里的内容"贴片"搬进生成图——这就是所谓的"位置对应泄漏"。

针对这个新问题，研究团队提出了"频率感知RoPE调制"策略。核心思路是：对风格参考图的RoPE编码做一个频率相关的缩放——高频成分（容易造成局部内容复制的）被削弱，低频成分（有助于传递全局风格结构的）被增强。具体来说，他们给风格参考图的每个RoPE维度赋予一个平滑的缩放系数，从高频端的0.9（轻微削弱）渐变到低频端的1.2（适度增强），过渡曲线的平滑度由一个参数β=2控制。这个调制只施加在风格参考图的分支上，内容参考图分支保持原样不变，从而在风格提取和内容保留之间保持精确的职责分工。

整个训练过程中，第一阶段在风格迁移数据上跑了12万步，批量大小32，学习率6e-6，使用8张H100 GPU；第二阶段在LoRA挖矿三元组和风格迁移数据按3:1混合后，再跑2.4万步。整个模型的骨架沿用了Qwen-Image-Edit的多模态架构，文字理解部分用视觉语言模型编码，图像生成部分用流匹配目标训练，没有引入任何额外的图像编码器——因为研究团队通过t-SNE聚类实验发现，现有的CLIP和DINOv2等编码器在区分艺术风格时并不比直接使用VAE潜在空间特征更好，反而会引入额外的噪声。

四、如何衡量好坏：一套更公平的评测体系

做完了系统，还要有一把公平的尺子来量它的好坏。研究团队同时推出了一套开放的评测基准，这套基准的设计本身就是一个重要贡献。

评测数据集由200张内容参考图和200张风格参考图构成，内容图涵盖各种物体类别、场景和构图，风格图覆盖油画、水彩、3D渲染、像素艺术、抽象艺术等多个艺术领域。每一对参考图都配有GPT生成的风格迁移文字指令，并且每种风格类别下有多个指令变体，以减少指令本身带来的偏差。

评测覆盖两种任务设置：纯风格参考生成（只有风格图和内容原图，生成风格化版本），以及双参考生成（同时有内容参考图、风格参考图和文字指令，生成满足所有条件的新图）。

评测指标按照四个维度分组展开。风格一致性方面，使用ONEIG编码器测量感知风格相似度，用CSD（基于对比学习的风格描述子）测量风格相似度，还用视觉语言模型VLM-S让Qwen3-VL直接打分"生成图和风格参考图的整体视觉风格有多像"。内容保留方面，用DINOv2余弦相似度测量语义结构的保留程度；此外特别采用了来自CSGO研究的内容对齐分数（CAS），这个指标先对DINOv2特征做实例归一化（去掉与风格相关的通道统计量），再计算归一化后的特征之间的均方误差——这样测出来的内容一致性不会被风格差异所干扰，更公平地反映真正的结构保留情况。还用VLM-C让视觉语言模型直接评判内容保留质量。指令跟随方面（仅双参考任务），用CLIP-T测量图像与文字指令的匹配度，用VLM-F让模型判断生成图是否遵循了文字要求。美观度方面，用LAION-Aesthetic和V2.5-Aesthetic两个美学评分器衡量生成图的视觉吸引力，防止出现指标好看但图像实际上很难看的情况。

特别值得一提的是"验证分数"这个新概念。验证分数（Ver-S和Ver-C）不是一个连续数值，而是一个比例——在所有生成图里，有多少张被视觉语言模型判定为"风格迁移成功"或"内容保留成功"？判定方式是：对每张图问模型三次同样的是非题，至少两次回答"是"才算通过。这个二元判定比连续相似度分数更直观地反映了实际成功率，也更能暴露出那些平均分数看起来不错、但实际上有相当比例生成失败的方法。

五、实验结果：在平衡感这件事上，FreeStyle做到了什么

研究团队把FreeStyle和一系列竞争对手放在同一个评测基准上比较，竞争对手包括闭源商业系统（Gemini、Seedream 4.5），以及多个开源方法（USO、CSGO、EasyRef、FLUX.2 klein、TeleStyle、Qwen-Image-Edit、OmniStyle）。

在纯风格参考任务上，FreeStyle在VLM-Style一项拿到了7.142分，是所有开源方法里最高的；Ver-S（风格验证通过率）达到0.482，同样排名第一。这意味着在所有开源方法里，FreeStyle生成的图被视觉语言模型判定为"风格迁移成功"的比例最高。同时，它的Ver-C（内容保留验证）达到0.928，在开源方法里排第二（和USO并列），说明它在转换风格的同时很好地保留了内容。

这个结果和一个值得注意的对比现象放在一起看更有意思。CSGO的CSD分数最高（0.665），但它的VLM-Content只有1.516，Ver-C只有0.715——说明它虽然在风格特征层面和参考图很像，但视觉语言模型判断它的内容保留质量其实相当有限。而Qwen-Image-Edit的DINOv2和CAS都最好，但它的VLM-Style只有3.487——说明它内容保留得不错，但风格迁移力度很弱。这个对比生动地说明了为什么单看任何一个指标都不全面，必须把特征相似度指标和VLM判断一起看。

在双参考任务上，FreeStyle同样在VLM-Style（5.467）和Ver-S（0.409）两项居开源方法首位，综合表现最均衡。对比其他方法，USO在内容指标上表现很好，但风格和指令跟随很差；FLUX.2 klein指令跟随强，但风格迁移弱（VLM-Style只有2.388）。没有任何一个竞争对手能同时在风格、内容和指令跟随三个维度上都保持有竞争力的水准。

消融实验进一步验证了每个设计选择的价值。去掉第一阶段的注意力富集约束，VLM泄漏分数从0.522暴增到2.674，意味着内容泄漏率大幅上升。去掉第二阶段的频率感知RoPE调制，泄漏分数从0.453升到1.047，同样有显著恶化。两个组件各自针对不同的泄漏机制，缺一不可。

数据来源的对比实验也很有说服力。用OmniStyle数据集训练的同款模型（其他设置完全一样）在VLM-Style上只有3.038，Ver-S只有0.186；而用FreeStyle的LoRA挖矿数据训练后，这两项分别跃升至7.142和0.482。代价是DINOv2和CAS分数有所下降（从0.897到0.809，从0.762到1.175），反映出模型在风格迁移上更"大胆"了，有时候内容结构会做一些与风格相适应的变形。不过从VLM-Content的角度看（从9.669到8.919），内容保留的语义质量差距并没有那么悬殊，说明数值变化一部分来自风格化带来的外观差异，而非真正的内容遗失。

---

说到底，FreeStyle这项研究做的事情，就是把一个"看起来很简单、做起来很难"的问题，用一套从数据到训练再到评测的完整工程体系认真地解了一遍。归根结底，它的价值不仅在于生成的图片更好看，更在于它让我们理解了风格和内容是通过哪些具体通道互相干扰的——注意力过度分配是一个通道，位置编码的高频成分是另一个通道，而这两个通道在不同任务设置下的主次地位还会发生变化。这种对机制的理解，比单纯的性能数字更有持久的参考价值。

对于普通用户来说，这项研究意味着在不远的将来，"把这张照片变成那种风格"这件事会变得更可靠——不只是偶尔成功，而是稳定成功，同时还能精确控制哪些内容要保留、哪些要改变。这个能力在图像创作、影视特效前期可视化、游戏美术批量生产等场景里有相当直接的应用空间。

当然，研究本身也坦诚地列出了几个尚未解决的难题。社区LoRA的质量服从长尾分布，少数LoRA质量极高，大多数质量参差不齐，如何自动化地持续评估和筛选是一个工程挑战。不同底层模型（FLUX、Illustrious、Qwen）训练出来的风格语义存在域偏移，跨模型的风格泛化还需要进一步研究。现有的验证分数在测量风格与内容冲突的细粒度程度上还比较粗糙，未来需要更精细的泄漏度量工具。

有兴趣深入了解技术细节的读者，可以在arXiv上通过编号2606.20506查阅完整论文，研究团队也表示会开源数据集、评测基准、ComfyUI工作流和模型权重。

---

Q&A

Q1：FreeStyle中的"内容泄漏"具体指什么现象？

A：内容泄漏是指AI在进行风格迁移时，把风格参考图里的具体内容（比如人物、场景、物体）不小心搬进了生成结果里。举个例子，你用梵高的《星夜》做风格参考，想把猫咪照片变成梵高画风，但AI可能把《星夜》里的村庄或漩涡也一并画进猫咪图里，这就是内容泄漏。FreeStyle分别针对注意力过度分配和位置编码高频成分这两条泄漏通道设计了专门的抑制机制。

Q2：FreeStyle的社区LoRA挖矿数据集和OmniStyle数据集相比优势在哪？

A：两套数据训练出的模型在风格迁移效果上差距显著。用OmniStyle数据训练的模型VLM风格打分只有3.038，风格验证通过率只有18.6%；而用LoRA挖矿数据训练后，这两项分别达到7.142和48.2%。核心优势在于LoRA挖矿数据覆盖的风格种类更广、更多长尾小众风格，且风格和内容之间的分离更彻底，提供了更干净的训练信号。

Q3：FreeStyle的频率感知RoPE调制是怎么起作用的？

A：RoPE是模型理解图像中每个小块"在哪个位置"的机制，高频成分记录精细的局部位置关系，低频成分记录宏观结构。研究发现双参考任务里风格图的高频RoPE成分会让模型按位置把风格图内容"贴片"复制进生成图。FreeStyle的做法是把风格参考图分支的高频RoPE成分缩小到0.9倍（削弱局部复制倾向），低频成分放大到1.2倍（保留全局风格感），从源头切断位置对应泄漏通道，同时不影响内容参考图分支的正常工作。