OmniConsistency：解锁图像风格化新境界，国立新加坡大学Show Lab团队突破风格一致性难题

自从人工智能（AI）图像生成技术问世以来，将普通照片转换成动漫、油画或积木风格等艺术效果已经不再是专业设计师的专属技能。然而，即便是最先进的AI模型在处理复杂场景时，也常常难以保持风格的一致性，尤其是在面部特征、人物数量和细节方面。想象一下，你把一张五口之家的全家福照片转换成卡通风格，结果AI只画出了四个人，或者把爸爸的胡子丢失了——这样的结果显然不尽如人意。

这正是国立新加坡大学Show Lab实验室的宋义仁（Yiren Song）、刘成（Cheng Liu）和邵正（Mike Zheng Shou）教授团队所要解决的问题。他们在2025年5月发布的研究论文《OmniConsistency: Learning Style-Agnostic Consistency from Paired Stylization Data》中提出了一种创新解决方案，使AI在进行风格化处理时能更好地保留原始图像的结构和语义信息。

当前的图像风格化技术主要基于扩散模型（Diffusion Models），这类模型能够逐步将噪声转变为精美图像。研究人员通常会使用低秩适应（LoRA）技术对预训练模型进行微调，教会它们特定的艺术风格。然而，这种方法面临三大挑战：一是风格化输出与输入之间的一致性有限，现有的技术虽能保证整体布局，但常常无法保留复杂场景中的细节；二是在图像到图像（I2I）的转换过程中风格质量下降；三是在控制布局方面缺乏灵活性，难以支持创意性的结构变化，比如萌系（chibi）风格的转换。

针对这些挑战，研究团队提出了OmniConsistency，这是一个基于扩散变换器（Diffusion Transformer）架构的通用一致性插件，结合了情境学习策略，专门为图像风格化任务设计。简单来说，就像是给AI提供了一副"记忆力超强的眼镜"，让它在进行风格转换时能够精确记住并保留原始图像中的所有重要元素和细节。

为了支持模型训练，研究团队精心构建了一个高质量的多源风格化数据集，涵盖22种不同风格，总计2,600对图像。数据来源包括手绘插图和在GPT-4o引导下生成的高度一致的风格化图像。经过严格的人工筛选，他们获得了一个可靠的配对数据集，适合一致性模型训练。

OmniConsistency的核心创新在于采用了两阶段解耦训练框架以及滚动LoRA银行加载机制：在第一阶段，研究人员在特定风格数据上单独训练LoRA模型，构建一个LoRA银行；在第二阶段，他们将预训练的风格LoRA模块附加到扩散变换器主干上，并使用相应的图像对（原始图像和风格化图像）训练一致性模块。第二阶段训练明确针对结构和语义一致性，防止一致性模块吸收任何特定的风格特征。为确保风格不可知能力，LoRA模块及其相应的数据子集在训练迭代期间定期切换，确保在各种风格中保持稳定的一致性性能，实现强大的泛化能力，支持与任意风格LoRA模块的即插即用集成。

此外，为了实现更灵活的布局控制，研究团队放弃了传统的显式几何约束（如边缘、草图、姿势等），而采用了更灵活的隐式控制策略，只利用原始图像本身作为条件输入。这种方法使OmniConsistency能够更好地平衡风格表达和结构一致性，特别适合涉及角色比例显著变化的任务，如萌系风格生成。通过数据驱动方法，模型自主学习从配对数据中的构图和语义一致性映射，进一步增强其泛化能力。

为了验证方法的有效性，研究团队进行了广泛的实验，证明OmniConsistency显著提高了视觉一致性和美学质量，达到了与商业最先进模型GPT-4o相当的性能。他们的源代码已在GitHub上公开（https://github.com/showlab/OmniConsistency），为图像风格化领域的研究和应用提供了宝贵资源。

让我们深入了解这项研究的细节和实际表现。

一、现有图像风格化技术的局限性

想象一下，你正在使用一个AI工具将你和朋友的合影转换成动漫风格。结果出来了，但你发现原本五个人的合照变成了四个人，或者某个人的眼镜不见了，也许还有人的发型完全变了样。这就是目前图像风格化技术面临的一致性问题。

现有的图像风格化方法主要依赖于扩散模型，这些模型就像是一位艺术家，通过逐步修改噪声来创造出精美的图像。通常，研究人员会使用一种叫做LoRA（低秩适应）的技术对这些模型进行微调，就像是给艺术家提供特定风格的教程一样。同时，他们还会使用图像到图像（I2I）的推理流程和一致性模块（如ControlNet）来保证生成图像的结构和布局与原图相似。

然而，这种方法面临三大挑战：首先，现有的一致性模块（如ControlNet）虽然能确保全局布局的对齐，但往往无法保留复杂场景中的精细语义和细节。就像一位艺术家可能捕捉了整体构图，但忽略了人物表情或服装的细节一样。

其次，在图像到图像（I2I）的设置中，LoRA和IPAdapter等方法的风格保真度往往低于文本到图像的生成。想象一下，你给艺术家一张照片和一段描述，让他画出同一个场景的两幅画，一幅基于照片，一幅基于文字描述。奇怪的是，基于文字描述创作的画作风格更加纯粹和一致，而基于照片创作的则风格效果减弱。

最后，依赖于严格条件（如边缘、草图、姿势）的方法难以支持创意性的结构变化，比如萌系风格转换。就好比你告诉艺术家必须严格按照原图的每个线条绘制，这就限制了他创造性地表达卡通或萌系风格所需的夸张比例和特征。

这些问题严重限制了现有方法的实际性能，促使研究团队展开这项研究。特别值得注意的是，商业模型GPT-4o在风格化一致性方面表现出色，这更加凸显了开源方法与专有模型之间的性能差距，也为本研究提供了明确的目标：缩小这一差距，让开源技术也能达到同样优秀的表现。

二、OmniConsistency：通用一致性控制的创新方案

OmniConsistency就像是给AI艺术家配备了一副特殊的眼镜，让它在进行风格转换时能够清晰地记住原始图像中的每一个细节，同时又不受限于严格的结构约束，可以自由发挥创意表达不同的艺术风格。

这个框架建立在扩散变换器（Diffusion Transformer，简称DiT）架构之上，并结合了情境学习策略。与传统的U-Net架构相比，扩散变换器具有更强的表征能力，能够更好地捕捉图像中的复杂关系，就像一位经验丰富的艺术家比新手能看到更多细节一样。

OmniConsistency的设计理念是实现风格学习和一致性学习的完全解耦。想象一下烹饪过程：首先，你需要学习不同菜系的烹饪技巧（风格学习）；然后，你需要掌握如何在保持食材原有特性的同时应用这些技巧（一致性学习）。这正是OmniConsistency采用的两阶段训练策略。

在第一阶段，研究团队独立训练了22种不同风格的LoRA模块，每个模块专注于一种特定风格，如动漫、油画或像素艺术。这就像是让22位不同流派的艺术家各自发展自己的风格特点。每个LoRA模块在6,000次迭代中使用固定的学习率进行微调，专注于捕捉特定风格的独特艺术元素、纹理、配色方案和细节。

在第二阶段，研究团队训练了一个风格无关的一致性模块，这个模块能够有效地保留结构、语义和详细的一致性，无论应用的是哪种风格。他们引入了一个轻量级的一致性LoRA模块，它与预训练的风格LoRA模块无缝集成。在这个阶段，第一阶段训练的风格LoRA模块通过一个"滚动LoRA银行"动态加载，每50步就在不同风格的LoRA及其对应的配对数据集之间切换。这就像是让一致性模块与不同风格的艺术家轮流合作，学习如何在保持原始内容完整性的同时适应各种风格。

此外，研究团队还引入了两个技术来提高计算效率：条件令牌映射（Conditional Token Mapping）和特征重用（Feature Reuse）。条件令牌映射允许使用低分辨率的条件图像来指导高分辨率生成，同时通过精确的像素级对应关系确保空间对齐。特征重用则通过缓存条件令牌在去噪步骤中的中间特征，消除了冗余计算，显著降低了推理时间和GPU内存使用，而不影响生成质量。

这种设计不仅解决了传统方法面临的一致性问题，还使OmniConsistency能够与任意风格的LoRA模块即插即用，无需重新训练。就像一位能够适应任何风格的助手，帮助艺术家在保持作品内容完整性的同时，充分表达自己独特的艺术风格。

三、高质量配对数据集的构建与收集

为了训练一个有效的一致性模型，研究团队需要大量高质量的图像对，每对包含一张原始图像和一张对应的风格化图像。这就像是为AI提供"前后对比"的例子，教它如何在保持内容不变的情况下应用特定风格。

研究团队完全通过GPT-4o驱动的生成过程构建了一个高质量的配对数据集。具体来说，他们利用GPT-4o合成了输入图像在22种不同艺术风格下的风格化版本，并为源图像和风格化图像生成相应的描述性文本注释。

输入图像来自公开可用的互联网来源，并经过仔细策划以确保法律合规。为了确保语义和结构一致性，研究团队采用了人机协作的筛选流程。评估者审查每个生成的图像对，移除存在问题的样本，如性别不匹配、年龄或肤色不正确、细节扭曲、姿势差异、风格不一致或布局错位等。这个严格的筛选过程应用于5,000多个候选对，最终每种风格筛选出80-150个高质量的图像对，总计2,600个经过验证的图像对。

为了促进多样性，每种风格的输入图像是互斥的，包含复杂场景如多人肖像。数据集涵盖了广泛的风格——包括动漫、素描、萌系、像素艺术、水彩、油画和赛博朋克等——并将公开发布，以支持未来在风格化和一致性建模方面的研究。

这种精心构建的数据集就像是为AI提供了一本包含多种艺术风格的教科书，每一页都有清晰的"原图-风格化"对照示例，让AI能够学习不同风格下如何保持内容的一致性。这种配对数据的质量直接影响了模型的表现，因此研究团队在数据收集和筛选方面投入了大量精力。

四、一致性LoRA模块：提高条件控制的效率

在OmniConsistency框架中，一致性LoRA模块扮演着至关重要的角色，它负责将条件信号（原始图像）有效地整合到生成过程中，同时保持扩散主干的风格化能力。

传统方法通常将控制模块应用于主网络层，这会干扰风格表示。想象一个艺术学生同时要听两位老师的指导：一位教授风格技巧，另一位关注构图规则。如果这两位老师同时说话，学生可能会感到混淆，无法清晰地学习任何一方的知识。

相反，OmniConsistency的设计将一致性学习与风格化路径隔离开来。具体来说，研究团队扩展了FLUX架构，添加了一个专用的一致性LoRA模块，仅应用于条件分支。他们保留了主扩散变换器上的LoRA附着点不变，允许任意风格LoRA独立挂载。这种分支隔离设计确保了一致性学习和风格化之间的兼容性，使两个模块能够在不冲突或参数纠缠的情况下运行。

从技术角度看，给定文本、噪声和条件分支的输入特征，标准QKV投影在所有分支之间共享。为了更有效地注入条件信息，研究团队仅对条件分支应用LoRA转换，而文本和噪声分支保持不变。这确保了一致性相关的适应以隔离方式引入，不干扰主干的风格化能力或其他条件路径。

此外，研究团队还用因果注意力替换了原始的双向注意力。他们设计了一个结构化的注意力掩码，其中条件令牌只能相互关注，并被阻止访问噪声/文本令牌，而主分支（噪声和文本令牌）遵循标准因果注意力并可以关注条件令牌。这种设计提供了两个关键优势：一是主分支在推理过程中保持干净的因果建模，避免来自条件令牌的干扰；二是不向噪声/文本分支引入额外的LoRA参数，为风格LoRA保留所有可调整的容量，防止风格化和一致性之间的冲突。通过强制执行这种只读条件机制，研究团队提高了编辑可控性，同时保持了风格和结构之间的清晰分离。

简单来说，这就像是在艺术创作过程中，风格专家和结构专家有各自的工作区域，互不干扰，但能够产生协调一致的最终作品。这种设计不仅提高了模型的性能，还使得整个系统更加模块化和灵活，能够轻松适应不同的风格和条件。

五、有效和可扩展的条件控制设计

为了提高基于变换器的扩散模型的计算效率，研究团队引入了两个互补技术：条件令牌映射（用于低分辨率条件引导）和特征重用（用于消除去噪步骤之间的冗余计算）。

在传统方法中，将全分辨率条件令牌与去噪令牌连接会导致高内存使用和推理延迟。想象你需要同时处理两张高清照片，这需要更多的计算资源和时间。为了解决这个问题，研究团队使用低分辨率条件图像来指导高分辨率生成，通过条件令牌映射确保空间对齐。

具体来说，给定原始分辨率(M, N)和条件分辨率(H, W)，他们定义了缩放因子：Sh = M/H和Sw = N/W。然后，下采样条件中的每个令牌(i, j)映射到高分辨率网格中的位置(Pi, Pj)，其中Pi = i · Sh，Pj = j · Sw。这种映射保留了条件和输出特征之间的像素级对应关系，即使在分辨率存在显著不匹配的情况下也能实现结构连贯的引导。

此外，在标准扩散过程中，条件令牌在所有去噪步骤中保持不变，而潜在令牌会演变。为了减少重复计算，研究团队缓存了条件令牌的中间特征——特别是注意力中的键值投影——并在整个推理过程中重用它们。这种优化显著降低了推理时间和GPU内存使用，而不影响生成质量。

这些技术就像是在艺术创作过程中使用草图和参考图：艺术家不需要每次都从高清照片中获取灵感，一张简单的草图或低分辨率的参考就足够了。同时，艺术家也不需要反复分析相同的参考图，而是可以记住关键特征并在整个创作过程中应用它们。这种方法不仅提高了效率，还保持了最终作品的质量。

六、实验设置与评估方法

为了全面评估OmniConsistency的性能，研究团队进行了一系列精心设计的实验，比较了它与现有方法在风格一致性、内容一致性和文本-图像对齐方面的表现。

在实验设置方面，研究团队采用Flux 1.0开发版作为预训练模型。数据集分辨率为1024×1024，而条件图像下采样到512×512以减少内存和计算量，通过条件令牌映射实现高分辨率控制。训练分为两个阶段：第一阶段在单个GPU上以1×10^-4的学习率和1的批量大小对风格LoRA进行6,000步的微调；第二阶段在4个GPU上以相同的学习率和每GPU 1的批量大小（总批量大小=4）从头训练一致性模块9,000步。在这个阶段，每50步从LoRA银行加载一个风格LoRA及其对应的数据，以鼓励多风格泛化。

为了评估方法，研究团队提出了一个新的图像到图像基准，包含100张具有复杂视觉构图的图像，包括群体肖像、动物、建筑场景和自然景观。为了公平比较，他们从LibLibAI网站选择了5个风格LoRA模型进行风格化和定量评估。这些风格不包含在训练过程中使用的LoRA银行中。这五种风格是漫画、油画、PVC玩具、素描和矢量风格。

比较的基线方法包括：1. 基于SDEdit的Flux图像到图像流程；2. 带Redux的Flux图像到图像流程；3. 带Redux的Flux文本到图像流程；4. 带ControlNet的Flux图像到图像流程；5. 带ControlNet的Flux文本到图像流程；6. GPT-4o，最先进的商业图像风格化API。对于ControlNet基线，联合使用边缘和深度图进行条件控制，每种模态权重为0.5，并在0.5应用早停。

评估指标方面，研究团队从三个方面评估方法：风格一致性、内容一致性和文本-图像对齐，使用由GPT-4o生成标题的100张测试图像基准。所有图像相似性指标使用DreamSim、CLIP图像得分和GPT-4o得分计算。

对于风格一致性，他们比较风格化结果与应用相同LoRA到相同提示和种子生成的参考之间的相似度。他们还计算了1,000个样本（通过使用不同种子重复基准10次）的FID和CMMD，以评估OmniConsistency对风格分布的影响。对于内容一致性，他们测量风格化图像与输入图像之间的相似度。对于文本-图像对齐，他们使用标准CLIP得分评估输出与输入提示的对齐程度。

这种全面的评估方法就像是对艺术作品进行多维度的专业评审：既要考察作品是否保持了预期的艺术风格（风格一致性），又要评价它是否忠实地表达了原始主题（内容一致性），还要检验它是否符合创作意图（文本-图像对齐）。这样的多角度评估确保了研究结果的可靠性和全面性。

七、实验结果与分析

研究团队的实验结果令人振奋，证明了OmniConsistency在平衡风格表达和内容保留方面的卓越能力。

在定量评估中，如表1所示，OmniConsistency在五个风格一致性指标中取得了最佳性能，并在内容一致性方面名列前茅。它还获得了最高的CLIP得分，表明了出色的文本-图像对齐能力。这些结果表明，OmniConsistency的一致性感知框架能够有效平衡风格化保真度、语义保留和提示对齐。在内容一致性方面，Flux I2I + Redux获得了最高的CLIP图像得分；然而，这一优势主要源于其有限的风格化强度和最小的视觉转换。

在定性评估中，图4展示了T2I基线反映了LoRA的预期风格化效果。Redux方法实现了合理的风格化，但内容和结构一致性较差。ControlNet方法很好地保留了结构对齐，但引入了显著的风格退化。相比之下，OmniConsistency同时实现了高风格保真度和内容一致性，产生的结果可与最先进的GPT-4o相媲美。

研究团队还进行了消融实验，验证了两个关键设计选择：(1)使用多种风格LoRA的滚动训练和(2)风格与一致性的解耦训练。如图5所示，当移除滚动训练而改用在混合风格数据上训练的单个LoRA时，生成的结果保持了合理的内容一致性，但在未见风格上显示出明显的风格化质量下降。此外，当移除解耦训练策略，直接将一致性模块与风格LoRA一起训练时，风格化能力和内容一致性都明显下降，表明风格和结构之间存在强烈的纠缠，损害了整体性能。

研究团队还讨论了OmniConsistency在实用性和通用性方面的三个关键特点：

首先是即插即用集成能力。OmniConsistency被设计为图像到图像风格化中保持一致性的模块化、即插即用组件。如图6所示，它可以与文本引导的风格化、社区LoRA或基于参考的方法（如IP-Adapter）无缝结合。

其次是对未见风格的泛化能力。得益于风格和一致性的解耦训练，以及滚动LoRA银行机制，OmniConsistency能有效泛化到训练过程中未见的风格LoRA模块。图3展示了定性示例，表3报告了对已见和未见设置的定量结果（FID/CMMD）。值得注意的是，未见LoRA与已见LoRA相比没有明显的性能下降，表明OmniConsistency是风格不可知的，并在各种风格中保持强大的泛化能力。

最后是高效率。在几种优化策略的共同作用下，OmniConsistency与基础Flux文本到图像流程相比只增加了微小的开销，在1024×1024分辨率和24个采样步骤下，GPU内存使用增加了4.6%，推理时间增加了5.3%。

这些结果就像一位能够适应各种艺术风格的大师级助手，不仅能保持每种风格的独特美学，还能确保内容的完整性和准确性，同时不增加太多的"工作负担"。OmniConsistency的强大性能和实用特性使其成为图像风格化领域的重要进步。

八、限制与失败案例

尽管OmniConsistency在大多数情况下表现出色，但研究团队也坦诚地指出了几个局限性和失败案例。

图8展示了两类典型的失败情况。首先，图8(a)展示了含有中文文本的图像的风格化结果。虽然GPT-4o在很大程度上保留了汉字的形状和可读性，但OmniConsistency在保持非英语文本完整性方面存在困难，这很可能是由于FLUX主干的局限性。

其次，图8(b)展示了对群组照片和复杂场景的风格化结果。OmniConsistency和GPT-4o都偶尔会在描绘的人数方面出现不一致，通常会省略占据图像较小部分的个体。此外，在小型面部或手部区域可能会出现伪影。

这些局限性就像是艺术家在特定情况下面临的挑战：对于不熟悉的文字系统或非常复杂的群体场景，即使是熟练的艺术家也可能难以完美捕捉所有细节。识别并承认这些局限性是负责任研究的重要部分，也为未来的改进指明了方向。

九、总结与未来方向

OmniConsistency代表了图像风格化领域的重要进步，通过创新的两阶段训练策略和滚动LoRA银行机制，实现了风格学习和一致性学习的完全解耦。就像一位能够适应任何艺术流派的助手，OmniConsistency能够在保持内容完整性的同时，支持各种创意风格转换。

研究团队的方法解决了传统风格化技术面临的三大挑战：有限的结构和语义一致性、I2I设置中的风格退化，以及缺乏灵活的布局控制。通过精心设计的架构和训练策略，OmniConsistency在定量和定性评估中都展示了卓越的性能，达到了与商业最先进模型GPT-4o相当的水平。

OmniConsistency的关键优势在于其即插即用兼容性、对未见风格的强大泛化能力以及高效率，使其非常适合与任意LoRA风格无缝集成，无需重新训练。研究团队还引入了一个涵盖22种不同风格的高质量数据集，为未来的风格化和一致性建模研究奠定了坚实基础。

展望未来，这项研究为控制性和高保真图像风格化领域铺平了道路。随着技术的不断发展，我们可以期待更加精细和多样化的风格转换，以及更好的细节保留能力，特别是在处理复杂场景和多语言文本方面。

对于普通用户来说，这项研究的成果意味着更加智能和直观的图像编辑工具，能够将普通照片转变为各种艺术风格，同时保持原始内容的完整性和准确性。无论是为社交媒体创建独特内容，还是为专业项目开发创意资产，OmniConsistency都提供了一个强大而灵活的解决方案。

最后，研究团队已经在GitHub上公开了源代码（https://github.com/showlab/OmniConsistency），为研究人员和开发者提供了宝贵资源，促进了开源社区在图像风格化领域的进一步创新和发展。