字节跳动团队开发统一图像生成模型：让AI同时掌握风格转换和主体保持的秘密

这项由字节跳动智能创作实验室UXO团队的吴少金、黄梦琪等研究人员开发的创新成果，发表于2025年8月的arXiv预印本平台，论文编号为arXiv:2508.18966v1。有兴趣深入了解的读者可以通过该编号查找完整论文，也可以访问项目主页https://bytedance.github.io/USO/获取更多技术细节。

长期以来，AI图像生成领域存在一个令人困扰的问题：当我们希望AI既能保持图片中人物或物体的特征，又能改变整体风格时，现有的方法往往顾此失彼。比如你想让AI把一张现代人物照片转换成梵高风格的油画，要么人物特征完全变了样，要么风格转换得不够彻底。这就像要求一个艺术家既要画得像原人物，又要用特定的绘画风格，大多数AI系统在这种"一心二用"的任务上表现并不理想。

字节跳动的研究团队发现了一个有趣的现象：风格驱动生成和主体驱动生能实际上是一对天然的互补任务。当AI学会准确提取图片中的人物特征时，它同时也在学习如何忽略风格信息；反过来，当它学会提取艺术风格时，也在学习如何排除人物细节。这种相互促进的关系就像学习开车时，掌握方向盘控制的同时也在学习如何不被路边景色分散注意力。

基于这个洞察，研究团队开发了名为USO的统一风格-主体优化定制模型。这个系统不仅能够单独完成风格转换或主体保持任务，更重要的是能够同时处理两种需求，实现真正的"鱼和熊掌兼得"。团队还构建了第一个专门评估风格相似性和主体一致性的综合基准USO-Bench，为这个领域的发展提供了重要的评测标准。

一、传统方法的困境：各自为政的技术路线

在AI图像生成的世界里，长期存在着两条平行发展的技术路线。第一条路线专注于风格转换，就像培训专门的临摹画家，他们擅长把任何内容都画成特定的艺术风格，比如把现代照片转换成印象派绘画或者日本动漫风格。第二条路线则专注于主体保持，就像培训肖像画家，他们能够在不同场景中准确描绘同一个人物或物体的特征。

这种分工看似合理，但实际应用中却带来了诸多限制。风格转换专家虽然能够完美复制梵高的笔触和色彩，但往往会把原图中的人物面容也一并"艺术化"，导致人物变得面目全非。主体保持专家虽然能够在各种场景中保持人物的身份特征，但在风格变换方面却显得力不从心，生成的图像往往保持着写实风格。

更深层的问题在于，这两种方法都在进行"单打独斗"的特征分离工作。风格转换方法试图从参考图像中提取纯粹的风格信息，同时排除内容细节；主体保持方法则努力提取主体特征，排除风格因素。但由于缺乏相互参照，这种分离往往不够准确和彻底。

研究团队发现，这就像两个人分别学习"什么是苹果"和"什么不是苹果"，如果他们能够相互交流和对比，学习效果会比各自摸索要好得多。一个专注于识别苹果特征的人，其经验恰好能帮助另一个人更好地排除苹果特征；反之亦然。

传统方法的另一个局限是在数据构建上的各自为政。风格转换方法通常使用艺术作品和自然照片的配对数据，主体保持方法则依赖同一主体在不同场景下的图像对。这种分离的数据策略无法充分挖掘两个任务之间的潜在关联，也限制了模型的泛化能力。

面对这些挑战，字节跳动的研究团队提出了一个根本性的思路转变：与其让两个专家各自为政，不如让他们在同一个学习框架下相互促进，实现真正的协同进化。

二、创新思路：化对立为统一的协同分离范式

研究团队提出了一个颠覆性的观点：风格驱动生成和主体驱动生成看似对立，实际上是一对完美的互补任务。这种互补性体现在特征提取的镜像关系上。当系统学习提取风格特征时，它必须学会忽略主体细节；当系统学习提取主体特征时，它必须学会排除风格信息。这种"一个人的垃圾是另一个人的宝藏"的关系，为两个任务的协同学习提供了天然的基础。

这种协同分离范式的核心理念可以用一个生动的比喻来理解：想象一个果园里有苹果树和橘子树混种，传统方法是训练两个采摘工人，一个专门识别苹果，另一个专门识别橘子，他们各自工作，互不干扰。而新的协同方法则是让两个工人协同工作，当第一个工人指出"这是苹果"时，第二个工人就学会了"这不是橘子"；反之亦然。通过这种相互学习，两个工人都能更准确地识别自己的目标，同时也更清楚地知道什么不是自己要找的东西。

在技术实现上，这种协同分离体现为一个创新的交叉任务数据建构框架。研究团队设计了"主体为风格服务"和"风格为主体服务"两个相互促进的训练阶段。在第一个阶段，他们利用最先进的主体驱动模型生成高质量的风格化数据；在第二个阶段，他们在风格奖励机制的指导下训练更有效的主体模型。

这个过程就像培养一对互补的舞蹈搭档。男舞者在学习如何稳固地支撑女舞者的同时，也在学习如何不妨碍她的旋转动作；女舞者在学习优美旋转的同时，也在学习如何配合男舞者的支撑节奏。通过这种相互配合的训练，两个舞者都能达到单独练习时无法企及的表演水平。

协同分离范式的另一个重要创新是三元组数据的构建。不同于传统方法使用的成对数据，USO使用的是风格参考图像、去风格化主体参考图像和风格化主体结果图像构成的三元组。这种三元组结构为模型提供了更丰富的学习信号，使其能够同时理解"什么是目标风格"、"什么是目标主体"以及"两者结合后应该是什么样子"。

更重要的是，这种协同学习不仅仅是技术层面的创新，它还带来了应用层面的突破。传统方法往往只能处理布局保持的风格转换，即在保持原始构图的前提下改变风格。而协同训练的USO模型能够实现布局转换的风格化生成，也就是说，它可以把内容图像中的主体提取出来，重新安排到完全不同的场景中，同时应用参考风格进行渲染。

这种能力的获得是协同学习的自然结果。当模型真正学会了精确的内容-风格分离时，它就具备了自由重组这些元素的能力，就像一个真正理解了食材特性的厨师，不仅能够按照食谱烹饪，还能创造性地组合不同食材，制作出全新的美味佳肴。

三、技术架构：三阶段渐进式统一框架

USO模型的技术架构采用了一种渐进式的设计哲学，整个系统分为三个相互衔接的训练阶段，每个阶段都有明确的学习目标和技术实现策略。

第一阶段是风格对齐训练，这个阶段的主要任务是让AI学会理解和提取图像中的风格信息。研究团队发现，风格是一种比主体特征更加抽象和复杂的概念。它不仅包含颜色搭配、笔触纹理等低层次的视觉特征，还包含构图方式、光影处理等高层次的语义信息。为了处理这种复杂性，团队引入了SigLIP语义编码器替代传统的VAE图像编码器，这就像用一个既懂艺术史又精通技法的专业评论家来替代只会看颜色和形状的普通观众。

在这个阶段，系统还引入了层次化投影器，这个组件的作用类似于一个多层次的翻译器。它能够将SigLIP编码器提取的多尺度视觉特征转换为与文本标记相容的表示形式，从而让风格信息能够自然地融入到原有的文本到图像生成流程中。这种设计使得风格条件和文本条件能够在同一个表示空间中协调工作，避免了两种不同模态信息之间的冲突。

第二阶段是内容-风格分离训练，这是整个系统最核心的创新环节。在这个阶段，系统开始处理包含风格参考、内容参考和目标输出的三元组数据。关键的技术创新在于采用分离式编码器设计：风格信息通过第一阶段训练好的SigLIP编码器处理，而内容信息则通过冻结的VAE编码器处理。这种分离设计就像安排两个专门的接待员，一个专门负责理解客人的风格偏好，另一个专门负责理解客人的内容需求，两人各司其职但又密切协作。

分离式编码器的设计有效避免了内容泄漏问题，这是传统方法经常遇到的技术难题。内容泄漏是指风格参考图像中的不相关内容细节意外出现在生成结果中，就像临摹一幅画时不小心把画框也画了进去。通过明确分工，USO能够确保每个编码器只关注自己负责的信息类型，从而实现更精确的特征分离。

第三阶段是风格奖励学习，这是一个创新的优化机制，专门用于进一步提升系统的跨任务分离能力。传统的生成模型训练主要依赖重建损失，即让生成图像尽可能接近目标图像。但这种训练方式在处理风格相似性时往往不够敏感，因为重建损失更关注像素级别的准确性，而风格相似性更多体现在感知层面的一致性。

风格奖励学习机制引入了专门的风格相似性评估模型作为奖励信号源。这个机制的工作原理类似于聘请一位艺术鉴定专家作为教练，专门评估生成作品的风格还原度。当系统生成一幅图像时，奖励模型会评估其风格与参考图像的相似程度，并将这个评分作为反馈信号指导模型参数的调整。

有趣的是，虽然风格奖励学习主要针对风格任务设计，但实验结果显示它对主体一致性任务也有显著的提升效果。这种跨任务的性能提升恰好验证了协同分离范式的有效性：当系统在风格提取方面变得更加精确时，它在主体特征保持方面也自然地变得更加出色。

整个三阶段训练过程体现了一种渐进式的学习策略，每个阶段都在前一阶段的基础上添加新的能力，同时保持已有能力的稳定性。这种设计避免了一次性学习多个复杂任务可能导致的训练不稳定问题，确保了模型能够稳健地掌握每一项核心能力。

四、数据建构：创新的交叉任务三元组生成策略

USO模型的成功很大程度上得益于其创新的数据建构策略。不同于传统方法依赖现有数据集或简单的数据增强技术，研究团队设计了一套完整的交叉任务三元组生成框架，这套框架能够系统性地生成高质量的训练数据，为协同学习提供充足的"营养"。

数据建构的核心思想是利用已有的专业模型来生成互补的训练样本。研究团队首先收集了20万对风格化图像，这些图像来源于公开授权的数据集以及先进文本到图像模型的合成样本。接下来，他们在领先的定制化框架UNO基础上训练了两个专门的"专家模型"：风格化专家和去风格化专家。

风格化专家的作用就像一个万能的艺术临摹师，它能够接收任何风格参考图像，然后生成相应风格的新内容。而去风格化专家则像一个还原大师，它能够将风格化的图像转换回写实风格，同时保持主体特征不变。这两个专家模型的配合使用，为三元组数据的生成提供了技术基础。

三元组数据的生成过程充满了巧思。对于每一张目标风格化图像，系统通过风格化专家生成对应的风格参考图像，通过去风格化专家生成对应的内容参考图像。这个过程就像逆向工程：给定一个最终产品，推导出制作这个产品所需的原材料和工艺流程。通过这种方式，系统能够为每个训练样本构建完整的"制作说明书"。

更重要的创新在于数据的多样性设计。传统的风格转换数据往往局限于布局保持的场景，即输出图像与输入图像具有相同的构图和空间安排。但USO的数据建构框架能够生成两种类型的三元组：布局保持型和布局转换型。布局保持型三元组适合训练传统的风格转换能力，而布局转换型三元组则能够训练模型进行更灵活的主体-风格重组。

布局转换型数据的生成是一个特别有趣的过程。系统不仅要保持主体的身份特征，还要将其放置到完全不同的场景和姿态中。这就像要求一个画家不仅要掌握某人的面部特征，还要能够画出这个人在各种不同情境下的样子：坐着读书、站着演讲、在海边漫步等等。这种数据的丰富性为模型学习灵活的特征重组能力提供了基础。

数据质量控制也是整个框架的重要环节。研究团队引入了基于视觉语言模型的过滤机制，这个机制能够自动评估生成的三元组数据的质量。具体来说，它会检查目标图像与风格参考图像之间的风格相似性，以及目标图像与内容参考图像之间的主体一致性。只有同时满足这两个条件的三元组才会被纳入训练数据集。

这种自动化的质量控制机制就像一个严格的质检员，确保进入生产线的每一份原材料都符合标准。通过这种筛选，最终的训练数据集不仅规模庞大，而且质量可靠，为模型的高效学习奠定了坚实基础。

整个数据建构过程体现了"以模型训练模型"的递进式改进策略。通过利用现有的专业模型来生成新的训练数据，然后用这些数据训练更强大的统一模型，系统实现了能力的螺旋式上升。这种策略不仅提高了数据利用效率，还为未来的持续改进提供了可扩展的框架。

五、实验验证：全方位性能评估与显著优势展示

为了全面验证USO模型的性能，研究团队设计了一套综合性的评估体系，并构建了专门的基准测试集USO-Bench。这个基准测试集的设计理念是提供公平、全面、具有挑战性的评测环境，确保不同方法能够在相同条件下进行比较。

USO-Bench包含了50张内容图像和50张风格参考图像的精心组合，其中内容图像涵盖20张以人为中心的图像和30张以物体为中心的图像。测试集还包括30个主体驱动生成提示词和30个风格驱动生成提示词，这些提示词涵盖了姿态变化、描述性风格化和指令性风格化等多种场景。通过这种全面的测试设计，基准测试能够评估模型在各种实际应用场景下的表现。

评估指标的选择体现了对不同任务特点的深入理解。对于主体一致性，研究团队采用CLIP-I和DINO嵌入的余弦相似度进行测量，这两个指标能够从不同角度评估生成图像与参考图像中主体特征的相似程度。对于风格相似性，则使用专门的CSD评分模型，这个模型经过专门训练，能够准确评估图像间的风格一致性。对于文本对齐程度，使用CLIP-T分数来衡量生成图像与文本描述的匹配程度。

在主体驱动生成任务上，USO在所有关键指标上都达到了最优水平。DINO分数达到0.793，CLIP-I分数达到0.623，CLIP-T分数达到0.288，这些数字背后代表着显著的性能提升。更重要的是，定性结果显示USO能够同时满足描述性和指令性的风格编辑需求，同时保持高度的主体一致性。这种能力在现有方法中是很难找到的，大多数竞争方法要么无法有效应用风格变化，要么在风格转换过程中丢失了主体特征。

风格驱动生成的实验结果同样令人印象深刻。USO在CSD评分上达到0.557，在CLIP-T评分上达到0.282，均为所有参比方法中的最高值。定性比较显示，USO在保持原始风格方面表现卓越，无论是全局色彩调色板还是细致的笔触纹理都能准确还原。特别值得注意的是，面对高度抽象的参考风格，如材质纹理或皮克斯风格渲染，USO都能处理得游刃有余，而传统方法往往在这种挑战性场景下表现不佳。

最具挑战性的风格-主体联合驱动生成任务展现了USO的独特优势。在这个任务中，系统需要同时处理风格参考和内容参考，生成既保持主体特征又符合目标风格的图像。实验结果显示，USO的CSD分数达到0.495，CLIP-T分数达到0.283，大幅超越了所有基线方法。更重要的是，USO不仅能处理布局保持的场景，还能在布局转换的复杂场景下保持优秀表现。

用户研究的结果为量化评估提供了有力的补充验证。研究团队组织了包括领域专家和普通用户在内的大规模在线问卷调查，参与者需要从文本保真度、视觉吸引力、主体一致性和整体质量等多个维度对不同方法进行排名。结果显示，USO在主体驱动和风格驱动两个任务上都获得了最高的综合评价，这表明USO的优势不仅体现在客观指标上，也得到了人类用户的主观认可。

消融实验进一步揭示了系统各个组件的重要性。当移除风格奖励学习机制时，CSD分数出现显著下降，同时CLIP-I和CLIP-T分数也有所降低。有趣的发现是，虽然风格奖励学习主要针对风格任务设计，但它对主体任务的性能提升也很明显，这再次证实了协同学习范式的有效性。移除风格对齐训练或分离编码器设计都会导致性能的明显下降，表明系统的每个组件都是必要且有效的。

六、技术突破的深层意义与未来展望

USO模型的成功不仅仅是一个技术性突破，它更代表了AI图像生成领域思维方式的根本性转变。传统的"分而治之"策略虽然在许多领域都很有效，但在需要精细特征分离的任务中，协同学习范式展现出了明显的优势。这种范式的成功为其他相关领域提供了重要的启示。

从技术角度来说，USO的贡献主要体现在三个层面。首先是概念层面的创新，即将看似对立的两个任务统一到一个协同学习框架中，这种思路转变为解决复杂的多目标优化问题提供了新的思路。其次是技术层面的创新，包括分离式编码器设计、层次化投影器、风格奖励学习等具体技术组件，这些创新为实现协同学习提供了具体的技术手段。最后是应用层面的突破，USO首次实现了真正意义上的风格-主体联合生成，为创意内容制作开辟了全新的可能性。

这些技术突破的实际应用价值是显而易见的。在数字内容创作领域，USO能够帮助艺术家和设计师快速生成具有特定风格的人物或物体图像，同时保持角色的一致性。在电影和游戏制作中，这种技术可以用于角色设计和场景渲染，大大提高制作效率。在个性化内容定制方面，用户可以将自己的照片转换成各种艺术风格，同时保持身份特征的准确性。

更深层的意义在于，USO的成功验证了"协同智能"的可行性。在人工智能系统变得越来越复杂的今天，如何让不同的智能组件有效协作成为一个重要问题。USO提供了一个成功的案例，展示了如何通过精心设计的协同机制让不同的学习任务相互促进，达到"一加一大于二"的效果。

当然，USO系统也还存在一些局限性和改进空间。目前的系统主要针对二维图像处理，未来可以考虑扩展到三维内容生成。在处理极端风格变化时，系统偶尔还会出现特征混淆的情况。此外，训练过程相对复杂，需要多个阶段的精心调配，这在一定程度上增加了实际部署的难度。

展望未来，这种协同学习范式有望在更多领域得到应用。在视频生成领域，可以考虑将动作一致性、风格一致性和内容一致性作为协同学习的目标。在多模态生成中，可以探索图像、文本和音频之间的协同关系。在个性化AI系统中，可以让不同的个性化维度相互配合，提供更精准的定制化服务。

研究团队已经开源了USO的代码和模型权重，这为学术界和工业界的进一步研究提供了宝贵的资源。随着更多研究者的参与和改进，相信这种协同学习的理念会在更广泛的应用场景中发挥作用，推动整个AI领域向更加智能和协调的方向发展。

说到底，USO模型的真正价值不仅在于解决了风格转换和主体保持的技术难题，更在于它展示了一种全新的思考方式：当面对复杂的多目标任务时，与其让不同的系统各自为政，不如让它们协同工作，在相互学习中实现共同进步。这种哲学不仅适用于技术领域，也为我们思考其他复杂问题提供了有益的启示。就像交响乐团中的各种乐器，只有在协调配合下才能奏出最美妙的乐章，AI系统的各个组件也需要在精心设计的协同机制下才能发挥出最大的潜力。

Q&A

Q1：USO模型是什么？它与传统AI图像生成方法有什么不同？

A：USO是字节跳动开发的统一风格-主体优化定制模型，它能够同时处理风格转换和主体保持两种任务。与传统方法将这两种任务分开处理不同，USO通过协同学习的方式让两个任务相互促进，就像让两个专家互相学习一样，最终实现更精确的特征分离和更好的生成效果。

Q2：普通用户可以用USO模型做什么？有什么实际应用价值？

A：普通用户可以用USO将自己的照片转换成各种艺术风格（如油画、动漫风格等），同时保持面部特征不变。还可以创作个性化内容，比如把自己的形象放到不同场景中并应用特定风格。对于内容创作者来说，这个工具可以大大提高角色设计和风格化图像制作的效率。

Q3：USO模型的协同学习机制是如何工作的？为什么比传统方法更有效？

A：USO的协同学习机制让风格提取和主体保持两个任务相互配合学习。当系统学会准确提取风格特征时，也在学习如何排除主体信息；反之亦然。这就像两个人分别学习"什么是苹果"和"什么不是苹果"，通过相互交流能比各自摸索学得更好。这种相互促进的学习方式实现了更精确的特征分离。