当你的AI画作被人偷走转卖，谁来帮你抓住那个"内鬼"？——西北师范大学等高校联合研究团队提出的FedOT框架给出了答案

这项由西北师范大学、东京大学、新加坡国立大学和中山大学联合完成的研究，以arXiv预印本形式于2026年6月22日发布，编号为arXiv:2606.22875v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

研究要解决的问题，其实可以用一个非常贴近生活的场景来描述。假设你所在的公司花了大量时间和金钱，联合多家合作伙伴秘密训练了一套能够生成精美图像的AI系统。这套系统非常宝贵，能画出以假乱真的人物肖像、风景画乃至各种商业插图。然而有一天，你发现网上出现了一个陌生人在兜售用这套系统生成的图片，甚至把整个AI模型都转卖给了别人。你想追究责任，却发现自己根本无法证明这些图片是你们的系统生成的，更不知道究竟是哪个合作伙伴干的这件事。

这就是当下AI领域一个真实存在且相当棘手的问题。研究团队针对的，正是一种叫做"联邦学习中的潜在扩散模型"的技术组合——听起来很晦涩，但其实不难理解。所谓"潜在扩散模型"，可以理解为一台极其高级的AI画笔，它能根据文字描述或者随机灵感，生成质量极高的图像，是当下最流行的AI作图技术之一，Stable Diffusion就是其中的代表。而"联邦学习"则是一种让多个参与方共同训练同一个AI模型的方式，各方不需要把自己的私密数据上交给中央服务器，只需要上传模型的更新结果，从而保护数据隐私——就好比多家餐厅联合研发一道招牌菜，但每家店都只分享改进建议，而不透露自己的食材采购记录。

这两种技术结合起来，本是一件好事：既能发挥AI的强大生成能力，又能保护各参与方的数据隐私。然而联邦学习有一个不可回避的漏洞——为了让各方都能参与训练，服务器必须把最新版本的AI模型分发给所有参与者。这就意味着，一旦其中某个参与者心怀不轨，就可以把这个共同打造的AI模型偷偷拿走、转卖或滥用，而其他人对此几乎毫无办法。

FedOT框架正是为了堵上这个漏洞而生。它提出了一套完整的"水印+防拆"机制，既能在事后证明某张图片确实来自某个联邦训练的模型（所有权验证），也能精准指出究竟是哪个参与者泄露了模型（溯源追踪）。更重要的是，它还防止了一种极为狡猾的"偷梁换柱"攻击——后文会详细讲到这究竟是怎么回事。

一、为什么给AI模型打水印这么难

要理解FedOT的创新之处，先得搞清楚潜在扩散模型的内部结构，以及为什么已有的水印技术在联邦学习场景下会失效。

潜在扩散模型内部其实由两个相对独立的部件协作完成图像生成。第一个部件叫VAE（变分自编码器），可以把它理解为模型的"翻译官"——它负责把普通图片压缩成一种紧凑的数字代码（行话叫"潜在向量"或"latent vector"），也能反过来把这种代码解压回图片。第二个部件叫U-Net，是真正负责"作画"的核心，它在那个压缩后的数字代码空间里反复加工，把一团随机的噪声逐步雕琢成符合要求的图像。

在联邦学习的场景下，每次训练迭代时，各参与方只会更新和上传U-Net的参数，VAE则保持冻结不动。这个特点让VAE天然成为埋藏水印的好地方——研究人员可以在VAE的解码器里埋下特定信号，使得凡是经过这个VAE生成的图片，都会带有肉眼看不见却能被专门工具检测出来的水印。这种思路来自一篇名为"Stable Signature"的已有研究，是目前针对潜在扩散模型最直接的水印方案。

然而，把这套方案直接搬到联邦学习场景中，会撞上两堵墙。第一堵墙是：现有的VAE水印方法只能证明"这张图来自我们的联邦模型"，却没有办法进一步区分究竟是五个参与方中的哪一个泄露了模型。这就好比你能证明某个蛋糕出自你们的联合厨房，却没有办法找出是哪位厨师把配方偷偷带出去了。

第二堵墙更加致命：VAE水印极其脆弱。由于VAE是开源的，任何人都可以从网上下载一个没有水印的干净VAE，然后把它替换进泄露的模型里。这个操作几乎零成本，完成后模型的生成质量几乎不受影响，但水印就这样被彻底抹去了。这就像在一把名贵的小提琴上刻下暗记，却发现有人可以轻易把琴头换掉，暗记就此消失。

FedOT的核心使命，就是同时攻克这两道难关。

二、分块水印：一把钥匙解决"是谁的"和"是哪个人的"两个问题

应对第一堵墙，研究团队设计了一套他们称之为"分块水印"的机制。这个思路说起来并不复杂，但很巧妙。

在FedOT框架里，每个客户端（参与方）收到的AI模型都带有一个独特的水印，这个水印是一串由0和1组成的二进制代码，总长度为n位。这串代码被分成前后两段：前r位是所有参与方共享的相同内容，专门用于证明"这个模型来自我们的联邦学习团队"（所有权验证）；后面的n-r位则对每个参与方来说是独一无二的，用于在所有权验证通过之后，进一步锁定"是哪个参与者的那份模型"（溯源追踪）。

在实验中，研究团队将总长度n设为48位，其中前16位用于所有权验证，后32位用于追踪具体客户端。当一张可疑图片出现时，服务器先用专门的水印提取器从图片中解读出嵌入的水印信息。如果提取出来的前16位与已知的联邦组水印匹配程度超过一个设定的阈值（实验中设为0.69，对应的误报率仅有0.1%），就可以确认这张图来自该联邦模型。随后，服务器再把提取出来的后32位分别与每个参与方对应的独特水印段对比，找到匹配度最高的那个，就锁定了泄露者。

这种先验证所有权、再追踪个体的两步走设计有一个额外好处：大部分时候只需要检查前16位就能完成初步筛查，只有在确认所有权之后才需要进一步做全量匹配，这样在规模庞大的部署中可以节省不少计算资源。

为了让不同参与方的后32位水印足够"泾渭分明"，不至于因为太相似而张冠李戴，研究团队还借助了一种叫做遗传算法的优化技术，专门挑选出各参与方之间汉明距离（即两串代码有多少位不同）尽可能大的水印组合。实验证明，这套优化分配方案在1000个客户端规模下的碰撞概率（误判概率）为零，即便扩大到10000个客户端，碰撞概率也仅有0.337%，相比随机分配有显著提升。

水印的嵌入方式延续了Stable Signature的思路，由服务器在分发模型之前，针对每个客户端单独微调VAE的解码器部分。具体来说，服务器先准备一批公开的图片，让VAE编码器把它们压缩成数字代码，再让可训练的解码器把这些代码还原成图片，然后把还原出来的图片送入一个专门的水印提取器，让提取器读出当前嵌入的水印信号。通过对比提取出的信号与目标水印之间的差距（用二元交叉熵损失函数来衡量），不断调整解码器的参数，直到解码器生成的图片能稳定携带目标水印为止。与此同时，为了保证图片的视觉质量不被水印拖累，还加入了一个叫Watson-VGG的感知损失项，让嵌入水印后的图片与原图在人眼看来差距极小。整个嵌入过程对每个客户端只需进行一次，不需要在每轮联邦训练中重复，每块GPU大约只需5分钟就能完成。

三、潜在向量变换：给VAE和U-Net之间上一把"专属锁"

然而，即便水印嵌入得再精妙，如果攻击者只需要换掉VAE就能把水印一笔勾销，那整套系统依然形同虚设。这正是研究团队要面对的第二堵墙，也是FedOT最具独创性的部分——潜在向量变换（LVT）。

LVT的核心思路源自对联邦扩散模型训练机制的一个深刻观察：在联邦训练过程中，U-Net会反复接触VAE编码器产生的数字代码（潜在向量），并逐渐"学会"在这个特定的数字空间里生成图像。换句话说，U-Net对VAE产生的数字代码是有"依赖性"的——它只认识特定VAE产生的那种格式的代码，换了一个不同的VAE，产生的代码格式就会不一样，U-Net就会"看不懂"，从而无法生成高质量图像。

LVT的做法，就是在联邦训练开始之前，主动对VAE的"翻译规则"动手脚，让它产生的数字代码与原始的标准格式有所不同。这样一来，后续参与联邦训练的U-Net就会逐渐适应这种经过改造的数字代码格式。一旦有人想通过替换VAE来去除水印，新换进来的标准VAE产生的是正常格式的代码，而U-Net已经只认识改造后的格式，二者就产生了"语言不通"的问题，生成的图片质量会大幅下降，模型也就基本废掉了。

LVT的训练过程分为两个阶段，可以用"训练翻译官"的比喻来理解。在第一阶段，VAE编码器在固定解码器的情况下接受训练：它要学会把输入图片翻译成经过特定变换的数字代码，而解码器则仍然按照变换后的代码来还原图片，以此迫使编码器学会那个特定的变换规则。在第二阶段，编码器被冻结，轮到解码器接受训练：由于编码器已经学会了新的翻译规则，它产生的代码已经是变换后的版本，解码器需要学会从这种变换后的代码中正确还原出图片，相当于学会了"逆变换"。两个阶段完成后，整个VAE就形成了一套只有服务器知道的"私有翻译协议"。

研究团队探索了三种不同的变换策略。第一种叫平移变换，就是在所有数字代码上加一个固定的常数偏移量，相当于把整个"翻译字典"往某个方向整体挪动。从数学角度看，原来服从均值为μ、方差为σ?的高斯分布的代码，变换后的均值变成了μ+c，方差不变。这种变换在测试中发现，当偏移量c设为11时，被替换攻击后的图片FID（衡量图片质量的指标，数值越小越好）从20.4急剧攀升至92.5，说明防御效果相当强力；但代价是，即便没有攻击，生成图片的质量（FID=22.4）相比其他方案也更差一些。

第二种叫镜像变换，就是把所有数字代码乘以负一，相当于在数字空间里做一次"翻转"。这种变换在被攻击后FID上升幅度达到49，防御能力同样很强，而且在没有攻击时生成质量（FID=21.5）优于平移变换；但有一个明显缺点是，攻击发生后生成图片的CLIP分数（衡量图片与文字描述的匹配度）大幅下滑，意味着图片内容和文字提示之间的语义关联被严重破坏，内容几乎无法辨认。

第三种叫负像变换，思路与前两种有所不同——它不直接在数字代码上做操作，而是在图片层面做文章：把输入图片的每个像素值取反（255减去原始像素值），相当于把彩色图片变成类似"底片"的效果，然后让VAE学会把正常图片映射到这种"底片"图片对应的代码空间。这种变换能保留更多图片的高频细节，避免了镜像变换带来的边缘模糊问题。实验证明，负像变换在未受攻击时的生成质量最佳（FID=20.4），在被攻击后FID上升幅度为20，防御能力虽然不如前两种那么激进，但综合表现最均衡，是研究团队推荐的最优选择。

相比之下，还有一种基准方案叫随机变换，即在代码上叠加随机的高斯噪声。理论上这也能改变代码分布，但实验发现VAE根本无法学会如何适应每次都不同的随机噪声——因为随机噪声打破了潜在空间内相邻样本之间的局部邻域关系，导致解码器无法建立稳定的逆映射。最终随机变换版本在未受攻击时FID高达35.6，图片质量已经相当差了，因此只作为对照基准而非实际建议方案。

四、实验证明了什么

研究团队在实际实验中使用了Stable Diffusion v2.1模型，模拟了5个联邦客户端的场景，用COCO2017数据集（包含10000张涵盖80个类别的图片）训练VAE的变换，用LAION-10K数据集（10000张高质量图文对）模拟各客户端的私有训练数据。整个实验在4块RTX 4090显卡上运行，LVT训练约需24小时，每个客户端的联邦训练约需7.5小时。

在所有权验证和溯源能力方面，以负像变换版本为例，其所有权检测率达到0.960，位精度（bit accuracy，即水印各位被正确提取的比例）达到0.947；溯源追踪的检测率为0.932，位精度为0.910。这意味着绝大多数情况下，系统都能正确识别出一张图片来自联邦模型，并且在需要时能准确指出是哪个客户端泄露的。对比之下，原版Stable Signature*（即直接把Stable Signature用于联邦学习）只有所有权验证能力，完全无法溯源追踪。

在抵御VAE替换攻击方面，实验数据非常直观。对于没有LVT保护的版本（FedOTw/o LVT），攻击前FID为16.7，攻击后FID变化几乎可以忽略不计，仅上升了0.37，说明攻击者可以轻而易举地去掉水印而不影响模型可用性。而加入负像变换后，攻击后FID上升了20.2，远超原始Stable Diffusion的基线水平（22.99），意味着攻击者即便成功替换了VAE、去掉了水印，也会发现模型已经几乎不能正常使用了——这正是FedOT想要达到的效果：让"偷梁换柱"这个动作得不偿失。

研究团队还测试了恢复攻击场景。以负像变换为例，攻击者在观察到生成图片呈现出"底片"般的异常色调后，可能会想到再对图片做一次取反来"复原"。实验模拟了这种最理想的攻击情形，结果发现即便经过二次取反恢复，FID依然比正常水平高出4.7，说明潜在空间中学到的变换只是对像素级取反的近似，并非完美复现，因此无法通过简单的图片操作完全消除影响。类似地，平移变换和镜像变换的恢复攻击实验也得出了相似的结论：即便攻击者知道变换的参数，也难以通过后处理把图片质量完全恢复到正常水平。

针对净化攻击（attacker通过在干净数据上微调来"洗掉"水印）的测试同样令人放心。当攻击者对包含水印的模型参数进行长达300轮的微调后，三种LVT方案的FID均从22以下升至26以上，其中镜像变换版本上升幅度最大。这说明想要消除水印，必然要付出破坏图片质量的代价，两者之间存在无法回避的权衡。

此外，研究团队还测试了针对生成图片本身的常见攻击手段，包括裁剪、亮度调整、JPEG压缩（质量50%）、对比度调整、添加文字水印以及缩放至50%分辨率，以及将裁剪和亮度调整组合施加的最强组合攻击。在所有这些攻击下，负像变换版本的水印位精度最低仍有0.778（组合攻击下），整体表现稳健，说明水印对图片级别的后处理也有一定的抵抗力。

实验还考察了不同联邦规模和数据分布的影响。当客户端数量从5扩展到10再到20时，生成质量和水印检测率基本保持稳定，检测率始终在0.941以上。在非独立同分布（non-i.i.d.）数据场景下，通过狄利克雷分布模拟不同程度的数据异质性，结果同样显示检测率始终高于0.957，说明数据分布不均匀对水印的鲁棒性影响有限。

针对合谋攻击（即多个恶意客户端联合行动，把各自VAE参数取平均来混淆水印）的测试也给出了有趣的发现。当2到3个客户端合谋时，溯源追踪段的位精度会显著下降（2方合谋下降约0.216，3方合谋下降约0.321），但所有权验证段的位精度反而略有上升。研究团队把这一现象归因于分块水印设计的特性：所有权段对所有客户端是相同的，多个模型参数取平均会强化这个共同信号；而溯源段对每个客户端是独特的，取平均会相互抵消。这种不同的变化模式本身也提供了一个判断是否存在合谋的信号，研究团队表示将在未来工作中进一步探讨这个方向。

在端到端的归因精度测试中，研究团队对5个客户端各采样1000张生成图片，系统整体归因正确率达到98.12%，误归因率仅为1.88%。

五、这套框架如何在实际中运作

把上面所有这些机制串联起来，FedOT的完整工作流程是这样的：服务器首先对初始的全局模型做LVT训练，让VAE的潜在空间按照选定的变换规则（比如负像变换）发生偏移；然后，服务器为每个客户端制作一份带有独特分块水印的VAE解码器，连同已经经过LVT改造的VAE编码器，一起分发给各个客户端；客户端在收到模型后，只需在本地数据上微调U-Net，VAE保持冻结不动；每轮训练结束后，客户端把更新后的U-Net参数上传给服务器，服务器聚合这些参数并分发给下一轮；如此循环直到训练完成。整个过程中，VAE始终携带着专属水印，U-Net则逐渐适应了LVT改造后的潜在空间，与这个特定VAE深度绑定。一旦有可疑图片出现，服务器就能提取水印，先验证所有权，再锁定来源客户端。

值得一提的是，研究团队选择在16轮联邦训练后停止，这是因为实验发现在LVT改造的潜在空间下，生成质量在第15至16轮时达到最佳，之后继续训练反而会让质量下滑。这是LVT引入的潜在空间偏移带来的训练动力学变化，是一个需要注意的实践细节。

关于系统的可扩展性，每个客户端对应一个独立的watermarked VAE，每个模型约占335MB存储空间。随着客户端数量增加，服务器的存储需求线性增长。研究团队坦承受限于硬件条件，无法在真实百万级客户端规模下验证，但指出Stable Signature已有文献证明类似的水印方案在多达1000万用户的场景下依然有效，由此间接支持了FedOT的可扩展性潜力。

说到底，FedOT解决的是一个在AI技术快速普及的当下越来越真实的问题：当多个机构共同训练一个强大的AI模型时，如何保护这个共同成果不被内部某个成员私自带走变现？研究团队通过把水印嵌入与潜在空间改造两件事结合起来，让"偷模型"变成了一件费力不讨好的事——即便成功拿走了模型，要么带着水印跑不掉，要么换掉水印但模型也废了。这种让盗窃行为在技术上自我惩罚的设计思路，是整个研究最值得关注的地方。当然，研究团队也坦诚地指出，水印嵌入不可避免地会带来一定程度的图片质量下降，这是目前所有水印技术共同面临的内在权衡，未来仍有改进空间。对于关注AI版权保护、联邦学习安全或者生成式AI治理的读者而言，这篇论文提供了一个完整且可操作的思路框架，值得深入了解，完整内容可通过arXiv:2606.22875v1获取。

Q&A

Q1：FedOT中的"分块水印"和普通水印有什么区别？

A：普通的VAE水印只能证明某张图片来自某个联邦模型（相当于证明出自同一个厨房），但无法区分是哪个参与方泄露的模型。FedOT的分块水印把水印分成两段：前一段所有参与方共享，用于证明所有权；后一段每人独一份，用于追踪具体泄露者。这样既能验证来源，也能精准溯源。

Q2：LVT的潜在向量变换为什么能阻止攻击者直接换掉VAE？

A：因为U-Net在联邦训练过程中会持续接触经过LVT改造的潜在代码，时间久了就只认识这种"改版格式"。一旦有人换上一个标准的VAE，产生的代码是原始格式，U-Net看不懂，生成的图片质量就会严重下降，模型等于废掉了。代价太大，自然打消了攻击者的念头。

Q3：FedOT框架适用于哪些实际场景？

A：FedOT主要适用于多个机构联合训练图像生成AI但需要保护模型版权的场景，比如医疗机构联合训练医学影像生成模型、多个企业联合开发商业图像工具等。凡是需要把同一个AI模型分发给多个参与方，同时担心其中某方非法转卖或滥用的情况，FedOT都能提供所有权证明和泄露方追踪的能力。