IndexMark：香港浸会大学团队开创自回归图像生成模型的无训练水印技术

研究者们近日发表了一项突破性的图像水印技术研究，这项由香港浸会大学的周開陽教授带领，与武汉大学、中山大学和北京大学研究者共同完成的研究于2025年5月发布在arXiv预印本平台(arXiv:2505.14673v1)上，题为"Training-Free Watermarking for Autoregressive Image Generation"，有兴趣深入了解的读者可通过GitHub项目(https://github.com/maifoundations/IndexMark)查看相关资源。

一、为什么我们需要自回归模型的水印技术？

想象一下，你正在使用一款能够根据文字描述生成精美图像的AI工具。这些工具背后的技术越来越强大，生成的图像也越来越逼真，以至于有时候我们已经难以分辨哪些图像是真实拍摄的，哪些是AI生成的。这听起来很酷，但同时也带来了一些令人担忧的问题。

假设有人利用这些技术制作虚假新闻、侵犯他人肖像权，或者在不适当的场合使用公众人物的形象，谁该为此负责？怎样追踪这些内容的来源？这就像是在互联网上发布的每一条信息都没有"身份证"，让不良行为有机会在匿名的环境中滋生。

研究人员一直在努力解决这个问题，其中一个重要方向就是在AI生成的图像中嵌入"隐形水印"，就像给每张生成的图像都加上了一个独特的、肉眼看不见但可以通过技术手段验证的指纹。这种水印技术可以帮助我们追踪图像的来源，确定责任归属，保护版权，并进行内容监管。

然而，当前的水印技术主要集中在另一种叫做"扩散模型"(Diffusion Models)的AI图像生成技术上，而对于新兴的、性能更好的"自回归模型"(Autoregressive Models)却没有多少研究。这两种模型工作方式完全不同：扩散模型像是从一片雾中逐渐显现出清晰图像，而自回归模型则像是拼图游戏，一块一块按顺序拼出完整画面。由于这种根本性的差异，为扩散模型设计的水印技术无法直接应用到自回归模型上。

于是，香港浸会大学的研究团队开发了一种名为"IndexMark"的方法，专为自回归图像生成模型设计的水印技术，而且最大的亮点是：这种技术不需要任何额外的模型训练，即插即用！

二、IndexMark如何巧妙利用自回归模型的特性？

要理解IndexMark的工作原理，我们需要先了解自回归图像生成模型的一个有趣特性。这些模型使用一种称为"码本"(codebook)的东西来生成图像。想象码本就像是一本包含数千个颜色块的图画书，每个颜色块都有一个编号（索引）。自回归模型的工作就是根据你的描述，从这本图画书中一页一页地选择合适的颜色块，拼凑出最终的图像。

研究人员发现，这本"图画书"中有一个有趣的现象：很多颜色块虽然编号不同，但看起来非常相似，几乎难以区分。这就像是在一本包含数千种蓝色的图画书中，有些蓝色之间的差别微小到普通人根本看不出来。

IndexMark正是巧妙地利用了这一特性。他们的方法不是在最终图像上添加可见的水印，而是改变生成过程中选择的"颜色块"（索引）的统计分布。具体来说，他们将码本中的所有索引分成两组：红色组和绿色组，每组中的索引对应的颜色块看起来非常相似。当模型生成图像时，IndexMark会尽可能地用绿色组中的索引替换红色组中的索引，从而在不明显改变图像视觉效果的情况下，使最终图像中绿色索引的比例显著增加。

这就像是一位画家在创作一幅蓝天的画作时，有意识地从数十种几乎相同的蓝色颜料中选择特定的几种。普通观众看不出任何区别，但知道秘密的人可以通过检测使用了哪些特定蓝色颜料来确认这幅画的真实性。

这种水印方法有三个主要优势：

首先，它具有很强的稳健性。除非对图像颜色块进行大幅修改，否则水印很难被移除。这就像是水印已经融入到了图像的基因中一样。

其次，由于码本中存在大量冗余（即非常相似的颜色块），这种替换策略几乎不会对图像质量产生可见影响。就像是用两种几乎一模一样的蓝色替换彼此，肉眼根本无法察觉差异。

最后，通过不同的红绿分组方案，可以生成数量庞大的不同水印标识，帮助开发者追踪图像来源，就像是每个用户都有自己独特的指纹一样。

三、IndexMark的技术细节：配对、替换与验证

IndexMark的工作流程可以分为水印嵌入和水印验证两个主要部分。让我们像拆解一道烹饪食谱那样，一步步了解它的工作原理。

### 嵌入水印：找到相似的"双胞胎"颜色

首先，研究者们需要将码本中的所有索引配对，使每对索引对应的颜色块尽可能相似。这有点像在一大群人中为每个人找到一个最像他/她的"双胞胎"。为了找到最佳配对，研究团队将这个问题转化为一个"最大权重完美匹配"问题，并使用了一种叫做"Blossom算法"的方法来解决它。

由于码本通常包含大量索引（可能有上千个），直接应用Blossom算法会非常耗时。因此，他们采用了一种"top-K剪枝"的策略，即对于每个索引，只保留与它最相似的K个索引作为潜在的配对对象。这就像是在为每个人寻找"双胞胎"时，不是与所有人比较，而是先筛选出最有可能相似的K个候选人。

配对完成后，研究者随机将每对索引中的一个指定为"红色索引"，另一个指定为"绿色索引"（被称为水印标记）。这相当于给每对"双胞胎"中的一个戴上红帽子，另一个戴上绿帽子，以便区分。

当自回归模型生成图像时，它会按顺序预测每个位置上应该使用的索引。每当模型生成一个红色索引时，IndexMark会考虑是否将其替换为对应的绿色索引。但不是所有红色索引都会被替换，因为这可能会影响图像质量。研究者们引入了一种基于"置信度"的索引替换策略：

当模型生成一个红色索引时，会记录下这个红色索引的分类概率（模型认为应该选择这个索引的确信程度）以及与之配对的绿色索引的分类概率。两者之间的相对置信度差异越大，替换后对图像质量的影响就可能越大。因此，研究者们计算所有索引对的相对置信度，并设置一个阈值，只替换那些相对置信度较低的索引对，从而平衡水印强度和图像质量。

这就像是一位谨慎的厨师在替换食谱中的原材料时，只会用味道非常接近的替代品来替换那些对菜肴风味影响不大的配料，而对关键配料则保持不变。

### 验证水印：数一数绿帽子的比例

水印验证的核心思想很简单：计算图像中绿色索引的比例。在没有水印的图像中，由于红绿索引是随机分配的，绿色索引的比例应该接近50%。而在理想的水印图像中，由于红色索引被大量替换为绿色索引，绿色索引的比例会明显高于50%，接近100%。

研究者们将水印验证问题视为一个统计概率问题。根据中心极限定理，当索引数量足够大时，绿色索引比例的抽样均值会遵循正态分布。因此，研究者们可以计算特定置信水平下的置信区间，并使用置信区间的右端点作为判断阈值：如果图像中绿色索引的比例低于阈值，则判定为非水印图像；否则判定为水印图像。

然而，在实际应用中，有一个挑战：我们如何准确地从图像中重建索引序列？为此，研究者们引入了一个名为"索引编码器"(Index Encoder)的组件。原始的VQ-VAE编码器被设计用于像素级重建，而不是准确重建索引。索引编码器通过特殊训练，可以更准确地从图像中重建索引序列，从而提高水印验证的准确性。

此外，研究者们还发现，VQ-VAE的编码方式使得水印验证对图像裁剪特别敏感。VQ-VAE将图像分割成固定大小的非重叠块（例如8×8像素），并独立编码每个块以获取索引。即使对图像进行轻微裁剪，也会导致块的组成发生变化，从而影响索引重建。为了解决这个问题，研究者们提出了一种针对裁剪图像的验证方案：遍历裁剪图像的局部块，尝试找到与原始块对齐的位置。这就像是在拼图游戏中，通过尝试不同的对齐方式找到最佳匹配。

四、实验结果：与现有方法相比如何？

研究团队使用了一个名为"LlamaGen"的自回归图像生成模型进行了广泛的实验，在不同分辨率（256×256, 384×384和512×512）上生成图像，并与多种现有的水印方法进行了比较。

在图像质量方面，IndexMark取得了显著的成果。传统的后处理水印方法通常会导致轻微的视觉失真，而且稳健性较差。扩散模型的水印方法虽然能够无缝嵌入水印，但往往会导致较大的语义变化，因为很难精确控制扰动的幅度。相比之下，IndexMark基于VQ-VAE和自回归图像生成模型，能够更好地保留图像细节和结构。

实验结果显示，在峰值信噪比(PSNR)、结构相似性指标(SSIM)和多尺度SSIM(MSSIM)等指标上，IndexMark都取得了明显的改进，同时对图像质量的影响远小于无水印生成，这一点可以从CLIP分数和FID(Fréchet Inception Distance)指标上看出。有趣的是，研究者们观察到，采用IndexMark方法的水印图像的FID甚至低于无水印图像，进一步证明了其在保持视觉保真度方面的卓越性能。

在水印稳健性方面，研究团队选择了六种常见的数据增强方法作为攻击测试，包括高斯模糊、高斯噪声、JPEG压缩、颜色抖动、随机擦除和随机裁剪。结果表明，IndexMark展现出对大多数扰动的强大稳健性，在256、384和512分辨率下的表现都显著优于基线方法。虽然基于Stable Diffusion的方法表现优于传统方法，但它们仍然明显不如IndexMark。

研究团队还进行了消融实验，验证了基于置信度的索引替换策略和索引编码器的有效性。结果表明，相比随机索引选择，基于置信度的方法在保持图像质量方面表现更好。此外，索引编码器在高置信水平下显著提高了验证率。

对于水印强度的影响，研究表明增加IndexMark水印强度不会导致图像质量的明显变化，这证明了该方法在平衡水印强度和图像质量方面的优越性。

五、未来展望与局限性

尽管IndexMark取得了令人印象深刻的成果，研究团队也坦诚地指出了该方法的一些局限性和未来可能的改进方向。

首先，IndexMark水印的验证依赖于VQ-VAE模型的索引重建能力。一个更稳健的编码器可以进一步增强该方法的稳健性，例如基于图像语义的索引重建技术。

其次，当前的匹配-替换方法使用简单的成对匹配。通过探索更多样化的匹配方法，研究者们可以进一步利用码本的冗余性，从而提高水印图像的质量。

最后，这项技术的社会影响不容忽视。随着自回归图像生成模型的快速发展，开发者有责任和义务确保这些模型的安全使用。IndexMark为开发者提供了一种高效、有效的方法，帮助他们应对模型滥用，这是朝着负责任的AI方向迈出的重要一步。

总的来说，IndexMark代表了自回归图像生成模型水印技术的重要突破，它不仅填补了现有研究的空白，还提供了一个简单、无需训练的解决方案，为保障AI生成内容的可追溯性和安全性开辟了新的道路。