香港大学联手中科院：让AI"翻译"图片的方式，从此彻底不同了

这项由香港大学、中国科学院沈阳自动化研究所、香港中文大学及加州大学圣克鲁兹分校联合开展的研究，以预印本形式于2026年5月31日发布，论文编号为arXiv:2606.01048，有兴趣深入了解的读者可通过该编号查阅完整论文。

当你把一张模糊的照片交给AI，让它还原成清晰的版本，这件事听起来很简单，背后却是一套极为复杂的"翻译工程"。AI需要理解模糊图片的内容，再把它"翻译"成另一种状态——清晰的图片。这种工作被研究者称为"图像到图像翻译"，它涵盖了去除雾霾、去除雨水、低光照增强、图像修复、超分辨率等你在日常生活中可能会遇到的种种图像处理需求。

这支来自多所顶尖高校和研究机构的研究团队，发现了现有技术中一个被长期忽视的问题，并提出了一套全新的解决方案，将这类图像翻译工作做得更准、更省力、更节省数据。他们把这套方案命名为DRDD（解耦残差去噪扩散模型）。

一、图像翻译，究竟是在翻译什么

以去雾为例——你拍了一张雾天的城市照片，画面朦朦胧胧，看不清楼宇的轮廓。AI图像翻译的任务，就是把这张"雾天版本"转换成"晴天版本"。从数学角度看，这是把一种图像分布映射到另一种图像分布的过程，两种分布之间存在显著的差异，这种差异被称为"领域差距"。

当你只需要处理一种任务——比如专门去雾——这个问题相对容易解决，因为模型只需要学会一种特定的转换规则。然而，现实世界中的需求远比这复杂：同一张照片可能同时有雾、有雨、还光线昏暗；而且不同场景下的照片——比如医学影像、卫星遥感图、普通照片——即便是同一类型的噪声，也呈现出截然不同的视觉特征。

正因如此，研究者们希望打造一种"全能翻译官"：一个模型能同时处理多种不同的图像翻译任务，面对不同领域的图片都能从容应对。这种设想在现实中面临两大拦路虎。其一是不同任务之间的"领域差距"太大，模型学起来非常困难；其二是收集大量成对的"坏图与好图"数据极为耗时耗力，而训练这类模型通常需要海量的配对数据。

这篇论文的核心贡献，就是找到了一把同时打开这两道锁的钥匙。

二、扩散模型：AI世界里的"加噪-去噪"魔法

在理解DRDD之前，需要先了解它所依托的技术基础——扩散模型。近年来，扩散模型已经成为AI图像生成领域的明星技术，Stable Diffusion、DALL-E等产品背后都有它的身影。

扩散模型的工作原理可以用一个调色游戏来理解。假设你有一桶纯白颜料（代表清晰的目标图片），每次往里面加入一点点灰色粉末（代表高斯噪声），最终整桶颜料变成了均匀的灰色（代表纯噪声）。训练过程中，AI学习的是如何"反向操作"——从一桶灰色颜料出发，一步步推断出原来的纯白颜料长什么样。当你给AI一张雾天照片，AI就从这张照片出发（而不是从纯灰颜料出发），逐步推算出对应的晴天版本。

这套框架被应用到图像翻译任务后，研究者注意到了一个关键细节：在这个"加噪-去噪"的过程中，噪声和图像内容的变化是同时发生的，缠绕在一起，你中有我、我中有你。每走一步，模型既在去除噪声，又在调整图像语义内容。研究团队把这种方式称为"耦合扩散过程"。

三、一个被忽视的发现：噪声竟然是"领域调解员"

在梳理既有方法的过程中，这支研究团队发现了一个此前从未被系统阐述过的现象：往图片里加入一定量的高斯噪声，不仅仅是"弄脏图片"那么简单，它还能悄悄拉近不同类型图片之间的距离。

回到调色游戏的比喻：假设你有三桶颜料，分别是鲜红色、深蓝色和亮黄色——代表三种差异极大的图像领域，比如医学影像、卫星图像和普通照片。在没有添加任何东西的情况下，这三桶颜料的颜色差异显而易见。但如果你往每桶颜料里都加入同等量的白色粉末（噪声），三桶颜料的颜色都会向同一个方向靠拢，变得比原来更相似——虽然还不完全一样，但差距已经明显缩小了。

研究团队用严格的数学语言（KL散度，即衡量两种分布相似程度的指标）证明了这一点：向两种不同的分布各自注入同等的高斯噪声之后，它们之间的距离必然比注入噪声之前更小。这个结论被写成了论文中的"命题3.1"，并附有完整的数学证明。

他们还用实验验证了这一理论：把去雾、去雨、去雪三种任务的图片特征分别用t-SNE（一种把高维数据可视化成二维图的方法）画出来，可以清楚地看到，在没有加噪声的情况下，三种任务的图片在特征空间里泾渭分明、各成一团；加入噪声之后，三团数据明显靠拢，边界模糊了很多。

这个现象被研究团队命名为"领域调和"。这一属性对"全能翻译官"的目标极为重要——如果噪声能帮不同领域的图片"消除隔阂"，那么模型学习统一的翻译规则就会容易得多。

然而，问题也随之而来：在现有的耦合扩散框架中，噪声和内容变化同步进行、同步消除。这意味着当模型完成翻译任务时，噪声带来的"领域调和"效果也一同消失了。好比你费尽心思把三桶颜料调成了相近的颜色，结果在最关键的调色步骤中，又把白色粉末给逐渐抖落了，导致你调色的时候它们又恢复了原来的差距。这让耦合模型在面对多任务、多领域翻译时，始终无法充分利用这种调和效果。

四、DRDD的核心创新：把一件事拆成两件事来做

发现问题之后，研究团队提出了解决方案——把原来"一步走"的扩散过程，拆分成"两步走"的解耦过程。这就是DRDD的本质。

在调色游戏的框架里，可以这样理解这个拆分。原本的做法是：边往颜料里加白色粉末，边调整颜色色相（内容转换），最后同时把粉末抖掉、把颜色调对。DRDD的做法则是：第一步，先把白色粉末加进去，等所有领域的颜料都向着相似的方向靠拢（这是"噪声扩散阶段"）；第二步，在颜料已经含有白色粉末的状态下，专心调整色相、完成内容转换（这是"残差扩散阶段"）；最后，再把白色粉末去掉，得到最终干净的颜色（这是"去噪阶段"）。

具体到数学上，前向（训练）过程分成两个独立阶段。第一阶段是随机噪声扩散：从目标图片出发，一步步往里加高斯噪声，直到图片变成一张"带噪声的目标图"，噪声量由一个可以控制的系数决定。第二阶段是确定性残差扩散：从"带噪声的目标图"出发，把目标图和源图之间的差异（称为"残差"，可以理解为翻译任务所需改变的内容）一点点叠加进去，最终得到一张"带噪声的源图"。

而逆向（推理）过程与之对称，也分两个阶段。第一阶段是残差去除：从"带噪声的源图"出发，在噪声保持固定不变的状态下，逐步剔除残差，将图片翻译成"带噪声的目标图"——整个核心的语义翻译工作，都在这个噪声存在的环境下完成，因此领域调和和流形提升的效果得以全程保持。第二阶段是去噪精修：从"带噪声的目标图"出发，通过一个专门的去噪网络，把噪声去掉，得到最终干净的目标图。

这种拆分带来了两个显著好处。第一，语义翻译始终在有噪声的环境下进行，领域调和效果贯穿整个最关键的翻译步骤，不会中途消失，从而大幅降低了模型学习统一翻译规则的难度。第二，去噪阶段只需要目标领域的图片，完全不需要配对的源-目标图片对，这意味着可以用互联网上海量的无标注普通图片来训练这个阶段，大幅降低了对配对训练数据的依赖。

五、模型是怎么被训练出来的

两个阶段分别对应两个独立的神经网络，各自负责一项专门的工作，训练目标也完全不同。

去噪网络的训练目标非常单纯：给定一张加了噪声的目标图片和时间步，学会把噪声预测出来。训练数据只需要大量干净的目标领域图片——加噪过程可以在训练时动态生成，不需要任何配对的坏图。这使得去噪网络可以用ImageNet等大型公开图片数据集预训练，再迁移到具体任务上，大大提升了数据效率。

残差去除网络的训练目标则是：给定一张带噪声的源图、原始的源图（即退化图）和时间步，学会预测出"残差"（即源图和目标图之间的差异）。这个阶段确实需要配对数据，但得益于领域调和效果，模型学习起来比传统方法更容易，在配对数据稀缺的情况下表现也更稳定。

在推理时，整个过程的起点是一张待处理的源图（比如一张模糊的照片）加上随机采样的噪声，先通过残差去除阶段得到带噪声的翻译结果，再通过去噪阶段得到最终的干净图片。整个推理过程只需要很少的步数——实验中每个阶段只用2步，总共4步就能完成，推理速度非常快。

研究团队还推导出了这个框架与主流扩散模型范式的兼容性，包括DDPM（去噪扩散概率模型）、DDIM（确定性推理版本）以及基于随机微分方程的SDE扩散模型，都可以采用解耦思路改造。这意味着DRDD不是一个封闭的、只能用于特定场景的方案，而是一种可以广泛应用于现有扩散模型体系的通用改进思路。

六、多项任务的实战检验

研究团队在一系列基准测试上对DRDD进行了全面评估，涵盖多任务统一修复、多领域单任务修复、单任务单领域修复、数据效率分析等多个维度。

在"All-in-One-5"这个包含5种退化任务（低光照增强、去雨、去噪、去模糊、去雾）的综合基准上，DRDD在绝大多数任务和指标上达到了当前最优水平。尤其是在感知质量指标LPIPS（数值越低代表视觉效果越接近人眼感受）和FID（衡量生成图片与真实图片整体分布距离的指标）上，DRDD的优势最为明显——平均LPIPS为0.073，平均FID为18.3，均显著优于对比的所有方法。这说明DRDD生成的图片不仅像素上接近真实，视觉感受也更自然、更真实。

在更复杂的"CDD-11"数据集上，该数据集包含11种退化条件（包括各种复合退化，比如同时有低光照和雾，或同时有雾和雨），DRDD在大多数类别上也优于近期最强竞争对手。特别是在复合退化场景下——多种损坏同时出现的情况——DRDD的优势更加突出，而其他方法在复合场景下普遍出现明显的性能下滑。这正好印证了领域调和在面对多样化退化时的价值。

研究团队还专门构建了一个新基准，叫做MNMD（多噪声多领域），覆盖自然图像、医学影像、遥感图像三个领域，并加入了高斯噪声、椒盐噪声、泊松噪声等多种类型的噪声。在这个基准上，DRDD在三个领域全部取得了最高SSIM（结构相似性指标，数值越高越好）和最低LPIPS，证明了其在跨领域翻译中的稳定性。

在单任务单领域的测试中，DRDD在图像修复（CelebA-HQ人脸数据集，中心遮挡和不规则遮挡两种模式）、超分辨率（FFHQ人脸数据集，16×16输入还原为128×128输出）、图像去雨、低光照增强等任务上，也均表现出与最新技术相当甚至更优的性能，证明解耦思路对单任务场景同样有效，不只是多任务场景下的特殊招数。

七、用更少的数据，做更好的事

数据效率是DRDD另一个重要的优势。研究团队通过数据删减实验来验证这一点：分别只使用25%、50%、75%和100%的训练数据，对比DRDD和其他方法在不同数据量下的性能表现。

在低光照增强任务和三任务统一修复（All-in-One-3）任务上，结果非常清晰：随着训练数据的减少，所有方法的性能都会下降，但DRDD的下降幅度远小于其他方法。以低光照增强为例，当训练数据减少到25%时，DRDD的SSIM仅从0.881下降到0.850，而其他方法的下降幅度大得多。这种稳健性来源于去噪网络可以用ImageNet预训练权重初始化，即便配对训练数据很少，去噪部分的能力也基本不受影响。

这一特性对实际应用有非常直接的意义：在很多现实场景中，配对的退化图-干净图数据极难获取（比如特定设备拍摄的医学影像），而无标注的干净目标图相对容易收集。DRDD的框架天然地利用了这种数据不对称性，让有限的配对数据发挥出更大的价值。

八、噪声加多少才合适

在DRDD中，噪声的注入量是一个关键参数——加太少，领域调和效果不够明显；加太多，图片被破坏得太厉害，给残差去除阶段造成额外负担。

研究团队为此构建了一套理论框架，定义了两个距离指标。第一个指标衡量加噪后源领域分布与目标领域分布之间的距离（这个距离越小越好，说明领域调和效果越强）；第二个指标衡量加噪后的源领域与原始源领域之间的距离（这个距离越小越好，说明输入图片被破坏的程度越小）。随着噪声量增大，两个指标都会单调上升，呈现出一种此消彼长的矛盾关系。

研究团队将这两个指标归一化后加权求和，得到一个综合目标函数，通过最小化这个函数来寻找最优噪声量，权重参数λ可以根据具体任务调节。在All-in-One-5数据集上，理论计算给出的最优噪声强度（β）约为1.1到1.2。实验验证的结果高度吻合：模型在噪声强度为1.0时达到最优性能，在0.8到1.3的范围内表现都很稳定，超出这个范围后性能才开始明显下滑。这套理论框架不仅为DRDD提供了参数选择的依据，也为类似任务提供了可参考的分析工具。

九、让一个框架兼容更多模型

研究团队还专门测试了解耦思路与另一类主流扩散模型——基于SDE（随机微分方程）的扩散模型——的兼容性，以IR-SDE为基础进行了改造，得到了解耦版本De-IRSDE。

在图像修复（CelebA-HQ）、去雨（Rain100）和去噪（BSD400）三项任务上，De-IRSDE的表现全面超越或持平于原始IR-SDE：修复任务的LPIPS从0.0517降到0.0490，FID从15.14降到15.10；去雨任务的PSNR从27.2提升到28.1，SSIM从0.856提升到0.862；去噪任务的LPIPS略有上升但FID从33.29大幅改善至31.87。这组结果证明，解耦思路不是专为某种特定扩散框架定制的技巧，而是一种具有普遍适用性的范式改进。

十、消融实验：每个组件都在发挥作用

为了验证DRDD各个组成部分的必要性，研究团队还设计了一系列对照实验。

去掉去噪网络的版本（残差去除结束后直接用数学方法减去噪声）性能明显下滑，验证了专门的去噪网络确实有不可替代的作用——因为在残差去除过程中，模型对噪声部分也有一定影响，简单减去原始噪声无法得到干净的结果。

用在不同数据集上训练的去噪网络（比如只用三任务数据训练的去噪网络，搭配五任务残差去除网络）表现也不错，验证了去噪网络确实具有跨任务迁移能力，不需要与残差去除网络使用完全相同的训练数据。

把两个阶段合并成参数量相当的单网络（耦合基线）的版本，则在多个任务上性能均不如DRDD，证明解耦本身带来的结构优势不能被简单地用增加参数量来弥补。

此外，研究团队还测试了不同采样步数对性能的影响，结果显示2步和10步的性能几乎没有差异，证明DRDD在极少步数下就能达到最优效果，推理效率非常高。

在计算资源方面，DRDD的轻量版（DRDD-S，残差去除网络7M参数，去噪网络35M参数）每张图推理延迟仅0.33秒，远低于大多数对比方法；标准版（DRDD-L）延迟也只有0.55秒，同时在所有指标上均优于参数量更大、延迟更高的竞争对手。

归根结底，DRDD这项研究的意义在于，它用一个相当简洁的洞察——"噪声不只是噪声，它还是领域之间的调解员"——撬动了扩散模型在图像翻译领域的一个根本性局限。把噪声管理和语义翻译分开处理，不仅让模型在多任务场景下学得更轻松，还让训练数据的需求量大幅降低，这两点对于把AI图像处理技术推向更广泛、更实用的场景，都具有切实的价值。

从更长远的视角看，这种思路不只限于图像修复，任何需要跨领域映射的视觉任务——医学图像分析、卫星图像处理、工业检测图像增强——都可能从类似的框架中受益。当配对数据极度稀缺时，能够充分利用无标注数据的方法往往能走得更远。这项研究为如何设计这类方法提供了一条新的思路，值得关注这一领域的研究者和工程师仔细研读原文。

Q&A

Q1：DRDD模型在处理图像翻译时，为什么要把扩散过程拆成两个独立阶段？

A：因为在原有的单阶段扩散过程中，噪声和图像内容的转换是同步进行、同步消除的。研究团队发现，噪声本身具有"领域调和"的作用，能让不同类型图片的特征分布靠近，从而降低模型学习统一翻译规则的难度。但在耦合模式下，这种好处会在翻译还没完成时就被一并消除。把噪声管理和语义翻译拆分成两个独立阶段，就能让调和效果在整个核心翻译过程中持续存在。

Q2：DRDD为什么能在训练数据很少的情况下仍然表现稳定？

A：DRDD的去噪网络在训练时完全不需要配对的"坏图-好图"数据，只需要大量干净的目标图片就够了。这些图片在网络上随处可得，甚至可以直接用ImageNet等大型公开数据集的预训练权重来初始化。因此，即便配对训练数据只剩25%，去噪部分的能力几乎不受影响，整体性能的下降幅度远小于其他依赖全量配对数据的方法。

Q3：DRDD中噪声注入量的多少对结果有多大影响？

A：噪声量的选择确实很关键，但在合理范围内表现相当稳定。实验显示，噪声强度在0.8到1.3之间时，模型性能最优且变化不大；超出这个范围后性能才开始明显下滑。研究团队还提供了一套理论公式，通过平衡"领域调和效果"和"输入图片被破坏程度"两个指标，可以针对具体数据集计算出推荐的最优噪声量，无需完全依赖经验调参。