本项研究基于最优传输理论构建无监督重建学习的最优框架，证明了Wasserstein-1空间中最优传输准则的松弛求解不变性。在摄影图像、荧光显微镜图像、深度图像等多种实际数据上，新方法实现了远超现有无监督/自监督方法的性能，在重建感知质量上甚至优于SOTA有监督方法。

论文地址：https://ieeexplore.ieee.org/document/9763342

开源地址代码：https://github.com/wangweiSJTU/OTUR

图像重建是底层计算机视觉中的一个基本问题，对于后续的许多高层任务至关重要。在过去的几年里，随着卷积神经网络的发展和大量成对训练数据集的构建，图像重建任务取得了长足的进展。然而，在许多实际应用中，难以收集足够的干净图像进行监督学习，虽然可以使用合成数据进行代替，但真实数据与合成数据之间的差异将从根本上限制重建模型在真实场景上的性能。如图1所示，ToF深度相机采集的原始深度图像包含大量复杂噪声，如图中红色部分为无效值，同时真实场景的高质量3D成像难以获得。在此类复杂噪声的真实场景下，监督学习方法无法适用。

图1 真实原始ToF深度图像

近年来，自监督和无监督图像重建学习取得了很大进展。然而，现有的方法或多或少地依赖于对图像和退化模型的一些先验假设，这限制了它们在真实数据上的表现。如何在没有任何退化模型先验知识的情况下构造无监督重建学习的最优准则仍然是一个悬而未决的问题。为了回答这个问题，上海交通大学类脑智能应用技术研究中心团队最近提出了一种基于最优传输理论的无监督重建学习框架。其将图像重建视为从真实带噪分布到干净分布的一个传输问题，基于最优传输理论，在实现高感知质量重建的同时，可以最大限度地保留信号的信息。在多种仿真和真实场景下的实验表明，该方法在取得接近有监督学习方法的峰值信噪比的同时，可以获得更好的感知质量。

本项工作的主要贡献有：

  1. 提出一种基于最优传输理论的无监督重建学习准则，在重建输出与干净自然样本具有相同分布的约束下，最小化输入和重建输出之间的传输成本。
  2. 将该准则与理想有监督准则进行了对比分析，表明该准则在实现高感知质量重建的同时，能够最大程度地保留原始图像的信息。
  3. 在实际训练实现中需要把该带约束的最优传输准则松弛为无约束的形式，以方便基于对抗训练进行学习。本文在理论上证明了：对于Wasserstein-1距离，该松弛不影响最有传输的最优解，即松弛后与原始准则具有相同的最优解。
  4. 将新方法应用于多种去噪应用，包括不同仿真噪声下的合成图像，以及真实世界的手机摄影、显微镜、深度图像。结果表明，新方法在取得逼近有监督学习方法的失真度量（PSNR，SSIM）的同时，具有更好的重建感知质量。特别地，在去除带有复杂噪声的原始深度图像实验中，新方法表现出了非常大的优越性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除