Npix2Cpix: A GAN-based Image-to-Image Translation Network with Retrieval-Classification Integration for Watermark Retrieval from Historical Document Images

鉴定和恢复古代水印长期以来一直是文献学和历史学的重要研究课题。基于水印对历史文献进行分类可能会遇到一些困难，因为水印的多样性、样本的拥挤和噪声、多种表示方式以及类别间和类内变化的细微差别。本文提出了一种基于U-net的条件生成对抗网络（GAN），将嘈杂的原始历史水印图像转化为只含有水印的清晰、无手写字的图像。考虑到它能够从退化（嘈杂）像素到清晰像素进行图像转换，所以这个网络被称为Npix2Cpix。本文所提出的网络不是直接使用退化的水印图像，而是使用对抗学习的图像到图像转换来创建无杂乱和无手写字的图像，从而首次对水印进行恢复和分类。为了学习从输入嘈杂图像到输出清晰图像的映射，本文所提出的U-net-based GAN的生成器和判别器使用两个独立的损失函数进行训练，每个损失函数都基于图像之间的距离。在使用所提出的GAN对嘈杂的水印图像进行预处理之后，使用基于Siamese的一次性学习来对水印进行分类。根据对大规模历史水印数据集的实验结果，从有污点的图像中提取水印可能会导致高的一次性分类准确性。检索到的水印的定性和定量评估说明了所提出方法的有效性。

本论文旨在解决古代水印的识别和恢复问题，提出了一种基于U-net的条件生成对抗网络（GAN）的方法，将嘈杂的历史水印图像转化为只有水印的干净图像。

论文中提出的Npix2Cpix网络采用对抗学习进行图像转换，从而生成无杂乱和手写字的图像，以便于恢复和分类水印。使用两个不同的损失函数对生成器和判别器进行训练，学习从输入嘈杂的图像到输出干净的图像的映射。

论文使用大规模历史水印数据集进行实验，通过提取嘈杂图像中的水印，使用Siamese-based one-shot learning进行分类，取得了较高的准确率。该方法在提取和恢复水印方面具有良好的效果。

近年来，还有一些相关的研究，如《Unsupervised Learning for Physical Interaction through Video Prediction》、《Image-to-Image Translation with Conditional Adversarial Networks》等。