对比学习 | 通过生成对抗网络上的对比学习进行多样化的条件图像生成

【对比学习】DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network

【论文链接】https://arxiv.org/pdf/2103.07893v2.pdf

【作者团队】Rui Liu • Yixiao Ge • Ching Lam Choi • Xiaogang Wang • Hongsheng Li

【代码链接】https://github.com/ruiliu-ai/DivCo

【机构】香港中文大学

【发表时间】2021.03.14

【推荐理由】本文提出用类InfoNCE loss从正负样本两方面的对比学习来增强图像生成的表现，能够应用在各种cGAN框架中。

在给定输入条件和潜在代码的情况下，GAN网络可以合成各种图像，但不幸的是，它们通常会遭受模式崩溃的问题。为了解决这个问题，前人工作主要致力于鼓励潜在代码与其生成的图像之间的相关性，但忽略了生成图像各种隐变量之间的关系。MSGAN试图鼓励所生成图像的多样性，但仅考虑图像对之间的“负”关系。在本文中，我们提出了一种新颖的DivCo框架来适当地约束隐变量中指定的生成图像之间的“正”和“负”样本关系。这是将对比学习用于各种条件图像合成的第一次尝试。本文引入了一种新颖的潜在增强对比损失，它鼓励从相邻隐变量生成的图像与从当前隐变量生成的图像间的相似性。不同的隐变量是不一样的，本文提出的可扩展的对比损失与各种cGAN架构都很好兼容。大量实验表明，DivCo可以在产生多样性的图像的同时保证视觉质量。

内容中包含的图片若涉及版权问题，请及时与我们联系删除