论文标题:JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks 论文链接:https://arxiv.org/abs/2101.07555 作者单位:电子科技大学(曾兵团队), 旷视科技 本文提出用GAN来解决拼图游戏,其中融合了边缘和语义线索以进行推理,表现SOTA!性能优于Deepzzle(TIP 2020)等网络。

提出了一种基于生成对抗网络(GAN)的解决方案。该问题假定图像被切成相等的正方形块,并要求根据块信息恢复图像。传统的拼图解算器通常基于片段边界来确定片段关系,而片段边界忽略了重要的语义信息。在本文中,我们提出了JigsawGAN,这是一种基于GAN的自监督方法,用于解决具有不成对图像(对原始图像没有先验知识)的拼图游戏。我们设计了一个多任务pipeline,包括:(1)用于分类拼图排列的分类分支,以及(2)用于以正确顺序将特征恢复到图像的GAN分支。分类分支受到根据混洗的片段生成的伪标签的约束。 GAN分支集中在图像语义信息上,其中生成器生成自然图像,用重新组合的片段欺骗鉴别器,而鉴别器则区分给定图像是属于合成图像还是属于实际目标流形。这两个分支通过基于流的扭曲连接,该扭曲应用于分类特征以根据分类结果校正顺序。通过同时利用语义信息和边缘信息,该方法可以更有效地解决拼图难题。与几种领先的现有方法的定性和定量比较证明了我们方法的优越性。

内容中包含的图片若涉及版权问题,请及时与我们联系删除