Solving Masked Jigsaw Puzzles with Diffusion Vision Transformers

解决图像和视频拼图的难题需要重新排列无序序列中的图像片段或视频帧，以恢复有意义的图像和视频序列。现有的方法通常依赖于区分模型，任务是预测拼图元素的绝对位置或应用于原始数据的置换操作。不幸的是，这些方法在有效解决具有大量元素的拼图方面面临限制。在本文中，我们提出了一种创新方法JPDVT，利用扩散变压器来解决这个挑战。具体来说，我们生成图像块或视频帧的位置信息，以其基础视觉内容为条件。然后，这些信息被用于准确地组装拼图块，即使是在缺失块的情况下也能正确地组装。我们的方法在几个数据集上实现了最先进的性能。

本论文旨在解决图像和视频拼图的问题，即将无序序列中的图像碎片或视频帧重新排列以恢复有意义的图像和视频序列。现有的方法在解决大量元素的难题方面存在局限性。

本文提出了一种新颖的方法JPDVT，利用扩散变压器来解决这个问题。具体而言，我们生成图像块或视频帧的位置信息，以它们的基础视觉内容为条件。然后使用这些信息来准确地组装正确位置的拼图碎片，即使在缺失碎片的情况下也能实现。

论文使用了扩散变压器来生成位置信息，相比于现有的方法有了更好的性能表现；实验结果表明，JPDVT在多个数据集上都取得了最先进的性能；论文还开源了代码，方便其他研究人员进行复现和改进。

最近的相关研究包括使用深度学习模型解决图像和视频拼图问题的方法，如基于GAN的方法、基于RNN的方法等。