Sample what you cant compress

对于学习图像表示，基本的自编码器通常会产生模糊的结果。通过加入额外的惩罚项，如对抗（GAN）和感知损失，可以提高重构质量。可以说，这些方法缺乏原则性的解释。同时，在生成设置中，扩散已经展示了出色的能力，可以创建清晰、高质量的结果，并且具有坚实的理论基础（从变分推断到直接研究作为Fisher分歧）。我们的工作将自编码器表示学习与扩散相结合，并且据我们所知，首次证明了在基于扩散的损失下共同学习连续编码器和解码器的有效性。我们证明，与基于GAN的自编码器相比，这种方法产生更好的重构质量，同时更容易调整。我们还展示了所得到的表示比基于最先进的GAN损失所得到的表示更容易用潜在扩散模型建模。由于我们的解码器是随机的，因此可以生成在否则确定的潜在表示中未编码的细节；因此，我们将我们的方法命名为“Sample what you can't compress”，简称SWYCC。

论文旨在通过结合自编码器表示学习和扩散过程来提高图像重建质量。它试图解决基本自编码器重建质量较差的问题。

论文的关键思路是将自编码器表示学习与扩散过程相结合，联合学习连续编码器和解码器，并使用扩散损失来提高图像重建质量。这种方法比基于GAN的自编码器更易于调整，并且生成的表示更易于使用潜在扩散模型建模。

论文使用了一个名为SWYCC的新方法，它结合了自编码器表示学习和扩散过程。SWYCC方法能够生成高质量的图像重建结果，并且可以生成未编码在潜在表示中的细节。实验结果表明，SWYCC方法比基于GAN的自编码器具有更好的图像重建质量。论文还提供了开源代码和使用的数据集。

最近在这个领域中，有其他研究也尝试将自编码器表示学习与GAN或其他损失函数相结合来提高图像重建质量。例如，有一篇名为“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”的论文。