GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

最近，隐式神经表示（INRs）在图像表示和压缩方面取得了巨大的成功，提供了高质量的视觉效果和快速的渲染速度，每秒10-1000帧，前提是有足够的GPU资源。然而，这种要求通常会阻碍它们在具有有限内存的低端设备上的使用。为此，我们提出了一种名为GaussianImage的2D高斯点插值图像表示和压缩的创新范式。我们首先引入2D高斯来表示图像，其中每个高斯有8个参数，包括位置、协方差和颜色。随后，我们揭示了一种基于累加求和的新型渲染算法。值得注意的是，我们的方法使用的GPU内存最少，只有INRs（如WIRE、I-NGP）的三分之一，拟合时间快五倍，不仅在表示性能上与INRs相媲美，而且无论参数大小，渲染速度都达到了1500-2000帧每秒。此外，我们集成了现有的矢量量化技术来构建图像编解码器。实验结果表明，我们的编解码器在速率失真性能上与基于压缩的INRs（如COIN和COIN++）相当，同时实现了约2000帧每秒的解码速度。此外，初步的概念验证表明，我们的编解码器在使用部分bits-back编码时优于COIN和COIN++的性能。代码可在https://github.com/Xinjie-Q/GaussianImage获得。

论文提出了一种名为GaussianImage的图像表示和压缩方法，旨在解决现有的基于Implicit neural representations (INRs)的方法在低端设备上的内存和速度问题。

论文通过引入2D高斯函数来表示图像，并提出了基于累积求和的新型渲染算法，从而实现了内存和速度的优化，同时保持了与INRs相当的图像表示性能和压缩性能。

论文使用了开源代码，并通过实验验证了GaussianImage的内存和速度优势，以及与COIN和COIN++相当的压缩性能。此外，论文还探讨了使用部分bits-back编码时GaussianImage的优势。

最近的相关研究包括COIN和COIN++等基于INRs的压缩方法，以及其他一些基于向量量化的图像压缩方法。