GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

最近，隐式神经表示（INRs）在图像表示和压缩方面取得了巨大的成功，提供了高质量的视觉效果和快速的渲染速度，每秒可以达到10-1000 FPS，前提是有足够的GPU资源。然而，这种要求通常会阻碍它们在内存有限的低端设备上的使用。为此，我们提出了一种名为GaussianImage的二维高斯喷洒图像表示和压缩的开创性范式。我们首先引入了二维高斯来表示图像，其中每个高斯具有8个参数，包括位置、协方差和颜色。随后，我们揭示了一种基于累积求和的新型渲染算法。值得注意的是，我们的方法在GPU内存使用最少3倍、拟合时间快5倍的情况下，不仅在表示性能方面与INRs（例如WIRE、I-NGP）相媲美，而且无论参数大小，都可以实现更快的渲染速度，达到1500-2000 FPS。此外，我们还整合了现有的矢量量化技术来构建图像编解码器。实验结果表明，我们的编解码器在速率失真性能方面与基于压缩的INRs（如COIN和COIN++）相当，同时实现了约1000 FPS的解码速度。此外，初步的概念验证表明，在使用部分bits-back编码时，我们的编解码器的性能超过了COIN和COIN++。代码将在https://github.com/Xinjie-Q/GaussianImage上提供。

论文旨在提出一种新的图像表示和压缩方法，以解决现有方法在低端设备上使用时需要大量GPU资源的问题。

论文提出了一种基于2D高斯散点的图像表示和压缩方法，命名为GaussianImage。通过使用最小化GPU内存使用量和更快的拟合时间的方法，该方法在表示性能和渲染速度方面与INRs相媲美。

论文使用了2D高斯函数来表示图像，提出了一种新的渲染算法，并将向量量化技术用于构建图像编解码器。实验结果表明，该编解码器的速度和压缩效果都很好，而且代码已经开源。

与该论文相关的研究包括COIN和COIN++等基于压缩的INRs，以及其他图像表示和压缩方法。