GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

最近，隐式神经表示（INRs）在图像表示和压缩方面取得了巨大成功，提供了高质量的视觉效果和快速的渲染速度，每秒渲染速度在10-1000帧之间，前提是有足够的GPU资源。然而，这种要求经常阻碍了它们在内存有限的低端设备上的使用。为此，我们提出了一种开创性的图像表示和压缩范式，即二维高斯喷洒，称为GaussianImage。我们首先介绍了二维高斯来表示图像，其中每个高斯都有8个参数，包括位置、协方差和颜色。随后，我们揭示了一种基于累积求和的新型渲染算法。值得注意的是，我们的方法使用的GPU内存最低只有INRs（例如WIRE、I-NGP）的三倍，并且拟合时间比它们快五倍，不仅在表示性能方面与INRs相媲美，而且无论参数大小，渲染速度都可以达到1500-2000 FPS。此外，我们集成了现有的矢量量化技术来构建图像编解码器。实验结果表明，我们的编解码器在速率失真性能方面与基于压缩的INRs（如COIN和COIN++）相当，同时实现了约2000 FPS的解码速度。此外，初步的概念验证表明，我们的编解码器在使用部分比特回退编码时优于COIN和COIN++。代码可在https://github.com/Xinjie-Q/GaussianImage上获得。

提出一种新的图像表示和压缩方法，解决现有方法在低端设备上内存需求高的问题。

使用二维高斯函数表示图像，并提出累积求和的渲染算法。该方法在内存占用和拟合时间方面优于现有的隐式神经表示方法，并且具有更快的渲染速度和可比的压缩性能。

实验结果表明，该方法在压缩性能和解码速度方面与现有的压缩型隐式神经表示方法相当。此外，该方法还支持部分比特回退编码，具有更高的性能。开源代码可用于GitHub。

与该方法相关的研究包括WIRE、I-NGP、COIN和COIN++等隐式神经表示方法。