Image-GS: Content-Adaptive Image Representation via 2D Gaussians

最近，神经图像表示法已经成为一种存储、流传和渲染视觉数据的有前途的技术。结合基于学习的工作流程，这些新颖的表示法已经展示了卓越的视觉保真度和内存效率。然而，现有的神经图像表示法通常依赖于显式的统一数据结构，缺乏内容适应性或计算密集型的隐式模型，限制了它们在实时图形应用中的应用。 受到辐射场渲染的最新进展的启发，我们提出了Image-GS，一种内容自适应的图像表示法。使用各向异性2D高斯函数作为基础，Image-GS具有高内存效率，支持快速随机访问，并提供自然的细节层次。利用定制的可微分渲染器，Image-GS通过自适应地分配和逐步优化一组2D高斯函数来适应目标图像。Image-GS的可推广的效率和保真度在多个最近的神经图像表示法和行业标准纹理压缩器上得到了验证。值得注意的是，它的内存和计算需求仅取决于2D高斯函数的数量，并与之成线性比例，提供了在视觉保真度和运行时效率之间灵活控制的方法。我们希望这项研究为开发需要自适应质量和资源控制的新应用提供启示，例如机器感知、资产流传和内容生成。

论文试图提出一种新的内容自适应图像表示方法，以解决现有神经图像表示方法在实时图形应用中的限制。

论文提出了Image-GS，一种使用各向异性2D高斯函数作为基础的内容自适应图像表示方法。Image-GS具有高内存效率，支持快速随机访问，并提供自然的细节层次结构。通过使用可微分渲染器，Image-GS可以通过自适应地分配和逐步优化一组2D高斯函数来拟合目标图像。

论文通过实验验证了Image-GS的内存和计算要求仅取决于和线性缩放的2D高斯函数的数量，提供了灵活的控制视觉保真度和运行时效率之间权衡的方法。同时，Image-GS的效率和保真度也得到了验证。

最近在这个领域中，还有与Image-GS相关的研究，如神经图像表示和纹理压缩等。