MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes

最近，4D高斯点绘（4DGS）作为一种有前景的技术，用于以高保真度捕捉复杂的动态3D场景。它利用了4D高斯表示和适合GPU的光栅化器，实现了快速渲染速度。尽管具有这些优势，4DGS仍面临重大挑战，特别是需要数百万个4D高斯点，每个点都带有大量相关属性，导致巨大的内存和存储成本。本文介绍了一种内存高效的4DGS框架。我们通过将颜色属性分解为每个高斯点的直接颜色分量（仅包含3个参数）和一个共享的轻量级交流颜色预测器来简化颜色属性。这种方法消除了对球谐系数的需求，而经典的4DGS中通常涉及多达144个参数，从而创建了一个内存高效的4D高斯表示。此外，我们引入了一种基于熵约束的高斯变形技术，该技术使用变形场扩展每个高斯点的作用范围，并结合基于透明度的熵损失来限制高斯点的数量，从而迫使我们的模型尽可能少地使用高斯点来很好地拟合动态场景。通过简单的半精度存储和zip压缩，我们的框架在Technicolor和Neural 3D Video数据集上分别实现了约190倍和125倍的存储减少，与原始4DGS相比。同时，它保持了相当的渲染速度和场景表示质量，为该领域树立了新的标准。

该论文旨在解决4D Gaussian Splatting (4DGS) 技术在处理复杂动态3D场景时面临的内存和存储成本过高的问题。这是一个实际应用中的重要问题，因为高内存和存储需求限制了4DGS的大规模应用。

论文提出了一种内存高效的框架来优化4DGS。关键思路包括：1) 将颜色属性分解为每个高斯的直接颜色组件和共享的轻量级交流颜色预测器，从而减少参数数量；2) 引入熵约束的高斯变形技术，通过变形场扩展每个高斯的作用范围，并使用基于不透明度的熵损失来减少高斯的数量。这些方法显著降低了内存和存储需求，同时保持了渲染速度和场景表示质量。

1) 通过简单的半精度存储和压缩技术，该框架在Technicolor和Neural 3D Video数据集上分别实现了约190倍和125倍的存储减少；2) 实验设计合理，使用了多个标准数据集进行验证；3) 论文提供了开源代码，方便其他研究者复现和进一步研究；4) 值得继续深入的研究方向包括进一步优化高斯变形技术和探索更高效的颜色表示方法。

近期在这个领域中，还有一些相关的研究，例如：1) 'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'，提出了使用神经辐射场表示场景的方法；2) 'Instant NGP: Generalized Instant NeRF for Fast NeRF Training'，通过优化训练过程提高了NeRF的训练速度；3) 'Dynamic Neural Radiance Fields for 4D Facial Avatar'，专注于4D面部动态场景的表示。