D2GV: Deformable 2D Gaussian Splatting for Video Representation in 400FPS

隐式神经表示（INRs）作为一种强大的视频表示方法已经崭露头角，能够灵活应用于压缩和修复等任务。然而，其隐式公式化限制了可解释性和效率，削弱了其作为全面解决方案的实用性。我们提出了一种基于可变形2D高斯点阵的新颖视频表示方法，称为D2GV，旨在实现三个关键目标：1) 提高效率的同时提供更高质量；2) 增强可扩展性和可解释性；3) 更加适用于下游任务。 具体来说，我们首先将视频序列分割成固定长度的画面组（GoP），以允许并行训练，并使处理速度与视频长度呈线性关系。对于每个GoP，D2GV通过应用可微分光栅化技术将2D高斯从规范空间变形到相应的时间戳，从而表示视频帧。值得注意的是，利用高效的CUDA加速光栅化，D2GV不仅收敛速度快，而且解码速度超过400帧每秒，同时质量可以匹敌或超越最先进的INRs。 此外，我们引入了一种可学习的剪枝和量化策略，以简化D2GV，使其成为更紧凑的表示形式。我们在视频插值、修复和去噪等任务中展示了D2GV的多功能性，突显了它作为视频表示有前途的解决方案的潜力。代码可在以下链接获取：[https://github.com/Evan-sudo/D2GV](https://github.com/Evan-sudo/D2GV)。

该论文旨在解决隐式神经表示（INRs）在视频表示中的局限性，特别是其对解释性和效率的限制。这是一个需要改进现有技术的问题，而不是一个全新的问题。

关键思路是提出了一种基于可变形2D高斯点阵（D2GV）的新视频表示方法。与INRs不同，D2GV通过将视频帧分解为固定长度的图像组（GoP），并使用可微分光栅化将2D高斯从规范空间变形到相应的时间戳来表示视频帧。这种方法不仅提高了效率和质量，还增强了可扩展性和解释性。

亮点包括：1) D2GV能够以超过400 FPS的速度解码，同时保持或超越最先进的INRs的质量；2) 引入了可学习的剪枝和量化策略，使表示更加紧凑；3) 在视频插值、修复和去噪等任务中展示了D2GV的多功能性；4) 提供了开源代码，便于复现和进一步研究。这些特点表明D2GV是一个有潜力的视频表示解决方案，值得继续深入研究。

最近的相关研究包括隐式神经表示（INRs）的发展及其在视频压缩和修复中的应用。例如，《NeRV: Neural Reflectance and Visibility Fields for High-Fidelity Video Compression》探讨了神经场在视频压缩中的应用。其他相关工作还包括《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》，它利用隐式函数进行高分辨率3D人体数字化。此外，《Neural Volumes: Learning Dynamic Renderable Volumes from Images》也涉及了神经体积的学习，用于动态场景的渲染。