MNeRV: A Multilayer Neural Representation for Videos

作为一种新颖的视频表示方法，神经视频表示（NeRV）在视频压缩、视频恢复和视频插帧领域展示了巨大的潜力。在使用NeRV表示视频的过程中，每个帧对应一个嵌入，然后在通过少量的解码层（E-NeRV、HNeRV等）后，重构成视频帧序列。然而，这种少量的解码层很容易导致由于单个解码层中参数比例过大而出现冗余模型参数的问题，这极大地限制了神经网络模型的视频回归能力。在本文中，我们提出了一种多层神经视频表示（MNeRV）并设计了一个新的解码器M-Decoder和相应的编码器M-Encoder。MNeRV具有更多的编码和解码层，有效缓解了由于层数太少而导致的冗余模型参数问题。此外，我们设计了MNeRV块，以在解码层之间执行更均匀和有效的参数分配。在视频回归重建领域，我们使用更少的参数实现了更好的重建质量（+4.06 PSNR）。最后，我们展示了MNeRV在视频恢复和视频插帧等下游任务中的表现。MNeRV的源代码可在https://github.com/Aaronbtb/MNeRV上获得。

本文旨在解决使用NeRV进行视频表示时，由于解码层数较少导致的冗余模型参数问题，限制了神经网络模型的视频回归能力。

本文提出了一种多层神经表示视频（MNeRV）的方法，并设计了新的解码器M-Decoder和相应的编码器M-Encoder。MNeRV具有更多的编码和解码层数，能够有效缓解由于层数过少导致的冗余模型参数问题，并且设计了MNeRV块以在解码层之间执行更均匀和有效的参数分配。

本文通过实验验证了MNeRV在视频回归重构方面的表现优于NeRV，且参数更少。此外，还展示了MNeRV在视频恢复和视频插值等下游任务中的性能。作者开源了MNeRV的源代码。

在该领域的相关研究中，最近的一些论文包括：NeRV的原始论文《Neural Representations for Videos》、视频压缩方面的《End-to-end Optimized Video Compression》、视频插值方面的《Deep Video Interpolation Using Variable Length Coding》等。