Matten: Video Generation with Mamba-Attention

本文介绍了一种名为Matten的先进潜在扩散模型，它采用了Mamba-Attention架构用于视频生成。Matten在最小计算成本的情况下，采用了空间-时间注意力来进行局部视频内容建模，采用双向Mamba来进行全局视频内容建模。我们的全面实验评估表明，Matten在基准性能方面具有与当前基于Transformer和GAN的模型相竞争的性能，实现了更优秀的FVD得分和效率。此外，我们观察到我们设计的模型复杂度与视频质量的改善之间存在直接正相关性，表明Matten具有出色的可扩展性。

Matten试图解决视频生成中的内容建模问题，同时验证其在效率和性能方面的竞争力。这不是一个新的问题，但是作者提出的解决方案是新的。

Matten采用了Mamba-Attention架构，通过空间-时间注意力和双向Mamba进行局部和全局视频内容建模，实现了高效率和高性能的视频生成。相比当前的Transformer-based和GAN-based模型，Matten具有更好的可扩展性和更高的FVD分数。

论文的实验评估表明，Matten在性能和效率方面与当前的Transformer-based和GAN-based模型具有相当的竞争力，并且在视频质量方面有显著的提高。作者还提出了一种复杂度和视频质量之间的正相关关系，这表明Matten具有良好的可扩展性。作者使用了多个数据集进行实验，并且开源了代码。

在这个领域中，还有一些相关的研究，例如：《Generative Adversarial Networks for Video Generation and Compression》、《Flow-based Video Generation using Scene Graphs》、《Video Generation from Text》等。