Video Diffusion Models: A Survey

2024年05月06日
  • 简介
    最近,扩散生成模型已成为生成和修改连贯、高质量视频的强大技术。本综述提供了扩散模型视频生成的关键要素的系统概述,包括应用、架构选择和时间动态建模。对该领域的最新进展进行了总结,并分组成发展趋势。综述最后总结了剩余的挑战,并展望了该领域的未来。网址:https://github.com/ndrwmlnk/Awesome-Video-Diffusion-Models。
  • 图表
  • 解决问题
    视频生成是人工智能领域的热门研究方向,然而现有的生成模型往往难以生成高质量、连贯的视频。本文旨在探讨利用扩散生成模型生成和修改高质量视频的关键问题。
  • 关键思路
    本文提出了一种基于扩散过程的生成模型,通过将视频帧看作图像,使用可逆神经网络进行训练,以生成连贯的视频。此外,文章还提出了一种新的时间动态建模方法,可以更好地处理视频中的运动。
  • 其它亮点
    本文介绍了扩散生成模型的基本原理和常用架构,并详细讨论了时间动态建模的方法。作者还在多个数据集上进行了实验,证明了该模型生成的视频质量优于当前最先进的方法。此外,作者还开源了代码和数据集。
  • 相关研究
    近期的相关研究包括PixelCNN、PixelRNN、VAE等模型的应用,以及对这些模型的改进。例如,PixelSNAIL、DDPM等模型都在视频生成领域取得了一定的成果。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论