Video-to-Audio Generation with Hidden Alignment

生成与视频输入相符的语义和时间对齐的音频内容已成为研究人员的焦点，尤其是在文本到视频生成取得显著突破之后。在这项工作中，我们旨在提供有关视频到音频生成范例的见解，重点关注三个关键方面：视觉编码器、辅助嵌入和数据增强技术。我们从一个基于简单但出人意料地有效的直觉构建的基础模型VTA-LDM开始，通过消融研究探索各种视觉编码器和辅助嵌入。采用强调生成质量和视频音频同步对齐的综合评估流程，我们展示了我们的模型展现出了最先进的视频到音频生成能力。此外，我们提供了关于不同数据增强方法对增强生成框架整体能力的影响的关键见解。我们展示了从语义和时间角度推进生成同步音频的挑战的可能性。我们希望这些见解将成为发展更为逼真和准确的音频-视觉生成模型的垫脚石。

本文旨在研究视频到音频生成范式中的三个关键方面：视觉编码器、辅助嵌入和数据增强技术。作者试图解决的问题是如何从语义和时间的角度生成与视频输入相对应的音频内容。

本文提出了一个基于简单而有效的直觉建立的 VTA-LDM 模型，并通过消融实验探索了各种视觉编码器和辅助嵌入。作者通过全面的评估管道展示了该模型具有最先进的视频到音频生成能力，同时提供了不同数据增强方法对提高生成框架整体能力的影响。

本文的亮点包括使用全面的评估管道、提供了关于数据增强方法的关键见解，以及展示了从语义和时间角度生成音频的可能性。作者还使用了多个数据集进行实验，并开源了代码。

最近的相关研究包括文本到视频生成等方面的工作，例如《Text-to-Video Generation via Adversarial Learning》。