Synthesizing Audio from Silent Video using Sequence to Sequence Modeling

从视频的视觉内容中生成音频在改善我们与音视频媒体互动方面具有多种实际应用，例如增强闭路电视录像分析、恢复历史影片（例如无声电影）和改进视频生成模型。我们提出了一种新方法，使用序列到序列模型从视频中生成音频，改进了之前使用CNN和WaveNet面临的声音多样性和泛化挑战的问题。我们的方法采用3D矢量量化变分自编码器（VQ-VAE）来捕捉视频的空间和时间结构，并使用自定义音频解码器进行解码以获得更广泛的声音范围。我们的模型在Youtube8M数据集段上进行训练，专注于特定领域，旨在增强闭路电视录像分析、无声电影恢复和视频生成模型等应用。

论文提出了一种从视频中生成音频的方法，旨在改善视频和音频媒体交互的体验，如增强CCTV录像分析、恢复历史视频和提高视频生成模型等应用。

该方法使用序列到序列模型，采用三维向量量化变分自编码器（VQ-VAE）来捕获视频的时空结构，并使用自定义音频解码器进行解码以覆盖更广泛的声音范围。

论文使用Youtube8M数据集进行训练，主要关注特定领域的视频片段。该方法相比之前使用CNN和WaveNet的方法具有更好的音频多样性和泛化性能。值得关注的是，该论文的方法在增强CCTV录像分析、恢复历史视频和提高视频生成模型等应用方面具有潜在应用价值。

相关研究包括使用CNN和WaveNet的方法，以及其他基于序列到序列模型的音频生成方法。