RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction

最近生成模型的进展使得从不同的表示形式中重构音频波形取得了显著进展。虽然扩散模型已被用于重构音频波形，但它们往往存在延迟问题，因为它们在个别样本点的级别上操作，需要相对较多的采样步骤。在这项研究中，我们介绍了RFWave，一种新颖的多频带整流流方法，从Mel-频谱图中重建高保真音频波形。RFWave生成复杂的频谱图，以帧为单位操作，同时处理所有子带以增强效率。由于整流流旨在实现平坦的传输轨迹，RFWave仅需要进行10个采样步骤。实证评估表明，RFWave实现了出色的重构质量和卓越的计算效率，能够以快于实时90倍的速度生成音频。

本文旨在解决音频波形重建中存在的延迟问题，提出了一种基于Mel-spectrograms的多频带整流流方法RFWave。

RFWave通过处理所有子频带来提高效率，并使用整流流的平坦传输轨迹，仅需10个采样步骤即可生成高保真度的音频波形。

实验结果表明，RFWave的重建质量和计算效率均非常出色，能够以90倍于实时速度生成音频。此外，论文还使用了公开数据集，并提供了开源代码。

最近的相关研究包括Diffusion models和其他基于生成模型的音频波形重建方法。