RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction

最近，生成模型的进展显著提高了从各种表示中重建音频波形的能力。尽管扩散模型擅长这项任务，但由于它们在单个采样点级别上运行并需要大量采样步骤，因此受到延迟问题的限制。在本研究中，我们介绍了RFWave，一种先进的多频带整流流方法，旨在从Mel-频谱图或离散标记中重建高保真音频波形。RFWave独特地生成复杂的频谱图，并在帧级别上操作，同时处理所有子带以提高效率。利用目标为平坦传输轨迹的整流流，RFWave仅需10个采样步骤即可实现重建。我们的实证评估表明，RFWave不仅提供了出色的重建质量，而且提供了远远优于计算效率，使音频生成在GPU上的速度高达实时速度的97倍。在线演示可在以下网址查看：https://rfwave-demo.github.io/rfwave/。

论文旨在通过提出一种基于多波段修正流的方法，从Mel-spectrogram或离散标记中重建高保真度的音频波形。同时解决了传统扩散模型在操作个别样本点时存在的延迟问题和需要大量采样步骤的问题。

RFWave是一种基于多波段修正流的方法，通过同时处理所有子带来提高效率，实现了仅需10个采样步骤的重建。通过目标是一个平坦的传输轨迹的修正流，RFWave能够独特地生成复杂的频谱图。

论文的实验表明，RFWave不仅提供了卓越的重建质量，而且在GPU上实现了高达97倍于实时速度的计算效率。并且论文提供了在线演示和开源代码。

最近的相关研究包括：1. WaveGlow: A Flow-based Generative Network for Speech Synthesis. 2. MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis. 3. Parallel WaveGAN: A Fast Waveform Generation Model Based on Generative Adversarial Networks with Multi-resolution Spectrogram.