Variational Schrödinger Diffusion Models

Schr\"odinger桥(SB)已成为扩散模型中优化交通计划的首选方法。然而，SB需要估计棘手的前向评分函数，这不可避免地导致基于模拟轨迹的昂贵的隐式训练损失。为了提高可扩展性，同时保留高效的交通计划，我们利用变分推断来线性化SB的前向评分函数(变分评分)，并在训练反向评分时恢复无模拟的属性。我们提出了变分Schr\"odinger扩散模型(VSDM)，其中前向过程是多元扩散，变分分数是自适应优化的，以实现高效的运输。从理论上讲，我们使用随机逼近来证明变分分数的收敛性，并展示基于最优变分分数的自适应生成样本的收敛性。从实证上讲，我们在模拟实例中测试了该算法，并观察到VSDM在生成各向异性形状方面非常高效，并且相对于单变量扩散，产生更直的样本轨迹。我们还验证了该算法在真实世界数据中的可扩展性，并在CIFAR10中实现了竞争性的无条件生成性能，以及在时间序列建模中实现了条件生成。值得注意的是，VSDM不再依赖于预热初始化，并且在训练大规模实验时变得更加友好。

本论文旨在解决Schr"odinger Bridge (SB)方法中前向评分函数估计的难题，提出了一种基于变分推断的方法，即变分Schr"odinger扩散模型（VSDM），以实现更高效的运输计划优化。

论文提出了一种基于变分推断的方法，即变分Schr"odinger扩散模型（VSDM），通过线性化前向评分函数（变分评分）来提高可扩展性，从而在训练反向评分时恢复无需模拟的属性。

论文使用随机逼近证明了变分评分的收敛性，并展示了基于最优变分评分的自适应生成样本的收敛性。在模拟实验中，VSDM在生成各向异性形状方面效率高，并且与单变量扩散相比，生成的样本轨迹更直。在真实数据集上，VSDM具有良好的可扩展性，并在CIFAR10和时间序列建模中实现了有竞争力的无条件生成性能。值得注意的是，VSDM不再依赖于热身初始化，并且在训练大规模实验时易于调整。

最近的相关研究包括：Schr"odinger Bridge方法的改进和应用，变分推断在扩散建模中的应用，以及针对扩散过程的其他生成模型的研究。