本文作者追一科技苏剑林，关注NLP、神经网络
本文介绍了一个由“万有引力定律”启发的 ODE 式扩散模型，它突破了以往众多扩散模型对高斯假设的依赖，是一个基于场论来构建 ODE 式扩散模型的全新框架，整个模型颇多启发性，值得仔细研读。
对于很多读者来说，生成扩散模型可能是他们遇到的第一个能够将如此多的数学工具用到深度学习上的模型。在这个系列文章中，我们已经展示了扩散模型与数学分析、概率统计、常微分方程、随机微分方程乃至偏微分方程等内容的深刻联系，可以说，即便是做数学物理方程的纯理论研究的同学，大概率也可以在扩散模型中找到自己的用武之地。在这篇文章中，我们再介绍一个同样与数学物理有深刻联系的扩散模型——由“万有引力定律”启发的 ODE 式扩散模型，出自论文《Poisson Flow Generative Models》[1]（简称 PFGM），它给出了一个构建 ODE 式扩散模型的全新视角。
万有引力
中学时期我们就学过万有引力定律，大概的描述方式是：两个质点彼此之间相互吸引的作用力，是与它们的质量乘积成正比，并与它们之间的距离成平方反比。
这里我们忽略质量和常数，主要关心它的方向和与距离的关系，假设引力源位于 ，那么位于 的物体所受到的引力可以记为
这个因子我们可以先不管它，它不影响后面的分析。准确来说，上式描述的是三维空间的引力场，对于 维空间来说，其引力场的形式为
其中是维单位超球面的表面积。该式实际上就是 维 Poisson 方程的格林函数的梯度，这也就是论文标题中的 “Poisson” 一词的来源。
沿场线走
如果引力源有多个，那么直接将各个引力源的引力相加即可，这是引力场的线性可加性。下面我们画出了四个引力源的向量场，其中引力源用黑色点标记出，彩色线表示场线：
▲引力场示意图
从上述引力场图我们可以看出它的一个重要特点：
除了极少数外，大部分场线都是从远处出发，终止于某个引力源点。此时，一个直观而又“异想天开”的主意是：
如果每个引力源都代表着一个要生成的真实样本点，那么远处的任意点只要沿着场线运动，不就都可以演变成一个真实样本点了吗？
这就是《Poisson Flow Generative Models》[1] 一文最核心的天才想法！
这篇文章的结果PFGM 是一个彻底的新框架，它不再像之前一样依赖于高斯假设，并且得到了一个确实有着全新内涵的模型。然而，我们不能“为新而新”，如果新的框架没有做出更有说服力的结果，那么新就是没有意义的。
当然，原论文的实验结果，肯定了 PFGM 的价值，比如得到了更好的评估指标、更快的生成速度，以及对超参数（包括模型架构）有更好的鲁棒性等，这里就不一一展示了，大家自行读原论文就好。我看了看原论文中了 NeurIPS 2022，不得不说这确实是实至名归的顶会论文啊！
官方 Github
https://github.com/Newbeeer/Poisson_flow
参考文章
https://arxiv.org/abs/2209.11178
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢