Multi-fidelity Hamiltonian Monte Carlo

许多生物学、统计学、科学和工程应用需要从高维概率分布中生成样本。近年来，哈密顿蒙特卡罗（HMC）方法作为一种最先进的马尔可夫链蒙特卡罗技术已经出现，利用这种高维目标分布的形状高效地生成样本。尽管它具有令人印象深刻的实证成功和日益增长的流行度，但由于梯度计算的高计算成本，它的广泛采用仍然受到限制。此外，当无法计算后验梯度时（例如使用黑盒模拟器时），应用此方法是不可能的。为了克服这些挑战，我们提出了一种新型的带有代理模型的两阶段哈密顿蒙特卡罗算法。在这种多保真度算法中，第一阶段使用廉价的可微分代理模型通过标准的HMC提议计算接受率，如果提议被接受，则在第二阶段使用高保真度（HF）数值求解器评估后验分布。将标准的HMC算法分成这两个阶段，可以有效地逼近后验梯度，同时通过在第二阶段使用HF数值求解器产生准确的后验样本。我们展示了这种算法在一系列问题中的有效性，包括使用基于仿真数据和实验数据的线性和非线性贝叶斯反问题。所提出的算法被证明可以无缝地集成各种低保真度和HF模型、先验和数据集。值得注意的是，我们提出的方法在计算和统计效率方面比传统的HMC算法高出数个数量级，同时保留或提高计算后验统计量的准确性。

提高高维概率分布采样的计算效率，尤其是在无法计算后验梯度的情况下。

提出一种基于两阶段哈密顿蒙特卡罗算法和代理模型的多保真度采样方法，第一阶段使用代理模型计算接受率，第二阶段使用高保真度数值求解器计算后验分布，从而提高计算效率。

实验证明，该方法在多种问题中都具有显著的计算和统计效率，同时保持或提高了计算后验统计量的准确性。该方法可以与多种低保真度和高保真度模型、先验和数据集无缝集成。论文还开源了代码。

相关研究包括：Hamiltonian Monte Carlo方法、代理模型、多保真度采样方法等。