A Concentration Inequality for Maximum Mean Discrepancy (MMD)-based Statistics and Its Application in Generative Models

最大均值差异（MMD）是一种概率度量，已在机器学习中找到了许多应用。在本文中，我们关注它在生成模型中的应用，包括最小MMD估计器、生成矩匹配网络（GMMN）和生成对抗网络（GAN）。在这些情况下，MMD是最小化或最小最大优化问题中目标函数的一部分。即使它的经验性能具有竞争力，相应的基于MMD的估计器的一致性和收敛速率分析仍未进行。我们提出了一种针对一类基于最大均值差异（MMD）的估计器的统一集中不等式，即在生成的分布和对抗学习的内核集合上的经验MMD值的最大偏差界限。在这里，我们的不等式作为理论分析MMD基础生成模型的有效工具。作为详细说明的例子，我们将我们的主要结果应用于提供最小MMD估计器和MMD GAN上基于MMD的估计器的泛化误差界限。

论文旨在解决MMD-based generative models中的一致性和收敛速率分析问题。

提出了一种针对一类MMD-based估计器的统一集中不等式，用于在理论分析中提供MMD-based生成模型的泛化误差界限。

论文将提出的方法应用于最小MMD估计器和MMD GAN中，并给出了实验结果。

在最近的研究中，也有关于MMD-based生成模型的一致性和收敛速率分析的研究，如《On the consistency and asymptotic normality of GAN》。