Two tales for a geometric Jensen--Shannon divergence

几何Jensen-Shannon散度（G-JSD）因其在高斯分布之间具有闭合表达式而在机器学习和信息科学领域广受欢迎。本文中，我们提出了一种针对正密度函数的几何Jensen-Shannon散度的新定义，该定义不对接近几何混合的分布进行归一化处理。这种新的散度被称为扩展G-JSD，因为它可以推广到更一般的正测度上。我们明确给出了在考虑概率密度时扩展G-JSD与G-JSD之间的差异，并以其他统计散度的形式给出了其上下界。我们推导了在应用中常见的多元高斯分布情况下的闭合表达式。最后，我们指出G-JSD与扩展G-JSD这两种几何JSD都可以被解释为对普通JSD通过附加项进行正则化后的结果。

论文旨在提出一种新的几何Jensen-Shannon散度（G-JSD）的定义，称为扩展G-JSD（extended G-JSD），以克服传统G-JSD在处理正密度和更一般正测度时的局限性。这是一个相对较新的问题，因为传统G-JSD主要集中在概率密度函数上，而没有考虑更广泛的正测度情况。

论文的关键思路是通过不归一化几何混合的方式重新定义G-JSD，从而将其扩展到正密度和更一般的正测度。与传统G-JSD相比，这种新定义避免了归一化步骤，使得其适用范围更广，并且明确给出了扩展G-JSD与传统G-JSD之间的差距。此外，论文还表明这两种几何JSD形式可以被解释为普通JSD的正则化形式。

1. 提供了扩展G-JSD与传统G-JSD之间的理论差距分析，并给出了上下界。 2. 推导了多变量高斯分布下的闭合表达式，适用于实际应用。 3. 将两种几何JSD形式解释为普通JSD的正则化形式，为未来研究提供了新视角。 4. 适用于机器学习和信息科学中更广泛的数据分布建模问题。

1. Lin, J. (1991). Divergence measures based on the Shannon entropy. 2. Nielsen, F. (2020). On the Jensen-Shannon symmetrization of distances relying on abstract means. 3. Cherian, A., & Sra, S. (2019). Positive definite matrices: On geometric Jensen-Shannon divergences. 4. Amari, S. (2016). Information geometry and its applications. 5. Zhang, H., et al. (2022). Generalized divergences for geometric density estimation in machine learning.