Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry

全局协方差池化（GCP）已经被证明可以通过利用高层表示的二阶统计信息来提高深度神经网络（DNNs）的性能。 GCP通常通过应用矩阵函数归一化（例如矩阵对数或幂），然后使用欧几里得分类器来对协方差矩阵进行分类。然而，协方差矩阵固有地位于黎曼流形中，即对称正定（SPD）流形。目前的文献没有提供一个令人满意的解释，即为什么可以在矩阵幂归一化后直接将欧几里得分类器应用于黎曼特征。为了弥补这一差距，本文从黎曼几何的角度提供了矩阵对数和幂的全面和统一的理解。从两个角度（基于切向量分类器（切向空间上的欧几里得分类器）和基于黎曼分类器）解释了GCP中矩阵函数的基本机制。通过理论分析和对细粒度和大规模视觉分类数据集的广泛实验验证，我们得出结论：矩阵函数的工作机制应归因于它们隐含地遵守的黎曼分类器。

本论文试图解决的问题是，针对全局协方差池化（GCP）中使用的矩阵函数规范化后直接应用欧几里得分类器的问题，提供一个全面且统一的理解。

本论文从黎曼几何的角度提供了矩阵对数和矩阵幂的全面解释，并解释了矩阵函数在GCP中的作用机制，从切空间分类器和黎曼分类器两个角度进行阐述。

本论文的实验通过在细粒度和大规模视觉分类数据集上进行广泛的实验验证，得出了矩阵函数应该归因于它们隐含尊重的黎曼分类器的工作机制的结论。值得关注的是，论文提供了一个从黎曼几何角度解释矩阵函数的全面框架，为后续研究提供了新思路。

在这个领域中，最近的相关研究包括《Riemannian approach to batch normalization》、《Riemannian optimization for high-dimensional data analysis: A review》等。