Riemannian coordinate descent algorithms on matrix manifolds

许多机器学习应用程序自然地被制定为在黎曼流形上的优化问题。黎曼优化的主要思想是在流形上沿着下降方向移动时保持变量的可行性。这导致在每次迭代中更新所有变量。在这项工作中，我们提供了一个通用框架，用于在矩阵流形上开发计算有效的坐标下降（CD）算法，该算法允许在每次迭代中仅更新少量变量，同时遵守流形约束。特别地，我们提出了各种流形的CD算法，例如Stiefel、Grassmann、（广义）双曲线、辛和对称正（半）定。虽然所提出的CD算法每次迭代的成本很低，但我们通过目标函数的一阶近似进一步开发了更有效的变体。我们分析了它们的收敛性和复杂性，并在几个应用程序中经验性地说明了它们的有效性。

本文旨在提供一个在Riemannian流形上进行坐标下降算法的框架，以解决机器学习应用中的优化问题。该算法可以在保持变量可行性的同时，仅在每次迭代中更新少量变量，从而提高算法效率。

本文提出了一种在矩阵流形上进行坐标下降算法的通用框架，可以更新少量变量并遵守流形约束。具体而言，本文提出了针对多种流形（如Stiefel、Grassmann、（广义）双曲线、辛、对称正（半）定）的坐标下降算法。本文进一步通过目标函数的一阶近似，提出了一种更高效的变体。

本文分析了算法的收敛性和复杂度，并在多个应用程序中展示了其有效性。本文的亮点包括：算法效率高，可以更新少量变量；提供了通用的坐标下降算法框架；提出了一种更高效的变体；在多个流形上进行了实验，并展示了其有效性。

在矩阵流形上优化的相关研究包括：Riemannian optimization、Riemannian conjugate gradient、Riemannian stochastic gradient descent等。