Optimization without retraction on the random generalized Stiefel manifold

本文介绍了在满足$X^\top BX=I_p$的矩阵集合上进行优化，该集合被称为广义Stiefel流形，在许多涉及采样协方差矩阵的应用中都有应用，如规范相关分析(CCA)、独立分量分析(ICA)和广义特征值问题(GEVP)。解决这些问题通常采用迭代方法，例如Riemannian方法，需要进行计算昂贵的特征值分解，其中涉及完全形式的$B$。我们提出了一种廉价的随机迭代方法，可以解决优化问题，同时仅访问可行集的随机估计。我们的方法并不在每次迭代中严格强制执行约束条件，而是产生收敛于期望中定义的广义Stiefel流形上的临界点的迭代。该方法的每次迭代成本较低，仅需要矩阵乘法，并且具有与涉及完整矩阵$B$的Riemannian对应物相同的收敛速度。实验证明了它在涉及广义正交约束的各种机器学习应用中的有效性，包括CCA、ICA和GEVP。

论文旨在解决在涉及采样协方差矩阵的应用中，如CCA、ICA和GEVP等，优化满足X^TBX=Ip的矩阵集合的问题。这是否是一个新问题？

论文提出了一种便宜的随机迭代方法，解决这个优化问题，该方法仅访问可行集的随机估计。该方法不会在每次迭代中完全强制执行约束，而是产生收敛到期望上定义的广义Stiefel流形上的临界点的迭代。该方法具有更低的每次迭代成本，仅需要矩阵乘法，并且具有与涉及完整矩阵B的Riemannian对应物相同的收敛速度。相比当前这个领域的研究状况，这篇论文的思路有什么新意？

论文的实验表明了在涉及广义正交约束的各种机器学习应用中，包括CCA、ICA和GEVP，该方法的有效性。论文还介绍了该方法的优点，如低成本、仅需要矩阵乘法等。论文使用了多个数据集进行实验，并提供了开源代码。值得深入研究的工作包括使用该方法解决其他优化问题，以及进一步研究随机迭代方法在机器学习中的应用。

最近在这个领域中，还有一些相关的研究，如“Stochastic Riemannian optimization for principal component analysis”和“Stochastic optimization on the manifold of multivariate normal distributions”。