Stochastic Hessian Fitting on Lie Group

本文研究了使用随机Hessian-向量积拟合Hessian或其逆的方法。我们使用了一种Hessian拟合准则，可以用于推导大多数常用的方法，如BFGS、高斯牛顿、AdaGrad等。我们的研究揭示了不同Hessian拟合方法的不同收敛速率，例如，在欧几里得空间中进行梯度下降的次线性速率和常用的闭式解，以及在对称正定（SPL）矩阵和某些李群的流形上进行梯度下降的线性速率。在特定但足够一般的李群上，Hessian拟合问题被进一步证明是强凸的。为了确认我们的分析，这些方法在不同的设置下进行了测试，例如有噪声的Hessian-向量积、时间变化的Hessian和低精度算术。这些发现对于依赖于快速、强健和准确的Hessian估计的随机二阶优化非常有用。

本论文旨在通过使用Hessian或其逆与随机Hessian-向量乘积进行拟合，来研究随机二阶优化的问题。研究揭示了不同Hessian拟合方法的不同收敛速率，例如欧几里得空间梯度下降的次线性速率和对称正定矩阵和某些李群的流形梯度下降的线性速率。

本论文的关键思路是使用Hessian拟合准则来推导大多数常用方法，例如BFGS，Gaussian-Newton，AdaGrad等。论文还展示了在特定但足够普遍的李群上，Hessian拟合问题在温和条件下是强凸的。

论文测试了这些方法在不同设置下的表现，如噪声Hessian-向量乘积，时间变化的Hessian和低精度算术。研究结果对于依赖于快速、稳健和准确的Hessian估计的随机二阶优化是有用的。

最近在这个领域中，还有一些相关研究，例如《A Stochastic Quasi-Newton Method for Online Convex Optimization》和《Stochastic Second-Order Methods for Machine Learning》。