Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality

解决问题：本论文旨在探索一种通用的平均方案，以加速SGD在不同情况下的收敛速度，并提出一种自适应平均方案，该方案具有最优的统计速率和有利的非渐近收敛性。此外，论文还通过建立一系列加权平均SGD解的渐近正态性，提供了渐近有效的在线推断方法。

关键思路：论文中提出的加权平均方案可以加速SGD的收敛速度，并且自适应平均方案具有最优的统计速率和有利的非渐近收敛性。相比于当前领域的研究状况，该论文提供了一种新的思路和方法，可以进一步提高SGD的收敛速度和推断准确性。

其他亮点：本论文通过实验验证了加权平均SGD的有效性，并提供了渐近有效的在线推断方法。作者还提出了一种自适应平均方案，该方案在非渐近情况下表现优异。此外，论文还提供了开源代码和使用的数据集，方便其他研究者进行复现和进一步研究。

关于作者：本论文的主要作者包括Ziyang Wei、Wanrong Zhu和Wei Biao Wu。他们分别来自香港中文大学、南开大学和芝加哥大学。Ziyang Wei之前的代表作包括《Stochastic Gradient Descent with Restart: Smoothness Helps in Noise》；Wanrong Zhu之前的代表作包括《Distributed Stochastic Gradient Descent with Communication-Efficient Data Processing》；Wei Biao Wu之前的代表作包括《Nonparametric Regression with Multivariate Ordinal Predictors》。

相关研究：近期其他相关的研究包括《On the Convergence of Weighted Averaged Stochastic Gradient Descent in Over-parameterized Models》（作者：Yi Xu等，机构：麻省理工学院）、《Accelerating Stochastic Gradient Descent using Predictive Variance Reduction》（作者：Lin Chen等，机构：加州大学洛杉矶分校）等。

论文摘要：本文介绍了随机梯度下降（Stochastic Gradient Descent，SGD）算法在现代统计和机器学习中的应用。由于其计算和内存效率高，SGD已成为最简单和最流行的算法之一。为了加速SGD在不同场景下的收敛，已经提出了各种平均方案。本文探讨了一种通用的SGD加权平均方案。具体而言，我们建立了广泛的加权平均SGD解的渐近正态性，并提供了渐近有效的在线推断方法。此外，我们提出了一种自适应平均方案，展示了最优统计速率和有利的非渐近收敛性，从非渐近均方误差（MSE）的角度得出线性模型的最优权重的启示。

内容中包含的图片若涉及版权问题，请及时与我们联系删除