Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks

传统的迭代加权最小二乘（IRLS）算法旨在通过执行一系列加权最小二乘问题来从线性测量中恢复未知信号，其中权重在每个步骤中递归更新。已经证明，这种算法的各种变体在稀疏恢复和$\ell_p$范数最小化方面具有良好的实证性能和理论保证。最近，还发现了IRLS和某些非凸线性神经网络架构之间的初步联系，这些架构观察到利用高维线性模型中的低维结构。在这项工作中，我们为一系列算法提供了统一的渐近分析，其中包括IRLS、最近提出的lin-RFM算法（其灵感来源于神经网络中的特征学习）以及线性对角神经网络上的交替最小化算法。我们的分析在“批量”设置下操作，具有i.i.d.高斯协变量，并显示，通过适当选择重新加权策略，算法可以在仅有少数几次迭代中实现有利的性能。我们还将我们的结果扩展到组稀疏恢复的情况，并显示，利用重新加权方案中的这种结构可证明比坐标重新加权改善测试误差。

本论文旨在提出一种基于加权最小二乘问题的算法族，用于从线性测量中恢复未知信号，并探究该算法与某些类型的非凸线性神经网络架构之间的联系。

本文提出的算法族包括IRLS、lin-RFM算法和线性对角神经网络上的交替最小化算法。通过适当的加权策略，这些算法在仅进行少数迭代时就能在i.i.d.高斯协方差的批处理设置中实现有利的性能。

本文的实验在group-sparse恢复方面取得了有意义的结果，同时还探究了算法与非凸线性神经网络架构之间的联系。该算法族的优点在于可以通过少量迭代获得有利的性能，从而在实际应用中具有可行性。

与本文相关的研究包括：《Deep Residual Learning for Image Recognition》、《Neural Ordinary Differential Equations》、《A Theoretical Framework for Deep Convolutional Neural Networks Using Partial Differential Equations》等。