Learning a Sparse Neural Network using IHT

一个好模型的核心在于其能力，只关注反映基本模式和一致性的重要信息，从而从数据集中提取出清晰、无噪声的信号。这需要使用由较少参数定义的简化模型。在这种情况下，理论基础的重要性变得明显，因为本文依赖于高级稀疏优化领域的成熟结果，特别是那些处理非线性可微函数的结果。这种理论基础的需求进一步凸显了一个趋势，即随着训练神经网络的计算能力增加，模型的复杂性在参数数量方面也越来越高。在实际场景中，这些大型模型通常被简化为参数更少的更易管理的版本。了解为什么这些参数更少的简化模型仍然有效引出了一个关键问题。这导致了更广泛的问题，即是否有一个理论框架可以清楚地解释这些经验观察。最近的发展，比如建立迭代硬阈值（IHT）收敛到稀疏局部最小值（一种类似于梯度下降的稀疏方法）的必要条件，是有希望的。IHT算法准确识别和学习非零参数的位置的卓越能力强调了其实用性和效用。本文旨在调查这种收敛的理论前提是否适用于神经网络（NN）训练，通过为收敛的所有必要条件提供理论证明来验证这些条件，然后使用IRIS数据集作为测试平台，在单层NN上进行实验。

本文旨在研究神经网络训练中的稀疏优化问题，验证迭代硬阈值法（IHT）的收敛条件是否适用于神经网络训练，并使用IRIS数据集进行实验验证。

本文提出了一种基于迭代硬阈值法的稀疏优化方法，通过简化模型参数和使用非线性可微函数，从数据集中提取出清晰、无噪声的信号。

本文使用了IRIS数据集进行实验验证，并开源了代码。研究发现，迭代硬阈值法可以准确地识别和学习非零参数的位置，具有实用性和效用性。此外，本文的研究成果为神经网络训练提供了理论基础。

最近的相关研究包括《On the Convergence of Iteratively Re-weighted Least Squares Algorithms》、《Sparse and Low-Rank Tensor Regression》等。