Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem

这项研究介绍了一种新方法，以确保神经网络中最优参数的存在和唯一性。论文详细介绍了如何将递归神经网络（RNN）转化为一个收缩映射，使其参数在线性域内。然后，论文证明了通过在损失函数中加入特定正则化项建模的预测问题可以在一阶条件中表达出来。这个方程组被简化为两个涉及Sylvester方程的矩阵方程，可以部分求解。我们证明，如果满足一定条件，最优参数存在、唯一，并且可以通过简单的算法找到任何所需的精度。此外，随着神经元数量的增加，收敛条件变得更容易满足。还通过在参数上包括线性约束来探索前馈神经网络（FNN）。根据我们的模型，加入循环（固定或可变权重）将产生更容易训练的损失函数，因为它确保了一个迭代方法收敛的区域的存在。

本文试图解决神经网络中优化参数的存在性和唯一性问题，同时探索了循环神经网络和前馈神经网络的线性约束问题。

本文提出了将循环神经网络转化为线性参数域内的压缩映射，并通过特定正则化项的损失函数，将其优化问题的一阶条件表达为两个Sylvester方程，从而确保了最优参数的存在性和唯一性。

本文的方法可以通过简单的算法找到任意精度的最优参数，随着神经元数量的增加，收敛条件变得更容易满足。此外，本文还探索了循环神经网络和前馈神经网络中线性约束的问题。

近期的相关研究包括：'On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization'，'A Convergence Theory for Deep Learning via Over-Parameterization'等。