来自今天的爱可可AI前沿推介

[LG] Deep Learning Meets Sparse Regularization: A Signal Processing Perspective

R Parhi, R D. Nowak
[EPFL & University of Wisconsin–Madison]

深度学习与稀疏正则化: 信号处理视角

要点:

  1. 提出一个新的数学框架，通过使用变换域稀疏正则化、计算断层成像 Radon 变换和近似理论，对深度学习有了更深的理解；
  2. 解释神经网络训练中权重衰减正则化的效果，网络架构中跳接和低秩权重矩阵的使用，神经网络中稀疏性的作用，以及为什么神经网络能在高维问题中表现良好；
  3. 使用信号处理中熟悉的数学工具，从第一性原理解释深度学习，并为未来的研究提供基础。

一句话总结:
提出一个从第一性原理解释深度学习的数学框架，使用稀疏正则化、Radon 变换等信号处理工具来解释为什么DNN在高维问题上表现良好，为未来的研究提供基础。

摘要：
深度学习在实践中获得了广泛的成功，大多数最先进的机器学习方法都是基于神经网络的。然而，缺乏一个严格的数学理论来充分解释深度神经网络的惊人性能。本文提出一个相对较新的数学框架，为深入理解深度学习提供了一个开端。这个框架精确地描述了被训练来拟合数据的神经网络的功能特性。支持这一框架的关键数学工具包括变换域稀疏正则化、计算断层成像的 Radon 变换和近似理论，这些都是来源于信号处理的技术。该框架解释了神经网络训练中权重衰减正则化的效果，网络架构中跳接和低秩权重矩阵的使用，神经网络中稀疏性的作用，并解释了为什么神经网络可以在高维问题中表现良好。

Deep learning has been widely successful in practice and most state-of-the-art machine learning methods are based on neural networks. Lacking, however, is a rigorous mathematical theory that adequately explains the amazing performance of deep neural networks. In this article, we present a relatively new mathematical framework that provides the beginning of a deeper understanding of deep learning. This framework precisely characterizes the functional properties of neural networks that are trained to fit to data. The key mathematical tools which support this framework include transform-domain sparse regularization, the Radon transform of computed tomography, and approximation theory, which are all techniques deeply rooted in signal processing. This framework explains the effect of weight decay regularization in neural network training, the use of skip connections and low-rank weight matrices in network architectures, the role of sparsity in neural networks, and explains why neural networks can perform well in high-dimensional problems.

论文链接：https://arxiv.org/abs/2301.09554
图片
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除