A faster and simpler algorithm for learning shallow networks

Sitan Chen, Shyam Narayanan
[UC Berkeley & MIT]

浅层网络学习的快速简单算法

  • 动机：在给定标签的样本从标准d维高斯测量中抽取的情况下，学习k ReLU激活的线性组合是一个经过深度研究的问题。然而，尽管最近的工作给出了第一个在k = O(1)时以poly(d, 1/ε)时间运行的算法，该算法在运行时和学习阶段上仍存在改进空间。
  • 方法：提出一种更为简单的一阶版本算法，并且其运行时间只有(d/ε)^O(k²)。
  • 优势：新算法的运行时间比之前的方法更短，而且比以前的方法更简单。在特定的困难实例中，该算法实际上可以将指数中的k的依赖性从二次改进为线性。

提出了一种更快且更简单的算法用于浅层网络学习，其运行时间只有(d/ε)^O(k²)，并且在一些特定的困难实例中，该算法实际上可以将k的依赖性从二次改进为线性。

https://arxiv.org/abs/2307.12496 


图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除