本古里安大学|基于深度强化学习的稠密神经网络多目标剪枝

【标题】Multi-Objective Pruning of Dense Neural Networks Using Deep Reinforcement Learning

【作者团队】Lior Hirsch, Gilad Katz

【发表日期】2022.7.30

【论文链接】https://www.sciencedirect.com/science/article/pii/S0020025522008222

【推荐理由】网络剪枝旨在降低大型模型的推理成本，并使神经架构能够在手机等终端设备上运行。本文介绍了 NEON，这是一种使用深度强化学习 (DRL) 的新型迭代修剪方法。虽然大多数基于强化学习的修剪解决方案只分析他们要修剪的一个网络，但本文在大量随机生成的架构上训练 DRL 智能体。为了避免为每个新数据集训练 DRL 模型通常需要长时间运行，作者在多个数据集上离线训练 NEON，然后将其应用于其他数据集而无需额外训练。这种设置使 NEON 比其他基于 DRL 的修剪方法更有效。此外，本文提出了一种新颖的奖励功能，使用户能够清楚地定义他们的修剪/性能权衡偏好。作者对一组 28 个不同的数据集进行的评估表明，所提出的方法在全连接网络的修剪方面明显优于最近表现最好的解决方案。