Multi-Objective Optimization for Sparse Deep Neural Network Training

解决问题：本文旨在解决深度学习中多目标优化问题，特别是在多任务学习和稀疏性优化中的问题。通过使用改进的加权Chebyshev标量化技术，提出了一种多目标优化算法来训练深度神经网络，以实现多个任务的优化。

关键思路：本文使用了一种改进的加权Chebyshev标量化技术，提出了一种多目标优化算法，能够在训练深度神经网络时实现多个任务的优化。通过简化问题为单目标问题，并使用增广Lagrangian方法和Adam、随机梯度下降等优化技术来解决问题，同时能够高效地处理约束条件。

其他亮点：本文的实验表明，在训练过程中，通过对网络权重进行任务特定的调整，可以自适应地稀疏化模型，而不会显著影响其性能。另外，本文提供了开源代码，方便其他研究者进行相关实验和研究。

相关研究：近期其他相关的研究包括：

  • "Multi-Objective Evolutionary Algorithm for Deep Neural Network Design"，作者为M. H. Nguyen和J. Yosinski，机构为OpenAI。
  • "Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics"，作者为A. Kendall、Y. Gal和R. Cipolla，机构为剑桥大学。
  • "Multi-Task Learning with Task Routing"，作者为S. Ruder、J. Bingel、M. Augenstein和S. Søgaard，机构为丹麦技术大学。

论文摘要：本文提出了一种使用改进的加权Chebyshev标量化的多目标优化算法，用于训练深度神经网络（DNNs）以满足多个任务的需求。通过使用这种标量化技术，算法可以识别原始问题的所有最优解，同时将其复杂性降低为一系列单目标问题。然后使用增广拉格朗日方法解决简化问题，从而使得流行的优化技术（如Adam和随机梯度下降）能够有效地处理约束条件。本文旨在解决DNN模型的可持续性问题，特别关注具有大量权重的深度多任务模型，这些模型通常被设计为在多个任务上表现同样出色。通过在两个机器学习数据集上进行的实验，我们证明了在训练过程中可以自适应地稀疏化模型，而不会对其性能产生显著影响，如果我们愿意对网络权重进行任务特定的调整。代码可在https://github.com/salomonhotegni/MDMTN上获得。

内容中包含的图片若涉及版权问题，请及时与我们联系删除