Common pitfalls to avoid while using multiobjective optimization in machine learning

最近，越来越多的人对在机器学习中应用多目标优化（MOO）感兴趣。这种兴趣是由现实生活中许多需要同时优化多个目标的情况驱动的。MOO 的一个关键方面是存在 Pareto 集，而不是单个最优解，这说明了目标之间的内在权衡。尽管 MOO 具有潜力，但缺乏令人满意的文献可作为想要使用 MOO 的机器学习从业者的入门指南。因此，本文的目标是产生这样一种资源。我们对以前的研究进行了批判性的回顾，特别是那些涉及使用物理信息神经网络（PINNs）的深度学习中的 MOO 的研究，并确定了一些误解，强调了在机器学习中需要更好地掌握 MOO 原则的必要性。我们以 PINNs 的 MOO 为案例研究，展示了数据损失和物理损失项之间的相互作用。我们强调了在使用 MOO 技术时应避免的最常见陷阱。我们首先为 MOO 建立基础，重点介绍了众所周知的方法，如加权和（WS）方法，以及更复杂的技术，如多目标梯度下降算法（MGDA）。此外，我们将 WS 和 MGDA 的结果与最常见的进化算法之一 NSGA-II 进行了比较。我们强调了理解特定问题、目标空间和选择的 MOO 方法的重要性，同时注意到忽略收敛等因素可能导致不准确的结果和非最优解。我们的目标是为机器学习从业者提供一个清晰而实用的指南，以有效地应用 MOO，特别是在深度学习的背景下。

如何在机器学习中应用多目标优化（MOO）技术？

本文提出了一个清晰实用的MOO指南，重点关注了基于物理知识神经网络（PINNs）的深度学习中的MOO应用，并强调了在使用MOO技术时需要避免的常见陷阱。

本文通过案例研究，比较了不同MOO方法在PINNs中的表现，并强调了理解特定问题、目标空间和选择的MOO方法的重要性。此外，本文还提出了一些需要深入研究的问题，如收敛性等。

近年来，越来越多的研究关注于将MOO技术应用于机器学习中，如NSGA-II等进化算法。