Jacobian Descent for Multi-Objective Optimization

许多优化问题本质上是多目标的。为了解决这些问题，我们形式化了雅可比下降（JD），它是梯度下降在向量值函数上的直接推广。该算法的每一步都依赖于一个雅可比矩阵，其中包含每个目标的一个梯度。聚合器负责将这个矩阵缩减为一个更新向量，这是JD的特征。虽然多任务学习文献已经包含了各种聚合器，但它们通常缺乏一些自然属性。特别是，更新不应与任何目标冲突，并且应按每个梯度的范数成比例地缩放。我们提出了一个新的聚合器，专门设计来满足这一要求。强调目标之间的冲突，我们随后突出了我们方法的直接应用。最值得注意的是，我们引入了实例风险最小化（IWRM），这是一种学习范式，其中每个训练示例的损失被视为一个单独的目标。在简单的图像分类任务中，与直接最小化平均损失相比，IWRM展现出有希望的结果。我们在这些实验中的聚合器性能也证实了我们的理论发现。最后，由于速度是JD的主要限制，我们提供了一条通向更高效实现的途径。

多目标优化问题在实际应用中很常见，本文试图提出一种针对这类问题的优化算法

本文提出了一种基于雅可比矩阵的下降算法（Jacobian descent），用于解决多目标优化问题。每一步的更新依赖于一个雅可比矩阵，其中包含了每个目标函数的梯度。本文还提出了一种新的聚合器，用于将雅可比矩阵缩减为一个更新向量，并且满足不与任何目标函数产生冲突，且与每个梯度的范数成比例的性质。

本文的亮点包括提出了一种新的聚合器来解决多目标优化问题，提出了一种新的学习范式（IWRM），并在简单的图像分类任务中取得了有希望的结果。此外，本文还提供了更高效的实现路径。

最近在多目标优化领域的相关研究包括：Multi-Objective Optimization using Ensemble of Surrogates, Multi-Objective Optimization using Evolutionary Algorithms, Multi-Objective Optimization using Reinforcement Learning等。